Filehost.ro - gazduire fisiere
Forum Romania Inedit
Romania Inedit - Resursa ta de Fun
Nou pe simpatie:
Kitana pe Simpatie
Femeie
25 ani
Bucuresti
cauta Barbat
25 - 48 ani
Forum Romania IneditReguliInregistrareLoginPozeNu sunteti logat. Lista Forumurilor Pe Tematici
Forum Romania Inedit / Totul despre cărți - About e-books /

Dictionare suplimentare pentru ABBYY

Pagini:  1 2 Moderat de Seven, Stelevadris, cuculean, naid, uncris
#1
Seven
Moderator
Din: Ţara Perfectului Simplu

      DICŢIONARE SUPLIMENTARE PENTRU ABBYY 




      Īn urma dicuţiilor de pe topicul [INTREBARI] Īntreabă orice despre carti am deschis acest topic destinat special dicuţiilor despre dicţionare.
      Pe acest topic vom discuta despre diverse dicţionare ce ar putea fi create de userii RI pentru a īmbunătăţi munca de digitalizare.
      Poate fi vorba despre dicţionare suplimentare ce pot fi ataşate la diverse softuri [Abbyy, Word, AC, OpenOffice, Libre... etc.]

      Topicul este destinat discuţiilor pe acestă temă, dar şi lucrului concret pentru realizarea unor astfel de dicţionare.
      ... plus orice alte discuţii pe care userii le vor considera utile.


_______________________________________

     Oameni şi popoare īşi cată libertatea; după ce-o obţin, īşi caută stăpān.


     | TORENTE | Tăunul | ROCAMBOLE+ | FLORIS | VRACIU | Victor HUGO | J.F. COOPER | PAPILLON | POLDARK |
     | Dictionare Lba RO | | Gramatica RO | D. Stănoiu | Zaharia STANCU | H.Y. STAHL | V.CORBUL & E.BURADA |
     | Ultimul regat | Millennium | Shantaram | Pearl BUCK | Anchee MIN | Amy TAN | C. LÄCKBERG | Ph.GREGORY |
     | Extraterestrii şi Intraterestrii | RUFOR | Demonul Roşu | Vraja milioanelor | Cărţi audio |

 
   
#2
Seven
Moderator
Din: Ţara Perfectului Simplu
***
     Am realizat un mic dicţionar care cuprinde 486 de cuvinte cu cratimă "scurte" [unele sunt ceva mai lungi].

     Dicţionarul "CUV_SC_CRATIMA [486].DIC" este de tip "dic" şi se bazează pe cuvinte īnregistrate īn cāteva dicţionare AC.
     Download:  http://www.mediafire.com/?19yk9ehr6ep279m

     Dicţionarul este doar un punct de plecare.
     Sunt o serie de cuvinte care pot fi eliminate...
     Putem să adăugăm şi altele...


_______________________________________

     Oameni şi popoare īşi cată libertatea; după ce-o obţin, īşi caută stăpān.


     | TORENTE | Tăunul | ROCAMBOLE+ | FLORIS | VRACIU | Victor HUGO | J.F. COOPER | PAPILLON | POLDARK |
     | Dictionare Lba RO | | Gramatica RO | D. Stănoiu | Zaharia STANCU | H.Y. STAHL | V.CORBUL & E.BURADA |
     | Ultimul regat | Millennium | Shantaram | Pearl BUCK | Anchee MIN | Amy TAN | C. LÄCKBERG | Ph.GREGORY |
     | Extraterestrii şi Intraterestrii | RUFOR | Demonul Roşu | Vraja milioanelor | Cărţi audio |

 
   
#3
atari
Membru Junior
Lista de cuvinte cu forme flexionare in limba romana.

Continut:
130464 cuvinte.
Formele flexionare asociate cuvintelor au fost extinse la variantele de scriere a diacriticelor cu cedila si cu virgula, atat in grafia veche (ī, sīnt) cat si in cea contemporana (ā, sunt). 

Format:
Compatibil cu proiectul dsl2mobi.
Inregistrarile sunt de forma:
<cuvant_cheie>: <forma_1>, <forma_2>, <forma_3>, ...

Exemplu:
ţānc: ţīncului, țānc, ţīnc, ţāncului, țāncul, țāncii, ţāncilor, țānci, țāncilor, țāncului, ţīncul, ţānci, ţīncilor, ţīnci, ţāncii, ţīncii, ţāncul

Link de descarcare:
http://www.mediafire.com/download/vbqum ... rms-RO.zip


La ce e buna lista asta?

1. La pedepsirea ţāncilor neascultatori: "Du-te si citeste primele 3 pagini din lista si vii sa-mi spui ce-ai retinut".

2. La generarea unui dictionar (mobi, ipad, ...) roman -> <limba_x>.
Intern, dictionarul asociaza definitiile/traducerile "cuvintelor cheie" - primele campuri ale inregistrarilor de mai sus.
La cautarea versiunii unui cuvant (forme flexionare) in dictionar, definitia/traducerea "cuvantului cheie" asociat este afisata.
Daca o forma flexionara nu e asociata cuvantului, atunci nema traducere/definitie -> utilizator frustrat -> posibila aruncare a ereaderului de pereti. Pentru a evita stricaciuni materiale si a tine nivelul nervilor (deci si a colesterolului) sub control, e recomandata folosirea unui lexicon cat mai bogat in forme flexionare atunci cand generati dictionare. Adica e recomandat sa folositi lista asta, pentru ca alta mai extinsa nu se cunoaste / nu se exista.


 
   
#4
atari
Membru Junior

Seven a scris:

***
     Dicţionarul este doar un punct de plecare.
     Sunt o serie de cuvinte care pot fi eliminate...
     Putem să adăugăm şi altele...


Seven, cred ca ar fi bine sa explici care-i scopul dictionarului asta. Punct de plecare pentru ce?

Apropo de cratime in cuvintele din dictionare: ar trebui de verificat daca un cuvant care contine cratima e tratat intr-adevar ca o singura definitie de Abby. Senzatia mea (trebuie verificat mai in amanunt) e ca MS Word considera doua cuvinte acolo (separate de -), si drept urmare adaugarea definitiilor astea suplimentare s-ar putea sa nu aiba vre-un efect. Cum e in Abby? Ai facut ceva teste?


 
   
#5
Seven
Moderator
Din: Ţara Perfectului Simplu
***
     Ai dreptate, @atari, dicţionarul postat de mine nu e cel mai bun punct de plecare, din cel puţin două motive:
           - unele dintre cuvinte există deja īn dicţionarele integrate din Abbyy şi Word, deci trebuie eliminate;
           - īn Word, probabil şi īn Abbyy, cratima este tratată ca semn care desparte cuvintele, dar există, totuşi, o posibilitate de īnregistrare a cuvintelor cu cratimă īn dicţionare suplimentare.


     Cred că deocamdată problema mai importantă este cu Abbyy.
     M-am documentat puţin asupra lui Abbyy 11 şi am īnţeles la ce se referea @tvd.
     Am făcut cāteva testări şi voi continua să vedem dacă există şi alte soluţii.

     Constatări:
     Menţionez că īn Abbyy 11 are deja un dicţionar pentru limba romānă integrat īn soft. Nu ştiu exact dacă acelaşi lucru e valabil şi īn variantele inferioare, dar sigur asta e valabil şi īn Abbyy 12.
     Abbyy 11 recunoaşte cuvintele scrise īn limbaj contemporan [cu ā īn interiorul cuvintelor şi sunt...] dar nu mai recunoaşte cuvintele scrise īn limbaj clasic [cu ī īn interiorul cuvintelor şi sīnt...]. Īn mod sigur acelaşi lucru e valabil şi īn Abbyy 12.

     Am īncercat să ataşez un dicţionar suplimentar la limba "Romanian", dar softul nu mi-a permis ataşarea unui dicţionar suplimentar nou.
     Atunci am recurs la crearea unei limbi "Romanian 2". E posibil să fi greşit ceva la setări... cert este că am putut ataşa dicţionarul de cuvinte scurte cu cratimă postat mai sus... doar că Abbyy īmi recunoaştea doar aceste cuvinte, dar nu mai are acces la dicţionarul romānesc deja integrat.
     Repet, e posibil să fi greşit anumite setări şi totuşi să existe posibilitatea ca la o limbă nouă pe baza limbii romāne, Abbyy să aibă acces atāt la dicţionarul integrat, cāt şi la cel suplimentar.


     Pentru ca Abbyy să recunoască şi cuvintele scrise īn limbaj clasic, ar fi două posibilităţi:
     Prima variantă: Crearea unei limbi asociate "Romanian 2" la care să ataşeze un dicţionar suplimentar, dar setarea ca limbă de citire īn Abbyy două limbi: "Romanian" [adică limba deja integrată īn Abbyy] plus "Romanian 2" la care să se ataşeze un dicţionar ca cel de mai sus.
     
     A doua variantă:
     Rămānem doar la limba "Romanian" care este integrată īn Abbyy, dar adăugăm cuvinte noi cu funcţia "Add to Dictionary".
     Cuvintele noi sunt adăugate īn fişierul "Roman.txt" din calea:
     Local Disk/Users/Nume_computer/AppData/ABBYY/FineReader/11.00/UserDictionaries

     Īn Abbyy 9 acest dicţionar se numeşte "Roman.pmd" şi are o altă structură, dar este şi el editabil.

     Īn acel fişier "Roman.txt", īnregistrările apar sub forma:

DICTIONARY_PROPERTIES=USE_CONFIDENCE
autocunoaştere 100
curīnd 100
cīnd 100
decīt 100
gīndea 100
mi-ar 100
ne-am 100
nu-i 100
nu-şi 100


     Practic, faţă de un dicţionar "dic" unde cuvintele sunt scrise unele sub altele fără adăugarea vreunui cod, īn acest dicţionar, după fiecare cuvānt apare acel spaţiu urmat de numărul 100. La acest moment habar n-am ce īnseamnă 100 şi nici dacă există şi alt cod īn afară de 100. E posibil ca "100" să īnsemne "cuvānt īntreg" şi să existe un cod pentru "īnceput de cuvānt". Dacă există doar codul "100" īnseamnă că va trebui să īnregistrăm toate formele flexionare. Dacă am găsi un cod pentru "īnceput de cuvānt" am īnregistra doar cāteva variante pentru fiecare rădăcină.


     Eu aş rămāne la a doua variantă, cea cu dezvoltarea dicţionarului "Roman.txt", pe care-l putem copia īn subfolderul "UserDictionaries" īn calea de căutarea menţionată mai sus.
     Practic, īn Abbyy, adăugarea cu funcţia "Add to Dictionary" necesită adăugare cuvānt cu cuvānt.
     Din fericire, putem realiza dicţionarul fără a apela la această opţiune.
     Putem crea dicţionarul "Roman.txt" sau "Roman.pmd" prin prelucrarea unei sau unor liste de cuvinte.
     M-am gāndit cam cum am putea proceda şi dacă credeţi că este interesant, pot posta etapele de lucru la care m-am gāndit.


_______________________________________

     Oameni şi popoare īşi cată libertatea; după ce-o obţin, īşi caută stăpān.


     | TORENTE | Tăunul | ROCAMBOLE+ | FLORIS | VRACIU | Victor HUGO | J.F. COOPER | PAPILLON | POLDARK |
     | Dictionare Lba RO | | Gramatica RO | D. Stănoiu | Zaharia STANCU | H.Y. STAHL | V.CORBUL & E.BURADA |
     | Ultimul regat | Millennium | Shantaram | Pearl BUCK | Anchee MIN | Amy TAN | C. LÄCKBERG | Ph.GREGORY |
     | Extraterestrii şi Intraterestrii | RUFOR | Demonul Roşu | Vraja milioanelor | Cărţi audio |

 
   
#6
Seven
Moderator
Din: Ţara Perfectului Simplu
***
      Noutăţi...
      Īn subfolderul "UserDictionaries" există două fişiere: "Roman.txt" şi "Roman.ame".
      La adăugarea cuvintelor, se fac salvări atāt īn "Roman.txt" cāt şi īn "Roman.ame".
      Dacă "Roman.txt" este editabil din NotePad, fişierul "Roman.ame" nu este editabil, fapt pentru care orice adăugiri din afara Abbyy nu sunt salvate.

      Am găsit o soluţie ceva mai complicată, dar care poate fi aplicată cu un mic efort.
      Lista din dicţionarul de cuvinte scurte cu cratimă am convertit-o īn PDF apoi am īncărcat PDF-ul īn Abbyy apoi am dat comanda de citire a documentului.
      După citire am constatat că o parte mică dintre cuvinte erau recunoscute de către Abbyy, iar partea cea mai mare erau cuvinte necunoscute.
      Cu opţiunea "Add to Dictionary" se pot adăuga cuvintele destul de uşor īn dicţionar.
      La momentul ăsta am adăugat cuvintele dintr-un număr de 2 pagini dintr-un total de 14 pagini şi am făcut probele. Totul funcţionează bine.

      Nu e la fel de simplu ca o editare de text, dar nici nu e un lucru foarte complicat.
      Mă pot ocupa de adăugat cuvintele īn dicţionar dacă am liste cu cuvintele necesare.
      Am să revin cu dicţionarele "Roman.txt" şi "Roman.ame" după ce fac īnregistrarea tuturor cuvintelor necunoscute din această listă.


_______________________________________

     Oameni şi popoare īşi cată libertatea; după ce-o obţin, īşi caută stăpān.


     | TORENTE | Tăunul | ROCAMBOLE+ | FLORIS | VRACIU | Victor HUGO | J.F. COOPER | PAPILLON | POLDARK |
     | Dictionare Lba RO | | Gramatica RO | D. Stănoiu | Zaharia STANCU | H.Y. STAHL | V.CORBUL & E.BURADA |
     | Ultimul regat | Millennium | Shantaram | Pearl BUCK | Anchee MIN | Amy TAN | C. LÄCKBERG | Ph.GREGORY |
     | Extraterestrii şi Intraterestrii | RUFOR | Demonul Roşu | Vraja milioanelor | Cărţi audio |

 
   
#7
Seven
Moderator
Din: Ţara Perfectului Simplu
***
      Dicţionare Abbyy V1.01

     
      1. Am lucrat dicţionarele īn Abbyy 11 şi le-am verificat īn Abbyy11 şi Abbyy 12.
      Sunt sigur că dicţionarele lucrează īn Abbyy 11 ţi 12, dar e bine de verificat şi de alţi useri pentru ca să nu avem surprize.

      Abbyy 10. La acest moment nu am instalat Abbyy 10 aşa că nu ştiu dacă aceste dicţionare sunt valabile īn varianta Abbyy 10. Este necesar ca cineva care are Abbyy 10 să facă o testare, asupra căreia voi reveni.

      Abbyy 9. Īn mod sigur dicţionarele nu sunt valabile īn Abbyy 9, dat fiind că această variantă de Abbyy are altă structură de dicţionare.
      Voi īncerca īn perioada următoare să realizez o primă variantă de dicţionare şi pentru Abbyy 9.


      2. Dicţionarele suplimentare pentru Abbyy 11 şi 12, despre care vorbim, se găsesc aşa cum am menţionat, īn subfolderul "UserDictionaries" din calea:
      Local Disk/Users/Nume_computer/AppData/ABBYY/FineReader/11.00/UserDictionaries - pentru Abbyy 11
şi, respectiv
      Local Disk/Users/Nume_computer/AppData/ABBYY/FineReader/12.00/UserDictionaries - pentru Abbyy 12
      Aceste dicţionare se numesc: "Roman.txt" şi "Roman.ame"

      Nume arhivă:   UserDictionaries V1.01.rar
      Download:  Dictionare ABBYY 11  - folder mediafire deschis.

      2. Dicţionarele au fost realizate īn baza următoarelor liste de cuvinte:
            - cuvinte scurte cu cratimă
            - cuvinte din 3 litere - listă completă
            - cuvinte din 4 litere - listă aproximativ completă
            - cuvinte din 5, 6, 7 litere şi 8 Plus - listă parţială
      Menţionez că la cuvintele care conţin ī/ā interior am trecut īn liste iniţial cuvintele īn limbaj contemporan, iar la sfārşitul listelor am adăugat cuvintele şi īn limbaj clasic.

      Am urcat pe mediafire şi aceste liste pentru o mai uşoară verificare.
      Nume arhivă:   Liste V1.01.rar
      Download:  Liste cuvinte ABBYY  - folder mediafire deschis.

      3. Verificarea funcţionării dicţionarelor se poate testa relativ uşor.
      Am realizat un PDF care cuprinde toate listele despre care am vorbit mai sus.
      După copierea dicţionarelor īn subfolderul "UserDictionaries", acest PDF se īncarcă īn Abbyy şi după ce īi dăm comanda de cirire, verificăm dacă mai apar cuvinte subliniate ca necunoscute.
      De menţionat că toate suprafeţele de citire trebuie să fie setate ca "text"
      Am urcat pe mediafire şi acest PDF text.
      Nume arhivă:   Test liste V1.01.rar
      Download:  Test Dictionare  - folder mediafire deschis.


      Menţionez că īn dicţionare nu apar toate cuvintele din listă, deoarece unele dintre cuvinte erau recunoscute de Abbyy
      Īnainte de a continua cu dezvoltarea acestor dicţionare este necesară verificarea lor de cāt mai mulţi useri.
      Dacă prin testări-verificări se va dovedi că aceste dicţionare sunt utile, atunci putem discuta despre dezvoltarea lor.


      FOARTE IMPORTANT!
      Userii care au deja dicţionare "Roman.txt" şi "Roman.ame" īn folderul "UserDictionaries", deci cei ce au īnregistrat deja o seamă de cuvinte necunoscute de Abbyy, mai īntāi vor redenumi aceste dicţionare adăugānd un "Z" īn faţa lor sau orice altă redenumire şi numai după aceea vor copia cele două dicţionare postate de mine.
      Ar fi foarte bine dacă aţi urca pe acest topic variantele voastre ale fişierului "Roman.txt" pentru ca să pot extrage acele cuvinte deja īnregistrate şi a le putea adăuga īn dicţionarele postate de mine


_______________________________________

     Oameni şi popoare īşi cată libertatea; după ce-o obţin, īşi caută stăpān.


     | TORENTE | Tăunul | ROCAMBOLE+ | FLORIS | VRACIU | Victor HUGO | J.F. COOPER | PAPILLON | POLDARK |
     | Dictionare Lba RO | | Gramatica RO | D. Stănoiu | Zaharia STANCU | H.Y. STAHL | V.CORBUL & E.BURADA |
     | Ultimul regat | Millennium | Shantaram | Pearl BUCK | Anchee MIN | Amy TAN | C. LÄCKBERG | Ph.GREGORY |
     | Extraterestrii şi Intraterestrii | RUFOR | Demonul Roşu | Vraja milioanelor | Cărţi audio |

 
   
#8
onlyra
Membru Junior
Am dat o recunoastere a textului din Test liste V1.01 dupa ce am pus in Abbyy 12 dictionarele V1.01. Sunt cateva cuvinte din PDF care inca nu sunt in dictionare, fiind subliniate de Abbyy dupa recunoastere:
Pagina 5    din-acela
Pagina 7    n-ui        (oare exista in romana?)
Pagina 10    ceţi
pagina 11    dăgi
Pagina 12    ivăr, link
Pagina 18    giacă
In rest functioneaza corect. Chiar cred ca sunt utile. Dupa un OCR de carte revin cu impresii.


 
   
#9
Seven
Moderator
Din: Ţara Perfectului Simplu
***
      E bine dacă doar aceste cuvinte rămān necunoscute. Aceste cuvinte nu sunt īnregistrate. Unele sunt prea rare, iar "giacă" şi "n-ui" sunt greşite.
      Deocamdată sunt semne că dicţionarele funcţionează, ceea ce e bine, dar va trebui multă muncă pānă vom pune la punct nişte dicţionare cu adevărat utile.
      Trebuie să adăugăm multe cuvinte la dicţionare.

      Pentru īnceput am să īncerc să realizez dicţionare pentru Abbyy 9, care se vor baza pe aceleaşi liste de cuvinte.
      Īntre timp trebuie să ne sfătuim cum procedăm pentru a realiza alte liste de cuvinte.
      Repet rugămintea pentru cei ce au deja dicţionare "Roman.txt" să le posteze pe forum pentru a putea să extrag şi alte cuvinte pentru dezvoltarea dicţionarelor.


_______________________________________

     Oameni şi popoare īşi cată libertatea; după ce-o obţin, īşi caută stăpān.


     | TORENTE | Tăunul | ROCAMBOLE+ | FLORIS | VRACIU | Victor HUGO | J.F. COOPER | PAPILLON | POLDARK |
     | Dictionare Lba RO | | Gramatica RO | D. Stănoiu | Zaharia STANCU | H.Y. STAHL | V.CORBUL & E.BURADA |
     | Ultimul regat | Millennium | Shantaram | Pearl BUCK | Anchee MIN | Amy TAN | C. LÄCKBERG | Ph.GREGORY |
     | Extraterestrii şi Intraterestrii | RUFOR | Demonul Roşu | Vraja milioanelor | Cărţi audio |

 
   
#10
utilitasetveritas
Pe lista neagra
Dictionarul meu:
http://www43.zippyshare.com/v/32854495/file.html


     Mulţumesc frumos! L-am preluat.
     Seven


 
   
#11
Seven
Moderator
Din: Ţara Perfectului Simplu
***
      Dicţionare Abbyy V1.02

      Acum putem spune că avem pentru Abbyy 11 şi 12 nişte dicţionare ceva mai serioase, deoarece ele cuprind peste 2600 cuvinte. Cred că numărul cuvintelor este 2640...
      La lista postată de @utilitasetveritas am adăugat īncă o listă de lungime comparabilă pe care am realizat-o īn baza volumelor Poldark. Am cumulat listele, le-am sortat, am eliminat dublurile, am realizat un PDF pe care l-am īncărcat īn Abbyy şi pe baza acestui PDF am adăugat cuvintele noi īn dicţionar.

      Am postat cele 3 fişiere noi [Dicţionare, Listă şi PDF pt. probă] īn aceleaşi 3 foldere deschise cu adresele menţionate deja mai sus.
      Dictionare ABBYY 11           Liste cuvinte ABBYY           Test Dictionare

      Pentru a putea fi identificate, fişierele poartă numărul de versiune V1.02
     
      Munca de extragere a noilor cuvinte, dar şi cea de adăugare este destul de plictisitoare şi mai ales obositoare. Din acest motiv am "scăpat" două cuvinte neīnregistrate. [Īn loc să apăs "Add to Dictionary" am apăsat opţiunea aflată imediat mai sus "Ignore All". Din păcate, cuvintele setate cu Ignore nu mai pot fi corectate, deoarece ele se īnregistrează īn fişierul "Roman.ame" unde īnregistratea apare codificată]

      Din motivele de mai sus, astăzi nu mai pot lucra la dicţionare, aşa că amān realizarea dicţionarelor pentru Abbyy 9.
      Un dicţionar V1.02 pentru Abbyy 9 īl voi posta māine sau cel mai tārziu poimāine.

      Am mare nevoie īn continuare de liste de care dispuneţi. Mi-e mult mai simplu să adaug cuvinte necunoscute dintr-o listă, decāt să caut cuvinte necunoscute īn Abbyy.


_______________________________________

     Oameni şi popoare īşi cată libertatea; după ce-o obţin, īşi caută stăpān.


     | TORENTE | Tăunul | ROCAMBOLE+ | FLORIS | VRACIU | Victor HUGO | J.F. COOPER | PAPILLON | POLDARK |
     | Dictionare Lba RO | | Gramatica RO | D. Stănoiu | Zaharia STANCU | H.Y. STAHL | V.CORBUL & E.BURADA |
     | Ultimul regat | Millennium | Shantaram | Pearl BUCK | Anchee MIN | Amy TAN | C. LÄCKBERG | Ph.GREGORY |
     | Extraterestrii şi Intraterestrii | RUFOR | Demonul Roşu | Vraja milioanelor | Cărţi audio |

 
   
#12
onlyra
Membru Junior
oare fisierele din dictionarele ortografice Hunspell sunt utile?
http://rospell.wordpress.com/download/
Ar fi bine ca sunt totusi voluminoase si sunt separate: contemporan si ante 1993.

Acum un an si ceva am importat 'la vrac' in Abbyy (posibil 10) o versiune care am gasit-o, prelucrata de altcineva, din Hunspell contemporan dar, desi nu mai sublinia decat putine cuvinte dupa OCR, parca totusi nu mai recunostea text-ul asa de bine. Ca si cum avea prea multe cuvinte asemanatoare in dictionar si inlocuia dintre ele. Nu mai retin exact dar a ramas sa cercetez problema si nu am mai folosit dictionarele Roman.ame si Roman.txt rezultate atunci(Roman.txt avea peste 170.000 de linii).


 
   
#13
utilitasetveritas
Pe lista neagra
Sa ma lamuresc si eu totusi...
Aceste dictionare sunt folosite la extragerea ocr-ului sau la rularea corectorului ortografic din aplicatie?


 
   
#14
onlyra
Membru Junior
Acum am avut nitel timp sa mai sap. Pe site-ul lor, capitolul ABBYY FineReader Engine 11 for Windows, subcapitolul Optical Character Recognition (OCR), ei spun:
"52 languages have dictionary/morphology support that is significantly improves OCR accuracy."
http://www.abbyy.com/ocr_sdk_windows/OCR_stages/ocr/

Pe pagina
http://www.abbyy-developers.eu/en:tech: ... ry_support
in partea finala, apare si o mini explicatie a modului intern cum se alege varianta finala a cuvintelor. Exemplul de acolo, nu se potriveste foarte mult aici dar arata ca sunt folosite in procesul de OCR-izare aceste dictionare romanesti:
-dictionarele standard: Roman.amd, Roman.amm, si Roman.amt cat si
-extensiile lor, pe care utilizatorul le poate extinde, .ame si probabil .txt (despre care nu spune nimic).

Acuma, la ce ajuta toate aceste informatii? ... Cred ca doar m-au ajutat sa ajung la concluzia ca este foarte util sa maresti 'dictionarele utilizatorului' dar, asa cum spunea initial Seven, trebuie testate bine comparand si OCR-ul lor cu OCR-ul rezultat din folosirea dictionarelor cu care vine initial Abbyy.


 
   
#15
Seven
Moderator
Din: Ţara Perfectului Simplu
***
     Mulţumesc @onlyra şi @utilitasetveritas pentru interes şi ajutor.
     Ca să răspund concret şi cinstit la īntrebarea lui UV: habar n-am īn ce mod folosesc dicţionarele şi din păcate, necunoştinţele mele de limba engleză nu-mi permit să mă documentez mai mult.
     Sunt sigur de un singur lucru, şi anume că aceste dicţionare folosesc mai mult sau mai puţin, dar folosesc.
     Este clar că la o verificare ortografică la care ar apela userii care obişnuiesc să facă mici corecţii sau corecţii mai complexe direct īn Abbyy, astfel de dicţionare sunt folositoare.
     Deci, īn mod sigur sunt folositoare la rularea corectorului ortografic al Abbyy.

     Din ceea ce bănuiam eu şi din ceea ce a găsit @onlyra cred că aceste dicţionare ajută un pic şi la extragerea OCR. Eu am īnţeles că Abbyy face recunoaşterea optică şi īn secvenţa imediat următoare compară rezultatul cu cuvinte din dicţionare, alegānd cuvāntul care "īndeplineşte cele mai multe condiţii", apoi īl transferă īn textul OCR.

     Aş īncheia īn ideea următoare:
         - nu ştiu cāt de benefice sunt aceste dicţionare, dar sunt convins că ele nu fac rău;
         - am lucrat cu toată disponibilitatea şi plăcerea aceste dicţionare, şi pot să continui īn timp cu adăugarea de noi cuvinte. Problema cea mai mare este că adăugarea de noi cuvinte īn dicţionare se face doar prin adăugare cuvānt cu cuvānt, astfel că este imposibil să folosim o bază de cuvinte foarte mare.


_______________________________________

     Oameni şi popoare īşi cată libertatea; după ce-o obţin, īşi caută stăpān.


     | TORENTE | Tăunul | ROCAMBOLE+ | FLORIS | VRACIU | Victor HUGO | J.F. COOPER | PAPILLON | POLDARK |
     | Dictionare Lba RO | | Gramatica RO | D. Stănoiu | Zaharia STANCU | H.Y. STAHL | V.CORBUL & E.BURADA |
     | Ultimul regat | Millennium | Shantaram | Pearl BUCK | Anchee MIN | Amy TAN | C. LÄCKBERG | Ph.GREGORY |
     | Extraterestrii şi Intraterestrii | RUFOR | Demonul Roşu | Vraja milioanelor | Cărţi audio |

 
   
#16
onlyra
Membru Junior
Seven, tot in fereastra in care adaugi cuvinte exista butonul de import care vad ca accepta si liste de cuvinte oricat de lungi. Ai observat vreo problema la importul listelor de preferi adaugarea cuvant cu cuvant?

 
   
#17
Seven
Moderator
Din: Ţara Perfectului Simplu
***
      Mulţumesc, onlyra!
      Am adăugat manual cuvintele pentru simplu motiv că am fost convins că doar aşa se pot adăuga.
      Ştiam eu ceva despre importul de dicţionare, pentru că īn urmă cu un an sau ceva mai mult am făcut o probă cu un dicţionar de cuvinte scurte cu diacritice.
      Zilele astea am căutat chestia cu importul doar că am făcut asta īn zona setărilor de limbă şi īn opţiuni şi negăsind nimic am crezut că-mi joacă memoria feste... m-am gāndit că am confundat şi nu e vorba de Abbyy, ci de alt program.
      Acum cāteva minute tocmai am terminat dicţionarul īn Abbyy 9, iar la sfārşit am dat peste opţiunea "Tools --> Viev Dictionaries..." şi am văzut opţiunea de import şi toate celelalte.
      Am verificat şi īn Abbyy 11 şi am găsit opţiunile şi acolo...

      Mai bine mai tārziu decāt niciodată!
      Cred că acum, după atāta muncă manuală am să ţin minte.     
      Probabil aşa trebuia să se īntāmple... Acum cānd am intrat pe forum am văzut şi mesajul tău şi am primit şi un MP de la o altă persoană care-mi semnalau varianta cu importul.


      Deocamdată postez şi versiunea de dicţionare V1.02 pentru Abbyy 9.
      E vorba despre "Roman.ame" şi "Roman.pmd" din calea de căutare amintită īn postările de mai sus.

      Nume arhivă:   UserDictionaries V1.02 [A09].rar
      Download:  Dictionare ABBYY 09  - folder mediafire deschis.


_______________________________________

     Oameni şi popoare īşi cată libertatea; după ce-o obţin, īşi caută stăpān.


     | TORENTE | Tăunul | ROCAMBOLE+ | FLORIS | VRACIU | Victor HUGO | J.F. COOPER | PAPILLON | POLDARK |
     | Dictionare Lba RO | | Gramatica RO | D. Stănoiu | Zaharia STANCU | H.Y. STAHL | V.CORBUL & E.BURADA |
     | Ultimul regat | Millennium | Shantaram | Pearl BUCK | Anchee MIN | Amy TAN | C. LÄCKBERG | Ph.GREGORY |
     | Extraterestrii şi Intraterestrii | RUFOR | Demonul Roşu | Vraja milioanelor | Cărţi audio |

 
   
#18
onlyra
Membru Junior
Pe site-ul Abbyy spune ca butonul de import e folositor pentru a importa in Abbyy, sa zicem 12, dictionare create tot de Abbyy dar versiune mai veche(9, 10, 11) sau, il alt loc spune ca poti importa dictionare create cu Microsoft Word.
http://help.abbyy.com/FineReader/FineRe ... andRun.htm
Imi retrag sugestia pentru ca astazi am urmarit sa import un dictionar Hunspell format .dic (dupa ce am deschis fisierul .dic cu EditPlus Text Editor si l-am salvat cu codarea Unicode). Dictionarul e destul de consistent dar nu cred ca a fost importat corect. In final doar fisierul Roman.ame(pe care nu-l putem edita) a crescut in dimensiuni. Roman.txt a ramas deschimbat, ba chiar ulterior nici cuvintele adaugate manual nu mai apar in el.


 
   
#19
Seven
Moderator
Din: Ţara Perfectului Simplu
***
       Cred că există o explicaţie, dar e doar o ipoteză neverificată īncă.

       Dicţionarele de tip "dic" au mai multe structuri: unele au cuvintele scrise unele sub altele şi sunt uşor de vizualizat şi editat; altele au cuvintele scrise īn continuare unul după altul şi par a fi lipite sau despărţite cu diverse coduri.

       Cred că importul se poate face corect doar din dicţionare "dic" care au cuvintele scrise unele sub altele. De altfel, aşa apar cuvintele scrise īn "Roman.txt" din Abbyy 11 şi 12, respectiv "Roman.pmd" īn Abbyy 9.


_______________________________________

     Oameni şi popoare īşi cată libertatea; după ce-o obţin, īşi caută stăpān.


     | TORENTE | Tăunul | ROCAMBOLE+ | FLORIS | VRACIU | Victor HUGO | J.F. COOPER | PAPILLON | POLDARK |
     | Dictionare Lba RO | | Gramatica RO | D. Stănoiu | Zaharia STANCU | H.Y. STAHL | V.CORBUL & E.BURADA |
     | Ultimul regat | Millennium | Shantaram | Pearl BUCK | Anchee MIN | Amy TAN | C. LÄCKBERG | Ph.GREGORY |
     | Extraterestrii şi Intraterestrii | RUFOR | Demonul Roşu | Vraja milioanelor | Cărţi audio |

 
   
#20
onlyra
Membru Junior
Sunt vesti bune. Concluzia este ca se poate folosi butonul de Import din "Tools --> View Dictionaries-->View" pentru orice fel de liste, atat timp cat ele contin cuvinte separate de 'Enter' sau 'spatiu' si sunt salvate cu codare Unicode (eu folosesc pentru asta editoare mai mici gen EditPlus). Se pot incarca in felul acesta oricate cuvinte si Abbyy le foloseste la OCR-izare si corectarea ortografica.
Se pare ca dictionarul creat este stocat doar in fisierul 'Roman.ame'. Fisierul 'Roman.txt' este creat doar la iesirea din Abbyy (daca are mult de salvat dureaza un minut) si acel numar care apare dupa fiecare cuvant din fisier este legat de increderea ce i-o acorda Abbyy. Mai multe nu am gasit decat ca '100' reprezinta 'Full confidence', deci numerele... au un scop.

Test: am prelucrat, dupa regula de mai sus
-'Lista de cuvinte cu forme flexionare in limba romana' postata de @atari din care am eliminat ':' si ','
- fisierul 'Roman.txt' postat de @seven in 'UserDictionaries V1.01-pt AbbyFinereader' din care am eliminat spatiile si cifra 100
si le-am importat in Abbyy 12 intr-un dictionar gol. A rezultat o lista cu peste 1.300.000 de cuvinte si forme flexionare, din care 900 din lista de la @seven.
http://www.mediafire.com/download/no9aa ... Abby12.zip
Am OCR-izat cu acest dictionar 50 de pagini scanate si rezultatul este unul bun, dar mi-e greu sa il compar cu o OCR-izare obtinuta fara acest dictionar mastodont. Daca aveti scanari mai dificile, ca ghicire a cuvintelor, va rog sa faceti un test comparativ. La mine, cand utilizez dinctionarul mare, singura problema care am observat-o este ca litera 'c' este mai des gresit inlocuita cu 'e', sau invers, in cuvintele scurte: ca, ea, cu...

Se pot face teste si prin adaugarea unui dictionar Roman *.dic. Cel mentionat de mine mai sus (Hunspell) e singurul pe care-l stiu.

Exista si un mic dezavantaj: adaugarea ulterioara de cuvinte, specifice cartii in lucru, este destul de greoaie la un astfel de dictionar mare. La mine prima deschidere a dictionarului mare dureaza 2 minute, urmand ca apoi sa scada la jumate. Posibil sa gasim si pentru aceasta problema o rezolvare. Nu am observat o incetinire OCR-izarii daca se folosesc dictionare asa mari

Oricum foarte util este totusi o lista de cuvinte cu cratima. Acestea sunt cele care inca nu sunt recunoscute la corectia ortografica.


 
   
#21
Seven
Moderator
Din: Ţara Perfectului Simplu
***
     Lucrurile īncep să fie clare.
     Ar mai trebui să aflăm ce face Abbyy atunci cānd la importul unui nou dicţionar găseşte īn acesta cuvinte pe care el le are deja instalate īn "Roman.txt" şi "Roman.ame".
     Adică le ignoră şi cuvintele duble rămān instalate o singură dată? sau trebuie să fim noi atenţi să nu-i dăm dubluri ca să nu facă Abbyy vreo aiureală?


_______________________________________

     Oameni şi popoare īşi cată libertatea; după ce-o obţin, īşi caută stăpān.


     | TORENTE | Tăunul | ROCAMBOLE+ | FLORIS | VRACIU | Victor HUGO | J.F. COOPER | PAPILLON | POLDARK |
     | Dictionare Lba RO | | Gramatica RO | D. Stănoiu | Zaharia STANCU | H.Y. STAHL | V.CORBUL & E.BURADA |
     | Ultimul regat | Millennium | Shantaram | Pearl BUCK | Anchee MIN | Amy TAN | C. LÄCKBERG | Ph.GREGORY |
     | Extraterestrii şi Intraterestrii | RUFOR | Demonul Roşu | Vraja milioanelor | Cărţi audio |

 
   
#22
meridiane
MEMBRU VIP
Nu foloseste nimeni Abby 10??
Sau am scapat ceva?


 
   
#23
Seven
Moderator
Din: Ţara Perfectului Simplu
***
      "Nimeni" e mult spus, dat fiind că pānă acum au participat la discuţie doar 3-4 persoane.
      E foarte bine că tu ai Abbyy 10. Dacă ai testa dicţionarele ar fi foarte bine să ştim dacă funcţionează.
      Părerea mea neverificată este că īn Abbyy 10 ar trebui să meargă dicţionarele de la Abbyy 11.
      Ne-ar fi de mare folos dacă ai verifica aspectul ăsta şi să ne spui apoi constatările tale.


_______________________________________

     Oameni şi popoare īşi cată libertatea; după ce-o obţin, īşi caută stăpān.


     | TORENTE | Tăunul | ROCAMBOLE+ | FLORIS | VRACIU | Victor HUGO | J.F. COOPER | PAPILLON | POLDARK |
     | Dictionare Lba RO | | Gramatica RO | D. Stănoiu | Zaharia STANCU | H.Y. STAHL | V.CORBUL & E.BURADA |
     | Ultimul regat | Millennium | Shantaram | Pearl BUCK | Anchee MIN | Amy TAN | C. LÄCKBERG | Ph.GREGORY |
     | Extraterestrii şi Intraterestrii | RUFOR | Demonul Roşu | Vraja milioanelor | Cărţi audio |

 
   
#24
utilitasetveritas
Pe lista neagra
Sa inteleg ca dictionarele de Abby 9 vor contine aceleasi cuvinte ca cele de Abby 12, dar cu scrierea clasica?

P.S.
In Abby 9 trebuie sa ai un proiect deschis pe care sa rulezi recunoasterea, apoi sa importi acel dictionar text. Altfel la repornirea programului nu il mai regasesti in Abby. Incarci dictionarul, rulezi corectorul ortografic pe o pagina, apoi inchizi Abby, il repornesti gol si verifici existenta dictionarului.
Poate gresesc, dar au fost dati cand, dupa o instalare de Abby, am incarcat dictionarul, dar la repornire sa nu il mai gasesc incarcat.


 
   
#25
Seven
Moderator
Din: Ţara Perfectului Simplu
***
      Referitor la ce am postat eu:
      Am postat mai sus dicţionarele V1.02 pentru Abbby 9.
      Ele conţin absolut aceleaşi cuvinte ca şi dicţionarele V1.02 pentru Abbyy 11. M-am gāndit să pun aceeaşi versiune ca să nu mai trebuiască să fie verificată lista de cuvinte.
      Dicţionarele suplimentare pentru Abbyy 9 sunt "Roman.ami" şi "roman.pmd"
      Intuiesc că dicţionarul cu care lucrează Abbyy este acel "ami", iar "pmd" este o listă a cuvintelor.

      Īn cazul Abbyy 11, 12 şi probabil 10, dicţionarele sunt "Roman.ami" şi "Roman.txt".
      Practic īncepānd cu versiunea Abbyy 11 [sau 10], dispare lista "Roman.pmd" şi apare lista "Roman.txt", care are o structură similară, doar că nu mai apare īn dreptul fiecărui cuvānt menţiunea [Invariable] , ca īn "pmd", ci un cod nou sub forma 100.

      Dacă se va dovedi că aceste dicţionare sunt utile, intenţionez ca pe viitor să mă ocup de două grupuri de cuvinte: cuvinte cu cratimă, deoarece acestea par să nu fie īnregistrate īn dicţionarele īncorporate din Abbyy şi cuvinte īn limbaj clasic.
      Poate că ar trebui ca dicţionarele cu cuvinte clasice să fie separate pentru a fi activate doar atunci cānd avem carte tipărită īn limbaj clasic. Problema asta rămāne de dicutat.


_______________________________________

     Oameni şi popoare īşi cată libertatea; după ce-o obţin, īşi caută stăpān.


     | TORENTE | Tăunul | ROCAMBOLE+ | FLORIS | VRACIU | Victor HUGO | J.F. COOPER | PAPILLON | POLDARK |
     | Dictionare Lba RO | | Gramatica RO | D. Stănoiu | Zaharia STANCU | H.Y. STAHL | V.CORBUL & E.BURADA |
     | Ultimul regat | Millennium | Shantaram | Pearl BUCK | Anchee MIN | Amy TAN | C. LÄCKBERG | Ph.GREGORY |
     | Extraterestrii şi Intraterestrii | RUFOR | Demonul Roşu | Vraja milioanelor | Cărţi audio |

 
   
Pagini:  1 2  
Mergi la