Câștiguri:
- Abilitatea de a configura fluxul de lucru HTR și de transliterare și de a explica de ce schița brută necesită verificarea de către experți linie cu linie
- Capacitatea de a proteja zonele ilizibile cerând alternative în loc de a impune o citire precisă în caz de ambiguitate a vocalei/literei în limba turcă otomană
- Abilitatea de a separa transliterația originală dintr-un strat separat de simplificare, păstrând responsabilitatea științifică finală a paleografului
Poate cea mai solicitantă parte a cercetării istorice este transcrierea manuscriselor și a documentelor scrise vechi în text care poate fi citit. O scrisoare, un caiet, un proces-verbal sau un document otoman pot fi căutate numai după ce au fost transcrise. Transcrierea este actul de a transfera conținutul unui document (cel mai adesea scris de mână sau script antic) într-un text scris, care poate fi citit. În cazul otomanului, aceasta este adesea însoțită de transliterare: transferul textului cu litere arabe în alfabetul latin cu echivalentele sale literă cu literă.
Am folosit OCR pentru textele tipărite; Scrisul de mână necesită o tehnologie diferită: HTR (Handwritten Text Recognition). HTR este o tehnologie similară cu OCR, dar mult mai dificilă, care convertește documentele scrise de mână în text automat. În această unitate vom vedea cum să folosim HTR și AI în transcrierea otomană și manuscrisă, marjele de eroare și de ce verificarea este și mai critică aici.
De ce este scrisul de mână atât de dificil?
Scrisul de mână este mult mai variabil decât textul tipărit: fiecare scriitor are o mână unică, literele sunt legate între ele, sunt folosite abrevieri și semne speciale, cerneala curge, hârtia se uzează. În limba turcă otomană dificultatea este înmulțită:
- Forme de litere contextuale: aceeași literă este scrisă diferit la începutul, mijlocul și sfârșitul cuvântului.
- Nu se scriu vocale: vocalele scurte nu sunt adesea scrise; cititorul completează din context. Acest lucru creează ambiguități precum „acceptare sau respingere?”
- Diferite stiluri de scriere: Există diferite stiluri de scriere de mână, cum ar fi rik'a, divani, ta'lik; Fiecare necesită o expertiză diferită de lectură.
- Vocabular otoman: Cuvinte din arabă și persană care nu există în turca de astăzi.
Prin urmare, HTR și AI funcționează cu o marjă de eroare mult mai mare în limba turcă otomană decât OCR tipărit. Ochiul unui paleograf expert (paleografia - știința citirii scrierilor antice) nu este aici un instrument, ci o necesitate.
Flux de lucru: pas cu pas
1. Pregătiți calitatea documentului. Ca și în cazul OCR, rezoluția înaltă și contrastul bun sunt esențiale. Acest lucru este și mai critic în scris de mână.
2. Selectați modelul HTR. Modelele cu scriere de mână otomană, arabă sau HTR instruite special pentru o anumită perioadă au mult mai mult succes decât modelele generale. Testați care model funcționează bine pentru o perioadă și stil de scriere.
3. Generați transcriere brută. Modelul HTR produce un contur. În limba turcă otomană, acest proiect este un început plin de erori pe care un ochi experimentat trebuie să le verifice temeinic.
4. Îmbunătățirea contextuală cu AI. Puteți avea inconsecvențe ale semnalului AI, posibile alternative de lectură și locații suspecte în rezultatul brut. Dar „corecția” AI este deosebit de riscantă aici: ar putea sugera o lectură artificială.
5. Transliterare și simplificare (stratificată). Transliterarea textului cu litere arabe în litere latine, urmată de citirea sa simplificată în limba turcă de astăzi, este produsă ca straturi separate. Originalul nu se rupe niciodată.
6. Verificare expert. Transcrierea finală este aprobată de un expert cu paleografie și cunoștințe de epocă prin compararea acesteia cu documentul.
Atenție: În limba turcă otomană, atunci când „ghicește” un cuvânt cu o vocală nescrisă din context, AI poate produce o lectură complet greșită și o poate prezenta într-o limbă sigură. O diferență de litere, cum ar fi „kabul” în loc de „kabil” sau „alem” în loc de „alim”, schimbă complet sensul. Fiecare lectură incertă ar trebui să fie prezentată cu alternative și nu ar trebui impusă nicio lectură definitivă.
Straturi și responsabilitate cu un tabel
strat
Conținut
Rolul AI
Rolul expertului
Imagine
document original
—
Sursa
draft HTR
Citirea brută a mașinii
produce
Control de la început până la sfârșit
transliterare
transpunerea literei latine
proiectul sugerează
Corectează, corectează
Note de incertitudine
[?] și alternative
semne
decide
Simplificare
Turca de azi
proiectul sugerează
Aprobari
publicație științifică
Text final + note
—
Doar expert
trei mini cutii
Cazul 1 — HTR a accelerat prima schiță de 5 ori. Un doctorand ar transcrie un caiet otoman de 200 de pagini. Transcrierea manuală completă a fost estimată la 60 de zile lucrătoare. Cu un model HTR antrenat pentru perioada, draftul brut a iesit in cateva ore; Studentul a corectat acest proiect și a redus munca la 12 zile lucrătoare. Dar trebuia să compare fiecare pagină cu documentul, rând cu rând; Aproximativ 30% din schiță a fost incorectă.
Cazul 2 – O literă, un sens. Un cercetător s-a bazat pe un cuvânt pe care AI l-a citit drept „guvernator”. Sub controlul experților, s-a înțeles că cuvântul era de fapt „tutore” (responsabil pentru un copil/persoană), iar din moment ce vocala nu a fost marcată, AI a ghicit greșit. Sensul legal al documentului se schimba complet. Lecție: În limba turcă otomană, o singură diferență de literă/vocală face ca documentul să fie interpretat de la început; este necesar un expert.
Cazul 3 – Finalizare artificială. Într-o linie a cărei cerneală se terminase și din care un cuvânt era ilizibil, AI a umplut golul cu un cuvânt „logic”. Expertul și-a dat seama că acel decalaj era de fapt un nume de loc și că AI îl inventase. Spațiu rămas ca [ilizibil]. Lecția: spațiul ilizibil nu este umplut, este marcat.
Patru șabloane copiabile
1) Transliterație care păstrează ambiguitatea:
Mai jos este rezultatul brut HTR/transliterarea unui document otoman. Sarcina dvs. este să revizuiți textul și să semnalați posibilele erori de citire. Reguli: (1) Oferă 2-3 alternative posibile de lectură pentru fiecare cuvânt de care nu ești sigur, nu impune unul. (2) Lăsați [ilizibil] în zonele ilizibile, nu le umpleți. (3) Adăugarea cuvintelor care nu există în text. (4) Afișați alternative în cuvinte cu vocale ambigue. Text: [aici]
2) Citire stratificată (original + simplificare):
Generați DOUĂ coloane pentru următoarea transliterație otomană verificată: (1) Transliterație originală (atingere), (2) Citire simplificată în limba turcă de astăzi. Adăugarea sensului, adăugarea interpretării în simplificare; doar actualizați limba. Marcați locurile cu sens ambiguu [indistinct]. Transliterare: [aici]
3) Extragerea termenului și a persoanei:
Numele personale, numele locurilor, titlurile și termenii periodici menționate în transcrierea de mai jos apar în liste separate. Luați doar cele menționate CLAR în text; Nu adăugați ghicind. Marcați cu [?] dacă nu sunteți sigur de pronunție. Text: [aici]
4) Controlul citirii suspecte:
Un controlor de paleografie cu experiență în acest rol. În transcrierea de mai jos, marcați cuvintele care sunt inconsecvente ca semnificație, nu se potrivesc cu perioada sau nu se încadrează în context și scrieți de ce sunt suspecte. Impunerea corecției definitive; Generați o listă de suspiciuni pe care expertul uman le va compara cu documentul. Text: [aici]
Prompt slab / Prompt puternic
slab:
Citește acest text otoman și dă-mi traducerea lui.
Acest lucru împinge AI să producă o lectură unică, definitivă, ascunzând ambiguitățile și potrivindu-se în goluri. În limba turcă otomană, aceasta este aproape o greșeală garantată.
Puternic:
Consultați mai jos transliterația otomană. O lectură definitivă: IMPOZIȚIE. Furnizați alternative posibile pentru fiecare cuvânt ambiguu, omiteți părți [ilizibile], nu adăugați nimic care nu este în text. Dați citirea simplificată turcului de astăzi într-o coloană separată, dar păstrați originalul. Marcați orice despre care nu sunteți sigur cu [?], astfel încât expertul să îl poată compara cu documentul. Text: [aici]
Diferența: interzicerea strictă a citirii, solicitarea de alternative, păstrarea spațiului alb și ieșirea în straturi permit verificarea de către experți.
Greșeli comune
- Greșeală schița HTR ca fiind corectă. În limba turcă otomană, o mare parte din proiectul brut poate fi inexact; Controlul linie cu linie este o necesitate.
- Singura lectură definitivă este a impune. Dacă alternativele sunt ascunse în cuvinte ale căror vocale nu sunt scrise, se va înregistra semnificația greșită.
- Completarea zonei ilizibile. Ar trebui protejat de spații albe [ilizibile], nu inventat.
- Amestecarea originalului cu simplificare. Simplificarea ar trebui să fie un strat separat; Transliterația originală nu trebuie distorsionată.
- Dezactivarea expertului. Fără cunoștințe de paleografie și perioadă, citirea AI este o presupunere fără valoare științifică.
În concluzie
Transcrierea otomană și manuscrisă poate fi foarte accelerată în stadiul de proiect brut cu HTR și AI; Obțineți o primă producție care reduce zilele de lucru la ore. Dar tocmai în acest domeniu o singură literă, o singură diferență de vocală schimbă sensul; AI tinde să ascundă incertitudinea și să umple golurile. Metoda corectă este stratificată: contur brut, note alternative de ambiguitate, un strat separat de simplificare și, mai presus de toate, verificarea linie cu linie a documentului de către un expert familiarizat cu paleografia. AI accelerează citirea inițială; Responsabilitatea științifică revine expertului.
Sarcina de aplicare
Obțineți o transliterație a unui document otoman sau manuscris (producția dvs. proprie sau o copie publicată). Solicitați AI pentru o lectură alternativă cu șablonul „transliterație care păstrează ambiguitatea”. Apoi generați stratul de simplificare separat cu „lectura în straturi”. Comparați fiecare cuvânt marcat vag cu o sursă sau un dicționar expert; Observați câte erori ar produce AI dacă ar impune o singură citire.
lista de verificare
- [ ] Am folosit un HTR/model adecvat perioadei și stilului de scriere.
- [ ] Am cerut AI alternative alternative la citirea exactă.
- [ ] Am protejat părțile ilizibile cu [ilegibil].
- [ ] Am păstrat transliterația originală separată de simplificare.
- [ ] Am avut textul final verificat de un expert/documentar care cunoaște paleografia.