Dobici:
- Sposobnost postavljanja toka rada HTR-a i transliteracije i objašnjenja zašto neobrađeni nacrt zahtijeva stručnu provjeru red po red
- Sposobnost zaštite nečitljivih područja traženjem alternativa umjesto nametanja preciznog čitanja u slučaju dvosmislenosti samoglasnika/slova u osmanskom turskom
- Sposobnost odvajanja originalne transliteracije od posebnog sloja pojednostavljenja, zadržavajući konačnu naučnu odgovornost na paleografu
Možda najzahtjevniji dio historijskog istraživanja je prepisivanje rukopisa i starih pisanih dokumenata u čitljiv tekst. Pismo, sveska, sudski zapisnik ili osmanski dokument postaju pretraživi tek nakon što su prepisani. Transkripcija je čin prenošenja sadržaja dokumenta (najčešće rukom pisanog ili drevnog pisma) u pisani, čitljiv tekst. U slučaju otomanskog jezika, ovo je često praćeno transliteracijom: prenošenjem teksta arapskim slovima na latinično pismo sa njegovim ekvivalentima slovo po slovo.
Koristili smo OCR za štampane tekstove; Za pisanje rukom potrebna je drugačija tehnologija: HTR (prepoznavanje rukom pisanog teksta). HTR je tehnologija slična OCR-u, ali mnogo izazovnija koja pretvara rukom pisane dokumente u strojni tekst. U ovoj cjelini ćemo vidjeti kako koristiti HTR i AI u osmanskoj transkripciji i transkripciji rukopisa, granice greške i zašto je provjera ovdje još važnija.
Zašto je rukopis tako težak?
Rukopis je mnogo varijabilniji od štampanog teksta: svaki pisac ima jedinstvenu ruku, slova su povezana, koriste se skraćenice i posebni znakovi, mastilo curi, papir se troši. U osmanskom turskom teškoća je umnožena:
- Kontekstualni oblici slova: Isto slovo se različito piše na početku, sredini i kraju riječi.
- Nepišu samoglasnici: Kratki samoglasnici se često ne pišu; čitalac završava iz konteksta. To stvara nejasnoće kao što su "prihvatanje ili odbijanje?"
- Različiti stilovi pisanja: Postoje različiti stilovi rukopisa kao što su rik'a, divani, ta'lik; Svaki od njih zahtijeva različitu stručnost čitanja.
- Osmanski vokabular: riječi iz arapskog i perzijskog jezika koje ne postoje u današnjem turskom jeziku.
Stoga, HTR i AI rade sa mnogo većom marginom greške na otomanskom turskom nego štampani OCR. Oko stručnog paleografa (paleografija - nauka o čitanju drevnih spisa) ovdje nije alat, već potreba.
Tok rada: korak po korak
1. Pripremite kvalitetu dokumenta. Kao i kod OCR-a, neophodna je visoka rezolucija i dobar kontrast. Ovo je još važnije za rukopis.
2. Odaberite HTR model. Osmanski, arapski rukopis ili HTR modeli posebno obučeni za određeni period su mnogo uspješniji od općih modela. Testirajte koji model dobro funkcionira za određeni period i stil pisanja.
3. Generirajte sirovu transkripciju. HTR model daje obris. Na osmanskom turskom, ovaj nacrt je početak pun grešaka koje iskusno oko mora temeljito provjeriti.
4. Kontekstualno poboljšanje sa AI. Možete imati nedosljednosti AI zastavice, moguće alternative čitanja i sumnjive lokacije u sirovom izlazu. Ali "ispravka" AI je ovdje posebno rizična: mogla bi sugerirati izmišljeno čitanje.
5. Transliteracija i pojednostavljenje (slojevito). Transliteracija teksta arapskim slovima na latinična, nakon čega slijedi njegovo pojednostavljeno čitanje na današnji turski jezik, proizvodi se kao zasebni slojevi. Original se nikada ne lomi.
6. Stručna verifikacija. Konačnu transkripciju odobrava stručnjak sa poznavanjem paleografije i perioda upoređivanjem sa dokumentom.
Pažnja: U osmanskom turskom, kada se iz konteksta "pogodi" riječ s nenapisanim samoglasnikom, AI može proizvesti potpuno pogrešno čitanje i predstaviti ga sigurnim jezikom. Razlika u slovima, kao što je "kabul" umjesto "kabil" ili "alem" umjesto "alim", potpuno mijenja značenje. Svako neizvjesno čitanje treba imati alternativu i ne smije se nametati jedno određeno čitanje.
Slojevi i odgovornost sa stolom
sloj
Sadržaj
Uloga AI
Uloga stručnjaka
Slika
originalni dokument
—
Izvor
HTR draft
Neobrađeno mašinsko čitanje
proizvodi
Kontrola od početka do kraja
transliteracija
Transpozicija latiničnog slova
nacrt predlaže
Ispravlja, ispravlja
Bilješke o neizvjesnosti
[?] i alternative
znakovi
odlučuje
Pojednostavljenje
Današnji turski
predlaže nacrt
Odobrenja
naučna publikacija
Završni tekst + bilješke
—
Samo stručnjak
tri mini kofera
Slučaj 1 — HTR je ubrzao prvi nacrt za 5x. Doktorand bi prepisao osmansku svesku od 200 stranica. Potpuna ručna transkripcija procijenjena je na 60 radnih dana. Sa HTR modelom obučenim za taj period, sirovi nacrt je izašao za nekoliko sati; Student je ispravio ovaj nacrt i smanjio rad na 12 radnih dana. Ali morao je da uporedi svaku stranicu sa dokumentom, red po red; Oko 30% nacrta bilo je netačno.
Slučaj 2 — Jedno slovo, jedno značenje. Jedan istraživač se oslonio na riječ koju je AI pročitao kao "guverner". Pod stručnom kontrolom shvatilo se da je riječ zapravo "staratelj" (odgovoran za dijete/osobu), a pošto samoglasnik nije označen, AI ga je pogrešno pogodila. Pravno značenje dokumenta se potpuno mijenjalo. Pouka: U osmanskom turskom, jedno slovo/samoglasnik razlika uzrokuje da se dokument tumači od početka; potreban je stručnjak.
Slučaj 3 — Izmišljeni završetak. U redu čije je mastilo nestalo i od kojih je jedna reč bila nečitljiva, AI je popunio prazninu „logičnom“ rečju. Stručnjak je shvatio da je taj jaz zapravo naziv mjesta i da ga je AI nadoknadio. Ostavljen prostor kao [nečitko]. Pouka: nečitljiv prostor nije popunjen, označen je.
Četiri šablona za kopiranje
1) Transliteracija koja čuva dvosmislenost:
Ispod je HTR sirovi izlaz/transliteracija otomanskog dokumenta. Vaš zadatak je da pregledate tekst i označite moguće greške u čitanju. Pravila: (1) Ponudite 2-3 moguće alternative čitanja za svaku riječ za koju niste sigurni, nemojte je nametati. (2) Ostavite [nečitko] u nečitkim područjima, nemojte ih popunjavati. (3) DODAVANJE riječi koje ne postoje u tekstu. (4) Pokažite alternative u riječima s dvosmislenim samoglasnicima. Tekst: [ovdje]
2) Slojevito čitanje (original + pojednostavljenje):
Generirajte DVA kolone za sljedeću verifikovanu otomansku transliteraciju: (1) Originalna transliteracija (dodirom), (2) Pojednostavljeno čitanje na današnji turski jezik. DODAVANJE značenja, dodavanje tumačenja u pojednostavljenju; samo ažurirajte jezik. Označite mjesta sa dvosmislenim značenjem [nejasno]. Transliteracija: [ovdje]
3) Termin i izvlačenje lica:
Lična imena, nazivi mjesta, titule i periodični termini spomenuti u transkripciji ispod pojavljuju se u posebnim listama. Uzmite samo one koji su JASNO pomenuti u tekstu; Nemojte dodavati pogađanjem. Označite sa [?] ako niste sigurni u izgovor. Tekst: [ovdje]
4) Kontrola sumnjivog čitanja:
U ulozi iskusan paleografski kontrolor. U transkripciji u nastavku označite riječi koje su nedosljedne po značenju, koje se ne uklapaju u tačku ili se ne uklapaju u kontekst i napišite zašto su sumnjive. Nametanje definitivne korekcije; Napravite listu sumnji koje će ljudski stručnjak uporediti sa dokumentom. Tekst: [ovdje]
Slaba prompt / Jaka prompt
slaba:
Pročitaj ovaj osmanski tekst i daj mi njegov prijevod.
Ovo gura AI da proizvede jedno, definitivno čitanje, skrivajući nejasnoće i uklapajući se u praznine. U osmanskom turskom, ovo je gotovo zagarantovana greška.
Jaka:
U nastavku pogledajte otomansku transliteraciju. Definitivno čitanje: NAMET. Navedite moguće alternative za svaku dvosmislenu riječ, izostavite [nečitke] dijelove, nemojte dodavati ništa što nije u tekstu. Dajte pojednostavljeno čitanje današnjem turskom jeziku u posebnoj koloni, ali zadržite original. Sve u što niste sigurni označite sa [?] kako bi stručnjak mogao to uporediti sa dokumentom. Tekst: [ovdje]
Razlika: stroga zabrana čitanja, traženje alternativa, očuvanje razmaka i slojeviti izlaz omogućavaju stručnu verifikaciju.
Uobičajene greške
- Pogreška nacrt HTR-a kao tačan. U osmanskom turskom, veći dio sirovog nacrta može biti netačan; Kontrola linija po linija je obavezna.
- Jedino definitivno čitanje je nametanje. Ako su alternative skrivene u riječima čiji samoglasnici nisu napisani, pogrešno značenje će biti zabilježeno.
- Popunjavanje nečitljivog područja. Treba ga zaštititi razmakom [nečitko], a ne izmišljati.
- Miješanje originala uz pojednostavljenje. Pojednostavljenje bi trebalo da bude poseban sloj; Originalna transliteracija ne bi trebala biti iskrivljena.
- Onemogućavanje stručnjaka. Bez znanja o paleografiji i periodu, čitanje AI je pretpostavka bez naučne vrednosti.
Ukratko
Osmanska transkripcija i transkripcija rukopisa mogu se znatno ubrzati u fazi sirovog nacrta uz HTR i AI; Dobijate prvi rezultat koji smanjuje dane rada na sate. Ali upravo u ovom području jedno slovo, jedna samoglasnička razlika mijenja značenje; AI teži da sakrije nesigurnost i popuni praznine. Ispravan metod je slojevit: sirovi obris, alternativne napomene nejasnoća, poseban sloj pojednostavljenja i, prije svega, red po red provjera dokumenta od strane stručnjaka upoznatog s paleografijom. AI ubrzava početno čitanje; Naučna odgovornost pripada stručnjaku.
Zadatak aplikacije
Nabavite transliteraciju osmanskog ili rukopisnog dokumenta (sopstvenu produkciju ili objavljenu kopiju). Zatražite od AI alternativno čitanje s predloškom "transliteracija koja čuva dvosmislenost". Zatim generirajte sloj pojednostavljenja zasebno sa "slojevitim čitanjem". Uporedite svaku nejasno označenu reč sa stručnim izvorom ili rečnikom; Imajte na umu koliko bi grešaka AI proizvela ako bi nametnula jedno očitavanje.
kontrolna lista
- [ ] Koristio sam HTR/model koji odgovara periodu i stilu pisanja.
- [ ] Zatražio sam od AI alternative za tačno očitavanje.
- [ ] Zaštitio sam nečitljive dijelove sa [nečitljivo].
- [ ] Zadržao sam originalnu transliteraciju odvojeno od pojednostavljenja.
- [ ] Konačan tekst mi je verificirao stručnjak/dokumentar koji poznaje paleografiju.