Dobici:
- Sposobnost postavljanja HTR-a i tijeka rada transliteracije i objašnjenja zašto neobrađeni nacrt zahtijeva stručnu provjeru redak po redak
- Sposobnost zaštite nečitljivih područja traženjem alternativa umjesto nametanja preciznog čitanja u slučaju dvosmislenosti samoglasnika/slova u osmanskom turskom
- Sposobnost odvajanja izvorne transliteracije od zasebnog sloja pojednostavljenja, zadržavajući konačnu znanstvenu odgovornost s paleografom
Možda najzahtjevniji dio povijesnog istraživanja je prepisivanje rukopisa i starih pisanih dokumenata u čitljiv tekst. Pismo, bilježnica, sudski zapisnik ili osmanski dokument postaje pretraživ tek nakon što se prepiše. Transkripcija je čin prijenosa sadržaja dokumenta (najčešće rukom pisanog ili starog pisma) u pisani, čitljivi tekst. U slučaju osmanskog, to je često popraćeno transliteracijom: prijenosom teksta napisanog arapskim slovima u latinični alfabet s njegovim ekvivalentima slovo po slovo.
Koristili smo OCR za tiskane tekstove; Za rukopis je potrebna drugačija tehnologija: HTR (Handwritten Text Recognition). HTR je tehnologija slična OCR-u, ali mnogo zahtjevnija koja pretvara rukom pisane dokumente u strojni tekst. U ovoj jedinici ćemo vidjeti kako koristiti HTR i AI u osmanskom transkripciji i transkripciji rukopisa, granice pogreške i zašto je provjera ovdje još kritičnija.
Zašto je rukopis tako težak?
Rukopis je mnogo varijabilniji od tiskanog teksta: svaki pisac ima jedinstvenu ruku, slova su međusobno povezana, koriste se kratice i posebni znakovi, tinta curi, papir se istroši. U osmanskom turskom jeziku poteškoća je višestruka:
- Kontekstualni oblici slova: Isto slovo se različito piše na početku, sredini i kraju riječi.
- Ne pisanje samoglasnika: Kratki samoglasnici često se ne pišu; čitatelj dovršava iz konteksta. To stvara dvosmislenosti kao što su "prihvaćanje ili odbijanje?"
- Različiti stilovi pisanja: Postoje različiti stilovi rukopisa kao što su rik'a, divani, ta'lik; Svaki zahtijeva drugačiju stručnost čitanja.
- Osmanski vokabular: Riječi iz arapskog i perzijskog koje ne postoje u današnjem turskom.
Stoga HTR i AI rade s puno većom marginom pogreške na osmanskom turskom nego OCR za ispis. Oko stručnog paleografa (paleografija - znanost o čitanju starih spisa) ovdje nije alat, nego potreba.
Tijek rada: korak po korak
1. Pripremite kvalitetu dokumenta. Kao i kod OCR-a, bitni su visoka razlučivost i dobar kontrast. Ovo je još kritičnije u rukopisu.
2. Odaberite HTR model. Osmanski, arapski rukopis ili modeli HTR koji su posebno obučeni za određeno razdoblje mnogo su uspješniji od općih modela. Testirajte koji model dobro funkcionira za razdoblje i stil pisanja.
3. Generirajte sirovu transkripciju. Model HTR daje obris. Na osmanskom turskom, ovaj nacrt je početak pun grešaka koje iskusno oko mora temeljito provjeriti.
4. Kontekstualno poboljšanje s AI. Možete imati nedosljednosti AI zastavice, moguće alternative čitanja i sumnjive lokacije u sirovom izlazu. Ali "ispravak" umjetne inteligencije ovdje je posebno riskantan: mogao bi sugerirati izmišljeno čitanje.
5. Transliteracija i pojednostavljenje (slojevito). Transliteracija teksta napisanog arapskim slovima u latinična slova, nakon čega slijedi njegovo pojednostavljeno čitanje na današnji turski jezik, proizvodi se kao zasebni slojevi. Original se nikad ne pokvari.
6. Stručna provjera. Konačni prijepis uspoređuje s dokumentom stručnjak koji poznaje paleografiju i razdoblje.
Pažnja: U osmanskom turskom, kada "pogađa" riječ s nenapisanim samoglasnikom iz konteksta, AI može proizvesti potpuno pogrešno čitanje i prikazati ga na samouvjerenom jeziku. Razlika u slovima, poput "kabul" umjesto "kabil" ili "alem" umjesto "alim", potpuno mijenja značenje. Svako nesigurno čitanje trebalo bi biti predstavljeno s alternativama, a nijedno konačno čitanje ne bi trebalo biti nametnuto.
Slojevi i odgovornost sa stolom
sloj
Sadržaj
Uloga umjetne inteligencije
Uloga stručnjaka
Slika
izvorni dokument
—
Izvor
HTR nacrt
Sirovo strojno čitanje
proizvodi
Kontrola od početka do kraja
transliteracija
Transpozicija latiničnog slova
nacrt predlaže
Ispravlja, ispravlja
Bilješke nesigurnosti
[?] i alternative
znakovi
odlučuje
Pojednostavljenje
Današnji turski
nacrt predlaže
Odobrenja
znanstvena publikacija
Završni tekst + bilješke
—
Samo stručnjak
tri mini kućišta
Slučaj 1 — HTR je ubrzao prvu skicu za 5x. Doktorand bi prepisao osmansku bilježnicu od 200 stranica. Potpuna ručna transkripcija procijenjena je na 60 radnih dana. S HTR modelom obučenim za to razdoblje, neobrađeni nacrt izašao je za nekoliko sati; Student je ispravio ovaj nacrt i skratio rad na 12 radnih dana. Ali morao je svaku stranicu usporediti s dokumentom, red po red; Oko 30% nacrta bilo je netočno.
Slučaj 2 — Jedno slovo, jedno značenje. Jedan se istraživač oslonio na riječ koju je umjetna inteligencija pročitala kao "guverner". Pod kontrolom stručnjaka shvatilo se da je riječ zapravo o "čuvaru" (odgovornom za dijete/osobu), a kako samoglasnik nije označen, AI ga je pogrešno pogodila. Pravno značenje dokumenta potpuno se mijenjalo. Lekcija: U osmanskom turskom, jedno slovo/razlika samoglasnika uzrokuje da se dokument tumači od početka; potreban je stručnjak.
Slučaj 3 — Izmišljeni završetak. U retku čija je tinta ponestala i jedna riječ nije bila čitljiva, AI je popunio prazninu "logičkom" riječi. Stručnjak je shvatio da je ta praznina zapravo ime mjesta i da ju je AI izmislila. Razmak ostavljen kao [nečitko]. Pouka: nečitljiv prostor nije popunjen, označen je.
Četiri predloška za kopiranje
1) Transliteracija koja čuva dvosmislenost:
Ispod je HTR neobrađeni izlaz/transliteracija osmanskog dokumenta. Vaš zadatak je pregledati tekst i označiti moguće pogreške u čitanju. Pravila: (1) Ponudite 2-3 moguće alternative čitanja za svaku riječ u koju niste sigurni, nemojte je nametati. (2) Ostavite [nečitko] u nečitkim područjima, nemojte ih ispunjavati. (3) DODAVANJE riječi koje ne postoje u tekstu. (4) Pokažite alternative u riječima s dvosmislenim samoglasnicima. Tekst: [ovdje]
2) Slojevito čitanje (izvornik + pojednostavljenje):
Generirajte DVA stupca za sljedeću potvrđenu otomansku transliteraciju: (1) Izvorna transliteracija (dodirom), (2) Pojednostavljeno čitanje na današnji turski. DODAVANJE značenja, dodavanje tumačenja u pojednostavljenju; samo ažurirajte jezik. Označite mjesta s dvosmislenim značenjem [nejasno]. Transliteracija: [ovdje]
3) Izdvajanje pojma i osobe:
Osobna imena, nazivi mjesta, naslovi i periodički pojmovi spomenuti u transkripciji u nastavku pojavljuju se u posebnim popisima. Uzmite samo one JASNO navedene u tekstu; Nemojte dodavati pogađanjem. Označite s [?] ako niste sigurni u izgovor. Tekst: [ovdje]
4) Kontrola sumnjivog čitanja:
U ulozi iskusni kontrolor paleografije. U donjem prijepisu označi riječi koje su nedosljedne u značenju, ne odgovaraju točki ili se ne uklapaju u kontekst te napiši zašto su sumnjive. Nametanje definitivne korekcije; Generirajte popis sumnji koje će ljudski stručnjak usporediti s dokumentom. Tekst: [ovdje]
Slab upit / Jak upit
Slabo:
Pročitajte ovaj osmanski tekst i dajte mi njegov prijevod.
To tjera AI da proizvede jedno, konačno čitanje, skrivajući dvosmislenosti i uklapajući se u praznine. U osmanskom turskom, ovo je gotovo zajamčena pogreška.
Jako:
U nastavku pogledajte osmansku transliteraciju. Definitivno čitanje: NAMETANJE. Navedite moguće alternative za svaku dvosmislenu riječ, izostavite [nečitke] dijelove, ne dodajte ništa što nije u tekstu. Prenesite pojednostavljeno čitanje današnjem turskom u zasebnom stupcu, ali zadržite izvornik. Sve u što niste sigurni označite s [?] kako bi stručnjak to mogao usporediti s dokumentom. Tekst: [ovdje]
Razlika: stroga zabrana čitanja, traženje alternativa, očuvanje razmaka i slojeviti ispis omogućuju stručnu provjeru.
Uobičajene greške
- Zamijenivši nacrt HTR-a kao točan. U osmanskom turskom, većina sirovog nacrta može biti netočna; Kontrola red po red je obavezna.
- Jedino definitivno čitanje je nametanje. Ako su alternative skrivene u riječima čiji samoglasnici nisu napisani, bit će zabilježeno pogrešno značenje.
- Popunjavanje nečitljivog područja. Trebao bi biti zaštićen razmakom [nečitko], a ne izmišljen.
- Miješanje izvornika s pojednostavljenjem. Pojednostavljenje bi trebalo biti zaseban sloj; Izvorna transliteracija ne smije biti iskrivljena.
- Onemogućavanje stručnjaka. Bez znanja o paleografiji i razdoblju, AI-jevo čitanje je nagađanje bez znanstvene vrijednosti.
Ukratko
Otomanski prijepis i transkripcija rukopisa mogu se znatno ubrzati u fazi sirovog nacrta uz HTR i AI; Dobivate prvi rezultat koji smanjuje dane rada na sate. Ali upravo na tom području jedno slovo, jedna samoglasnička razlika mijenja značenje; AI nastoji sakriti neizvjesnost i popuniti praznine. Ispravna metoda je slojevita: sirovi nacrt, alternativne bilješke dvosmislenosti, zasebni sloj pojednostavljenja i, iznad svega, provjera dokumenta redak po redak od strane stručnjaka upoznatog s paleografijom. AI ubrzava početno čitanje; Znanstvena odgovornost pripada stručnjaku.
Zadatak aplikacije
Pribavite transliteraciju osmanskog ili rukopisa (vaša vlastita produkcija ili objavljena kopija). Zamolite AI za alternativno čitanje s predloškom "transliteracija koja čuva dvosmislenost". Zatim zasebno generirajte sloj pojednostavljenja sa "slojevitim čitanjem". Svaku nejasno označenu riječ usporedite sa stručnim izvorom ili rječnikom; Obratite pažnju na to koliko bi pogrešaka proizveo AI ako bi nametnuo jedno očitanje.
popis za provjeru
- [ ] Koristio sam HTR/model koji odgovara razdoblju i stilu pisanja.
- [ ] Pitao sam AI za alternative točnim očitanjima.
- [ ] Zaštitio sam nečitljive dijelove s [nečitljivo].
- [ ] Zadržao sam izvornu transliteraciju odvojeno od pojednostavljene.
- [ ] Konačni tekst sam dao ovjeriti stručnjak/dokumentarist koji poznaje paleografiju.