Dobički:
- Sposobnost nastavitve HTR in poteka dela za transliteracijo ter razlage, zakaj neobdelani osnutek zahteva strokovno preverjanje vrstico za vrstico
- Sposobnost zaščite neberljivih območij s prošnjo za druge možnosti namesto vsiljevanja natančnega branja v primeru dvoumnosti samoglasnika/črke v otomanski turščini
- Sposobnost ločevanja izvirnega prečrkovanja od ločene plasti poenostavljanja, pri čemer je končna znanstvena odgovornost pri paleografu
Morda najzahtevnejši del zgodovinskega raziskovanja je prepisovanje rokopisov in starih pisnih dokumentov v berljivo besedilo. Pismo, zvezek, sodni zapis ali otomanski dokument postane mogoče iskati šele, ko je bil prepisan. Transkripcija je dejanje prenosa vsebine dokumenta (najpogosteje ročno napisanega ali starodavne pisave) v napisano, berljivo besedilo. V primeru otomanščine to pogosto spremlja transliteracija: prenos besedila z arabskimi črkami v latinico z ustreznimi črkami.
Za tiskana besedila smo uporabili OCR; Rokopis zahteva drugačno tehnologijo: HTR (Handwritten Text Recognition). HTR je tehnologija, podobna OCR, a veliko zahtevnejša, ki pretvori ročno napisane dokumente v strojno besedilo. V tej enoti bomo videli, kako uporabljati HTR in AI v otomanskem prepisovanju in prepisovanju rokopisov, meje napak in zakaj je preverjanje tukaj še bolj kritično.
Zakaj je rokopis tako težaven?
Rokopis je veliko bolj spremenljiv kot tiskano besedilo: vsak pisec ima svojo roko, črke so povezane, uporabljajo se okrajšave in posebni znaki, črnilo se razliva, papir se obrabi. V otomanski turščini je težava pomnožena:
- Kontekstualne oblike črk: Ista črka je različno zapisana na začetku, sredini in koncu besede.
- Nezapisovanje samoglasnikov: kratkih samoglasnikov pogosto ne pišemo; bralec zaključi iz konteksta. To ustvarja dvoumnosti, kot je "sprejem ali zavrnitev?"
- Različni slogi pisanja: Obstajajo različni slogi pisave, kot so rik'a, divani, ta'lik; Vsak zahteva drugačno bralno znanje.
- Otomansko besedišče: besede iz arabščine in perzijščine, ki ne obstajajo v današnji turščini.
Zato HTR in AI delujeta z veliko večjo mejo napake v otomanski turščini kot tiskanje OCR. Oko strokovnega paleografa (paleografija - veda o branju starih spisov) tu ni orodje, ampak nuja.
Potek dela: korak za korakom
1. Pripravite kakovost dokumenta. Tako kot pri OCR sta bistvena visoka ločljivost in dober kontrast. To je še bolj kritično pri rokopisu.
2. Izberite model HTR. Osmanski, arabski rokopis ali modeli HTR, posebej usposobljeni za določeno obdobje, so veliko uspešnejši od splošnih modelov. Preizkusite, kateri model je primeren za obdobje in slog pisanja.
3. Ustvarite neobdelani prepis. Model HTR ustvari oris. V otomanski turščini je ta osnutek začetek, poln napak, ki jih mora izkušeno oko temeljito preveriti.
4. Kontekstualna izboljšava z AI. V neobdelanem izhodu lahko imate nedoslednosti zastavic AI, možne alternative branja in sumljive lokacije. Toda "popravek" umetne inteligence je tukaj še posebej tvegan: lahko nakazuje izmišljeno branje.
5. Transliteracija in poenostavitev (plastno). Transliteracija besedila z arabskimi črkami v latinične črke, ki ji sledi poenostavljeno branje v današnjo turščino, je izdelana kot ločeni plasti. Original se nikoli ne pokvari.
6. Strokovno preverjanje. Končni prepis potrdi strokovnjak s paleografskim znanjem in obdobjem s primerjavo z dokumentom.
Pozor: v otomanski turščini, ko "ugiba" besedo z nezapisanim samoglasnikom iz konteksta, lahko AI proizvede popolnoma napačno branje in jo predstavi v samozavestnem jeziku. Razlika v črkah, kot je "kabul" namesto "kabil" ali "alem" namesto "alim", popolnoma spremeni pomen. Vsako negotovo branje je treba predstaviti z alternativami in nobeno eno samo dokončno branje ne sme biti vsiljeno.
Plasti in odgovornost z mizo
plast
Vsebina
Vloga AI
Vloga strokovnjaka
Slika
originalni dokument
—
Vir
HTR osnutek
Surovo strojno branje
proizvaja
Nadzor od začetka do konca
transkripcija
Transpozicija latiničnih črk
predlaga osnutek
Popravlja, popravlja
Opombe negotovosti
[?] in alternative
znaki
odloča
Poenostavitev
Današnja turščina
predlaga osnutek
Odobritve
znanstvena objava
Končno besedilo + opombe
—
Samo strokovnjak
trije mini kovčki
Primer 1 — HTR je prvi osnutek pospešil za 5x. Doktorski študent bi prepisal 200 strani dolg otomanski zvezek. Celoten ročni prepis je bil ocenjen na 60 delovnih dni. Z modelom HTR, ki je bil usposobljen za to obdobje, je neobdelani osnutek izšel v nekaj urah; Študent je ta osnutek popravil in delo skrčil na 12 delovnih dni. Toda vsako stran je moral primerjati z dokumentom, vrstico za vrstico; Približno 30 % osnutka je bilo napačnega.
Primer 2 — Ena črka, en pomen. En raziskovalec se je zanašal na besedo, ki jo je AI prebral kot "guverner". Pod strokovnim nadzorom je bilo ugotovljeno, da je beseda pravzaprav "skrbnik" (odgovoren za otroka/osebo), in ker samoglasnik ni bil označen, ga je umetna inteligenca napačno uganila. Pravni pomen dokumenta se je popolnoma spremenil. Lekcija: V otomanski turščini ena sama razlika med črko in samoglasnikom povzroči, da se dokument razlaga od začetka; potreben strokovnjak.
Primer 3 – Izmišljeno dokončanje. V vrstici, v kateri je zmanjkalo črnila in ena beseda ni bila berljiva, je umetna inteligenca zapolnila vrzel z "logično" besedo. Strokovnjak je ugotovil, da je ta vrzel pravzaprav ime kraja in da si jo je umetna inteligenca izmislila. Presledek je ostal [nečitljivo]. Nauk: neberljiv prostor ni zapolnjen, označen je.
Štiri predloge za kopiranje
1) Transkripcija, ki ohranja dvoumnost:
Spodaj je HTR neobdelani izpis/transkripcija otomanskega dokumenta. Vaša naloga je, da pregledate besedilo in označite morebitne napake pri branju. Pravila: (1) Ponudite 2-3 možne možnosti branja za vsako besedo, o kateri niste prepričani, ne vsiljujte je. (2) Pustite [nečitljivo] v nečitljivih območjih, ne izpolnite jih. (3) DODAJANJE besed, ki v besedilu ne obstajajo. (4) Pokaži alternative v besedah z dvoumnimi samoglasniki. Besedilo: [tukaj]
2) Večplastno branje (izvirnik + poenostavitev):
Ustvarite DVA stolpca za naslednje preverjeno otomansko prečrkovanje: (1) izvirno prečrkovanje (na dotik), (2) poenostavljeno branje v današnjo turščino. DODAJANJE pomena, dodajanje interpretacije v poenostavitvi; samo posodobi jezik. Označi mesta z dvoumnim pomenom [nerazločno]. Transliteracija: [tukaj]
3) Izločanje izraza in osebe:
Osebna imena, imena krajev, nazivi in periodični izrazi, omenjeni v spodnji transkripciji, so v ločenih seznamih. Vzemite samo tiste, ki so JASNO omenjeni v besedilu; Ne dodajajte z ugibanjem. Označite z [?], če niste prepričani o izgovorjavi. Besedilo: [tukaj]
4) Nadzor sumljivega branja:
Izkušen kontrolor paleografije v vlogi. V spodnjem prepisu označi besede, ki so pomensko neenotne, ne sodijo v obdobje ali ne sodijo v sobesedilo, in napiši, zakaj so sumljive. Uvedba dokončnega popravka; Ustvarite seznam sumov, ki jih bo človeški strokovnjak primerjal z dokumentom. Besedilo: [tukaj]
Šibek poziv/močan poziv
Šibko:
Preberite to otomansko besedilo in mi dajte njegov prevod.
To prisili AI, da ustvari eno samo, dokončno branje, pri čemer skrije dvoumnosti in prilagodi vrzeli. V otomanski turščini je to skoraj zagotovljena napaka.
Močno:
Oglejte si otomansko transliteracijo spodaj. Dokončno branje: VSILJEVANJE. Za vsako dvoumno besedo navedite možne alternative, izpustite [nečitljive] dele, ne dodajte ničesar, česar ni v besedilu. Prenesite poenostavljeno branje današnji turščini v ločenem stolpcu, vendar obdržite izvirnik. Vse, o čemer niste prepričani, označite z [?], da bo strokovnjak to lahko primerjal z dokumentom. Besedilo: [tukaj]
Razlika: stroga prepoved branja, zahtevanje alternativ, ohranjanje presledkov in večplastni izpis omogoča strokovno preverjanje.
Pogoste napake
- Zamenjajte osnutek HTR za pravilnega. V otomanski turščini je lahko večina surovega osnutka netočnega; Kontrola vrstice za vrstico je nujna.
- Edino dokončno branje je vsiliti. Če so alternative skrite v besedah, katerih samoglasniki niso zapisani, bo zapisan napačen pomen.
- Polnjenje neberljivega območja. Mora biti zaščiten s presledki [nečitljivo], ne pa izmišljen.
- Mešanje izvirnika s poenostavitvijo. Poenostavitev mora biti ločena plast; Izvirno prečrkovanje ne sme biti popačeno.
- Onemogočanje strokovnjaka. Brez znanja o paleografiji in obdobju je branje AI ugibanje brez znanstvene vrednosti.
Če povzamem
Otomansko prepisovanje in prepisovanje rokopisov je mogoče močno pospešiti v fazi surovega osnutka s HTR in AI; Dobite prvi rezultat, ki zmanjša delovne dni na ure. Toda ravno na tem področju ena sama črka, ena samoglasniška razlika spremeni pomen; Umetna inteligenca poskuša skriti negotovost in zapolniti vrzeli. Pravilna metoda je večplastna: surov oris, alternativne opombe dvoumnosti, ločena plast poenostavljanja in predvsem vrstično preverjanje dokumenta s strani strokovnjaka, ki pozna paleografijo. AI pospeši začetno branje; Znanstvena odgovornost pripada strokovnjaku.
Aplikacijska naloga
Pridobite transliteracijo otomanskega ali rokopisnega dokumenta (vaša lastna produkcija ali objavljena kopija). Prosite AI za alternativno branje s predlogo »transkripcija, ki ohranja dvoumnost«. Nato ločeno ustvarite poenostavitveni sloj s "plastenim branjem". Vsako nejasno označeno besedo primerjajte s strokovnim virom ali slovarjem; Upoštevajte, koliko napak bi povzročil AI, če bi vsilil eno samo branje.
kontrolni seznam
- [ ] Uporabil sem HTR/model, ki ustreza obdobju in slogu pisanja.
- [ ] Umetno inteligenco sem prosil za alternative natančnemu branju.
- [ ] Neberljive dele sem zaščitil z [neberljivo].
- [ ] Prvotno prečrkovanje sem ohranil ločeno od poenostavitve.
- [ ] Končno besedilo sem dal preveriti strokovnjaku/dokumentarju, ki pozna paleografijo.