zisky:
- Schopnosť nastaviť pracovný postup HTR a prepisu a vysvetliť, prečo surový návrh vyžaduje odbornú kontrolu riadok po riadku
- Schopnosť chrániť nečitateľné oblasti požiadaním o alternatívy namiesto uloženia presného čítania v prípade nejednoznačnosti samohlásky/písmena v osmanskej turečtine
- Schopnosť oddeliť pôvodný prepis od samostatnej vrstvy zjednodušenia, pričom konečnú vedeckú zodpovednosť ponecháva paleograf
Azda najnáročnejšou časťou historického výskumu je prepis rukopisov a starých písomných dokumentov do čitateľného textu. List, zápisník, súdny záznam alebo osmanská listina sa stanú vyhľadávateľnými až po ich prepísaní. Prepis je akt prenosu obsahu dokumentu (najčastejšie ručne písaného alebo starého písma) do písaného, čitateľného textu. V prípade otomančiny je to často sprevádzané prepisom: prenesením textu v arabských písmenách do latinskej abecedy s jeho ekvivalentmi písmeno po písmene.
Pre tlačené texty sme použili OCR; Ručné písanie vyžaduje inú technológiu: HTR (Handwritten Text Recognition). HTR je technológia podobná OCR, ale oveľa náročnejšia, ktorá prevádza ručne písané dokumenty na strojový text. V tejto časti uvidíme, ako používať HTR a AI v osmanskom a rukopisnom prepise, aké sú hranice chýb a prečo je tu overovanie ešte dôležitejšie.
Prečo je písanie rukou také ťažké?
Rukopis je oveľa variabilnejší ako tlačený text: každý pisateľ má jedinečnú ruku, písmená sú navzájom prepojené, používajú sa skratky a špeciálne znaky, preteká atrament, papier sa opotrebováva. V osmanskej turečtine je obtiažnosť znásobená:
- Kontextové tvary písmen: Rovnaké písmeno sa píše odlišne na začiatku, v strede a na konci slova.
- Nepísanie samohlások: Krátke samohlásky sa často nepíšu; doplní čitateľ z kontextu. Vznikajú tak nejasnosti typu "prijatie alebo odmietnutie?"
- Rôzne štýly písania: Existujú rôzne štýly rukopisu, ako napríklad rik'a, divani, ta'lik; Každý z nich vyžaduje inú odbornosť v čítaní.
- Osmanská slovná zásoba: Slová z arabčiny a perzštiny, ktoré v dnešnej turečtine neexistujú.
Preto HTR a AI pracujú s oveľa vyššou mierou chýb v osmanskej turečtine ako tlač OCR. Oko odborného paleografa (paleografia – veda o čítaní starých spisov) tu nie je nástrojom, ale nevyhnutnosťou.
Pracovný postup: krok za krokom
1. Pripravte kvalitu dokumentu. Rovnako ako pri OCR je nevyhnutné vysoké rozlíšenie a dobrý kontrast. Pri rukopise je to ešte kritickejšie.
2. Vyberte model HTR. Modely s osmanským, arabským rukopisom alebo HTR špeciálne vyškolené na konkrétne obdobie sú oveľa úspešnejšie ako všeobecné modely. Otestujte, ktorý model sa hodí pre dané obdobie a štýl písania.
3. Vytvorte surovú transkripciu. Model HTR vytvára obrys. V osmanskej turečtine je tento návrh začiatkom plným chýb, ktoré musí skúsené oko dôkladne skontrolovať.
4. Kontextové vylepšenie pomocou AI. V surovom výstupe môžete mať nekonzistentnosť príznaku AI, možné alternatívy čítania a podozrivé miesta. Ale „oprava“ AI je tu obzvlášť riskantná: mohla by naznačovať vykonštruované čítanie.
5. Prepis a zjednodušenie (vrstvené). Prepis textu arabskými písmenami do latinky, po ktorom nasleduje jeho zjednodušené čítanie do dnešnej turečtiny, sa vyrába ako samostatné vrstvy. Originál sa nikdy nezlomí.
6. Odborné overenie. Konečný prepis schvaľuje odborník s paleografiou a dobovými znalosťami porovnaním s dokumentom.
Pozor: V osmanskej turečtine môže AI pri „uhádnutí“ slova s nespisovnou samohláskou z kontextu vytvoriť úplne nesprávne čítanie a prezentovať ho v sebavedomom jazyku. Rozdiel v písmenách, ako napríklad „kabul“ namiesto „kabil“ alebo „alem“ namiesto „alim“, úplne mení význam. Každé neisté čítanie by malo byť prezentované s alternatívami a nemalo by sa vyžadovať žiadne konečné čítanie.
Vrstvy a zodpovednosť s tabuľkou
vrstva
Obsah
Úloha AI
Úloha odborníka
Obrázok
pôvodný dokument
—
Zdroj
Návrh HTR
Surové strojové čítanie
vyrába
Ovládanie od začiatku do konca
prepis
Transpozícia latinského písmena
návrh navrhuje
Opravuje, opravuje
Poznámky neistoty
[?] a alternatívy
znamenia
rozhoduje
Zjednodušenie
Dnešná turečtina
návrh navrhuje
Schválenia
vedecká publikácia
Záverečný text + poznámky
—
Iba odborník
tri mini prípady
Prípad 1 – HTR zrýchlil prvý návrh 5x. Doktorand by prepísal 200-stranový osmanský zošit. Úplný manuálny prepis sa odhadoval na 60 pracovných dní. S modelom HTR natrénovaným na dané obdobie vyšiel surový návrh za niekoľko hodín; Študent tento návrh opravil a prácu skrátil na 12 pracovných dní. Každú stranu však musel porovnávať s dokumentom, riadok po riadku; Asi 30 % návrhu bolo nesprávnych.
Prípad 2 – Jedno písmeno, jeden význam. Jeden výskumník sa spoliehal na slovo, ktoré AI čítala ako „guvernér“. Pod odbornou kontrolou sa pochopilo, že slovo je v skutočnosti „strážca“ (zodpovedný za dieťa/osobu), a keďže samohláska nebola označená, AI to uhádla zle. Právny význam dokumentu sa úplne zmenil. Poučenie: V osmanskej turečtine jediný rozdiel medzi písmenom a samohláskou spôsobí, že sa dokument interpretuje od začiatku; vyžaduje sa odborník.
Prípad 3 – Vymyslené dokončenie. V riadku, v ktorom sa minul atrament a jedno slovo bolo nečitateľné, AI zaplnila medzeru „logickým“ slovom. Expert si uvedomil, že táto medzera je v skutočnosti názov miesta a že si to AI vymyslela. Ponechané miesto ako [nečitateľné]. Ponaučenie: nečitateľné miesto nie je vyplnené, je označené.
Štyri kopírovateľné šablóny
1) Prepis, ktorý zachováva nejednoznačnosť:
Nižšie je uvedený nespracovaný výstup/prepis osmanského dokumentu HTR. Vašou úlohou je skontrolovať text a označiť možné chyby pri čítaní. Pravidlá: (1) Ponúknite 2-3 možné alternatívy čítania pre každé slovo, ktorým si nie ste istý, nevnucujte žiadnu. (2) V nečitateľných oblastiach ponechajte [nečitateľné], nevypĺňajte ich. (3) PRIDANIE slov, ktoré v texte neexistujú. (4) Ukážte alternatívy v slovách s nejednoznačnými samohláskami. Text: [tu]
2) Vrstvené čítanie (pôvodné + zjednodušenie):
Vygenerujte DVA stĺpce pre nasledujúci overený osmanský prepis: (1) pôvodný prepis (dotykom), (2) zjednodušené čítanie do dnešnej turečtiny. PRIDANIE významu, pridanie výkladu v zjednodušení; stačí aktualizovať jazyk. Označte miesta s nejednoznačným významom[nezreteľný]. Prepis: [tu]
3) Extrakcia termínu a osoby:
Osobné mená, názvy miest, tituly a periodické výrazy uvedené v prepise nižšie sú uvedené v samostatných zoznamoch. Vezmite len tie, ktoré sú JASNE uvedené v texte; Nepridávajte hádaním. Označte pomocou [?], ak si nie ste istí výslovnosťou. Text: [tu]
4) Podozrivé ovládanie čítania:
V úlohe skúsený paleografický kontrolór. V prepise nižšie označte slová, ktoré sa významovo nezhodujú, nehodia sa do obdobia alebo nezapadajú do kontextu a napíšte, prečo sú podozrivé. Uloženie definitívnej korekcie; Vygenerujte zoznam podozrení, ktoré ľudský expert porovná s dokumentom. Text: [tu]
Slabá výzva / Silná výzva
slabé:
Prečítajte si tento osmanský text a dajte mi jeho preklad.
To tlačí AI k tomu, aby vytvorila jediné, definitívne čítanie, skrylo nejednoznačnosti a zapadlo do medzier. V osmanskej turečtine je to takmer zaručená chyba.
Silný:
Pozrite si osmanský prepis nižšie. Definitívne čítanie: IMPOSITION. Uveďte možné alternatívy pre každé nejednoznačné slovo, vynechajte [nečitateľné] časti, nepridávajte nič, čo nie je v texte. Zjednodušené čítanie dnešnej turečtine uveďte do samostatného stĺpca, ale originál si ponechajte. Všetko, čím si nie ste istý, označte [?], aby to odborník mohol porovnať s dokumentom. Text: [tu]
Rozdiel: prísny zákaz čítania, vyžadovanie alternatív, zachovanie medzier a vrstvený výstup umožňujú expertné overenie.
Časté chyby
- Chyba návrhu HTR za správny. V osmanskej turečtine môže byť veľká časť surového návrhu nepresná; Riadok po riadku je nutnosťou.
- Jediným definitívnym čítaním je uloženie. Ak sú alternatívy skryté v slovách, ktorých samohlásky nie sú napísané, zaznamená sa nesprávny význam.
- Vyplnenie nečitateľnej oblasti. Malo by byť chránené medzerami [nečitateľné], nie vymyslené.
- Miešanie originálu so zjednodušením. Zjednodušenie by malo byť samostatnou vrstvou; Pôvodný prepis by nemal byť skreslený.
- Zakázanie odborníka. Bez znalosti paleografie a obdobia je čítanie AI len odhadom bez vedeckej hodnoty.
V súhrne
Osmanská transkripcia a transkripcia rukopisu sa môže výrazne urýchliť v štádiu surového návrhu pomocou HTR a AI; Získate prvý výstup, ktorý skráti dni práce na hodiny. Ale práve v tejto oblasti jediné písmeno, jediná samohláska mení význam; AI má tendenciu skrývať neistotu a vyplniť medzery. Správna metóda je vrstvená: surová osnova, alternatívne poznámky nejednoznačnosti, samostatná vrstva zjednodušenia a predovšetkým riadkové overenie dokumentu odborníkom znalým paleografie. AI urýchľuje počiatočné čítanie; Vedecká zodpovednosť patrí odborníkovi.
Aplikačná úloha
Získajte prepis osmanského alebo rukopisného dokumentu (vlastnej produkcie alebo publikovanej kópie). Požiadajte AI o alternatívne čítanie pomocou šablóny „prepis zachovávajúci nejednoznačnosť“. Potom vygenerujte vrstvu zjednodušenia samostatne pomocou „vrstveného čítania“. Porovnajte každé nejasne označené slovo s odborným zdrojom alebo slovníkom; Všimnite si, koľko chýb by AI vytvorila, ak by vynútila jediné čítanie.
kontrolný zoznam
- [ ] Použil som HTR/model primeraný obdobiu a štýlu písania.
- [ ] Požiadal som AI o alternatívy k presnému čítaniu.
- [ ] Nečitateľné časti som chránil pomocou [nečitateľné].
- [ ] Pôvodný prepis som ponechal oddelene od zjednodušenia.
- [ ] Finálny text som nechal overiť odborníkom/dokumentaristom, ktorý sa vyzná v paleografii.