zisky:
- Schopnost nastavit pracovní postup HTR a transliterace a vysvětlit, proč nezpracovaný návrh vyžaduje odbornou kontrolu řádek po řádku
- Schopnost chránit nečitelné oblasti dotazem na alternativy namísto vynucování přesného čtení v případě nejednoznačnosti samohlásek/písmen v osmanské turečtině
- Schopnost oddělit původní přepis od samostatné vrstvy zjednodušení, přičemž konečnou vědeckou odpovědnost ponese paleograf
Snad nejnáročnější částí historického bádání je přepis rukopisů a starých písemných dokumentů do čitelného textu. Dopis, zápisník, soudní protokol nebo osmanská listina se dají vyhledávat až po jejich přepsání. Přepis je akt převedení obsahu dokumentu (nejčastěji ručně psaného nebo starověkého písma) do psaného, čitelného textu. V případě osmanštiny je to často doprovázeno transliterací: převedením textu v arabských písmenech do latinky s jejími ekvivalenty písmeno po písmenu.
Pro tištěné texty jsme použili OCR; Ruční psaní vyžaduje jinou technologii: HTR (Handwritten Text Recognition). HTR je technologie podobná OCR, ale mnohem náročnější, která převádí ručně psané dokumenty na strojový text. V této jednotce uvidíme, jak používat HTR a AI v otomanském a rukopisném přepisu, jaké jsou hranice chyb a proč je zde ověřování ještě kritičtější.
Proč je psaní rukou tak obtížné?
Rukopis je mnohem variabilnější než tištěný text: každý pisatel má jedinečnou ruku, písmena jsou propojena, používají se zkratky a speciální znaky, inkoust teče, papír se opotřebovává. V osmanské turečtině je obtížnost znásobena:
- Kontextové tvary písmen: Stejné písmeno je napsáno odlišně na začátku, uprostřed a na konci slova.
- Nepsaní samohlásek: Krátké samohlásky se často nepíší; čtenář doplňuje z kontextu. Vznikají tak nejasnosti typu "přijetí nebo odmítnutí?"
- Různé styly psaní: Existují různé styly rukopisu, jako je rik'a, divani, ta'lik; Každý z nich vyžaduje jinou znalost čtení.
- Osmanská slovní zásoba: Slova z arabštiny a perštiny, která v dnešní turečtině neexistují.
Proto HTR a AI pracují s mnohem vyšší mírou chyb v osmanské turečtině než OCR tisku. Oko odborného paleografa (paleografie - nauka o čtení starověkých spisů) zde není nástrojem, ale nutností.
Pracovní postup: krok za krokem
1. Připravte kvalitu dokumentu. Stejně jako u OCR je zásadní vysoké rozlišení a dobrý kontrast. To je ještě důležitější v rukopisu.
2. Vyberte model HTR. Modely s osmanským, arabským rukopisem nebo HTR speciálně vyškolené pro konkrétní období jsou mnohem úspěšnější než obecné modely. Vyzkoušejte, který model funguje dobře pro období a styl psaní.
3. Vytvořte nezpracovaný přepis. Model HTR vytváří obrys. V osmanské turečtině je tento návrh začátek plný chyb, které musí zkušené oko důkladně zkontrolovat.
4. Kontextové vylepšení pomocí AI. V nezpracovaném výstupu můžete mít nekonzistence příznaku AI, možné alternativy čtení a podezřelá místa. Ale „oprava“ AI je zde obzvláště riskantní: mohla by naznačovat vykonstruované čtení.
5. Transliterace a zjednodušení (vrstvené). Transliterace textu arabskými písmeny do latinky s následným zjednodušeným čtením do dnešní turečtiny se vyrábí jako samostatné vrstvy. Originál se nikdy nerozbije.
6. Odborné ověření. Konečný přepis schvaluje odborník s paleografií a dobovými znalostmi porovnáním s dokumentem.
Pozor: V osmanské turečtině může AI při „uhádnutí“ slova s nespisovnou samohláskou z kontextu vytvořit zcela nesprávné čtení a prezentovat jej v sebevědomém jazyce. Rozdíl v písmenech, jako je „kabul“ místo „kabil“ nebo „alem“ místo „alim“, zcela mění význam. Každé nejisté čtení by mělo být předloženo s alternativami a nemělo by být vyžadováno jediné definitivní čtení.
Vrstvy a odpovědnost s tabulkou
vrstva
Obsah
Role AI
Role odborníka
Obrázek
originální dokument
—
Zdroj
HTR návrh
Raw strojové čtení
vyrábí
Ovládání od začátku do konce
přepis
Transpozice latinského písmene
návrh navrhuje
Opravuje, opravuje
Poznámky nejistoty
[?] a alternativy
znamení
rozhoduje
Zjednodušení
Dnešní turečtina
návrh navrhuje
Schválení
vědecká publikace
Závěrečný text + poznámky
—
Pouze odborník
tři mini pouzdra
Případ 1 — HTR urychlilo první návrh 5x. Doktorand by přepsal 200stránkový osmanský sešit. Úplný ruční přepis byl odhadnut na 60 pracovních dnů. S modelem HTR natrénovaným na dané období vyšel hrubý návrh za několik hodin; Student tento návrh opravil a zkrátil práci na 12 pracovních dnů. Ale musel porovnat každou stránku s dokumentem, řádek po řádku; Asi 30 % návrhu bylo nesprávných.
Případ 2 — Jedno písmeno, jeden význam. Jeden výzkumník se spoléhal na slovo, které AI četla jako „guvernér“. Pod odborným dohledem bylo vyrozuměno, že slovo je ve skutečnosti „strážce“ (zodpovědný za dítě/osobu), a protože samohláska nebyla označena, AI to odhadla špatně. Právní význam dokumentu se zcela změnil. Lekce: V osmanské turečtině způsobí rozdíl mezi písmenem a samohláskou, že je dokument interpretován od začátku; je vyžadován odborník.
Případ 3 – Vymyšlené dokončení. V řádku, jehož inkoust došel a jedno slovo bylo nečitelné, zaplnila AI mezeru „logickým“ slovem. Expert si uvědomil, že tato mezera je ve skutečnosti místní název a že si to umělá inteligence vymyslela. Místo ponecháno jako [nečitelné]. Poučení: nečitelné místo není vyplněno, je označeno.
Čtyři kopírovatelné šablony
1) Přepis, který zachovává nejednoznačnost:
Níže je surový výstup/přepis osmanského dokumentu HTR. Vaším úkolem je zkontrolovat text a označit případné chyby čtení. Pravidla: (1) Nabídněte 2-3 možné alternativy čtení pro každé slovo, kterým si nejste jisti, žádnou nevnucujte. (2) V nečitelných oblastech ponechte [nečitelné], nevyplňujte je. (3) PŘIDÁVÁNÍ slov, která v textu neexistují. (4) Ukažte alternativy ve slovech s nejednoznačnými samohláskami. Text: [zde]
2) Vrstvené čtení (originál + zjednodušení):
Vygenerujte DVA sloupce pro následující ověřený osmanský přepis: (1) Původní přepis (dotykem), (2) Zjednodušené čtení do dnešní turečtiny. PŘIDÁNÍ významu, přidání výkladu ve zjednodušení; stačí aktualizovat jazyk. Označte místa s nejednoznačným významem[nezřetelný]. Přepis: [zde]
3) Vyjmutí termínu a osoby:
Osobní jména, místní jména, tituly a periodické termíny uvedené v přepisu níže se objevují v samostatných seznamech. Vezměte pouze ty, které jsou v textu JASNĚ uvedeny; Nepřidávejte hádáním. Označte [?], pokud si nejste jisti výslovností. Text: [zde]
4) Podezřelé ovládání čtení:
Zkušený paleografický kontrolor v roli. V přepisu níže označte slova, která jsou významově nekonzistentní, nehodí se k období nebo nezapadají do kontextu a napište, proč jsou podezřelá. Uložení definitivní opravy; Vytvořte seznam podezření, který lidský expert porovná s dokumentem. Text: [zde]
Slabá výzva / Silná výzva
slabé:
Přečtěte si tento osmanský text a dejte mi jeho překlad.
To tlačí AI k vytvoření jediného, definitivního čtení, skrývání nejednoznačností a zapadání do mezer. V osmanské turečtině je to téměř zaručená chyba.
Silný:
Podívejte se na osmanský přepis níže. Definitivní čtení: IMPOSITION. U každého nejednoznačného slova uveďte možné alternativy, vynechejte [nečitelné] části, nepřidávejte nic, co v textu není. Zjednodušenou četbu dnešní turečtině dejte do samostatného sloupce, ale originál si ponechte. Vše, čím si nejste jisti, označte [?], aby to odborník mohl porovnat s dokumentem. Text: [zde]
Rozdíl: přísný zákaz čtení, vyžadování alternativ, zachování bílých znaků a vrstvený výstup umožňují expertní ověření.
Časté chyby
- Chyba v návrhu HTR za správný. V osmanské turečtině může být velká část surového návrhu nepřesná; Kontrola řádek po řádku je nutností.
- Jediným definitivním čtením je uložit. Pokud jsou alternativy skryty ve slovech, jejichž samohlásky nejsou napsány, bude zaznamenán nesprávný význam.
- Vyplnění nečitelné oblasti. Mělo by být chráněno mezerami [nečitelnými], nikoli vymyšlenými.
- Míchání originálu se zjednodušením. Zjednodušení by mělo být samostatnou vrstvou; Původní přepis by neměl být zkreslený.
- Deaktivace experta. Bez znalosti paleografie a období je čtení AI jen odhadem bez vědecké hodnoty.
V souhrnu
Osmanská transkripce a transkripce rukopisu mohou být výrazně urychleny ve fázi hrubého návrhu pomocí HTR a AI; Získáte první výstup, který zkrátí dny práce na hodiny. Ale právě v této oblasti jediné písmeno, jediná samohláska mění význam; AI má tendenci skrývat nejistotu a zaplňovat mezery. Správná metoda je vrstvená: hrubá osnova, alternativní poznámky nejednoznačnosti, samostatná vrstva zjednodušení a především řádkové ověřování dokumentu odborníkem znalým paleografie. AI urychluje počáteční čtení; Vědecká odpovědnost náleží odborníkovi.
Aplikační úkol
Získejte transliteraci osmanského nebo rukopisného dokumentu (vlastní produkce nebo publikovaná kopie). Požádejte AI o alternativní čtení pomocí šablony „přepis zachovávající nejednoznačnost“. Poté vygenerujte vrstvu zjednodušení samostatně pomocí „vrstveného čtení“. Porovnejte každé nejasně označené slovo s odborným zdrojem nebo slovníkem; Všimněte si, kolik chyb by umělá inteligence způsobila, kdyby vynutila jediné čtení.
kontrolní seznam
- [ ] Použil jsem HTR/model odpovídající danému období a stylu psaní.
- [ ] Požádal jsem AI o alternativy k přesnému čtení.
- [ ] Nečitelné části jsem ochránil pomocí [nečitelné].
- [ ] Původní přepis jsem ponechal odděleně od zjednodušení.
- [ ] Výsledný text jsem nechal ověřit odborníkem/dokumentaristou znalým paleografie.