Nyereség:
- Képes beállítani a HTR és az átírási munkafolyamatot, és elmagyarázni, hogy a nyers piszkozat miért igényel sorról sorra szakértői ellenőrzést
- Képes az olvashatatlan területek védelmére alternatívák kérésével ahelyett, hogy precíz leolvasást írnának elő magánhangzók/betűk kétértelműsége esetén az oszmán török nyelvben
- Képes az eredeti átírás különálló egyszerűsítési rétegétől elkülöníteni, a végső tudományos felelősséget a paleográfusnál tartani
A történeti kutatás talán legigényesebb része a kéziratok és régi írott dokumentumok olvasható szöveggé való átírása. Egy levél, jegyzetfüzet, bírósági jegyzőkönyv vagy oszmán irat csak átírása után válik kereshetővé. Az átírás az a művelet, amikor egy dokumentum tartalmát (leggyakrabban kézzel írt vagy ősi írást) írott, olvasható szöveggé alakítják át. Az oszmánoknál ez gyakran együtt jár az átírással: az arab betűs szöveg áthelyezése a latin ábécébe annak betűről betűre megfelelőivel.
A nyomtatott szövegekhez OCR-t használtunk; A kézírás más technológiát igényel: HTR (Kézírásos szövegfelismerés). A HTR az OCR-hez hasonló, de sokkal nagyobb kihívást jelentő technológia, amely a kézzel írt dokumentumokat gépi szöveggé alakítja. Ebben az egységben látni fogjuk, hogyan kell használni a HTR-t és az AI-t oszmán és kéziratos átírásban, a hibahatárokat és azt, hogy az ellenőrzés miért még kritikusabb itt.
Miért olyan nehéz a kézírás?
A kézírás sokkal változékonyabb, mint a nyomtatott szöveg: minden írónak egyedi keze van, a betűket összekapcsolják, rövidítéseket és speciális jeleket használnak, vérzik a tinta, elhasználódik a papír. Az oszmán török nyelvben a nehézség megsokszorozódik:
- Kontextus szerinti betűformák: Ugyanazt a betűt másképp írjuk a szó elejére, közepére és végére.
- Nem írnak magánhangzókat: A rövid magánhangzókat gyakran nem írják le; – fejezi be az olvasó a szövegkörnyezetből. Ez olyan kétértelműséget hoz létre, mint például az "elfogadás vagy elutasítás?"
- Különböző írási stílusok: Különböző kézírási stílusok léteznek, például rik'a, divani, ta'lik; Mindegyikhez más-más olvasási szakértelem szükséges.
- Oszmán szókincs: arab és perzsa szavak, amelyek a mai törökben nem léteznek.
Ezért a HTR és az AI sokkal nagyobb hibahatárral működik oszmán török nyelven, mint a nyomtatott OCR. A szakértő paleográfus szeme (paleográfia – az ősi írások olvasásának tudománya) itt nem eszköz, hanem szükséglet.
Munkafolyamat: lépésről lépésre
1. Készítse elő a dokumentumminőséget. Az OCR-hez hasonlóan a nagy felbontás és a jó kontraszt elengedhetetlen. Ez a kézírásnál még kritikusabb.
2. Válassza ki a HTR modellt. Az oszmán, arab kézírásos vagy kifejezetten egy adott időszakra kiképzett HTR modellek sokkal sikeresebbek, mint az általános modellek. Tesztelje, melyik modell működik jól egy adott időszakhoz és írásmódhoz.
3. Nyers transzkripció létrehozása. A HTR modell vázlatot készít. Az oszmán török nyelven ez a tervezet egy kezdet tele van hibákkal, amelyeket egy tapasztalt szemnek alaposan meg kell vizsgálnia.
4. Kontextus javítása mesterséges intelligencia segítségével. A nyers kimenetben előfordulhatnak az AI-jelző inkonzisztenciái, lehetséges olvasási alternatívák és gyanús helyek. De az AI „korrekciója” itt különösen kockázatos: mesterkélt olvasmányra utalhat.
5. Átírás és egyszerűsítés (rétegzett). Az arab betűs szöveg latin betűkre történő átírása, majd a mai török nyelvű leegyszerűsített olvasása külön rétegként jön létre. Az eredeti sosem romlik el.
6. Szakértői ellenőrzés. A végleges átírást egy paleográfiával és korszakismerettel rendelkező szakértő hagyja jóvá a dokumentummal való összevetéssel.
Figyelem: Az oszmán török nyelvben, amikor a szövegkörnyezetből kitalál egy íratlan magánhangzóval rendelkező szót, az AI teljesen hibás olvasatot produkálhat, és magabiztos nyelven jeleníti meg. A betűk közötti különbség, például a "kabil" helyett a "kabul" vagy az "alim" helyett az "alem", teljesen megváltoztatja a jelentést. Minden bizonytalan olvasatot alternatívákkal kell bemutatni, és nem szabad egyetlen végleges olvasatot sem előírni.
Rétegek és felelősség asztallal
réteg
Tartalom
Az AI szerepe
A szakértő szerepe
Kép
eredeti dokumentum
—
Forrás
HTR tervezet
Nyers gépi olvasás
termel
Irányítás az elejétől a végéig
átírás
Latin betű átültetése
tervezet javasolja
Javít, javít
A bizonytalanság jegyzetei
[?] és alternatívák
jelek
dönt
Egyszerűsítés
A mai török
tervezet javasolja
Jóváhagyások
tudományos publikáció
Végső szöveg + megjegyzések
—
Csak szakértő
három mini tok
1. eset – A HTR ötszörösére gyorsította az első tervezetet. Egy doktorandusz átírna egy 200 oldalas oszmán füzetet. A teljes kézi átírást 60 munkanapra becsülték. Az időszakra betanított HTR-modellel néhány óra alatt kijött a nyers huzat; A hallgató ezt a tervezetet kijavította, és 12 munkanapra csökkentette a munkát. De minden oldalt össze kellett hasonlítania a dokumentummal, soronként; A tervezet körülbelül 30%-a volt helytelen.
2. eset – Egy betű, egy jelentés. Egy kutató egy olyan szóra támaszkodott, amelyet a mesterséges intelligencia "kormányzónak" olvasott. Szakértői ellenőrzés mellett megértették, hogy a szó valójában "gondviselő" (egy gyermekért/személyért felelős), és mivel a magánhangzó nem volt megjelölve, az AI rosszul tippelte. A dokumentum jogi jelentése teljesen megváltozott. Tanulság: Az oszmán törökben egyetlen betű/magánhangzó különbség okozza a dokumentum értelmezését a kezdetektől fogva; szakértő szükséges.
3. eset – kitalált befejezés. Abban a sorban, amelyből kifogyott a tinta, és amelynek egyik szava olvashatatlan volt, az AI egy „logikai” szóval töltötte be a hiányt. A szakértő rájött, hogy ez a rés valójában egy helynév, és az MI találta ki. Meghagyott szóköz [olvashatatlan]. Tanulság: az olvashatatlan hely nincs kitöltve, meg van jelölve.
Négy másolható sablon
1) Átírás, amely megőrzi a kétértelműséget:
Az alábbiakban egy oszmán dokumentum HTR nyers kimenete/átírása látható. Az Ön feladata a szöveg áttekintése és az esetleges olvasási hibák megjelölése. Szabályok: (1) Minden olyan szóhoz ajánlj fel 2-3 lehetséges olvasási alternatívát, amiben nem vagy biztos, ne kényszeríts rá. (2) Az olvashatatlan területeken hagyja [olvashatatlan], ne töltse ki. (3) A szövegben nem létező szavak HOZZÁADÁSA. (4) Mutasson alternatívákat kétértelmű magánhangzókkal. Szöveg: [itt]
2) Réteges olvasat (eredeti + egyszerűsítés):
Hozzon létre KÉT oszlopot a következő ellenőrzött oszmán átíráshoz: (1) Eredeti átírás (érintés), (2) Egyszerűsített olvasás mai török nyelvre. Jelentés HOZZÁADÁSA, értelmezés hozzáadása egyszerűsítésben; csak frissítsd a nyelvet. Jelölje meg a helyeket kétértelmű jelentéssel [nem egyértelmű]. Átírás: [itt]
3) Term és személy kivonat:
Az alábbi átírásban említett személynevek, helynevek, címek és időszaki kifejezések külön listákban jelennek meg. Vegyük csak azokat, amelyeket a szövegben EGYÉRTELMŰEN megemlítenek; Ne add hozzá találgatással. Ha nem biztos a kiejtésben, jelölje meg [?]-vel. Szöveg: [itt]
4) Gyanús olvasásvezérlés:
Egy tapasztalt paleográfiai irányító a szerepben. Az alábbi átírásban jelölje meg azokat a szavakat, amelyek jelentésükben nem következetesek, nem illeszkednek a korszakhoz vagy nem illeszkednek a szövegkörnyezetbe, és írják le, miért gyanúsak! Végleges korrekció előírása; Készítsen egy listát azokról a gyanúkról, amelyeket a humán szakértő összehasonlít a dokumentummal. Szöveg: [itt]
Gyenge felszólítás / Erős felszólítás
Gyenge:
Olvasd el ezt az oszmán szöveget, és add meg a fordítását.
Ez arra készteti a mesterséges intelligenciát, hogy egyetlen, végleges leolvasást állítson elő, elrejti a kétértelműségeket és beilleszti a hiányosságokat. Az oszmán törökben ez szinte garantált hiba.
Erős:
Tekintse meg alább az oszmán átírást. Végleges olvasat: BETÖRZÉS. Adja meg a lehetséges alternatívákat minden kétértelmű szóhoz, hagyjon ki [olvashatatlan] részeket, ne adjon hozzá olyat, ami nem szerepel a szövegben. Az egyszerűsített olvasatot a mai töröknek adja meg külön rovatban, de az eredeti maradjon meg. Mindent, amiben nem biztos, jelölje meg a [?]-vel, hogy a szakértő összehasonlíthassa a dokumentummal. Szöveg: [itt]
A különbség: szigorú olvasási tilalom, alternatívák kérése, a szóköz megőrzése és a réteges kimenet lehetővé teszi a szakértői ellenőrzést.
Gyakori hibák
- Tévedés a HTR tervezetben. Az oszmán törökben a nyers vázlat nagy része pontatlan lehet; A soronkénti ellenőrzés kötelező.
- Az egyetlen végleges olvasat az, hogy rákényszerítünk. Ha alternatívák vannak elrejtve olyan szavakban, amelyek magánhangzóit nem írják le, akkor rossz jelentés kerül rögzítésre.
- Az olvashatatlan terület kitöltése. Szóközzel kell védeni [olvashatatlan], nem pedig kitalálni.
- Az eredeti keverése egyszerűsítéssel. Az egyszerűsítésnek külön rétegnek kell lennie; Az eredeti átírást nem szabad torzítani.
- A szakértő letiltása. A paleográfia és a korszak ismerete nélkül a mesterséges intelligencia olvasata csak feltételezés, amelynek nincs tudományos értéke.
Összefoglalva
Az oszmán és a kéziratos átírás nagymértékben felgyorsítható a nyers vázlat szakaszában HTR és AI segítségével; Megkapja az első kimenetet, amely órákra csökkenti a munkanapokat. De éppen ezen a területen egyetlen betű, egyetlen magánhangzó-különbség megváltoztatja a jelentést; A mesterséges intelligencia hajlamos elrejteni a bizonytalanságot és pótolni a hiányosságokat. A helyes módszer többrétegű: nyers vázlat, többértelműség alternatív jegyei, különálló egyszerűsítési réteg és mindenekelőtt a dokumentum soronkénti ellenőrzése a paleográfiában jártas szakértő által. Az AI felgyorsítja a kezdeti olvasást; A tudományos felelősség a szakértőt illeti.
Pályázati feladat
Szerezze be egy oszmán vagy kéziratos dokumentum átírását (saját alkotás vagy egy publikált példány). Kérjen alternatív olvasatot az AI-tól a „kétértelműséget megőrző átírás” sablonnal. Ezután külön állítsa elő az egyszerűsítési réteget "réteges olvasással". Hasonlítsa össze az egyes homályosan jelölt szavakat egy szakértő forrással vagy szótárral; Jegyezze meg, hány hibát produkálna az AI, ha egyetlen leolvasást írna elő.
ellenőrző lista
- [ ] A korszaknak és írásmódnak megfelelő HTR/modellt használtam.
- [ ] A pontos leolvasás alternatíváit kértem az AI-tól.
- [ ] Az olvashatatlan részeket az [unreadable]-val védtem.
- [ ] Az eredeti átírást elkülönítettem az egyszerűsítéstől.
- [ ] A végső szöveget egy paleográfiát ismerő szakértővel/dokumentumfilmessel ellenőriztem.