Pelnas:
- Galimybė nustatyti HTR ir transliteracijos darbo eigą ir paaiškinti, kodėl neapdorotam juodraščiui reikia eksperto tikrinimo eilutė po eilutės
- Galimybė apsaugoti neįskaitomas sritis prašant alternatyvų, užuot primetus tikslų skaitymą, jei balsių / raidžių dviprasmiškumas osmanų kalboje
- Gebėjimas atskirti originalią transliteraciją nuo atskiro supaprastinimo sluoksnio, paliekant galutinę mokslinę atsakomybę paleografui
Bene daugiausiai pastangų reikalaujanti istorinių tyrimų dalis yra rankraščių ir senų rašytinių dokumentų perrašymas į skaitomą tekstą. Laiškas, užrašų knygelė, teismo protokolas ar Osmanų dokumentas tampa ieškomi tik juos perrašius. Transkripcija yra dokumento turinio (dažniausiai rašyto ranka arba senovinio rašto) perkėlimas į parašytą, skaitomą tekstą. Osmanų kalbos atveju tai dažnai lydi transliteracija: tekstas arabiškomis raidėmis perkeliamas į lotynišką abėcėlę su jo atitikmenimis raidėmis po raidės.
Spausdintam tekstui naudojome OCR; Rašymui ranka reikalinga kita technologija: HTR (ranka rašyto teksto atpažinimas). HTR yra technologija, panaši į OCR, bet daug sudėtingesnė, ranka rašytus dokumentus konvertuojanti į mašininį tekstą. Šiame skyriuje pamatysime, kaip naudoti HTR ir AI osmanų ir rankraščio transkripcija, klaidų ribas ir kodėl patikrinimas čia yra dar svarbesnis.
Kodėl taip sunku rašyti ranka?
Rašysena yra daug įvairesnė nei spausdintas tekstas: kiekvienas rašytojas turi unikalią ranką, raidės susietos, naudojamos santrumpos ir specialūs ženklai, teka rašalas, dėvisi popierius. Osmanų turkų kalba sunkumai padauginami:
- Kontekstinės raidžių formos: ta pati raidė žodžio pradžioje, viduryje ir pabaigoje rašoma skirtingai.
- Balsių nerašymas: Trumpos balsės dažnai nerašomos; skaitytojas užbaigia iš konteksto. Tai sukuria dviprasmybių, tokių kaip "priėmimas ar atmetimas?"
- Skirtingi rašymo stiliai: yra įvairių rašysenos stilių, tokių kaip rik'a, divani, ta'lik; Kiekvienam iš jų reikia skirtingų skaitymo įgūdžių.
- Osmanų kalbos žodynas: žodžiai iš arabų ir persų, kurių šiandieninėje turkų kalboje nėra.
Todėl HTR ir AI veikia su daug didesne paklaida osmanų turkų kalba nei spausdintinė OCR. Patyrusio paleografo akis (paleografija – senovės raštų skaitymo mokslas) čia ne įrankis, o būtinybė.
Darbo eiga: žingsnis po žingsnio
1. Paruoškite dokumento kokybę. Kaip ir OCR atveju, būtina didelė raiška ir geras kontrastas. Tai dar svarbiau rašant ranka.
2. Pasirinkite HTR modelį. Osmanų, arabų rašysenos ar HTR modeliai, specialiai paruošti konkrečiam laikotarpiui, yra daug sėkmingesni nei bendrieji modeliai. Išbandykite, kuris modelis tinka tam tikram laikotarpiui ir rašymo stiliui.
3. Sukurkite neapdorotą transkripciją. HTR modelis sukuria kontūrą. Osmanų turkų kalba šis juodraštis yra pradžia, kupina klaidų, kurias patyrusi akis turi kruopščiai patikrinti.
4. Konteksto tobulinimas naudojant AI. Neapdorotoje išvestyje gali būti AI vėliavėlės neatitikimų, galimų skaitymo alternatyvų ir įtartinų vietų. Tačiau dirbtinio intelekto „pataisymas“ čia yra ypač rizikingas: tai gali reikšti išgalvotą skaitymą.
5. Transliteracija ir supaprastinimas (sluoksniavimas). Teksto transliteracija arabiškomis raidėmis į lotyniškas raides, o po to supaprastintas skaitymas į šiandieninę turkų kalbą, yra atskiri sluoksniai. Originalas niekada nesugenda.
6. Ekspertinis patikrinimas. Galutinę transkripciją patvirtina paleografijos ir laikotarpio žinių ekspertas, lygindamas jį su dokumentu.
Dėmesio: Osmanų turkų kalba, kai „atspėjame“ žodį su nerašytu balsiu iš konteksto, AI gali pateikti visiškai neteisingą skaitymą ir pateikti jį patikima kalba. Raidžių skirtumas, pavyzdžiui, „kabul“ vietoj „kabil“ arba „alem“ vietoj „alim“, visiškai pakeičia reikšmę. Kiekvienas neaiškus rodmuo turėtų būti pateiktas su alternatyvomis ir neturėtų būti primestamas vienas galutinis rodmuo.
Sluoksniai ir atsakomybė su stalu
sluoksnis
Turinys
AI vaidmuo
Eksperto vaidmuo
Vaizdas
originalus dokumentas
—
Šaltinis
HTR juodraštis
Neapdorotas mašininis skaitymas
gamina
Valdymas nuo pradžios iki pabaigos
transliteracija
Lotynų raidžių perkėlimas
projektas siūlo
Taiso, taiso
Neapibrėžtumo pastabos
[?] ir alternatyvos
ženklai
nusprendžia
Supaprastinimas
Šiandienos turkų
projektas siūlo
Patvirtinimai
mokslinis leidinys
Galutinis tekstas + pastabos
—
Tik ekspertas
trys mini dėklai
1 atvejis – HTR pagreitino pirmąjį juodraštį 5 kartus. Doktorantas perrašydavo 200 puslapių Osmanų sąsiuvinį. Apskaičiuota, kad pilnas neautomatinis perrašymas truko 60 darbo dienų. Su tam laikotarpiui paruoštu HTR modeliu neapdorotas grimzlė pasirodė per kelias valandas; Studentė šį juodraštį pataisė ir sutrumpino darbą iki 12 darbo dienų. Bet jis turėjo lyginti kiekvieną puslapį su dokumentu, eilutę po eilutės; Apie 30% juodraščio buvo neteisingi.
2 atvejis – viena raidė, viena reikšmė. Vienas tyrėjas rėmėsi žodžiu, kurį AI skaito kaip „gubernatorius“. Kontroliuojant ekspertams, buvo suprasta, kad žodis iš tikrųjų buvo „globėjas“ (atsakingas už vaiką / asmenį), o kadangi balsė nebuvo pažymėta, AI atspėjo jį neteisingai. Dokumento teisinė prasmė visiškai pasikeitė. Pamoka: Osmanų kalboje dėl vienos raidės/balsių skirtumo dokumentas interpretuojamas nuo pat pradžių; reikalingas ekspertas.
3 atvejis. Sugalvotas užbaigimas. Eilutėje, kurios rašalas baigėsi ir kurios vienas žodis buvo neįskaitomas, AI užpildė spragą „logišku“ žodžiu. Ekspertas suprato, kad ta spraga iš tikrųjų buvo vietovardis ir kad AI jį sugalvojo. Tarpas paliktas kaip [neįskaitomas]. Pamoka: neįskaitoma vieta neužpildoma, ji pažymėta.
Keturi kopijuojami šablonai
1) Transliteracija, kuri išsaugo dviprasmiškumą:
Žemiau yra Osmanų dokumento neapdorota HTR išvestis / transliteracija. Jūsų užduotis – peržiūrėti tekstą ir pažymėti galimas skaitymo klaidas. Taisyklės: (1) Kiekvienam žodžiui, dėl kurio nesate tikri, pasiūlykite 2–3 galimas skaitymo alternatyvas, neprimeskite. (2) Neįskaitomose vietose palikite [neįskaitomas], jų neužpildykite. (3) Žodžių, kurių tekste nėra, PRIDĖJIMAS. (4) Parodykite alternatyvas žodžiuose su dviprasmiškomis balsėmis. Tekstas: [čia]
2) Sluoksniuotas skaitymas (originalas + supaprastinimas):
Sugeneruokite DU stulpelius šiai patvirtintai Osmanų transliteracijai: (1) Originali transliteracija (lietimas), (2) Supaprastintas skaitymas į šiandienos turkų kalbą. PRIDĖTI prasmę, pridedant interpretaciją supaprastinant; tiesiog atnaujinkite kalbą. Pažymėkite vietas, turinčias dviprasmišką reikšmę [neaiškios]. Transliteracija: [čia]
3) Termino ir asmens ištraukimas:
Toliau pateiktoje transkriptyje minimi asmenvardžiai, vietovardžiai, titulai ir periodiniai terminai pateikiami atskiruose sąrašuose. Paimkite tik tuos, kurie yra AIŠKIAI paminėti tekste; Nepridėkite spėliodami. Pažymėkite [?], jei nesate tikri dėl tarimo. Tekstas: [čia]
4) Įtartinas skaitymo valdymas:
Patyręs paleografijos kontrolierius vaidina. Žemiau esančioje transkripcijoje pažymėkite žodžius, kurių reikšmė nenuosekli, netelpa taško arba netelpa į kontekstą, ir parašykite, kodėl jie įtartini. Galutinės korekcijos įvedimas; Sukurkite įtarimų, kuriuos ekspertas palygins su dokumentu, sąrašą. Tekstas: [čia]
Silpnas raginimas / Stiprus raginimas
Silpnas:
Perskaitykite šį Osmanų tekstą ir pateikite jo vertimą.
Tai verčia dirbtinį intelektą sukurti vieną galutinį rodmenį, paslėpti dviprasmybes ir pritaikyti spragas. Osmanų turkų kalba tai beveik garantuota klaida.
Stiprus:
Peržiūrėkite toliau pateiktą Osmanų transliteraciją. Galutinis skaitymas: ĮVEDIMAS. Pateikite galimas kiekvieno dviprasmiško žodžio alternatyvas, palikite [neįskaitomas] dalis, nepridėkite nieko, ko nėra tekste. Supaprastintą skaitymą šiandieninei turkų kalbai pateikite atskirame stulpelyje, bet pasilikite originalą. Viską, dėl ko nesate tikri, pažymėkite [?], kad ekspertas galėtų palyginti tai su dokumentu. Tekstas: [čia]
Skirtumas: griežtas skaitymo draudimas, alternatyvų prašymas, tarpų išsaugojimas ir daugiasluoksnė išvestis leidžia ekspertams atlikti patikrinimą.
Dažnos klaidos
- Klaidingas HTR juodraštis kaip teisingas. Osmanų kalba didžioji dalis neapdoroto grimzlės gali būti netiksli; Valdymas eilutė po eilutės yra būtinas.
- Vienintelis galutinis skaitymas yra primesti. Jei žodžiuose, kurių balsės nėra parašytos, slypi alternatyvos, bus įrašyta neteisinga reikšmė.
- Neįskaitomos srities užpildymas. Jis turi būti apsaugotas tarpais [neįskaitomas], o ne sugalvotas.
- Originalo maišymas su supaprastinimu. Supaprastinimas turėtų būti atskiras sluoksnis; Originali transliteracija neturi būti iškraipyta.
- Eksperto išjungimas. Nežinant apie paleografiją ir laikotarpį, AI skaitymas yra spėjimas, neturintis mokslinės vertės.
Apibendrinant
Osmanų ir rankraščių transkripciją galima labai paspartinti neapdoroto juodraščio stadijoje naudojant HTR ir AI; Jūs gaunate pirmąjį rezultatą, kuris sumažina darbo dienas iki valandų. Bet kaip tik šioje srityje viena raidė, vienas balsių skirtumas pakeičia prasmę; AI linkęs slėpti netikrumą ir užpildyti spragas. Teisingas metodas yra sluoksniuotas: neapdorotas kontūras, alternatyvios dviprasmybės pastabos, atskiras supaprastinimo sluoksnis ir, svarbiausia, eilutę po eilutės dokumento patikrinimas, kurį atlieka paleografiją išmanantis ekspertas. AI pagreitina pradinį skaitymą; Mokslinė atsakomybė tenka ekspertui.
Taikymo užduotis
Gaukite Osmanų ar rankraštinio dokumento transliteraciją (savo produkciją arba paskelbtą kopiją). Paprašykite dirbtinio intelekto alternatyvaus skaitymo naudodami „dviprasmybes išsaugančios transliteracijos“ šabloną. Tada sugeneruokite supaprastinimo sluoksnį atskirai naudodami "sluoksninį skaitymą". Palyginkite kiekvieną neaiškiai pažymėtą žodį su ekspertų šaltiniu ar žodynu; Atkreipkite dėmesį, kiek klaidų AI padarytų, jei būtų nustatytas vienas skaitymas.
kontrolinis sąrašas
- [ ] Aš naudoju HTR / modelį, atitinkantį laikotarpį ir rašymo stilių.
- [ ] Paprašiau dirbtinio intelekto alternatyvų tiksliam skaitymui.
- [ ] Neįskaitomas dalis apsaugojau [neskaitoma].
- [ ] Originalią transliteraciją laikiau atskirai nuo supaprastinimo.
- [ ] Galutinį tekstą patikrino paleografiją išmanantis ekspertas / dokumentistas.