Ieguvumi:
- Spēja iestatīt HTR un transliterācijas darbplūsmu un izskaidrot, kāpēc neapstrādātam melnrakstam ir nepieciešama eksperta pārbaude rindu pēc rindiņas
- Spēja aizsargāt nesalasāmās vietas, prasot alternatīvas, nevis uzspiežot precīzu nolasījumu patskaņu/burtu neskaidrības gadījumā osmaņu turku valodā
- Spēja nodalīt oriģinālo transliterāciju no atsevišķa vienkāršošanas slāņa, paturot galīgo zinātnisko atbildību paleogrāfam
Iespējams, visprasīgākā vēstures izpētes daļa ir manuskriptu un vecu rakstisku dokumentu pārrakstīšana lasāmā tekstā. Vēstule, piezīmju grāmatiņa, tiesas protokols vai Osmaņu dokuments kļūst meklējami tikai pēc tam, kad tas ir pārrakstīts. Transkripcija ir dokumenta satura (visbiežāk ar roku rakstīts vai sens skripts) pārnešana uz rakstītu, lasāmu tekstu. Osmaņu valodas gadījumā to bieži pavada transliterācija: teksta ar arābu burtiem pārnešana uz latīņu alfabētu ar tā burtiem pa burtiem ekvivalentiem.
Drukātiem tekstiem izmantojām OCR; Rokrakstam ir nepieciešama cita tehnoloģija: HTR (Handwritten Text Recognition). HTR ir tehnoloģija, kas ir līdzīga OCR, taču daudz sarežģītāka, kas pārvērš ar roku rakstītus dokumentus mašīnrakstā. Šajā nodaļā mēs redzēsim, kā izmantot HTR un AI Osmaņu un manuskriptu transkripcijā, kļūdu robežas un to, kāpēc verifikācija šeit ir vēl svarīgāka.
Kāpēc rokraksts ir tik grūts?
Rokraksts ir daudz mainīgāks nekā drukāts teksts: katram rakstītājam ir unikāla roka, burti ir savienoti kopā, tiek izmantoti saīsinājumi un īpašas zīmes, tinte noplūst, papīrs nolietojas. Osmaņu turku valodā grūtības tiek reizinātas:
- Kontekstuālās burtu formas: vienu un to pašu burtu vārda sākumā, vidū un beigās raksta atšķirīgi.
- Patskaņu nerakstīšana: īsus patskaņus bieži neraksta; lasītājs pabeidz no konteksta. Tas rada neskaidrības, piemēram, "pieņemšana vai noraidīšana?"
- Dažādi rakstīšanas stili: ir dažādi rokraksta stili, piemēram, rik'a, divani, ta'lik; Katram no tiem ir nepieciešamas atšķirīgas lasīšanas zināšanas.
- Osmaņu valodas vārdu krājums: vārdi no arābu un persiešu valodas, kas mūsdienu turku valodā neeksistē.
Tāpēc HTR un AI darbojas ar daudz lielāku kļūdu robežu osmaņu turku valodā nekā drukas OCR. Eksperta paleogrāfa acs (paleogrāfija - seno rakstu lasīšanas zinātne) šeit nav instruments, bet gan nepieciešamība.
Darbplūsma: soli pa solim
1. Sagatavot dokumentu kvalitāti. Tāpat kā OCR gadījumā, svarīga ir augsta izšķirtspēja un labs kontrasts. Tas ir vēl svarīgāks rokrakstā.
2. Izvēlieties HTR modeli. Osmaņu, arābu rokraksta vai HTR modeļi, kas īpaši apmācīti konkrētam periodam, ir daudz veiksmīgāki nekā parastie modeļi. Pārbaudiet, kurš modelis ir piemērots konkrētajam periodam un rakstīšanas stilam.
3. Izveidojiet neapstrādātu transkripciju. HTR modelis rada kontūru. Osmaņu turku valodā šis melnraksts ir kļūdu pilns sākums, kas pieredzējušai acij rūpīgi jāpārbauda.
4. Kontekstuālā uzlabošana ar AI. Neapstrādātajā izvadē var būt AI karoga neatbilstības, iespējamās lasīšanas alternatīvas un aizdomīgas vietas. Bet AI “labojums” šeit ir īpaši riskants: tas varētu liecināt par izdomātu lasījumu.
5. Transliterācija un vienkāršošana (slāņaina). Teksta transliterācija arābu burtiem latīņu burtiem, kam seko tā vienkāršotā lasīšana mūsdienu turku valodā, tiek veidota kā atsevišķi slāņi. Oriģināls nekad neplīst.
6. Eksperta pārbaude. Galīgo transkripciju apstiprina eksperts ar paleogrāfiju un perioda zināšanām, salīdzinot to ar dokumentu.
Uzmanību: Osmaņu turku valodā, "uzminot" vārdu ar nerakstītu patskaņu no konteksta, mākslīgais intelekts var radīt pilnīgi nepareizu lasījumu un pasniegt to pārliecinošā valodā. Burtu atšķirības, piemēram, "kabul" nevis "kabil" vai "alem", nevis "alim", pilnībā maina nozīmi. Katrs neskaidrs rādījums ir jāiesniedz ar alternatīvām, un nevajadzētu uzlikt vienu galīgo rādījumu.
Slāņi un atbildība ar galdu
slānis
Saturs
AI loma
Eksperta loma
Attēls
oriģināls dokuments
—
Avots
HTR melnraksts
Neapstrādāta mašīna lasīšana
ražo
Kontrole no sākuma līdz beigām
transliterācija
Latīņu burtu transponēšana
projekts ierosina
Labo, labo
Piezīmes par nenoteiktību
[?] un alternatīvas
zīmes
izlemj
Vienkāršošana
Šodienas turku
projekts ierosina
Apstiprinājumi
zinātniskā publikācija
Gala teksts + piezīmes
—
Tikai eksperts
trīs mini futrāļi
1. gadījums — HTR 5 reizes paātrināja pirmo melnrakstu. Doktorants pārrakstītu 200 lappušu Osmaņu piezīmju grāmatiņu. Pilnīga manuālā transkripcija tika lēsta 60 darbadienas. Izmantojot HTR modeli, kas tika apmācīts šim periodam, neapstrādāta iegrime parādījās dažu stundu laikā; Students laboja šo melnrakstu un samazināja darbu līdz 12 darba dienām. Bet viņam bija jāsalīdzina katra lapa ar dokumentu, rindiņu pa rindiņai; Apmēram 30% melnraksta bija nepareizs.
2. gadījums — viens burts, viena nozīme. Viens pētnieks paļāvās uz vārdu, ko AI lasīja kā "gubernators". Ekspertu kontrolē tika saprasts, ka vārds patiesībā bija "aizbildnis" (atbildīgs par bērnu/personu), un, tā kā patskanis nebija atzīmēts, AI uzminēja to nepareizi. Dokumenta juridiskā nozīme pilnībā mainījās. Nodarbība: Osmaņu turku valodā viena burta/patskaņa atšķirība izraisa dokumenta interpretāciju no paša sākuma; nepieciešams eksperts.
3. gadījums — izdomāta pabeigšana. Rindā, kuras tinte bija beigusies un viens vārds nebija nolasāms, AI aizpildīja tukšumu ar “loģisku” vārdu. Eksperts saprata, ka šī plaisa patiesībā bija vietas nosaukums un ka AI to ir izdomājis. Atstarpe atstāta kā [nesalasāma]. Nodarbība: nenolasāmā vieta nav aizpildīta, tā ir atzīmēta.
Četras kopējamas veidnes
1) Transliterācija, kas saglabā neskaidrības:
Zemāk ir Osmaņu dokumenta HTR neapstrādātā izvade/transliterācija. Tavs uzdevums ir pārskatīt tekstu un atzīmēt iespējamās lasīšanas kļūdas. Noteikumi: (1) Katram vārdam, par kuru neesat pārliecināts, piedāvājiet 2-3 iespējamās lasīšanas alternatīvas, neuzspiediet vienu. (2) Nesaslasāmajās vietās atstājiet [nesalasāmas], neaizpildiet tās. (3) PIEVIENOT vārdus, kas tekstā neeksistē. (4) Parādiet alternatīvas vārdos ar neskaidriem patskaņiem. Teksts: [šeit]
2) Slāņainā lasīšana (oriģināls + vienkāršojums):
Ģenerējiet DIVAS kolonnas šādai verificētajai Osmaņu transliterācijai: (1) Oriģinālā transliterācija (pieskāriens), (2) Vienkāršota lasīšana mūsdienu turku valodā. PIEVIENOT nozīmi, pievienojot interpretāciju vienkāršošanā; vienkārši atjauniniet valodu. Atzīmējiet vietas ar neskaidru nozīmi [neskaidra]. Transliterācija: [šeit]
3) Termiņa un personas iegūšana:
Tālāk esošajā transkripcijā minētie personvārdi, vietvārdi, tituli un periodiskie termini parādās atsevišķos sarakstos. Ņemiet tikai tos, kas SKAIDRI minēti tekstā; Nepievienojiet, minot. Atzīmējiet ar [?], ja neesat pārliecināts par izrunu. Teksts: [šeit]
4) Aizdomīga lasīšanas kontrole:
Pieredzējis paleogrāfijas kontrolieris lomā. Tālāk esošajā transkripcijā atzīmējiet vārdus, kuriem ir pretrunīga nozīme, kas neatbilst periodam vai neiederas kontekstā, un uzrakstiet, kāpēc tie ir aizdomīgi. galīgās korekcijas uzlikšana; Izveidojiet aizdomu sarakstu, ko cilvēku eksperts salīdzinās ar dokumentu. Teksts: [šeit]
Vāja uzvedne / spēcīga uzvedne
Vāji:
Izlasi šo Osmaņu tekstu un iedod man tā tulkojumu.
Tas mudina AI radīt vienotu, galīgu rādījumu, slēpjot neskaidrības un iekļaujot nepilnības. Osmaņu turku valodā tā ir gandrīz garantēta kļūda.
Spēcīgs:
Tālāk skatiet Osmaņu transliterāciju. Galīgais lasījums: UZSLIEŠANA. Katram neskaidrajam vārdam sniedziet iespējamās alternatīvas, izlaidiet [nesalasāmās] daļas, nepievienojiet neko, kas nav tekstā. Norādiet vienkāršoto lasījumu mūsdienu turku valodā atsevišķā slejā, bet saglabājiet oriģinālu. Atzīmējiet visu, par ko neesat pārliecināts, ar [?], lai eksperts to varētu salīdzināt ar dokumentu. Teksts: [šeit]
Atšķirība: stingrs lasīšanas aizliegums, alternatīvu pieprasīšana, atstarpju saglabāšana un slāņveida izvade nodrošina ekspertu pārbaudi.
Biežas kļūdas
- HTR melnraksts ir kļūdains. Osmaņu turku valodā liela daļa neapstrādātā iegrimes var būt neprecīza; Vadība pēc rindas ir obligāta.
- Vienīgais galīgais lasījums ir uzspiest. Ja vārdos, kuru patskaņi nav rakstīti, ir paslēptas alternatīvas, tiks ierakstīta nepareiza nozīme.
- Nelasāmās zonas aizpildīšana. Tas ir jāaizsargā ar atstarpēm [nesalasāms], nevis izdomāts.
- Oriģināla jaukšana ar vienkāršošanu. Vienkāršošanai vajadzētu būt atsevišķam slānim; Oriģinālo transliterāciju nedrīkst izkropļot.
- Eksperta atspējošana. Bez zināšanām par paleogrāfiju un periodu AI lasījums ir minējums, kam nav zinātniskas vērtības.
Rezumējot
Osmaņu un manuskriptu transkripciju var ievērojami paātrināt neapstrādātā projekta stadijā, izmantojot HTR un AI; Jūs saņemat pirmo rezultātu, kas samazina darba dienu skaitu līdz stundām. Bet tieši šajā jomā viens burts, viena patskaņa atšķirība maina nozīmi; AI mēdz slēpt nenoteiktību un aizpildīt nepilnības. Pareizā metode ir slāņveida: neapstrādāta kontūra, alternatīvas neskaidrības piezīmes, atsevišķs vienkāršošanas slānis un, galvenais, dokumenta pārbaude rindiņā, ko veic eksperts, kurš pārzina paleogrāfiju. AI paātrina sākotnējo nolasīšanu; Zinātniskā atbildība ir ekspertam.
Lietojumprogrammas uzdevums
Iegūstiet Osmaņu vai manuskripta dokumenta transliterāciju (savu produkciju vai publicētu kopiju). Lūdziet AI alternatīvu lasījumu, izmantojot veidni “neskaidrību saglabājoša transliterācija”. Pēc tam atsevišķi ģenerējiet vienkāršošanas slāni ar "slāņaino lasīšanu". Salīdziniet katru neskaidri atzīmēto vārdu ar ekspertu avotu vai vārdnīcu; Ņemiet vērā, cik kļūdu AI radītu, ja tas uzliktu vienu nolasījumu.
kontrolsaraksts
- [ ] Es izmantoju šim periodam un rakstīšanas stilam atbilstošu HTR/modeli.
- [ ] Es prasīju AI alternatīvas precīzam nolasījumam.
- [ ] Es aizsargāju nelasāmās daļas ar [unreadable].
- [ ] Es saglabāju oriģinālo transliterāciju atsevišķi no vienkāršošanas.
- [ ] Es liku galīgo tekstu pārbaudīt ekspertam/dokumentālam, kurš pārzina paleogrāfiju.