Winst:
- Mogelijkheid om de HTR- en transliteratieworkflow in te stellen en uit te leggen waarom het ruwe concept regel voor regel deskundige controle vereist
- Mogelijkheid om onleesbare gebieden te beschermen door om alternatieven te vragen in plaats van een nauwkeurige lezing op te leggen in geval van klinker-/letterambiguïteit in het Ottomaans-Turks
- Mogelijkheid om de originele transliteratie te scheiden van een afzonderlijke laag van vereenvoudiging, waarbij de uiteindelijke wetenschappelijke verantwoordelijkheid bij de paleograaf blijft liggen
Misschien wel het meest veeleisende onderdeel van historisch onderzoek is het omzetten van manuscripten en oude geschreven documenten in leesbare tekst. Een brief, een notitieboekje, een gerechtelijk dossier of een Ottomaans document wordt pas doorzoekbaar nadat het is getranscribeerd. Transcriptie is het overbrengen van de inhoud van een document (meestal handgeschreven of oud schrift) naar een geschreven, leesbare tekst. In het geval van het Ottomaanse gaat dit vaak gepaard met transliteratie: het overbrengen van de tekst in Arabische letters naar het Latijnse alfabet met zijn letter-voor-letter equivalenten.
Voor gedrukte teksten gebruikten we OCR; Handschrift vereist een andere technologie: HTR (Handgeschreven Tekstherkenning). HTR is een technologie die lijkt op OCR, maar veel uitdagender, en die handgeschreven documenten omzet in machinetekst. In deze unit zullen we zien hoe we HTR en AI kunnen gebruiken bij transcriptie van Ottomaanse en manuscripten, wat de foutmarges zijn en waarom verificatie hier nog belangrijker is.
Waarom is handschrift zo moeilijk?
Handschrift is veel variabeler dan gedrukte tekst: elke schrijver heeft een unieke hand, letters zijn aan elkaar gekoppeld, er worden afkortingen en speciale tekens gebruikt, inkt loopt uit, papier verslijt. In het Ottomaans-Turks wordt de moeilijkheid vermenigvuldigd:
- Contextuele lettervormen: dezelfde letter wordt aan het begin, midden en einde van het woord anders geschreven.
- Geen klinkers schrijven: Korte klinkers worden vaak niet geschreven; de lezer vult aan vanuit de context. Dit creëert onduidelijkheden zoals "acceptatie of afwijzing?"
- Verschillende schrijfstijlen: Er zijn verschillende handschriftstijlen zoals rik'a, divani, ta'lik; Elk vereist een andere leesvaardigheid.
- Ottomaanse woordenschat: Woorden uit het Arabisch en Perzisch die in het hedendaagse Turks niet voorkomen.
Daarom werken HTR en AI met een veel grotere foutmarge in het Ottomaans-Turks dan OCR in print. Het oog van een deskundige paleograaf (paleografie - de wetenschap van het lezen van oude geschriften) is hier geen hulpmiddel, maar een noodzaak.
Werkstroom: stap voor stap
1. Bereid de documentkwaliteit voor. Net als bij OCR zijn een hoge resolutie en een goed contrast essentieel. Bij handschrift is dit zelfs nog belangrijker.
2. Selecteer HTR-model. Ottomaanse, Arabische handschrift- of HTR-modellen die specifiek voor een specifieke periode zijn getraind, zijn veel succesvoller dan algemene modellen. Test welk model goed werkt voor een bepaalde periode en schrijfstijl.
3. Genereer onbewerkte transcriptie. Het HTR-model levert een schets op. In het Ottomaans-Turks is dit ontwerp een begin vol fouten die een ervaren oog grondig moet controleren.
4. Contextuele verbetering met AI. U kunt de AI-vlag inconsistenties, mogelijke leesalternatieven en verdachte locaties in de onbewerkte uitvoer laten zien. Maar de AI-‘correctie’ is hier bijzonder riskant: het zou een gekunstelde lezing kunnen suggereren.
5. Transliteratie en vereenvoudiging (gelaagd). De transliteratie van de tekst in Arabische letters in Latijnse letters, gevolgd door de vereenvoudigde lezing ervan in het hedendaagse Turks, wordt als afzonderlijke lagen geproduceerd. Het origineel breekt nooit.
6. Deskundige verificatie. De uiteindelijke transcriptie wordt goedgekeurd door een expert met paleografie- en periodekennis door deze te vergelijken met het document.
Let op: in het Ottomaans-Turks kan de AI bij het "raden" van een woord met een ongeschreven klinker uit de context een volledig verkeerde lezing produceren en deze in een zelfverzekerde taal presenteren. Een verschil in letters, zoals "kabul" in plaats van "kabil" of "alem" in plaats van "alim", verandert de betekenis volledig. Elke onzekere lezing moet worden gepresenteerd met alternatieven, en er mag geen enkele definitieve lezing worden opgelegd.
Lagen en verantwoordelijkheid met een tafel
laag
Inhoud
Rol van AI
Rol van de deskundige
Afbeelding
origineel document
—
Bron
HTR-ontwerp
Ruw machinaal lezen
produceert
Controle van begin tot eind
transliteratie
Omzetting van Latijnse letters
ontwerp suggereert
Corrigeert, corrigeert
Opmerkingen over onzekerheid
[?] en alternatieven
tekenen
besluit
Vereenvoudiging
Het Turks van vandaag
ontwerp suggereert
Goedkeuringen
wetenschappelijke publicatie
Definitieve tekst + opmerkingen
—
Alleen deskundigen
drie minikoffers
Geval 1 — HTR versnelde de eerste versie met 5x. Een promovendus zou een Ottomaans notitieboekje van 200 pagina's transcriberen. De volledige handmatige transcriptie werd geschat op 60 werkdagen. Met een HTR-model dat voor die periode was getraind, kwam het ruwe concept binnen een paar uur uit; De student corrigeerde dit concept en bracht de werktijd terug naar 12 werkdagen. Maar hij moest elke pagina regel voor regel vergelijken met het document; Ongeveer 30% van het ontwerp was onjuist.
Geval 2 – Eén letter, één betekenis. Eén onderzoeker baseerde zich op een woord dat de AI las als ‘gouverneur’. Onder deskundige controle werd begrepen dat het woord eigenlijk 'voogd' was (verantwoordelijk voor een kind/persoon), en aangezien de klinker niet gemarkeerd was, vermoedde de AI dat het verkeerd was. De juridische betekenis van het document veranderde volledig. Les: In het Ottomaans-Turks zorgt een enkel verschil tussen letter en klinker ervoor dat het document vanaf het begin wordt geïnterpreteerd; deskundige is vereist.
Geval 3 — Gekunstelde voltooiing. In een regel waarvan de inkt op was en waarvan één woord onleesbaar was, vulde de AI het gat op met een ‘logisch’ woord. De deskundige realiseerde zich dat dat gat eigenlijk een plaatsnaam was en dat de AI dat had verzonnen. Spatie achtergelaten als [onleesbaar]. Les: onleesbare ruimte wordt niet opgevuld, maar gemarkeerd.
Vier kopieerbare sjablonen
1) Transliteratie die dubbelzinnigheid behoudt:
Hieronder vindt u de ruwe HTR-uitvoer/transliteratie van een Ottomaans document. Jouw taak is om de tekst te beoordelen en mogelijke leesfouten te signaleren. Regels: (1) Bied 2-3 mogelijke leesalternatieven aan voor elk woord waarvan u niet zeker bent, leg er geen op. (2) Laat [onleesbaar] achter in de onleesbare gebieden, vul ze niet in. (3) TOEVOEGEN van woorden die niet in de tekst voorkomen. (4) Toon alternatieven in woorden met dubbelzinnige klinkers. Tekst: [hier]
2) Gelaagde lezing (origineel + vereenvoudiging):
Genereer TWEE kolommen voor de volgende geverifieerde Ottomaanse transliteratie: (1) Originele transliteratie (aanraking), (2) Vereenvoudigd lezen in het hedendaagse Turks. Betekenis toevoegen, interpretatie toevoegen ter vereenvoudiging; update gewoon de taal. Markeer plaatsen met een dubbelzinnige betekenis[onduidelijk]. Transliteratie: [hier]
3) Term- en persoonsextractie:
De in onderstaande transcriptie genoemde persoonsnamen, plaatsnamen, titels en periodieke termen verschijnen in aparte lijsten. Neem alleen degenen die DUIDELIJK in de tekst worden vermeld; Voeg niet toe door te raden. Markeer met [?] als u niet zeker bent van de uitspraak. Tekst: [hier]
4) Verdachte leescontrole:
Een ervaren paleografiecontroller in deze rol. Markeer in de onderstaande transcriptie de woorden die inconsistent zijn qua betekenis, niet in de periode passen of niet in de context passen, en schrijf op waarom ze verdacht zijn. Het opleggen van definitieve correctie; Genereer een lijst met vermoedens die de menselijke expert met het document zal vergelijken. Tekst: [hier]
Zwakke prompt/sterke prompt
Zwak:
Lees deze Ottomaanse tekst en geef mij de vertaling ervan.
Dit dwingt de AI om één enkele, definitieve lezing te produceren, waarbij dubbelzinnigheden worden verborgen en gaten worden opgevuld. In het Ottomaans-Turks is dit bijna een gegarandeerde fout.
Sterk:
Bekijk hieronder de Ottomaanse transliteratie. Een definitieve lezing: IMPOSITIE. Geef voor elk dubbelzinnig woord mogelijke alternatieven, laat [onleesbare] delen weg, voeg niets toe dat niet in de tekst staat. Geef de vereenvoudigde lezing aan het Turks van vandaag in een aparte kolom, maar bewaar het origineel. Markeer alles waar u niet zeker van bent met [?], zodat de deskundige het met het document kan vergelijken. Tekst: [hier]
Het verschil: een strikt leesverbod, het opvragen van alternatieven, het behouden van witruimte en gelaagde uitvoer maken verificatie door deskundigen mogelijk.
Veel voorkomende fouten
- Het HTR-ontwerp als correct beschouwen. In het Ottomaans-Turks kan een groot deel van de ruwe versie onnauwkeurig zijn; Lijn voor lijn controle is een must.
- De enige definitieve lezing is opleggen. Als er alternatieven verborgen zijn in woorden waarvan de klinkers niet zijn geschreven, wordt de verkeerde betekenis vastgelegd.
- Het onleesbare gebied wordt ingevuld. Het moet worden beschermd door witruimte [onleesbaar], en niet verzonnen.
- Het origineel combineren met vereenvoudiging. Vereenvoudiging moet een aparte laag zijn; De originele transliteratie mag niet worden vervormd.
- De deskundige uitschakelen. Zonder kennis van paleografie en periode is de lezing van AI een gok zonder wetenschappelijke waarde.
Samengevat
De transcriptie van Ottomaanse en manuscripten kan in de ruwe conceptfase enorm worden versneld met HTR en AI; U krijgt een eerste output die het aantal werkdagen tot uren reduceert. Maar het is juist op dit gebied dat een enkele letter, een enkel klinkerverschil de betekenis verandert; AI heeft de neiging om onzekerheid te verbergen en de gaten op te vullen. De juiste methode is gelaagd: ruwe schets, alternatieve aantekeningen van dubbelzinnigheid, een aparte laag van vereenvoudiging en vooral regel-voor-regel verificatie van het document door een expert die bekend is met paleografie. AI versnelt de eerste lezing; De wetenschappelijke verantwoordelijkheid ligt bij de deskundige.
Applicatie taak
Zorg voor een transliteratie van een Ottomaans of manuscriptdocument (uw eigen productie of een gepubliceerde kopie). Vraag de AI om een alternatieve lezing met de sjabloon ‘dubbelzinnigheid behoudende transliteratie’. Genereer vervolgens de vereenvoudigingslaag afzonderlijk met "gelaagd lezen". Vergelijk elk vaag gemarkeerd woord met een deskundige bron of woordenboek; Merk op hoeveel fouten de AI zou produceren als deze één enkele meting zou opleggen.
controlelijst
- [ ] Ik heb een HTR/model gebruikt dat past bij de periode en schrijfstijl.
- [ ] Ik vroeg de AI om alternatieven voor de exacte uitlezing.
- [ ] De onleesbare delen heb ik beveiligd met [onleesbaar].
- [ ] Ik heb de oorspronkelijke transliteratie gescheiden gehouden van de vereenvoudiging.
- [ ] Ik heb de uiteindelijke tekst laten verifiëren door een deskundige/documentaire die verstand heeft van paleografie.