Gevinster:
- Evne til å sette opp HTR- og translitterasjonsarbeidsflyten og forklare hvorfor råutkastet krever ekspertkontroll linje for linje
- Evne til å beskytte uleselige områder ved å be om alternativer i stedet for å pålegge en presis lesing i tilfelle vokal-/bokstav-tvetydighet på ottomansk tyrkisk
- Evne til å skille den originale translitterasjonen fra et eget lag av forenkling, og holde det endelige vitenskapelige ansvaret hos paleografen
Den kanskje mest krevende delen av historisk forskning er å transkribere manuskripter og gamle skriftlige dokumenter til lesbar tekst. Et brev, en notatbok, en rettsprotokoll eller et osmansk dokument blir søkbart først etter at det er blitt transkribert. Transkripsjon er handlingen for å overføre innholdet i et dokument (oftest håndskrevet eller gammelt manus) til en skrevet, lesbar tekst. Når det gjelder osmansk, er dette ofte ledsaget av translitterasjon: overføring av teksten med arabiske bokstaver til det latinske alfabetet med bokstav-for-bokstav-ekvivalenter.
Vi brukte OCR for trykte tekster; Håndskrift krever en annen teknologi: HTR (Handwritten Text Recognition). HTR er en teknologi som ligner på OCR, men mye mer utfordrende som konverterer håndskrevne dokumenter til maskintekst. I denne enheten vil vi se hvordan du bruker HTR og AI i osmansk transkripsjon og manuskripttranskripsjon, feilmarginene og hvorfor verifisering er enda mer kritisk her.
Hvorfor er håndskrift så vanskelig?
Håndskrift er mye mer variabel enn trykt tekst: hver skribent har en unik hånd, bokstaver er knyttet sammen, forkortelser og spesielle tegn brukes, blekk blør ut, papir slites ut. På ottomansk tyrkisk er vanskeligheten mangedoblet:
- Kontekstuelle bokstavformer: Den samme bokstaven skrives forskjellig i begynnelsen, midten og slutten av ordet.
- Ikke skrive vokaler: Korte vokaler skrives ofte ikke; leseren kompletterer fra konteksten. Dette skaper uklarheter som "aksept eller avvisning?"
- Ulike skrivestiler: Det er forskjellige håndskriftstiler som rik'a, divani, ta'lik; Hver krever en annen lesekompetanse.
- Osmansk vokabular: Ord fra arabisk og persisk som ikke finnes på dagens tyrkisk.
Derfor fungerer HTR og AI med en mye høyere feilmargin på ottomansk tyrkisk enn trykt OCR. Øyet til en ekspert paleograf (paleografi - vitenskapen om å lese eldgamle skrifter) er ikke et verktøy her, men en nødvendighet.
Arbeidsflyt: trinn for trinn
1. Forbered dokumentkvalitet. Som med OCR er høy oppløsning og god kontrast avgjørende. Dette er enda mer kritisk i håndskrift.
2. Velg HTR-modell. Ottomanske, arabiske håndskrift- eller HTR-modeller som er spesifikt trent for en bestemt periode, er mye mer vellykkede enn generelle modeller. Test hvilken modell som fungerer bra for en periode og skrivestil.
3. Generer rå transkripsjon. HTR-modellen produserer en disposisjon. På ottomansk tyrkisk er dette utkastet en begynnelse full av feil som et erfarent øye må sjekke grundig.
4. Kontekstuell forbedring med AI. Du kan ha AI-flagg inkonsekvenser, mulige lesealternativer og mistenkelige steder i råutgangen. Men AI-"korreksjonen" er spesielt risikabel her: den kan foreslå en konstruert lesning.
5. Translitterasjon og forenkling (lagdelt). Translitterasjonen av teksten med arabiske bokstaver til latinske bokstaver, etterfulgt av dens forenklede lesning til dagens tyrkisk, produseres som separate lag. Originalen går aldri i stykker.
6. Ekspertverifisering. Den endelige transkripsjonen godkjennes av en ekspert med paleografi og periodekunnskap ved å sammenligne den med dokumentet.
Oppmerksomhet: På osmansk tyrkisk, når du "gjetter" et ord med en uskreven vokal fra konteksten, kan AI produsere en helt feil lesning og presentere det på et selvsikkert språk. En forskjell i bokstaver, for eksempel "kabul" i stedet for "kabil" eller "alem" i stedet for "alim", endrer helt betydningen. Enhver usikker lesning bør presenteres med alternativer, og ingen enkelt definitiv lesning bør pålegges.
Lag og ansvar med bord
lag
Innhold
Rollen til AI
Ekspertens rolle
Bilde
originaldokument
—
Kilde
HTR utkast
Rå maskinlesing
produserer
Kontroll fra start til slutt
translitterasjon
Transponering av latinske bokstaver
utkast foreslår
Retter, retter
Notater om usikkerhet
[?] og alternativer
tegn
bestemmer
Forenkling
Dagens tyrkisk
utkast foreslår
Godkjenninger
vitenskapelig publikasjon
Endelig tekst + notater
—
Kun ekspert
tre minisaker
Tilfelle 1 – HTR fremskyndet det første utkastet med 5x. En doktorgradsstudent ville transkribere en 200-siders osmansk notatbok. Full manuell transkripsjon ble anslått til 60 virkedager. Med en HTR-modell trent for perioden kom råutkastet ut på noen timer; Eleven rettet dette utkastet og reduserte arbeidet til 12 virkedager. Men han måtte sammenligne hver side med dokumentet, linje for linje; Omtrent 30 % av utkastet var feil.
Tilfelle 2 - Én bokstav, én betydning. En forsker stolte på et ord AI leste som "guvernør." Under ekspertkontroll ble det forstått at ordet faktisk var "verge" (ansvarlig for et barn/person), og siden vokalen ikke var markert, gjettet AI det feil. Den juridiske betydningen av dokumentet var i ferd med å endre seg fullstendig. Leksjon: På ottomansk tyrkisk fører en enkelt bokstav/vokalforskjell til at dokumentet blir tolket fra begynnelsen; ekspert kreves.
Sak 3 — Konstruert fullføring. I en linje hvis blekk hadde gått tom og ett ord var uleselig, fylte AI gapet med et "logisk" ord. Eksperten skjønte at gapet faktisk var et stedsnavn og at AI-en hadde gjort opp det. Plass igjen som [uleselig]. Leksjon: uleselig plass er ikke fylt, den er merket.
Fire kopierbare maler
1) Translitterasjon som bevarer tvetydighet:
Nedenfor er HTR-råutgangen/translitterasjonen av et osmansk dokument. Din oppgave er å gjennomgå teksten og flagge mulige lesefeil. Regler: (1) Tilby 2-3 mulige lesealternativer for hvert ord du ikke er sikker på, ikke pålegg ett. (2) La [uleselig] være i de uleselige områdene, ikke fyll dem. (3) LEGG TIL ord som ikke finnes i teksten. (4) Vis alternativer i ord med tvetydige vokaler. Tekst: [her]
2) Lesing i lag (original + forenkling):
Generer TO kolonner for følgende verifiserte osmanske translitterasjon: (1) Original translitterasjon (touch), (2) Forenklet lesing til dagens tyrkisk. LEGG TIL mening, legge til tolkning i forenkling; bare oppdater språket. Merk steder med tvetydig betydning [utydelig]. Translitterasjon: [her]
3) Term- og personutvinning:
Personnavn, stedsnavn, titler og periodiske termer nevnt i transkripsjonen nedenfor vises i egne lister. Ta bare de KLART nevnt i teksten; Ikke legg til ved å gjette. Merk med [?] hvis du ikke er sikker på uttalen. Tekst: [her]
4) Mistenkelig lesekontroll:
En erfaren paleografikontrollør i rollen. I transkripsjonen nedenfor markerer du ordene som er inkonsekvente i betydningen, som ikke passer til punktum eller ikke passer inn i konteksten, og skriv hvorfor de er mistenkelige. Pålegge definitiv korreksjon; Generer en liste over mistanker som den menneskelige eksperten vil sammenligne med dokumentet. Tekst: [her]
Svak forespørsel / Sterk forespørsel
Svak:
Les denne osmanske teksten og gi meg oversettelsen.
Dette presser AI til å produsere en enkelt, definitiv lesning, skjuler tvetydigheter og passer inn i hull. På osmansk tyrkisk er dette nesten garantert feil.
Sterk:
Sjekk ut den osmanske translitterasjonen nedenfor. En definitiv lesning: IMPOSISJON. Gi mulige alternativer for hvert tvetydig ord, utelat [uleselige] deler, ikke legg til noe som ikke står i teksten. Gi den forenklede lesningen til dagens tyrkiske i en egen spalte, men behold originalen. Merk noe du ikke er sikker på med [?], slik at eksperten kan sammenligne det med dokumentet. Tekst: [her]
Forskjellen: strengt leseforbud, forespørsel om alternativer, bevaring av mellomrom og lagdelt utgang muliggjør ekspertverifisering.
Vanlige feil
- Tar feil av HTR-utkastet som riktig. På osmansk tyrkisk kan mye av det rå utkastet være unøyaktig; Linje for linje kontroll er et must.
- Den eneste definitive lesningen er å påtvinge. Hvis alternativer er skjult i ord hvis vokaler ikke er skrevet, vil feil betydning bli registrert.
- Fyller ut det uleselige området. Den skal være beskyttet av mellomrom [uleselig], ikke sminket.
- Blande originalen med forenkling. Forenkling bør være et eget lag; Den originale translitterasjonen bør ikke forvrenges.
- Deaktivering av eksperten. Uten kunnskap om paleografi og periode, er AIs lesing en gjetning uten vitenskapelig verdi.
Oppsummert
Osmansk transkripsjon og manuskripttranskripsjon kan akselereres kraftig på råutkaststadiet med HTR og AI; Du får en første utgang som reduserer arbeidsdager til timer. Men det er nettopp på dette området at en enkelt bokstav, en enkelt vokalforskjell endrer betydningen; AI har en tendens til å skjule usikkerhet og fylle hullene. Den riktige metoden er lagdelt: rå disposisjon, alternative notater av tvetydighet, et eget lag med forenkling og fremfor alt, linje-for-linje verifisering av dokumentet av en ekspert som er kjent med paleografi. AI gir raskere innledende lesing; Det vitenskapelige ansvaret ligger hos eksperten.
Søknadsoppgave
Skaff en translitterasjon av et osmansk eller manuskriptdokument (din egen produksjon eller en publisert kopi). Spør AI om en alternativ lesning med malen "tvetydighetsbevarende translitterasjon". Generer deretter forenklingslaget separat med "lagdelt lesing". Sammenlign hvert vagt merket ord med en ekspertkilde eller ordbok; Legg merke til hvor mange feil AI-en ville produsere hvis den påla en enkelt lesing.
sjekkliste
- [ ] Jeg brukte en HTR/modell tilpasset perioden og skrivestilen.
- [ ] Jeg spurte AI om alternativer til den eksakte avlesningen.
- [ ] Jeg beskyttet de ulesbare delene med [uleselig].
- [ ] Jeg holdt den originale translitterasjonen atskilt fra forenklingen.
- [ ] Jeg fikk den endelige teksten verifisert av en ekspert/dokumentar som kan paleografi.