Voitot:
- Kyky määrittää HTR- ja translitterointityönkulku ja selittää, miksi raakaluonnos vaatii asiantuntevaa tarkistusta rivi riviltä
- Kyky suojella lukukelvottomia alueita pyytämällä vaihtoehtoja sen sijaan, että määräisit tarkan lukemisen, jos vokaalin/kirjaimen epäselvyys ottomaanien turkkiksi
- Kyky erottaa alkuperäinen translitterointi erillisestä yksinkertaistamiskerroksesta ja säilyttää lopullinen tieteellinen vastuu paleografialla
Historiantutkimuksen ehkä vaativin osa on käsikirjoitusten ja vanhojen kirjallisten asiakirjojen litterointi luettavaksi tekstiksi. Kirje, muistikirja, oikeuden pöytäkirja tai ottomaanien asiakirja tulee haettavaksi vasta sen jälkeen, kun se on litteroitu. Transkriptio on toiminto, jossa asiakirjan sisältö (useimmiten käsinkirjoitettu tai vanha kirjoitus) siirretään kirjoitetuksi, luettavaksi tekstiksi. Ottomaanien tapauksessa tähän liittyy usein translitterointi: arabiankielisen tekstin siirtäminen latinalaisiin aakkosiin sen kirjain kirjaimelta vastaavien kanssa.
Käytimme tekstintunnistusta painetuissa teksteissä; Käsinkirjoitus vaatii erilaista tekniikkaa: HTR (Handwritten Text Recognition). HTR on OCR:n kaltainen, mutta paljon haastavampi tekniikka, joka muuntaa käsin kirjoitetut asiakirjat konetekstiksi. Tässä osiossa näemme, kuinka HTR:ää ja tekoälyä käytetään ottomaanien ja käsikirjoituksen transkriptiossa, virhemarginaalit ja miksi todentaminen on vieläkin kriittisempi tässä.
Miksi käsinkirjoitus on niin vaikeaa?
Käsinkirjoitus on paljon vaihtelevampaa kuin painettu teksti: jokaisella kirjoittajalla on ainutlaatuinen käsi, kirjaimet linkitetään toisiinsa, käytetään lyhenteitä ja erikoismerkkejä, muste vuotaa, paperi kuluu. Ottomaanien turkin kielellä vaikeus on moninkertainen:
- Kontekstuaaliset kirjainmuodot: Sama kirjain kirjoitetaan eri tavalla sanan alkuun, keskelle ja loppuun.
- Vokaalien kirjoittamatta jättäminen: Lyhyitä vokaaleja ei usein kirjoiteta; lukija täydentää asiayhteydestä. Tämä luo epäselvyyksiä, kuten "hyväksyminen vai hylkääminen?"
- Erilaiset kirjoitustyylit: On olemassa erilaisia käsinkirjoitustyylejä, kuten rik'a, divani, ta'lik; Jokainen vaatii erilaista lukutaitoa.
- Ottomaanien sanasto: arabiasta ja persiasta peräisin olevia sanoja, joita ei ole nykypäivän turkin kielessä.
Siksi HTR ja tekoäly toimivat paljon suuremmalla virhemarginaalilla ottomaanien turkin kielellä kuin tulostustekstintunnistus. Asiantuntevan paleografin silmä (paleografia - muinaisten kirjoitusten lukemisen tiede) ei ole tässä työkalu, vaan välttämättömyys.
Työnkulku: askel askeleelta
1. Valmistele asiakirjan laatu. Kuten OCR:ssä, korkea resoluutio ja hyvä kontrasti ovat tärkeitä. Tämä on vielä tärkeämpää käsinkirjoituksessa.
2. Valitse HTR-malli. Erityisesti tietylle ajanjaksolle koulutetut ottomaanien, arabialaisten käsinkirjoitusten tai HTR-mallit ovat paljon menestyneempiä kuin yleiset mallit. Testaa, mikä malli toimii hyvin tietylle ajanjaksolle ja kirjoitustyylille.
3. Luo raakatranskriptio. HTR-malli tuottaa ääriviivat. Ottomaanien turkkiksi tämä luonnos on alku täynnä virheitä, jotka kokeneen silmän on tarkistettava huolellisesti.
4. Kontekstin parantaminen tekoälyllä. Sinulla voi olla AI-lipun epäjohdonmukaisuuksia, mahdollisia lukuvaihtoehtoja ja epäilyttäviä paikkoja raakatulosteessa. Mutta tekoälyn "korjaus" on tässä erityisen riskialtista: se voi viitata keinotekoiseen lukemiseen.
5. Translitterointi ja yksinkertaistaminen (kerrostettu). Tekstin translitterointi arabian kirjaimilla latinalaisiin kirjaimiin ja sen jälkeen sen yksinkertaistettu lukeminen nykypäivän turkkiksi tuotetaan erillisinä kerroksina. Alkuperäinen ei hajoa koskaan.
6. Asiantuntijatarkastus. Lopullisen transkription hyväksyy paleografian ja aikakauden tuntemuksen omaava asiantuntija vertaamalla sitä asiakirjaan.
Huomio: Ottomaanien turkin kielessä tekoäly voi "arvata" sanan, jossa on kirjoittamaton vokaali kontekstista, tuottaa täysin väärän lukeman ja esittää sen varmalla kielellä. Ero kirjaimissa, kuten "kabul" "kabilin" sijaan tai "alem" sanan "alim" sijaan, muuttaa merkityksen täysin. Jokainen epävarma lukema tulee esittää vaihtoehtojen kera, eikä yhtä lopullista lukemaa tulisi määrätä.
Tasot ja vastuu pöydän kanssa
kerros
Sisältö
AI:n rooli
Asiantuntijan rooli
Kuva
alkuperäinen asiakirja
—
lähde
HTR luonnos
Raaka koneen lukeminen
tuottaa
Ohjaus alusta loppuun
translitterointi
Latinalaisen kirjaimen transponointi
luonnos ehdottaa
Korjaa, korjaa
Huomautuksia epävarmuudesta
[?] ja vaihtoehdot
merkkejä
päättää
Yksinkertaistaminen
Tämän päivän turkki
luonnos ehdottaa
Hyväksynnät
tieteellinen julkaisu
Lopullinen teksti + muistiinpanot
—
Vain asiantuntija
kolme minilaukkua
Tapaus 1 – HTR nopeutti ensimmäistä luonnosta viisinkertaiseksi. Tohtoriopiskelija litteroi 200-sivuisen ottomaanien muistikirjan. Täysi manuaalinen transkriptio arvioitiin 60 työpäivää. Tälle ajanjaksolle opetetulla HTR-mallilla raaka luonnos tuli ulos muutamassa tunnissa; Opiskelija korjasi tämän luonnoksen ja lyhensi työn 12 työpäivään. Mutta hänen täytyi verrata jokaista sivua asiakirjaan rivi riviltä; Noin 30 % luonnoksesta oli virheellinen.
Tapaus 2 – Yksi kirjain, yksi merkitys. Yksi tutkija luotti sanaan, jonka tekoäly luki "kuvernöörinä". Asiantuntijan valvonnassa ymmärrettiin, että sana oli itse asiassa "huoltaja" (vastuussa lapsesta/henkilöstä), ja koska vokaalia ei ollut merkitty, tekoäly arvasi sen väärin. Asiakirjan oikeudellinen merkitys muuttui täysin. Oppitunti: Ottomaanien turkin kielessä yksi kirjain/vokaali ero saa asiakirjan tulkinnan alusta alkaen; asiantuntijaa tarvitaan.
Tapaus 3 – Keksitty loppuun. Rivillä, jonka muste oli loppunut ja jonka yksi sana oli lukukelvoton, tekoäly täytti aukon "loogisella" sanalla. Asiantuntija tajusi, että tämä aukko oli itse asiassa paikannimi ja että tekoäly oli keksinyt sen. Välilyönti jätetty [epäselväksi]. Oppitunti: lukukelvotonta tilaa ei täytetä, se on merkitty.
Neljä kopioitavaa mallia
1) Translitterointi, joka säilyttää epäselvyyden:
Alla on ottomaanien asiakirjan HTR-raakatulostus/translitterointi. Sinun tehtäväsi on tarkistaa teksti ja merkitä mahdolliset lukuvirheet. Säännöt: (1) Tarjoa 2-3 mahdollista lukuvaihtoehtoa jokaiselle sanalle, josta et ole varma, älä vaadi sellaista. (2) Jätä lukukelvottomia kohtia, älä täytä niitä. (3) LISÄÄN sanoja, joita ei ole tekstissä. (4) Näytä vaihtoehtoja sanoissa, joissa on moniselitteisiä vokaaleja. Teksti: [täällä]
2) Kerrostettu luku (alkuperäinen + yksinkertaistettu):
Luo KAKSI saraketta seuraavalle vahvistetulle ottomaanien translitteraatiolle: (1) Alkuperäinen translitterointi (kosketus), (2) Yksinkertaistettu lukeminen nykypäivän turkkiksi. Merkityksen LISÄÄMINEN, tulkinnan lisääminen yksinkertaistamiseksi; päivittää vain kieli. Merkitse paikat, joilla on epäselvä merkitys [epäselvä]. Translitterointi: [täällä]
3) Termi ja henkilö poimiminen:
Alla olevassa transkriptiossa mainitut henkilönimet, paikannimet, nimikkeet ja aikakaustermit näkyvät erillisinä luetteloina. Otetaan vain ne tekstissä selkeästi mainitut; Älä lisää arvaamalla. Merkitse [?], jos et ole varma ääntämisestä. Teksti: [täällä]
4) Epäilyttävä lukuohjaus:
Kokenut paleografian ohjaaja roolissa. Merkitse alla olevaan transkriptioon sanat, jotka ovat merkitykseltään ristiriitaisia, eivät sovi pisteeseen tai eivät sovi kontekstiin, ja kirjoita, miksi ne ovat epäilyttäviä. Lopullisen korjauksen määrääminen; Luo luettelo epäilyksistä, joita ihmisasiantuntija vertaa asiakirjaan. Teksti: [täällä]
Heikko kehote / Vahva kehote
Heikko:
Lue tämä ottomaanien teksti ja anna sen käännös.
Tämä pakottaa tekoälyn tuottamaan yhden, lopullisen lukeman, piilottaen epäselvyydet ja sovittamalla aukkoja. Ottomaanien turkin kielellä tämä on melkein taattu virhe.
Vahva:
Katso ottomaanien translitterointi alta. Lopullinen lukema: ASETUS. Esitä mahdolliset vaihtoehdot jokaiselle moniselitteiselle sanalle, jätä pois [lukukelvottomat] osat, älä lisää mitään, mitä ei ole tekstissä. Anna nykyisen turkin yksinkertaistettu luku erillisessä sarakkeessa, mutta säilytä alkuperäinen. Merkitse kaikki, mistä et ole varma [?], jotta asiantuntija voi verrata sitä asiakirjaan. Teksti: [täällä]
Ero: tiukka lukukielto, vaihtoehtojen pyytäminen, välilyöntien säilyttäminen ja kerrostettu tulos mahdollistavat asiantuntijatarkastuksen.
Yleisiä virheitä
- HTR-luonnos on virheellinen. Ottomaanien turkin kielellä suuri osa raakavedosta voi olla epätarkka; Rivi riviltä -ohjaus on pakollinen.
- Ainoa lopullinen lukema on määrätä. Jos vaihtoehtoja piilotetaan sanoihin, joiden vokaalia ei ole kirjoitettu, kirjataan väärä merkitys.
- Lukemattoman alueen täyttö. Se tulee suojata välilyönnillä [ei luettavissa], ei keksitty.
- Alkuperäisen sekoittaminen yksinkertaistamalla. Yksinkertaistamisen tulisi olla erillinen kerros; Alkuperäistä translitterointia ei saa vääristää.
- Asiantuntijan poistaminen käytöstä. Ilman paleografian ja ajanjakson tuntemusta tekoälyn lukemat ovat arvauksia, joilla ei ole tieteellistä arvoa.
Yhteenvetona
Ottomaanien ja käsikirjoituksen transkriptiota voidaan nopeuttaa huomattavasti raakaluonnosvaiheessa HTR:n ja AI:n avulla; Saat ensimmäisen tuloksen, joka vähentää työpäivien tuntimäärän. Mutta juuri tällä alueella yksi kirjain, yksittäinen vokaaliero muuttaa merkitystä; AI pyrkii piilottamaan epävarmuutta ja täyttämään aukkoja. Oikea menetelmä on kerrostettu: raaka ääriviivat, vaihtoehtoiset monitulkintamerkit, erillinen yksinkertaistamiskerros ja ennen kaikkea paleografian asiantuntijan suorittama asiakirjan rivi riviltä todentaminen. AI nopeuttaa alkulukemista; Tieteellinen vastuu kuuluu asiantuntijalle.
Sovellustehtävä
Hanki translitterointi ottomaanien tai käsikirjoitetusta asiakirjasta (oma tuotanto tai julkaistu kopio). Pyydä tekoälyltä vaihtoehtoista lukemista "epäselvyyttä säilyttävän translitteroinnin" -mallin avulla. Luo sitten yksinkertaistuskerros erikseen "kerroslukemalla". Vertaa jokaista epämääräisesti merkittyä sanaa asiantuntijalähteeseen tai sanakirjaan; Huomaa, kuinka monta virhettä AI tuottaisi, jos se määrää yhden lukeman.
tarkistuslista
- [ ] Käytin aikakauteen ja kirjoitustyyliin sopivaa HTR/mallia.
- [ ] Pyysin tekoälyltä vaihtoehtoja tarkalle lukemalle.
- [ ] Suojasin lukukelvottomat osat [unreadable]-toiminnolla.
- [ ] Pidin alkuperäisen translitteroinnin erillään yksinkertaistamisesta.
- [ ] Paleografian tunteva asiantuntija/dokumentti todennut lopullisen tekstin.