Kasu:
- Võimalus skannitud dokumente parandada, teisendades need tekstiks OCR-i ja HTR-iga ning võrreldes väljundit tegeliku pildiga
- Võimalus säilitada arhiividokumendi originaalsus ja terviklikkus ning takistada AI-l sisu muutmast ja fabritseeritud taastamist
- Oskus kavandada pikaajalist digitaalset säilitamist lähteandmete ja vastupidavate vormingutega
Arhiivitöötaja ülesandeks on kanda tulevikku viiskümmend aastat vanad ajaleheköited, käsitsi kirjutatud kirjad või vanad fotod. Need dokumendid kuluvad aja jooksul; Nende säilitamiseks ja kättesaadavaks muutmiseks tehakse digiteerimine: füüsilise dokumendi skaneerimine ja selle digitaalseks koopiaks teisendamine. Kuid sõeluuringust üksi ei piisa; Digiobjekt peab olema leitav, loetav ja pikas perspektiivis hooldatav. Selles õppetükis saate teada, kuidas kasutada tehisintellekti digiteerimise, transkriptsiooni ja digitaalse säilitamise töövoos; kuid saate teada, miks vastutate originaalsuse ja täpsuse eest.
Paar kontseptsiooni. OCR (Optical Character Recognition) on tehnoloogia, mis teisendab dokumendi pildil oleva teksti masinredigeeritavaks tekstiks. HTR (Handwritten Text Recognition) teeb sama tööd käsitsi kirjutatud dokumentide puhul ja on palju keerulisem. Digitaalne säilitamine on kavandatud jõupingutus, et tagada digitaalsete objektide loetavus aastakümneteks, isegi kui failivormingud vananevad ja tarkvara muutub. AI on võimas, kuid vigane assistent kõigis kolmes valdkonnas.
Samm-sammult: digiteerimisest säilitamiseni
1. Sea prioriteediks. Kõike korraga digitaliseerida ei saa. Esikohale seatakse kõige õrnemad, kõige nõutavamad ja ainulaadsemad dokumendid. See on kohtuotsus; Tehisintellekt aitab nimekirja redigeerimisel, kuid prioriteedi määrab institutsioon.
2. Skannige ja rakendage OCR/HTR. Skannige dokument kõrge eraldusvõimega, seejärel kasutage teksti eraldamiseks OCR-i või HTR-i. AI-põhised tööriistad lähevad siin aina paremaks, isegi vanade ja raskete tekstide puhul.
3. Parandage ja kontrollige teksti. OCR/HTR väljund pole kunagi täiuslik. Vead on tavalised, eriti kui seal on vana kirjutis, plekilised lehed või käsikiri. Oluline on võrrelda väljundit tegeliku pildiga ja parandada.
4. Lisage metaandmed ja kaitseteave. Lisage digitaalsele objektile selle päritolu, skannimistingimused, vorminguteave ja päritolu – kust dokument pärineb ja kuidas seda töödeldi. See teave on tulevase kontrollimise ja kaitsmise jaoks ülioluline.
5. Pikaajalise kaitse plaan. Valige failivormingud, mis on avatud, levinud ja vastupidavad; varundada; Koostage migratsiooniplaan juhuks, kui vormingud aeguvad.
Näpunäide. Ärge aktsepteerige optilise tekstituvastuse väljundit "selge tekstina". Kui otsingusüsteem peaks selle teksti läbi töötama, ei leiaks valesti tuvastatud sõnad allikat. Kriitiliste kogude puhul määrab OCR-väljundi inimsilmale korrigeerimine kogu järgneva juurdepääsu kvaliteedi.
Digiobjekti autentsus ja terviklikkus
Arhiivitöö keskmes on autentsus ja terviklikkus: kindlus, et dokument pärineb tõepoolest väidetavast allikast ja selle sisu ei ole muudetud. Sel hetkel loob AI kaheosalise ohu. Esiteks, OCR/HTR-i korrigeerimise või täiustamise ajal saab tehisintellekt teksti vaikselt muuta; saab lisada sõna, mida nimetuse "parandus" all ei eksisteeri. Teiseks, kui kujutist "parandada" või "taastada" tehakse tehisintellektiga, võidakse toota mitteoriginaalseid detaile.
Arhiivipidaja reegel on selge: digitaalne säilituskoopia peab olema originaalitruu. Kõik tehisintellektiga tehtud täiustused tuleks dokumenteerida ja tegelik (toores) skaneering tuleks alati säilitada. Dokumendi "ilustamine" võib hävitada selle ajaloolise tõendusliku väärtuse.
Ettevaatust: võib tekkida kiusatus vana fotot või dokumenti tehisintellektiga "parandada"; kuid AI täidab puuduvad osad, moodustades need välja. Arhiividokumendis tähendab see valede ajalootõendite loomist. Taastamise väljund ei asenda kunagi algset allikat; salvestatakse eraldi, selgelt märgistatud variandina.
kolm minikarpi
Juhtum 1 – ajalehtede arhiivid muutusid otsitavaks. Raamatukogu on digiteerinud oma 30-aastase kohalike ajalehtede kogu. OCR-iga transkribeeriti ja muudeti otsitavaks 90 000 lehekülge; Varem päevi kestnud teemaotsing on nüüd kahanenud sekunditeks. Töörühm märkas aga, et OCR-i täpsus langes vanadel ja määrdunud lehtedel 80%-ni ning pidas esikohale parimate aastate parandamist inimsilmaga.
Juhtum 2 – HTR avas käsikirja. Arhiiv rakendas HTR-i raskesti loetavate 19. sajandi kirjade kogule. Ekspertide kuudepikkuse lugemise põhjal saavutas süsteem suure kiiruse; Kuid väljatrüki iga lehekülge võrdles asjatundlik paleograaf (muinaskirja asjatundja) originaaliga, sest inimeste ja kohtade nimedes oli vigu.
Juhtum 3 – võltsitud taastamine lükati tagasi. Üks meeskond kaalus rebenenud ajaloolise foto "parandamist" tehisintellektiga. AI täiendas puuduvad näoosad, paigaldades need. Arhivaar mõistis, et need väljamõeldud detailid moonutavad ajaloolisi tõendeid; Parandatud kujutist säilitati originaaliga eraldi, ainult selgelt märgistatud "AI derivaat".
Juurdepääsu koopia, säilituskoopia ja vormingu otsus
Digitaliseerimise hea tava on eraldada sama objekti koopiad erinevatel eesmärkidel. Säilitusmaster on tegelik digitaalne objekt, mis kantakse tulevikku ja mis on salvestatud kõrgeima eraldusvõimega, tihendamata või kadudeta vormingus; seda puudutatakse harva. Juurdepääsukoopia on väiksem, hõlpsasti avatav variant, mis esitatakse kasutajale. See eristus on oluline, kuna kasutusotstarbeline formaat (väike, kokkusurutud) ei pruugi sobida pikaajaliseks säilitamiseks; Ideaalne säilitamise formaat (suur, kadudeta) on igapäevaseks kasutamiseks tülikas. Selles töövoos saab AI aidata faile inventeerida, tuvastada puuduvad variandid ja hoida metaandmeid kahe koopia vahel järjepidevana. Vormingu valik on aga säilitamisotsus: eelistada tuleks avatud, laialdaselt dokumenteeritud ja vastupidavaid vorminguid (mitte patenteeritud suletud vorminguid) ning valmis hoida migratsiooniplaan juhuks, kui vormingud aja jooksul vananevad. Isegi kui tehisintellekt soovitab vormingut, jääb lõplik sõna asutuse pikaajalise säilitamise poliitikale.
Näpunäide: tehke iga digitaalse objekti kohta lühike ülestähendus, mis vastab küsimustele "kus on algallikas, mis formaadis on säilituskoopia, millises vormingus on juurdepääsukoopia ja mis tehakse kasutajale kättesaadavaks?" Nende kolme kihi segamine muudab ebaselgeks, milline fail on edaspidi usaldusväärne juht.
Neli kopeeritavat malli
1) OCR-i väljundi korrigeerimise abi:
Allpool on OCR-tekst ja tegeliku lehe kirjeldus. Parandage ainult openOCR-i vead (halvad märgid, liit-/lõhestatud sõnad). Ärge muutke sisu, lisage ega eemaldage sõnu. Kui te pole kindel, märkige "[?]". OCR-tekst: [siin]
2) Teksti-pildi järjepidevuse kontroll:
Kas allolevas parandatud tekstis on täiendusi, mida algdokumendis (mis võis olla väljamõeldud) ei olnud? Märkige iga kahtlane osa ja kirjutage, miks see on kahtlane. Tekst: [siin]
3) Kaitse metaandmete mustand:
Looge järgmise digiteeritud objekti säilitamise metaandmete ülevaade: allikas, päritolu, skannimise kuupäev/eraldusvõime, failivorming, tehinguajalugu. Kasutage lihtsalt minu esitatud teavet, jätke puuduv väli tühjaks. Info: [siin]
4) Prioriteetide seadmise abi:
Allpool on nimekiri digiteerimist ootavatest kogudest; Aidake prioriseerida hapruse, nõudluse ja ainulaadsuse alusel. Põhjendage iga ressurssi lühidalt; Jäta lõplik otsus minu teha. Loetelu: [siin]
Nõrk viip / Tugev viip
Nõrk viip:
Parandage ja kaunistage seda skannitud teksti.
"Beautify" kutsub tehisintellekti sisu muutma, tegematajätmisi korvama; Arhiivdokumendi originaalsus on rikutud.
Võimas viip:
Sinu roll: digiteerimistoimetaja assistent. Järgmises OCR-tekstis parandage AINULT selgesõnalised tuvastamisvead (halb märk, valesti poolitatud sõna). Ärge lisage, eemaldage ega muutke sõnu. Jätke "[?]", kus te pole kindel. Kuvage iga tehtud parandus eraldi loendis. Tekst: [siin]
Võimas viip piirab AI-l ainult vigade tuvastamist, keelab sisu puudutamise ja muudab parandused jälgitavaks.
Töövoog ja riskitabel
Lava
AI panus
Peamine risk
kaitsemeede
skannida
—
halva kvaliteediga
kõrge eraldusvõimega
OCR/HTR
Teisenda tekstiks
Tuvastamisvead
inimlik parandus
parandus
Vea soovitus
Sisu muutmine
Võrdlus originaaliga
taastamine
Pildi tuletis
sobiv detail
Hoidke toores originaal, märgistage see
kaitse
Metaandmete mustand
päritolu kaotus
Päritolurekord
Levinud vead
- OCR-väljundi aktsepteerimine ilma paranduseta. Vead häirivad otsingut ja juurdepääsu.
- AI kutsumine kauniks muutmiseks. See muudab sisu ja hävitab originaalsuse.
- AI taastamise asendamine tegelike tõenditega. Valmistatud detailid loovad vale ajaloo.
- Tooreskannimist ei salvestata. Ilma originaalita ei saa parandusi kontrollida.
- Päritoluteabe väljajätmine. Dokumendi usaldusväärsus muutub jälgimatuks.
Kokkuvõttes
AI digitaalarhiivides ja digiteerimises; See on väärtuslik abivahend, mis kiirendab OCR/HTR transkriptsiooni, metaandmete koostamist ja prioriteetide seadmist. Kuid arhiivitöö põhiolemus on autentsus ja terviklikkus: OCR-väljundit peaks parandama inimsilm, tehisintellekt ei tohiks kunagi sisu vaikselt asendada, taastamistuletised ei tohiks asendada algseid tõendeid ning toores skaneerimise ja päritoluteave tuleks alati säilitada. Kasutage tehisintellekti tööriistana, mis ei "paranda" dokumenti, vaid muudab selle ligipääsetavaks, jäädes sellele truuks.
Rakenduse ülesanne
Hankige lühike OCR-väljundi näidis (kas oma toodang või tegelik skannimine). Laske malliga "OCR väljundi korrigeerimise abi" parandada ainult tuvastusvead, seejärel kontrollige malliga "Teksti kujutise järjepidevuse kontroll", kas tehisintellekt on lisanud sisu. Seejärel looge malliga "Säilitamise metaandmete mustand" objekti lähte- ja vorminguteabega kirje.
kontrollnimekiri
- [ ] Võrdlesin OCR/HTR väljundit tegeliku pildiga ja parandasin seda.
- [ ] Olen kontrollinud, et tehisintellekt ei lisa/muuda sisu.
- [ ] Hoidsin töötlemata (master) skaneeringu eraldi ja muutmata kujul.
- [ ] Lisasin metaandmetesse lähte- ja vorminguteabe.
- [ ] Olen restaureerimisvariandid selgelt märgistanud kui "AI tuletis".