Pelnas:
- Galimybė pataisyti nuskaitytus dokumentus konvertuojant juos į tekstą naudojant OCR ir HTR ir lyginant išvestį su tikruoju vaizdu
- Galimybė išsaugoti archyvo dokumento originalumą ir vientisumą ir neleisti dirbtiniam intelektui pakeisti turinio ir sufabrikuoto atkūrimo
- Gebėjimas planuoti ilgalaikį skaitmeninį išsaugojimą naudojant kilmės informaciją ir patvarius formatus
Archyvo darbuotojui pavesta nešti į ateitį penkiasdešimties metų senumo laikraščių tomus, ranka rašytus laiškus ar senas nuotraukas. Šie dokumentai laikui bėgant susidėvi; Norint juos išsaugoti ir padaryti prieinamus, atliekamas skaitmeninimas: fizinio dokumento nuskaitymas ir konvertavimas į skaitmeninę kopiją. Tačiau vien atrankos neužtenka; Skaitmeninis objektas turi būti randamas, skaitomas ir prižiūrimas ilgą laiką. Šiame skyriuje išmoksite naudoti dirbtinį intelektą skaitmeninimo, transkripcijos ir skaitmeninio išsaugojimo darbo eigoje; bet jūs sužinosite, kodėl jūs prisiimate atsakomybę už originalumą ir tikslumą.
Keletas sąvokų. OCR (Optical Character Recognition) – tai technologija, kuri paverčia dokumento vaizde esantį tekstą mašininiu būdu redaguojamu tekstu. HTR (ranka rašyto teksto atpažinimas) atlieka tą patį darbą su ranka rašytais dokumentais ir yra daug sunkesnis. Skaitmeninis išsaugojimas yra suplanuotos pastangos užtikrinti, kad skaitmeniniai objektai išliktų įskaitomi dešimtmečius, net jei failų formatai pasensta ir keičiasi programinė įranga. AI yra galingas, bet trūkumų turintis asistentas visose trijose srityse.
Žingsnis po žingsnio: nuo skaitmeninimo iki išsaugojimo
1. Suteikite pirmenybę. Negalite visko iš karto suskaitmeninti. Pirmoje vietoje yra pažeidžiamiausi, paklausiausi ir unikaliausi dokumentai. Tai yra teismo sprendimas; AI padeda redaguoti sąrašą, tačiau institucija nustato prioritetą.
2. Nuskaitykite ir pritaikykite OCR/HTR. Nuskaitykite dokumentą didele raiška, tada naudokite OCR arba HTR, kad ištrauktumėte tekstą. Dirbtinio intelekto įrankiai čia tampa vis geresni, net ir su senais ir sudėtingais tekstais.
3. Pataisykite ir patikrinkite tekstą. OCR/HTR išvestis niekada nėra tobula. Klaidos yra dažnos, ypač jei yra senas raštas, dėmėti puslapiai ar rankraštis. Būtina palyginti išvestį su tikruoju vaizdu ir ją pataisyti.
4. Pridėkite metaduomenis ir apsaugos informaciją. Prie skaitmeninio objekto pridėkite jo kilmę, nuskaitymo sąlygas, formato informaciją ir kilmę – iš kur dokumentas buvo gautas ir kaip jis buvo apdorotas. Ši informacija yra labai svarbi norint ateityje patikrinti ir apsaugoti.
5. Suplanuokite ilgalaikę apsaugą. Pasirinkite atvirus, įprastus ir patvarius failų formatus; atgal; Sudarykite perkėlimo planą, jei formatai pasentų.
Patarimas: nepriimkite OCR išvesties kaip „aiškaus teksto“. Jei paieškos sistema veiktų per šį tekstą, dėl neteisingai atpažintų žodžių šaltinis nebūtų rastas. Svarbių kolekcijų atveju, pataisius OCR išvestį į žmogaus akis, nustatoma visos tolesnės prieigos kokybė.
Skaitmeninio objekto autentiškumas ir vientisumas
Archyvinio darbo pagrindas yra autentiškumas ir vientisumas: užtikrinimas, kad dokumentas tikrai kilęs iš nurodyto šaltinio ir kad jo turinys nebuvo pakeistas. Šiuo metu AI sukuria dvejopą grėsmę. Pirma, OCR / HTR taisymo ar „patobulinimo“ metu AI gali tyliai keisti tekstą; gali pridėti žodį, kurio nėra pavadinimu „pataisa“. Antra, jei vaizdo „taisymas“ arba „atkūrimas“ atliekamas naudojant AI, gali būti pagamintos neoriginalios detalės.
Archyvo taisyklė aiški: skaitmeninė saugojimo kopija turi būti ištikima originalui. Kiekvienas patobulinimas, atliktas naudojant AI, turėtų būti dokumentuojamas, o tikrasis (neapdorotas) nuskaitymas visada turi būti išsaugotas. Dokumento „pagražinimas“ gali sugriauti jo istorinę įrodomąją vertę.
Atsargiai: gali kilti pagunda „patobulinti“ seną nuotrauką ar dokumentą naudojant AI; bet AI užpildo trūkstamas dalis jas sudarydamas. Archyviniame dokumente tai reiškia klaidingų istorinių įrodymų kūrimą. Atkūrimo išvestis niekada nepakeičia pradinio šaltinio; saugomas kaip atskiras, aiškiai pažymėtas variantas.
trys mini dėklai
1 atvejis – tapo galima ieškoti laikraščių archyvuose. Biblioteka suskaitmenino savo 30 metų senumo vietinių laikraščių kolekciją. Naudojant OCR, 90 000 puslapių buvo perrašyta ir galima ieškoti; Temų paieška, kuri anksčiau truko kelias dienas, dabar sutrumpėjo iki sekundžių. Tačiau komanda pastebėjo, kad senuose ir dėmėtuose puslapiuose OCR tikslumas sumažėjo iki 80%, todėl pirmenybė buvo teikiama geriausių metų koregavimui žmogaus akimi.
2 atvejis – HTR atidarė rankraštį. Archyvas HTR pritaikė sunkiai įskaitomų XIX a. laiškų kolekcijai. Sistema įgavo didelį greitį, kai ekspertai skaitė kelis mėnesius; Bet kiekvieną spaudinio puslapį su originalu lygino patyręs paleografas (senovės rašto žinovas), nes žmonių ir vietų pavadinimuose buvo klaidų.
3 atvejis – netikras „atkūrimas“ atmestas. Viena komanda svarstė galimybę „pataisyti“ suplyšusią istorinę nuotrauką naudojant AI. AI papildė trūkstamas veido dalis jas pritaikydamas. Archyvas suprato, kad šios išgalvotos detalės iškraipys istorinius įrodymus; Sutaisytas vaizdas buvo saugomas atskirai kartu su originalu, tik aiškiai pažymėtas „AI darinys“.
Prieigos kopija, išsaugojimo kopija ir formato sprendimas
Gera skaitmeninimo praktika yra atskirti to paties objekto kopijas skirtingiems tikslams. Išsaugojimo pagrindinis elementas yra tikrasis skaitmeninis objektas, kuris turi būti perkeltas į ateitį, saugomas aukščiausios raiškos, nesuspausto arba be nuostolių formatu; ji retai liečiama. Prieigos kopija yra mažesnis, lengvai atidaromas variantas, pateikiamas vartotojui. Šis skirtumas yra svarbus, nes praktiškas naudoti formatas (mažas, suspaustas) gali netikti ilgalaikiam saugojimui; Idealus konservavimo formatas (didelis, be nuostolių) yra sudėtingas kasdieniniam naudojimui. Šioje darbo eigoje AI gali padėti inventorizuoti failus, aptikti trūkstamus variantus ir išlaikyti dviejų kopijų metaduomenis. Tačiau formato pasirinkimas yra išsaugojimo sprendimas: pirmenybė turėtų būti teikiama atviriems, plačiai dokumentuotiems ir patvariems formatams (o ne patentuotiems uždariems formatams), o perkėlimo planas turėtų būti parengtas, jei formatai laikui bėgant pasentų. Net jei AI pasiūlo formatą, galutinį žodį taria institucijos ilgalaikio išsaugojimo politika.
Patarimas: veskite trumpą kiekvieno skaitmeninio objekto įrašą, kuriame atsakykite į klausimus „kur yra originalus šaltinis, kokiu formatu yra saugojimo kopija, kokiu formatu yra prieigos kopija ir kuri yra prieinama vartotojui? Sumaišius šiuos tris sluoksnius tampa neaišku, kuris failas yra patikimas pagrindinis vadovas.
Keturi kopijuojami šablonai
1) OCR išvesties taisymo pagalba:
Žemiau yra OCR tekstas ir tikrojo puslapio aprašymas. Ištaisykite tik openOCR klaidas (blogus simbolius, sudėtinius / padalintus žodžius). Nekeiskite turinio, nepridėkite ir nepašalinkite žodžių. Jei nesate tikri, pažymėkite „[?]“. OCR tekstas: [čia]
2) Teksto vaizdo nuoseklumo patikrinimas:
Ar toliau pataisytame tekste yra kokių nors papildymų, kurių nebuvo numatyta pirminiame dokumente (kuris galėjo būti sugalvotas)? Pažymėkite kiekvieną įtartiną dalį ir parašykite, kodėl ji įtartina. Tekstas: [čia]
3) Apsaugos metaduomenų juodraštis:
Sugeneruokite šio suskaitmeninto objekto išsaugojimo metaduomenų kontūrą: šaltinis, kilmė, nuskaitymo data / skiriamoji geba, failo formatas, operacijų istorija. Tiesiog naudokite mano pateiktą informaciją, trūkstamą lauką palikite tuščią. Informacija: [čia]
4) Pagalba dėl prioritetų nustatymo:
Žemiau pateikiamas kolekcijų, kurios laukia skaitmeninimo, sąrašas; Padėkite nustatyti prioritetus pagal pažeidžiamumą, paklausą ir unikalumą. Trumpai pagrįskite kiekvieną išteklį; Palikite galutinį sprendimą man. Sąrašas: [čia]
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Pataisykite ir pagražinkite šį nuskaitytą tekstą.
„Beautify“ kviečia dirbtinį intelektą keisti turinį, kompensuoti praleidimus; Archyvo dokumento originalumas sugadintas.
Galingas raginimas:
Jūsų vaidmuo: skaitmeninimo redaktoriaus padėjėjas. Šiame OCR tekste ištaisykite TIK aiškias atpažinimo klaidas (blogas simbolis, neteisingai padalintas žodis). Nepridėkite, nepašalinkite ir nekeiskite jokių žodžių. Palikite „[?]“, kur nesate tikri. Kiekvieną atliktą pataisymą parodykite atskirame sąraše. Tekstas: [čia]
Galingas raginimas apriboja AI tik klaidų atpažinimą, draudžia liesti turinį ir leidžia atsekti pataisymus.
Darbo eiga ir rizikos lentelė
Scena
AI indėlis
Pagrindinė rizika
apsaugos priemonė
nuskaityti
—
prastos kokybės
didelės raiškos
OCR/HTR
Konvertuoti į tekstą
Atpažinimo klaidos
žmogiškoji korekcija
korekcija
Klaidos pasiūlymas
Turinio keitimas
Palyginimas su originalu
restauravimas
Vaizdo išvestinė
tinkanti detalė
Išsaugokite neapdorotą originalą, pažymėkite jį
apsauga
Metaduomenų juodraštis
kilmės praradimas
Kilmės įrašas
Dažnos klaidos
- OCR išvesties priėmimas be pataisymo. Klaidos sutrikdo paiešką ir prieigą.
- AI vadinimas „padaryti gražią“. Tai keičia turinį ir griauna originalumą.
- AI atkūrimas pakeičiamas faktiniais įrodymais. Sukurtos detalės sukuria klaidingą istoriją.
- Nesaugomas neapdorotas nuskaitymas. Jokio pataisymo negalima patikrinti be originalo.
- Praleidžiant informaciją apie kilmę. Dokumento patikimumas tampa neatsekamas.
Apibendrinant
DI skaitmeniniuose archyvuose ir skaitmeninime; Tai vertinga pagalba, kuri pagreitina OCR/HTR transkripciją, metaduomenų rengimą ir prioritetų nustatymą. Tačiau archyvavimo darbo esmė yra autentiškumas ir vientisumas: OCR išvestį turėtų taisyti žmogaus akis, AI niekada neturėtų tyliai pakeisti turinio, atkūrimo dariniai neturėtų pakeisti pirminių įrodymų, o neapdorota nuskaitymo ir kilmės informacija visada turėtų būti išsaugota. Naudokite dirbtinį intelektą kaip įrankį, kuris „nepatobulina“ dokumento, o padaro jį prieinamą ir išlieka ištikimas.
Taikymo užduotis
Gaukite trumpą OCR išvesties pavyzdį (savo produkcijos arba faktinio nuskaitymo). Ištaisykite tik atpažinimo klaidas naudodami šabloną „OCR išvesties taisymo pagalba“, tada patikrinkite, ar AI nepridėjo turinio naudodami šabloną „Teksto vaizdo nuoseklumo tikrinimas“. Tada sukurkite įrašą su objekto kilmės ir formato informacija naudodami šabloną „Metaduomenų išsaugojimo juodraštis“.
kontrolinis sąrašas
- [ ] Palyginau OCR/HTR išvestį su tikruoju vaizdu ir ją pataisiau.
- [ ] Patikrinau, ar AI neprideda / nekeičia turinio.
- [ ] Neapdorotą (pagrindinį) nuskaitymą laikiau atskirai ir nepakeistą.
- [ ] Prie metaduomenų pridėjau kilmės ir formato informaciją.
- [ ] Atkūrimo variantus aiškiai pažymėjau kaip „AI darinys“.