zisky:
- Schopnosť opraviť naskenované dokumenty ich konverziou na text pomocou OCR a HTR a porovnaním výstupu so skutočným obrázkom
- Schopnosť zachovať originalitu a integritu archívneho dokumentu a zabrániť AI v zmene obsahu a zhotovenej obnove
- Schopnosť plánovať dlhodobé digitálne uchovávanie s informáciami o pôvode a odolnými formátmi
Úlohou archivára je preniesť do budúcnosti päťdesiatročné zväzky novín, ručne písané listy alebo staré fotografie. Tieto dokumenty sa časom opotrebujú; Na ich zachovanie a sprístupnenie sa vykonáva digitalizácia: skenovanie fyzického dokumentu a jeho konverzia na digitálnu kópiu. Samotný skríning však nestačí; Digitálny objekt musí byť vyhľadateľný, čitateľný a dlhodobo udržiavateľný. V tejto lekcii sa naučíte, ako používať umelú inteligenciu v pracovnom postupe digitalizácie, prepisu a digitálneho uchovávania; ale dozviete sa, prečo budete niesť zodpovednosť za originalitu a presnosť.
Niekoľko konceptov. OCR (Optical Character Recognition) je technológia, ktorá prevádza text v obraze dokumentu na strojovo upraviteľný text. HTR (Handwritten Text Recognition) robí rovnakú prácu pre ručne písané dokumenty a je oveľa náročnejší. Digitálne uchovávanie je plánované úsilie na zabezpečenie toho, aby digitálne objekty zostali čitateľné po celé desaťročia, aj keď sa formáty súborov stanú zastaranými a softvér sa zmení. AI je výkonný, ale chybný asistent vo všetkých troch oblastiach.
Krok za krokom: od digitalizácie po konzerváciu
1. Uprednostnite. Nedá sa digitalizovať všetko naraz. Najkrehkejšie, najžiadanejšie a najjedinečnejšie dokumenty sú na prvom mieste. Toto je súdne rozhodnutie; AI pomáha s úpravou zoznamu, ale prioritu určuje inštitúcia.
2. Naskenujte a použite OCR/HTR. Naskenujte dokument vo vysokom rozlíšení a potom pomocou OCR alebo HTR extrahujte text. Nástroje založené na AI sú tu stále lepšie a lepšie, dokonca aj so starými a zložitými textami.
3. Opravte a overte text. OCR/HTR výstup nie je nikdy dokonalý. Chyby sú bežné, najmä ak je tam staré písmo, zafarbené strany alebo rukopis. Je nevyhnutné porovnať výstup so skutočným obrázkom a opraviť ho.
4. Pridajte metadáta a informácie o ochrane. Pridajte k digitálnemu objektu jeho pôvod, podmienky skenovania, informácie o formáte a pôvod – odkiaľ dokument pochádza a ako bol spracovaný. Tieto informácie sú dôležité pre budúce overenie a ochranu.
5. Naplánujte si dlhodobú ochranu. Vyberte si formáty súborov, ktoré sú otvorené, bežné a odolné; zálohovať; Vytvorte plán migrácie pre prípad, že sa formáty stanú zastaranými.
Tip: Neakceptujte výstup OCR ako „čistý text“. Ak by vyhľadávací systém pracoval s týmto textom, nesprávne rozpoznané slová by spôsobili, že by sa zdroj nenašiel. Pri kritických zbierkach určuje kvalitu všetkých následných prístupov korekcia výstupu OCR na ľudské oko.
Autenticita a integrita digitálneho objektu
Základom archívnej práce je autentickosť a integrita: záruka, že dokument skutočne pochádza z uvádzaného zdroja a že jeho obsah nebol zmenený. V tomto bode AI vytvára dvojakú hrozbu. Po prvé, počas korekcie OCR/HTR alebo „vylepšenia“ môže AI potichu upravovať text; môže pridať slovo, ktoré neexistuje pod názvom "oprava". Po druhé, ak sa „oprava“ alebo „obnovenie“ obrazu vykoná pomocou AI, môžu sa vytvoriť neoriginálne detaily.
Pravidlo archivára je jasné: digitálna kópia musí byť verná originálu. Každé zlepšenie vykonané pomocou AI by malo byť zdokumentované a skutočný (surový) sken by sa mal vždy zachovať. „Skrášľovanie“ dokumentu môže zničiť jeho historickú dôkaznú hodnotu.
Pozor: Môže byť lákavé „vylepšiť“ starú fotografiu alebo dokument pomocou AI; ale AI dopĺňa chýbajúce časti ich vymýšľaním. V archívnom dokumente to znamená vytváranie falošných historických dôkazov. Výstup obnovy nikdy nenahradí pôvodný zdroj; je uložený ako samostatný, jasne označený variant.
tri mini prípady
Prípad 1 – Archívy novín bolo možné vyhľadávať. Knižnica zdigitalizovala svoju 30-ročnú zbierku miestnych novín. Pomocou OCR bolo prepísaných 90 000 strán a bolo možné v nich vyhľadávať; Hľadanie témy, ktoré predtým trvalo niekoľko dní, sa teraz skrátilo na sekundy. Tím si však všimol, že presnosť OCR klesla na 80 % na starých a zafarbených stránkach a uprednostnil opravu najlepších rokov ľudským okom.
Prípad 2 – HTR otvoril rukopis. Archív aplikoval HTR na zbierku ťažko čitateľných listov z 19. storočia. Systém získal veľkú rýchlosť podľa mesiacov čítania odborníkmi; Ale každú stranu výtlačku porovnával s originálom odborný paleograf (odborník na staroveké písmo), pretože v názvoch osôb a miest boli chyby.
Prípad 3 – Falošná „reštaurácia“ zamietnutá. Jeden tím zvažoval „opravu“ roztrhanej historickej fotografie pomocou AI. AI doplnila chýbajúce časti tváre ich napasovaním. Archivár si uvedomil, že tieto vymyslené detaily by skreslili historické dôkazy; Opravený obrázok bol uložený oddelene vedľa pôvodného, len jasne označený ako „derivát AI“.
Prístup k kópii, zachovaniu kópie a rozhodnutiu o formáte
Osvedčeným postupom pri digitalizácii je oddelenie kópií toho istého objektu na rôzne účely. Uchovávacia predloha je skutočný digitálny objekt, ktorý sa má preniesť do budúcnosti, uložený v najvyššom rozlíšení, v nekomprimovanom alebo bezstratovom formáte; málokedy sa ho dotýka. Prístupová kópia je menší, ľahko otvárateľný variant prezentovaný používateľovi. Toto rozlíšenie je dôležité, pretože formát, ktorý je praktický na použitie (malý, komprimovaný), nemusí byť vhodný na dlhodobé uchovávanie; Ideálny formát na konzerváciu (veľký, bezstratový) je na každodenné použitie ťažkopádny. V tomto pracovnom postupe môže AI pomôcť pri inventarizácii súborov, zisťovaní chýbajúcich variantov a udržiavaní konzistentnosti metadát medzi dvoma kópiami. Výber formátu je však rozhodnutím o zachovaní: mali by sa uprednostňovať otvorené, široko zdokumentované a trvalé formáty (namiesto proprietárnych uzavretých formátov) a mal by byť pripravený plán migrácie pre prípad, že formáty časom zastarajú. Aj keď AI navrhne formát, konečné slovo má politika dlhodobého uchovávania inštitúcie.
Tip: O každom digitálnom objekte si veďte krátky záznam, ktorý odpovedá na otázky „kde je pôvodný zdroj, v akom formáte je zachovaná kópia, v akom formáte je prístupová kópia a ktorá je sprístupnená používateľovi?“ Zmiešaním týchto troch vrstiev nie je jasné, ktorý súbor je v budúcnosti dôveryhodným hlavným súborom.
Štyri kopírovateľné šablóny
1) Pomoc pri korekcii výstupu OCR:
Nižšie je text OCR a popis skutočnej stránky. Opravte iba chyby openOCR (chybné znaky, zložené/rozdelené slová). Nemeňte obsah, nepridávajte ani neodstraňujte slová. Ak si nie ste istý, označte pomocou „[?]“. Text OCR: [tu]
2) Kontrola konzistencie textu a obrázka:
Sú v opravenom texte nižšie nejaké dodatky, o ktorých sa neočakávalo, že budú v pôvodnom dokumente (ktorý mohol byť vymyslený)? Označte každú podozrivú časť a napíšte, prečo je podozrivá. Text: [tu]
3) Návrh metadát ochrany:
Vytvorte obrys metadát ochrany pre nasledujúci digitalizovaný objekt: zdroj, pôvod, dátum/rozlíšenie skenovania, formát súboru, história transakcií. Stačí použiť informácie, ktoré som uviedol, chýbajúce pole ponechajte prázdne. Informácie: [tu]
4) Pomoc pri stanovení priorít:
Nižšie je uvedený zoznam zbierok čakajúcich na digitalizáciu; Pomôžte pri stanovovaní priorít na základe krehkosti, dopytu a jedinečnosti. Uveďte stručné odôvodnenie každého zdroja; Konečné rozhodnutie nechajte na mňa.Zoznam: [tu]
Slabá výzva / Silná výzva
Slabá výzva:
Opravte a skrášlite tento naskenovaný text.
„Beautify“ vyzýva AI, aby zmenila obsah a nahradila vynechané položky; Originálnosť archívneho dokumentu je poškodená.
Výkonná výzva:
Vaša úloha: asistent editora digitalizácie. V nasledujúcom texte OCR opravte LEN explicitné chyby rozpoznávania (chybný znak, nesprávne rozdelené slovo). Nepridávajte, neodstraňujte ani nemeňte žiadne slová. Ak si nie ste istí, ponechajte „[?]“. Zobrazte každú vykonanú opravu v samostatnom zozname. Text: [tu]
Výkonná výzva obmedzuje AI iba na rozpoznávanie chýb, zakazuje jej dotýkať sa obsahu a umožňuje vysledovať opravy.
Pracovný postup a tabuľka rizík
Etapa
Príspevok AI
Hlavné riziko
ochranné opatrenie
skenovať
—
zlá kvalita
vysoké rozlíšenie
OCR/HTR
Previesť na text
Chyby v rozpoznávaní
ľudská náprava
korekcia
Chybový návrh
Zmena obsahu
Porovnanie s originálom
reštaurovanie
Odvodenie obrazu
montážny detail
Surový originál si ponechajte, označte ho
ochranu
Koncept metadát
strata pôvodu
Záznam o pôvode
Časté chyby
- Prijatie výstupu OCR bez korekcie. Chyby narúšajú vyhľadávanie a prístup.
- Volanie AI „urobte krásnu“. Mení obsah a ničí originalitu.
- Nahradením skutočných dôkazov obnovou AI. Vymyslený detail vytvára falošnú históriu.
- Neukladá sa nespracovaný sken. Bez originálu nie je možné overiť žiadnu opravu.
- Vynechanie informácií o pôvode. Spoľahlivosť dokumentu sa stáva nevysledovateľnou.
V súhrne
AI v digitálnych archívoch a digitalizácii; Je to cenná pomôcka, ktorá urýchľuje prepis OCR/HTR, vytváranie metadát a stanovenie priorít. Podstatou archívnej práce je však autentickosť a integrita: OCR výstup by mal byť korigovaný ľudským okom, AI by nikdy nemala v tichosti nahrádzať obsah, reštaurátorské deriváty by nemali nahrádzať pôvodné dôkazy a vždy by sa mali zachovať surové informácie o skenovaní a pôvode. Použite AI ako nástroj, ktorý dokument „nevylepšuje“, ale skôr ho sprístupňuje, pričom mu zostáva verný.
Aplikačná úloha
Získajte krátku ukážku výstupu OCR (buď z vlastnej produkcie alebo zo skutočného skenovania). Opravte iba chyby rozpoznávania pomocou šablóny „Pomocník pre korekciu výstupu OCR“ a potom skontrolujte, či AI pridala obsah pomocou šablóny „Kontrola konzistencie textu a obrazu“. Potom vytvorte záznam s informáciami o pôvode a formáte objektu pomocou šablóny „Koncept metadát na ochranu“.
kontrolný zoznam
- [ ] Porovnal som výstup OCR/HTR so skutočným obrázkom a opravil som ho.
- [ ] Skontroloval som, že AI nepridáva/nezmení obsah.
- [ ] Surový (hlavný) sken som ponechal oddelene a nezmenený.
- [ ] Do metadát som pridal informácie o pôvode a formáte.
- [ ] Varianty obnovy som jasne označil ako „derivát AI“.