Dobici:
- Sposobnost ispravljanja skeniranih dokumenata pretvaranjem u tekst pomoću OCR i HTR i poređenjem izlaza sa stvarnom slikom
- Sposobnost očuvanja originalnosti i integriteta arhivskog dokumenta i sprečavanja AI da promeni sadržaj i fabrikovanu restauraciju
- Sposobnost planiranja dugoročnog digitalnog očuvanja s informacijama o porijeklu i trajnim formatima
Arhivar ima zadatak da odnese pedeset godina stare tomove novina, rukom pisana pisma ili stare fotografije u budućnost. Ovi dokumenti se vremenom troše; Kako bi ih sačuvali i učinili dostupnim, vrši se digitalizacija: čin skeniranja fizičkog dokumenta i pretvaranja u digitalnu kopiju. Ali samo skrining nije dovoljan; Digitalni objekat mora biti nalažljiv, čitljiv i održiv na duži rok. U ovoj jedinici ćete naučiti kako koristiti umjetnu inteligenciju u procesu digitalizacije, transkripcije i digitalnog očuvanja; ali ćete naučiti zašto ćete snositi odgovornost za originalnost i tačnost.
Nekoliko koncepata. OCR (Optical Character Recognition) je tehnologija koja pretvara tekst na slici dokumenta u tekst koji se može uređivati strojno. HTR (Handwritten Text Recognition) radi isti posao za rukom pisane dokumente i mnogo je teži. Digitalno očuvanje je planirano nastojanje da se osigura da digitalni objekti ostanu čitljivi decenijama, čak i kada formati datoteka postanu zastarjeli i softver se promijeni. AI je moćan, ali pogrešan pomoćnik u sve tri oblasti.
Korak po korak: od digitalizacije do očuvanja
1. Odredite prioritete. Ne možete digitalizirati sve odjednom. Najkrhkiji, najtraženiji i najunikatniji dokumenti su na prvom mjestu. Ovo je sudska odluka; AI pomaže u uređivanju liste, ali institucija određuje prioritet.
2. Skenirajte i primijenite OCR/HTR. Skenirajte dokument u visokoj rezoluciji, a zatim koristite OCR ili HTR za izdvajanje teksta. Alati zasnovani na umjetnoj inteligenciji postaju sve bolji i bolji, čak i sa starim i teškim tekstovima.
3. Ispravite i provjerite tekst. OCR/HTR izlaz nikada nije savršen. Greške su česte, posebno ako postoje stari spisi, zamrljane stranice ili rukopis. Neophodno je uporediti izlaz sa stvarnom slikom i ispraviti je.
4. Dodajte metapodatke i informacije o zaštiti. Dodajte digitalnom objektu njegovo porijeklo, uvjete skeniranja, informacije o formatu i porijeklo — odakle je dokument došao i kako je obrađen. Ove informacije su ključne za buduću verifikaciju i zaštitu.
5. Plan za dugoročnu zaštitu. Odaberite formate datoteka koji su otvoreni, uobičajeni i izdržljivi; back up; Napravite plan migracije u slučaju da formati zastare.
Savjet: Ne prihvaćajte OCR izlaz kao "čist tekst". Ako bi sistem pretraživanja radio kroz ovaj tekst, pogrešno prepoznate riječi bi uzrokovale da izvor ne bi bio pronađen. Za kritične kolekcije, ispravljanje OCR izlaza za ljudsko oko određuje kvalitet svih naknadnih pristupa.
Autentičnost i integritet digitalnog objekta
U središtu arhivskog rada su autentičnost i integritet: uvjerenje da dokument zaista potiče iz izvora za koje se tvrdi da njegov sadržaj nije promijenjen. U ovom trenutku, AI stvara dvosmjernu prijetnju. Prvo, tokom OCR/HTR korekcije ili "poboljšanja", AI može tiho modificirati tekst; može dodati riječ koja ne postoji pod imenom "ispravka". Drugo, ako se "popravka" ili "restauracija" slike vrši pomoću AI, mogu se proizvesti neoriginalni detalji.
Pravilo arhiviste je jasno: digitalna kopija mora biti vjerna originalu. Svako poboljšanje napravljeno pomoću AI treba dokumentirati, a stvarno (neobrađeno) skeniranje uvijek treba sačuvati. "Uljepšavanje" dokumenta može uništiti njegovu istorijsku dokaznu vrijednost.
Oprez: Možda će biti primamljivo "poboljšati" staru fotografiju ili dokument pomoću AI; ali AI popunjava dijelove koji nedostaju tako što ih nadoknađuje. U arhivskom dokumentu to znači stvaranje lažnih istorijskih dokaza. Izlaz restauracije nikada ne zamjenjuje originalni izvor; je pohranjena kao posebna, jasno označena varijanta.
tri mini kofera
Slučaj 1 — Arhive novina su postale pretražive. Biblioteka je digitalizovala svoju tridesetogodišnju kolekciju lokalnih novina. Sa OCR-om, 90.000 stranica je transkribovano i omogućeno za pretraživanje; Pretraživanje tema koje je ranije trajalo danima sada je svedeno na sekunde. Međutim, tim je primijetio da je OCR tačnost pala na 80% na starim i umrljanim stranicama i dao je prioritet ispravljanju najboljih godina ljudskim okom.
Slučaj 2 — HTR je otvorio rukopis. Arhiv je primenio HTR na zbirku teško čitljivih pisama iz 19. veka. Sistem je dobio veliku brzinu prema mjesecima čitanja od strane stručnjaka; Ali svaku stranicu ispisa uporedio je stručnjak paleograf (stručnjak za antičko pismo) s originalom jer je bilo grešaka u imenima ljudi i mjesta.
Slučaj 3 — Lažna „restauracija“ odbijena. Jedan tim je razmatrao "popravku" pocepane istorijske fotografije pomoću AI. AI je kompletirao dijelove lica koji nedostaju tako što ih je ugradio. Arhivar je shvatio da bi ovi izmišljeni detalji iskrivili istorijske dokaze; Popravljena slika pohranjena je odvojeno pored originala, samo jasno označena "AI derivat".
Pristup kopiji, kopiji očuvanja i odluka o formatu
Dobra praksa u digitalizaciji je odvajanje kopija istog objekta u različite svrhe. Master očuvanja je stvarni digitalni objekat koji se prenosi u budućnost, pohranjen u najvišoj rezoluciji, nekomprimiranom ili formatu bez gubitaka; retko se dodiruje. Pristupna kopija je manja, lako otvorena varijanta predstavljena korisniku. Ova razlika je važna jer format koji je praktičan za upotrebu (mali, komprimovani) možda nije prikladan za dugotrajno čuvanje; Idealan format za čuvanje (veliki, bez gubitaka) je težak za svakodnevnu upotrebu. U ovom toku rada, AI može pomoći u popisivanju datoteka, otkrivanju varijanti koje nedostaju i održavanju metapodataka dosljednim između dvije kopije. Međutim, izbor formata je odluka o očuvanju: treba dati prednost otvorenim, široko dokumentiranim i trajnim formatima (umjesto vlasničkim, zatvorenim formatima), a plan migracije treba držati spreman u slučaju da formati vremenom zastare. Čak i ako AI predlaže format, konačnu riječ ima politika dugoročnog očuvanja institucije.
Savjet: Za svaki digitalni objekt vodite kratku evidenciju koja odgovara na pitanja "gdje je izvorni izvor, u kojem formatu je kopija za očuvanje, u kojem je formatu pristupna kopija i koja je dostupna korisniku?" Miješanjem ova tri sloja postaje nejasno koja je datoteka pouzdani master u budućnosti.
Četiri šablona za kopiranje
1) Pomoć za korekciju OCR izlaza:
Ispod je OCR tekst i opis stvarne stranice. Ispravite samo openOCR greške (loši znakovi, složene/razdvojene riječi). Nemojte mijenjati sadržaj, dodavati ili uklanjati riječi. Ako niste sigurni, označite sa "[?]". OCR tekst: [ovdje]
2) Provjera konzistentnosti teksta i slike:
Postoje li dodaci u ispravljenom tekstu ispod za koje se nije očekivalo da će biti u originalnom dokumentu (koji je možda izmišljen)? Označite svaki sumnjivi dio i napišite zašto je sumnjiv. Tekst: [ovdje]
3) Nacrt metapodataka zaštite:
Generirajte nacrt metapodataka očuvanja za sljedeći digitalizirani objekt: izvor, porijeklo, datum/rezolucija skeniranja, format datoteke, povijest transakcija. Samo koristite informacije koje sam dao, a polje koje nedostaje ostavite prazno. Informacije: [ovdje]
4) Pomoć pri određivanju prioriteta:
Ispod je lista kolekcija koje čekaju digitalizaciju; Pomozite u određivanju prioriteta na osnovu krhkosti, potražnje i jedinstvenosti. Dajte kratko obrazloženje za svaki izvor; Konačnu odluku prepustite meni. Lista: [ovdje]
Slaba prompt / Jaka prompt
Slab upit:
Ispravite i uljepšajte ovaj skenirani tekst.
“Uljepšaj” poziva AI da promijeni sadržaj, nadoknadi propuste; Originalnost arhivskog dokumenta je oštećena.
Snažan upit:
Vaša uloga: asistent urednika digitalizacije. U sljedećem OCR tekstu popravite SAMO eksplicitne greške u prepoznavanju (loš znak, pogrešno podijeljena riječ). Nemojte dodavati, uklanjati ili mijenjati nijednu riječ. Ostavite "[?]" tamo gdje niste sigurni. Prikažite svaku ispravku koju ste napravili na posebnoj listi. Tekst: [ovdje]
Snažan prompt ograničava AI samo na prepoznavanje grešaka, zabranjuje mu dodirivanje sadržaja i čini ispravke sljedivim.
Tok rada i tabela rizika
Stage
Doprinos AI
Glavni rizik
mjera zaštite
scan
—
lošeg kvaliteta
visoka rezolucija
OCR/HTR
Pretvori u tekst
Greške u prepoznavanju
ljudska korekcija
korekcija
Prijedlog greške
Promjena sadržaja
Poređenje sa originalom
restauracija
Derivat slike
prikladan detalj
Zadržite sirovi original, označite ga
zaštita
Nacrt metapodataka
gubitak porijekla
Zapis o porijeklu
Uobičajene greške
- Prihvatanje OCR izlaza bez korekcije. Greške ometaju pretragu i pristup.
- Nazivanje AI "učini lijepim". To mijenja sadržaj i uništava originalnost.
- Zamjena AI restauracije za stvarne dokaze. Izmišljeni detalji stvaraju lažnu istoriju.
- Ne pohranjuje neobrađeno skeniranje. Nijedna ispravka se ne može provjeriti bez originala.
- Izostavljanje informacija o porijeklu. Pouzdanost dokumenta postaje nepregledna.
Ukratko
AI u digitalnim arhivama i digitalizacija; To je vrijedna pomoć koja ubrzava OCR/HTR transkripciju, izradu metapodataka i određivanje prioriteta. Ali suština arhivskog rada je autentičnost i integritet: OCR izlaz treba da bude ispravljen ljudskim okom, AI nikada ne bi trebalo da tiho zamenjuje sadržaj, derivati restauracije ne bi trebalo da zamene originalne dokaze, a sirove informacije o skeniranju i porijeklu uvek treba da budu sačuvane. Koristite umjetnu inteligenciju kao alat koji ne "poboljšava" dokument, već ga čini dostupnim dok mu ostajete vjerni.
Zadatak aplikacije
Uzmite kratak uzorak OCR izlaza (bilo vaše vlastite proizvodnje ili iz stvarnog skeniranja). Ispravite samo greške u prepoznavanju pomoću predloška "Pomoć za korekciju izlaza OCR-a", a zatim provjerite je li AI dodao sadržaj pomoću predloška "Provjera konzistentnosti teksta-slike". Zatim kreirajte zapis s informacijama o porijeklu i formatu za objekt pomoću predloška "Nacrt metapodataka očuvanja".
kontrolna lista
- [ ] Uporedio sam OCR/HTR izlaz sa stvarnom slikom i ispravio ga.
- [ ] Provjerio sam da AI ne dodaje/mijenja sadržaj.
- [ ] Zadržao sam sirovo (master) skeniranje odvojeno i nepromijenjeno.
- [ ] Dodao sam podatke o porijeklu i formatu metapodacima.
- [ ] Jasno sam označio varijante restauracije kao "AI derivat".