Ieguvumi:
- Iespēja labot skenētos dokumentus, pārvēršot tos tekstā ar OCR un HTR un salīdzinot izvadi ar faktisko attēlu
- Spēja saglabāt arhīva dokumenta oriģinalitāti un integritāti un neļaut AI mainīt saturu un safabricētu atjaunošanu
- Spēja plānot ilgtermiņa digitālo saglabāšanu ar izcelsmes informāciju un izturīgiem formātiem
Arhivāra uzdevums ir nest nākotnē piecdesmit gadus vecus laikrakstu sējumus, ar roku rakstītas vēstules vai vecas fotogrāfijas. Šie dokumenti laika gaitā nolietojas; Lai tos saglabātu un padarītu pieejamus, tiek veikta digitalizācija: fiziska dokumenta skenēšana un tā pārvēršana digitālā kopijā. Taču ar skrīningu vien nepietiek; Digitālajam objektam jābūt atrodamam, salasāmam un ilgstoši uzturējamam. Šajā nodaļā jūs uzzināsiet, kā izmantot mākslīgo intelektu digitalizācijas, transkripcijas un digitālās saglabāšanas darbplūsmā; bet jūs uzzināsiet, kāpēc jūs uzņematies atbildību par oriģinalitāti un precizitāti.
Daži jēdzieni. OCR (Optical Character Recognition) ir tehnoloģija, kas pārvērš tekstu dokumenta attēlā mašīnrediģējamā tekstā. HTR (Handwritten Text Recognition) veic to pašu darbu ar roku rakstītiem dokumentiem, un tas ir daudz grūtāks. Digitālā saglabāšana ir plānots darbs, lai nodrošinātu, ka digitālie objekti paliek lasāmi gadu desmitiem, pat ja failu formāti kļūst novecojuši un programmatūra mainās. AI ir spēcīgs, bet nepilnīgs palīgs visās trīs jomās.
Soli pa solim: no digitalizācijas līdz saglabāšanai
1. Nosakiet prioritātes. Visu uzreiz nevar digitalizēt. Pirmajā vietā tiek likti trauslākie, pieprasītākie un unikālākie dokumenti. Tas ir tiesas lēmums; AI palīdz saraksta rediģēšanā, bet iestāde nosaka prioritāti.
2. Skenējiet un lietojiet OCR/HTR. Skenējiet dokumentu ar augstu izšķirtspēju, pēc tam izmantojiet OCR vai HTR, lai izvilktu tekstu. Uz mākslīgā intelekta balstīti rīki šeit kļūst arvien labāki, pat ar veciem un sarežģītiem tekstiem.
3. Izlabojiet un pārbaudiet tekstu. OCR/HTR izvade nekad nav perfekta. Kļūdas ir izplatītas, it īpaši, ja ir vecs raksts, traipas lapas vai manuskripts. Ir svarīgi salīdzināt rezultātu ar faktisko attēlu un izlabot to.
4. Pievienojiet metadatus un aizsardzības informāciju. Pievienojiet digitālajam objektam tā izcelsmi, skenēšanas nosacījumus, formāta informāciju un izcelsmi — no kurienes dokuments nācis un kā tas tika apstrādāts. Šī informācija ir būtiska turpmākai pārbaudei un aizsardzībai.
5. Plāns ilgtermiņa aizsardzībai. Izvēlieties atvērtus, izplatītus un izturīgus failu formātus; dublēt; Izveidojiet migrācijas plānu gadījumam, ja formāti kļūst novecojuši.
Padoms. Nepieņemiet OCR izvadi kā "tīru tekstu". Ja meklēšanas sistēma strādātu ar šo tekstu, nepareizi atpazītu vārdu dēļ avots netiktu atrasts. Kritiskām kolekcijām OCR izvades labošana cilvēka acij nosaka visas turpmākās piekļuves kvalitāti.
Digitālā objekta autentiskums un integritāte
Arhīva darba pamatā ir autentiskums un integritāte: pārliecība, ka dokuments patiešām nāk no pieprasītā avota un ka tā saturs nav mainīts. Šajā brīdī AI rada divvirzienu draudus. Pirmkārt, OCR/HTR korekcijas vai “uzlabošanas” laikā AI var klusi modificēt tekstu; var pievienot vārdu, kas neeksistē zem nosaukuma "labojums". Otrkārt, ja attēla "remonts" vai "atjaunošana" tiek veikta ar AI, var tikt izveidotas neoriģinālas detaļas.
Arhivāra noteikums ir skaidrs: digitālā saglabāšanas kopijai jābūt uzticamai oriģinālam. Katrs uzlabojums, kas veikts ar AI, ir jādokumentē, un faktiskā (neapstrādātā) skenēšana vienmēr ir jāsaglabā. Dokumenta "izskaistināšana" var iznīcināt tā vēsturisko pierādījuma vērtību.
Uzmanību: var būt vilinoši "uzlabot" vecu fotoattēlu vai dokumentu, izmantojot AI; bet AI aizpilda trūkstošās daļas, veidojot tās. Arhīva dokumentā tas nozīmē viltus vēstures pierādījumu radīšanu. Atjaunošanas izvade nekad neaizstāj sākotnējo avotu; tiek glabāts kā atsevišķs, skaidri marķēts variants.
trīs mini futrāļi
1. gadījums — avīžu arhīvos kļuva iespējams meklēt. Bibliotēka ir digitalizējusi savu 30 gadus veco vietējo laikrakstu kolekciju. Izmantojot OCR, 90 000 lappušu tika pārrakstītas un padarītas meklējamas; Tēmas meklēšana, kas iepriekš ilga vairākas dienas, tagad ir samazināta līdz sekundēm. Tomēr komanda pamanīja, ka OCR precizitāte ir samazinājusies līdz 80% vecām un traipām lapām, un par prioritāti izvirzīja labāko gadu labošanu ar cilvēka aci.
2. gadījums — HTR atvēra manuskriptu. Arhīvs izmantoja HTR grūti salasāmu 19. gadsimta vēstuļu kolekcijai. Sistēma ieguva lielu ātrumu pēc ekspertu mēnešiem ilgas lasīšanas; Bet katru izdrukas lapu ar oriģinālu salīdzināja lietpratējs paleogrāfs (senās rakstības eksperts), jo cilvēku un vietu nosaukumos bija kļūdas.
3. gadījums — viltota “restaurācija” noraidīta. Viena komanda apsvēra iespēju "labot" saplēstu vēsturisku fotogrāfiju ar AI. AI pabeidza trūkstošās sejas daļas, tās uzstādot. Arhivārs saprata, ka šīs safabricētās detaļas sagrozīs vēstures liecības; Izlabotais attēls tika glabāts atsevišķi līdzās oriģinālam, tikai skaidri marķēts "AI atvasinājums".
Piekļuves kopija, saglabāšanas kopija un formāta lēmums
Laba prakse digitalizācijā ir atdalīt viena un tā paša objekta kopijas dažādiem mērķiem. Saglabāšanas maģistrs ir faktiskais digitālais objekts, kas tiks pārnēsāts nākotnē, saglabāts augstākās izšķirtspējas, nesaspiestā vai bezzudumu formātā; to aiztiek reti. Piekļuves kopija ir mazāks, viegli atverams variants, kas tiek piedāvāts lietotājam. Šī atšķirība ir svarīga, jo formāts, kas ir praktisks lietošanai (mazs, saspiests), var nebūt piemērots ilgstošai uzglabāšanai; Ideāls saglabāšanas formāts (liels, bez zudumiem) ir apgrūtinošs ikdienas lietošanai. Šajā darbplūsmā AI var palīdzēt inventarizēt failus, atklāt trūkstošos variantus un nodrošināt metadatu konsekvenci starp divām kopijām. Tomēr formāta izvēle ir saglabāšanas lēmums: priekšroka jādod atvērtiem, plaši dokumentētiem un izturīgiem formātiem (nevis patentētiem slēgtiem formātiem), un ir jāsaglabā migrācijas plāns gadījumam, ja formāti laika gaitā noveco. Pat ja AI iesaka formātu, iestādes ilgtermiņa saglabāšanas politikai ir galīgais vārds.
Padoms. Katram digitālajam objektam saglabājiet īsu ierakstu, kas atbild uz jautājumiem "kur ir oriģinālais avots, kādā formātā ir saglabāšanas kopija, kādā formātā ir piekļuves kopija un kas ir pieejams lietotājam?" Sajaucot šos trīs slāņus, nav skaidrs, kurš fails turpmāk ir uzticamais galvenais.
Četras kopējamas veidnes
1) OCR izvades korekcijas palīdzība:
Zemāk ir OCR teksts un faktiskās lapas apraksts. Labojiet tikai openOCR kļūdas (sliktas rakstzīmes, salikti/dalīti vārdi). Nemainiet saturu, nepievienojiet vai neizņemiet vārdus. Ja neesat pārliecināts, atzīmējiet ar "[?]". OCR teksts: [šeit]
2) Teksta attēla konsekvences pārbaude:
Vai tālāk izlabotajā tekstā ir kādi papildinājumi, kas nebija paredzēti sākotnējā dokumentā (kas, iespējams, ir izdomāts)? Atzīmējiet katru aizdomīgo daļu un uzrakstiet, kāpēc tā ir aizdomīga. Teksts: [šeit]
3) Aizsardzības metadatu uzmetums:
Ģenerējiet saglabāšanas metadatu kontūru šādam digitalizētam objektam: avots, izcelsme, skenēšanas datums/izšķirtspēja, faila formāts, darījumu vēsture. Vienkārši izmantojiet manis sniegto informāciju, atstājiet trūkstošo lauku tukšu. Informācija: [šeit]
4) Palīdzība prioritāšu noteikšanai:
Zemāk ir saraksts ar kolekcijām, kas gaida digitalizāciju; Palīdziet noteikt prioritātes, pamatojoties uz nestabilitāti, pieprasījumu un unikalitāti. Sniedziet īsu katra resursa pamatojumu; Atstājiet galīgo lēmumu man. Saraksts: [šeit]
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Izlabojiet un izdaiļojiet šo skenēto tekstu.
“Beautify” aicina AI mainīt saturu, kompensēt izlaidumus; Arhīva dokumenta oriģinalitāte ir bojāta.
Spēcīga uzvedne:
Jūsu loma: digitalizācijas redaktora palīgs. Nākamajā OCR tekstā izlabojiet TIKAI skaidras atpazīšanas kļūdas (nepareiza rakstzīme, nepareizi sadalīts vārds). Nepievienojiet, neizņemiet un nemainiet vārdus. Atstājiet "[?]", kur neesat pārliecināts. Parādiet katru veikto labojumu atsevišķā sarakstā. Teksts: [šeit]
Spēcīgā uzvedne ierobežo AI, lai atpazītu tikai kļūdas, neļauj tam pieskarties saturam un padara labojumus izsekojamus.
Darbplūsma un riska tabula
Skatuves
AI ieguldījums
Galvenais risks
aizsardzības pasākums
skenēt
—
slikta kvalitāte
augsta izšķirtspēja
OCR/HTR
Konvertēt uz tekstu
Atpazīšanas kļūdas
cilvēka korekcija
korekcija
Kļūdas ieteikums
Satura maiņa
Salīdzinājums ar oriģinālu
restaurācija
Attēla atvasinājums
pieguļoša detaļa
Saglabājiet neapstrādātu oriģinālu, marķējiet to
aizsardzība
Metadatu melnraksts
izcelsmes zudums
Izcelsmes ieraksts
Biežas kļūdas
- OCR izvades pieņemšana bez korekcijas. Kļūdas traucē meklēšanu un piekļuvi.
- AI sauc par “padarīt skaistu”. Tas maina saturu un iznīcina oriģinalitāti.
- AI atjaunošanas aizstāšana ar faktiskajiem pierādījumiem. Izgatavotas detaļas rada nepatiesu vēsturi.
- Netiek saglabāta neapstrādātā skenēšana. Nevienu labojumu nevar pārbaudīt bez oriģināla.
- Informācijas par izcelsmi izlaišana. Dokumenta uzticamība kļūst neizsekojama.
Rezumējot
AI digitālajos arhīvos un digitalizācijā; Tas ir vērtīgs palīglīdzeklis, kas paātrina OCR/HTR transkripciju, metadatu noformēšanu un prioritāšu noteikšanu. Taču arhīva darba būtība ir autentiskums un integritāte: OCR izvade ir jālabo cilvēka acij, mākslīgais intelekts nekad nedrīkst klusi aizstāt saturu, atjaunošanas atvasinājumi nedrīkst aizstāt sākotnējos pierādījumus, un vienmēr ir jāsaglabā neapstrādāta skenēšanas un izcelsmes informācija. Izmantojiet AI kā rīku, kas "neuzlabo" dokumentu, bet gan padara to pieejamu, vienlaikus paliekot tam uzticīgs.
Lietojumprogrammas uzdevums
Iegūstiet īsu OCR izvades paraugu (vai nu savu produkciju, vai no faktiskās skenēšanas). Izlabojiet tikai atpazīšanas kļūdas, izmantojot veidni "OCR izvades korekcijas palīdzība", pēc tam pārbaudiet, vai AI ir pievienojis saturu, izmantojot veidni "Teksta attēla konsekvences pārbaude". Pēc tam izveidojiet ierakstu ar objekta izcelsmes un formāta informāciju, izmantojot veidni "Saglabāšanas metadatu melnraksts".
kontrolsaraksts
- [ ] Es salīdzināju OCR/HTR izvadi ar faktisko attēlu un izlaboju to.
- [ ] Esmu pārbaudījis, vai AI nepievieno/nemaina saturu.
- [ ] Es saglabāju neapstrādāto (galveno) skenēšanu atsevišķi un nemainītu.
- [ ] Es pievienoju metadatiem informāciju par izcelsmi un formātu.
- [ ] Esmu skaidri atzīmējis atjaunošanas variantus kā "AI atvasinājums".