Voitot:
- Mahdollisuus korjata skannatut asiakirjat muuntamalla ne tekstiksi OCR:n ja HTR:n avulla ja vertaamalla tulosta todelliseen kuvaan
- Kyky säilyttää arkistoasiakirjan omaperäisyys ja eheys ja estää tekoälyä muuttamasta sisältöä ja valmistamasta palautusta
- Kyky suunnitella pitkäaikaista digitaalista säilytystä alkuperätiedoilla ja kestävillä muodoilla
Arkistonhoitajan tehtävänä on kuljettaa 50 vuotta vanhoja sanomalehtiä, käsinkirjoitettuja kirjeitä tai vanhoja valokuvia tulevaisuuteen. Nämä asiakirjat kuluvat ajan myötä; Niiden säilyttämiseksi ja saatavuuden saavuttamiseksi tehdään digitointi: fyysinen asiakirja skannataan ja muunnetaan digitaaliseksi kopioksi. Pelkkä seulonta ei kuitenkaan riitä; Digitaalisen esineen tulee olla löydettävissä, luettavissa ja ylläpidettävä pitkällä aikavälillä. Tässä osiossa opit käyttämään tekoälyä digitoinnin, transkription ja digitaalisen säilyttämisen työnkulussa; mutta opit, miksi olet vastuussa omaperäisyydestä ja tarkkuudesta.
Muutama käsite. OCR (Optical Character Recognition) on tekniikka, joka muuntaa asiakirjan kuvassa olevan tekstin koneellisesti muokattavaksi tekstiksi. HTR (Handwritten Text Recognition) tekee saman työn käsinkirjoitetuille asiakirjoille ja on paljon vaikeampaa. Digital preservation is a planned effort to ensure that digital objects remain readable for decades, even as file formats become obsolete and software changes. Tekoäly on tehokas, mutta puutteellinen avustaja kaikilla kolmella alueella.
Askel askeleelta: digitoinnista säilytykseen
1. Priorisoi. Kaikkea ei voi digitoida kerralla. Hauraimmat, kysytyimmät ja ainutlaatuisimmat asiakirjat asetetaan etusijalle. Tämä on tuomioistuimen päätös; Tekoäly auttaa luettelon muokkauksessa, mutta laitos määrittää prioriteetin.
2. Skannaa ja käytä OCR/HTR. Skannaa asiakirja korkealla resoluutiolla ja pura sitten teksti OCR:llä tai HTR:llä. AI-pohjaiset työkalut paranevat täällä, jopa vanhojen ja vaikeiden tekstien kanssa.
3. Korjaa ja tarkista teksti. OCR/HTR-tulostus ei ole koskaan täydellinen. Virheet ovat yleisiä, varsinkin jos on vanhoja kirjoituksia, tahraisia sivuja tai käsikirjoitus. On välttämätöntä verrata tulosta todelliseen kuvaan ja korjata se.
4. Lisää metatiedot ja suojaustiedot. Lisää digitaaliseen objektiin sen alkuperä, skannausolosuhteet, muototiedot ja alkuperä – mistä asiakirja on peräisin ja miten sitä käsiteltiin. Nämä tiedot ovat tärkeitä tulevan todentamisen ja suojauksen kannalta.
5. Suunnittele pitkän aikavälin suoja. Valitse tiedostomuodot, jotka ovat avoimia, yleisiä ja kestäviä; varmuuskopioida; Tee siirtosuunnitelma siltä varalta, että muodot vanhentuvat.
Vihje: Älä hyväksy OCR-tulostusta "puhtaaksi tekstiksi". Jos hakujärjestelmä kävisi läpi tämän tekstin, väärin tunnistetut sanat aiheuttaisivat sen, ettei lähdettä löydy. Kriittisten kokoelmien kohdalla OCR-tulosteen korjaaminen ihmissilmälle määrittää kaiken myöhemmän käytön laadun.
Digitaalisen kohteen aitous ja eheys
Arkistotyön ytimessä ovat aitous ja eheys: varmuus siitä, että asiakirja on todella peräisin väitetystä lähteestä ja ettei sen sisältöä ole muutettu. Tässä vaiheessa tekoäly luo kaksitahoisen uhan. Ensinnäkin OCR/HTR-korjauksen tai "parannuksen" aikana tekoäly voi muokata tekstiä äänettömästi; voi lisätä sanan, jota ei ole olemassa nimellä "korjaus". Toiseksi, jos kuvan "korjaus" tai "palautus" tehdään tekoälyllä, ei-alkuperäisiä yksityiskohtia voidaan tuottaa.
Arkistonhoitajan sääntö on selvä: digitaalisen säilytyskopion on oltava alkuperäisen mukainen. Jokainen tekoälyllä tehty parannus tulee dokumentoida ja varsinainen (raaka)skannaus tulee aina säilyttää. Asiakirjan "kaunistaminen" voi tuhota sen historiallisen todistusarvon.
Varoitus: Voi olla houkuttelevaa "parantaa" vanhaa valokuvaa tai asiakirjaa tekoälyllä. mutta tekoäly täyttää puuttuvat osat muodostamalla ne. Arkistoasiakirjassa tämä tarkoittaa väärien historiallisten todisteiden luomista. Palautustuloste ei koskaan korvaa alkuperäistä lähdettä; säilytetään erillisenä, selvästi merkittynä muunnelmana.
kolme minilaukkua
Tapaus 1 – Sanomalehtien arkistoista tuli haettavissa. Kirjasto on digitoinut 30 vuotta vanhan paikallislehtikokoelmansa. OCR:lla 90 000 sivua litteroitiin ja tehtiin haettavaksi; Aiemmin päiviä kestänyt aihehaku on nyt supistunut sekunneiksi. Tiimi kuitenkin huomasi, että OCR-tarkkuus putosi 80 prosenttiin vanhoilla ja tahraisilla sivuilla ja asetti etusijalle huippuvuosien korjaamisen ihmissilmällä.
Tapaus 2 – HTR avasi käsikirjoituksen. Arkisto käytti HTR:ää kokoelmaan vaikealukuisia 1800-luvun kirjeitä. Järjestelmä nousi suurella nopeudella asiantuntijoiden kuukausien lukemisen perusteella; Mutta jokaista tulosteen sivua vertasi alkuperäiseen asiantuntija paleografi (muinaisen kirjoittamisen asiantuntija), koska ihmisten ja paikkojen nimissä oli virheitä.
Tapaus 3 – Väärennetty "ennallistaminen" hylätty. Yksi tiimi harkitsi repeytyneen historiallisen valokuvan "korjaamista" tekoälyllä. AI täydensi puuttuvat kasvoosat sovittamalla ne. Arkistonhoitaja tajusi, että nämä keksityt yksityiskohdat vääristäisivät historiallisia todisteita; Korjattu kuva säilytettiin erikseen alkuperäisen rinnalla, vain selvästi merkittynä "AI-johdannainen".
Pääsykopio, säilytyskopio ja muotopäätös
Hyvä käytäntö digitalisoinnissa on erottaa kopiot samasta esineestä eri tarkoituksiin. Säilytysmaster on todellinen digitaalinen objekti, joka viedään tulevaisuuteen ja joka on tallennettu korkeimmalla resoluutiolla, pakkaamattomassa tai häviöttömässä muodossa; siihen kosketetaan harvoin. Pääsykopio on pienempi, helposti avattava variantti, joka esitetään käyttäjälle. Tämä ero on tärkeä, koska käytännöllinen muoto (pieni, pakattu) ei välttämättä sovellu pitkäaikaiseen säilytykseen. Ihanteellinen säilytysmuoto (suuri, häviötön) on hankala päivittäisessä käytössä. Tässä työnkulussa tekoäly voi auttaa tiedostojen inventoinnissa, puuttuvien muunnelmien havaitsemisessa ja metatietojen pitämisessä johdonmukaisina kahden kopion välillä. Muodon valinta on kuitenkin säilytyspäätös: avoimia, laajasti dokumentoituja ja kestäviä formaatteja tulisi suosia (eikä omistettujen, suljettujen formaattien sijaan), ja siirtosuunnitelma tulee pitää valmiina siltä varalta, että muodot vanhentuvat ajan myötä. Vaikka tekoäly ehdottaa muotoa, laitoksen pitkän aikavälin säilytyspolitiikalla on viimeinen sana.
Vinkki: Pidä kustakin digitaalisesta kohteesta lyhyt kirjaa, joka vastaa kysymyksiin "missä on alkuperäinen lähde, missä muodossa säilytyskopio on, missä muodossa käyttökopio on ja mikä on käyttäjän saatavilla?" Näiden kolmen kerroksen sekoittaminen tekee epäselvyydestä, mikä tiedosto on jatkossa luotettu isäntä.
Neljä kopioitavaa mallia
1) OCR-tulosteen korjausohje:
Alla on OCR-teksti ja kuvaus varsinaisesta sivusta. Korjaa vain openOCR-virheet (huonot merkit, yhdistelmä-/jakosanat). Älä muuta sisältöä, lisää tai poista sanoja. Jos et ole varma, merkitse "[?]". OCR-teksti: [täällä]
2) Tekstin ja kuvan johdonmukaisuuden tarkistus:
Onko alla korjatussa tekstissä lisäyksiä, joita ei odotettu olevan alkuperäisessä asiakirjassa (joka on saattanut olla keksitty)? Merkitse jokainen epäilyttävä osa ja kirjoita miksi se on epäilyttävä. Teksti: [täällä]
3) Suojauksen metatietoluonnos:
Luo säilytyksen metatietojen ääriviivat seuraavalle digitoidulle objektille: lähde, alkuperä, skannauspäivämäärä/resoluutio, tiedostomuoto, tapahtumahistoria. Käytä vain antamiani tietoja ja jätä puuttuva kenttä tyhjäksi. Tietoja: [täällä]
4) Priorisointiapu:
Alla on luettelo digitointia odottavista kokoelmista; Auta priorisoimaan haurauden, kysynnän ja ainutlaatuisuuden perusteella. Anna lyhyt perustelu jokaiselle resurssille; Jätä lopullinen päätös minulle. Lista: [täällä]
Heikko kehote / Vahva kehote
Heikko kehote:
Korjaa ja kaunista tätä skannattua tekstiä.
"Beautify" kehottaa tekoälyä muuttamaan sisältöä, korjaamaan puutteita; Arkistoasiakirjan alkuperäisyys on vaurioitunut.
Tehokas kehotus:
Tehtäväsi: digitointieditorin assistentti. Korjaa seuraavassa OCR-tekstissä VAIN selkeät tunnistusvirheet (huono merkki, väärin jaettu sana). Älä lisää, poista tai muuta sanoja. Jätä "[?]", jos et ole varma. Näytä jokainen tekemäsi korjaus erillisessä luettelossa. Teksti: [täällä]
Tehokas kehote rajoittaa tekoälyn vain virheiden tunnistamiseen, estää sitä koskemasta sisältöön ja tekee korjauksista jäljitettävissä.
Työnkulku ja riskitaulukko
Vaihe
Tekoälyn panos
Pääriski
suojatoimenpide
skannaus
—
huono laatu
korkea resoluutio
OCR/HTR
Muunna tekstiksi
Tunnistusvirheet
inhimillinen korjaus
korjaus
Virheehdotus
Sisällön muuttaminen
Vertailu alkuperäiseen
ennallistaminen
Kuvan johdannainen
sopiva yksityiskohta
Säilytä raaka alkuperäinen, merkitse se
suojaa
Metatietoluonnos
alkuperän menetys
Alkuperätietue
Yleisiä virheitä
- OCR-tulosteen hyväksyminen ilman korjausta. Virheet häiritsevät hakua ja pääsyä.
- Tekoälyä kutsuminen "tee kauniiksi". Se muuttaa sisältöä ja tuhoaa omaperäisyyden.
- Tekoälyn palauttamisen korvaaminen todellisilla todisteilla. Valmistetut yksityiskohdat luovat väärää historiaa.
- Ei tallenneta raakaskannausta. Mitään korjausta ei voida varmistaa ilman alkuperäistä.
- Alkuperätietojen jättäminen pois. Asiakirjan luotettavuus muuttuu jäljittämättömäksi.
Yhteenvetona
Tekoäly digitaalisissa arkistoissa ja digitoinnissa; Se on arvokas apuväline, joka nopeuttaa OCR/HTR-transkriptiota, metatietojen laatimista ja priorisointia. Mutta arkistointityön ydin on aitous ja eheys: OCR-tulosteen tulee korjata ihmissilmä, tekoäly ei saa koskaan hiljaa korvata sisältöä, palautusjohdannaiset eivät saisi korvata alkuperäistä todistetta ja raakaskannaus- ja alkuperätiedot tulee aina säilyttää. Käytä tekoälyä työkaluna, joka ei "paranna" asiakirjaa, vaan tekee siitä saatavuuden ja pysyy siinä uskollisena.
Sovellustehtävä
Hanki lyhyt näyte OCR-tulosteesta (joko omasta tuotannostasi tai varsinaisesta skannauksesta). Korjaa vain tunnistusvirheet "OCR-tulosteen korjausohje" -mallilla ja tarkista sitten, onko tekoäly lisännyt sisältöä "Teksti-kuvan johdonmukaisuuden tarkistus" -mallilla. Luo sitten tietue, jossa on kohteen alkuperä- ja muototiedot "Säilytyksen metatietoluonnos" -mallin avulla.
tarkistuslista
- [ ] Vertailin OCR/HTR-tulostusta todelliseen kuvaan ja korjasin sen.
- [ ] Olen tarkistanut, että tekoäly ei lisää/muuta sisältöä.
- [ ] Pidin raaka- (master)skannauksen erikseen ja ennallaan.
- [ ] Lisäsin metatietoihin alkuperä- ja muototiedot.
- [ ] Olen selvästi merkinnyt restaurointimuunnelmat "AI-johdannaiseksi".