Ẹyọ 6 / 11

Ibi ipamọ oni nọmba, Digitization, OCR ati Itoju Igba pipẹ

Awọn anfani:

  • Agbara lati ṣe atunṣe awọn iwe aṣẹ ti ṣayẹwo nipa yiyipada wọn si ọrọ pẹlu OCR ati HTR ati ifiwera iṣelọpọ pẹlu aworan gangan
  • Agbara lati ṣetọju atilẹba ati iduroṣinṣin ti iwe ipamọ ati ṣe idiwọ AI lati yi akoonu pada ati imupadabọ iṣelọpọ
  • Agbara lati gbero ifipamọ oni-nọmba igba pipẹ pẹlu alaye idaniloju ati awọn ọna kika ti o tọ

Oṣiṣẹ ile-ipamọ jẹ iṣẹ ṣiṣe lati gbe awọn iwọn iwe irohin ti o jẹ ọdun aadọta, awọn lẹta ti a fi ọwọ kọ, tabi awọn fọto atijọ si ọjọ iwaju. Awọn iwe aṣẹ wọnyi wọ jade ni akoko pupọ; Lati tọju mejeeji ati jẹ ki wọn wa si, digitization ti ṣe: iṣe ti ọlọjẹ iwe ti ara ati yi pada si ẹda oni-nọmba kan. Ṣugbọn iboju nikan ko to; Ohun oni-nọmba gbọdọ jẹ wiwa, ṣee ṣe ati ṣetọju ni igba pipẹ. Ninu ẹyọkan yii, iwọ yoo kọ ẹkọ bii o ṣe le lo oye atọwọda ni digitization, transcription ati ṣiṣiṣẹ itọju oni nọmba; ṣugbọn iwọ yoo kọ idi ti iwọ yoo di ojuse fun atilẹba ati deede.

Awọn imọran diẹ. OCR (Imọ idanimọ ohun kikọ Optical) jẹ imọ-ẹrọ kan ti o yi ọrọ pada ni aworan ti iwe-ipamọ sinu ọrọ ti ẹrọ-satunkọ. HTR (Idanimọ ọrọ afọwọkọ) ṣe iṣẹ kanna fun awọn iwe aṣẹ ti a fi ọwọ kọ ati pe o nira pupọ sii. Itọju oni nọmba jẹ igbiyanju ti a gbero lati rii daju pe awọn nkan oni-nọmba wa ni kika fun awọn ewadun, paapaa bi awọn ọna kika faili ti di ti atijo ati awọn iyipada sọfitiwia. AI jẹ oluranlọwọ ti o lagbara ṣugbọn abawọn ni gbogbo awọn agbegbe mẹta.

Igbese nipa igbese: lati digitization si itoju

1. Ni akọkọ. O ko le ṣe digitize ohun gbogbo ni ẹẹkan. Awọn ẹlẹgẹ julọ, ibeere pupọ julọ ati awọn iwe aṣẹ alailẹgbẹ julọ ni a fi sii akọkọ. Eyi jẹ ipinnu idajọ; AI ṣe iranlọwọ pẹlu ṣiṣatunṣe atokọ, ṣugbọn ile-iṣẹ pinnu pataki.

2. Ṣayẹwo ati lo OCR/HTR. Ṣe ayẹwo iwe-ipamọ ni ipinnu giga, lẹhinna lo OCR tabi HTR lati jade ọrọ naa jade. Awọn irinṣẹ orisun AI n dara si ati dara julọ nibi, paapaa pẹlu awọn ọrọ atijọ ati ti o nira.

3. Ṣe atunṣe ati ṣayẹwo ọrọ naa. Iṣẹjade OCR/HTR kii ṣe pipe rara. Awọn aṣiṣe jẹ wọpọ, paapaa ti kikọ atijọ ba wa, awọn oju-iwe ti o ni abawọn, tabi iwe afọwọkọ kan. O ṣe pataki lati ṣe afiwe iṣẹjade pẹlu aworan gangan ati ṣatunṣe rẹ.

4. Ṣafikun metadata ati alaye aabo. Ṣafikun si ohun oni-nọmba naa iṣafihan rẹ, awọn ipo ọlọjẹ, alaye ọna kika, ati iṣafihan - nibiti iwe-ipamọ naa ti wa ati bii o ti ṣe ilana. Alaye yii ṣe pataki fun iṣeduro ọjọ iwaju ati aabo.

5. Gbero fun aabo igba pipẹ. Yan awọn ọna kika faili ti o ṣii, wọpọ ati ti o tọ; ṣe afẹyinti; Ṣe eto ijira ni irú awọn ọna kika di atijo.

Imọran: Maṣe gba iṣẹjade OCR bi “ọrọ ko o”. Ti eto wiwa ba ṣiṣẹ nipasẹ ọrọ yii, awọn ọrọ ti a ko mọ ti ko tọ yoo jẹ ki a ko rii orisun naa. Fun awọn ikojọpọ to ṣe pataki, atunṣe abajade OCR si oju eniyan pinnu didara gbogbo iraye si atẹle.

Òtítọ́ àti ìdúróṣinṣin ti ohun oni-nọmba

Ni okan ti iṣẹ ile ifi nkan pamosi jẹ otitọ ati iduroṣinṣin: idaniloju pe iwe kan wa nitootọ lati orisun ti a sọ ati pe awọn akoonu rẹ ko ti yipada. Ni aaye yii, AI ṣẹda irokeke-meji. Ni akọkọ, lakoko atunṣe OCR/HTR tabi “imudara,” AI le yi ọrọ pada ni ipalọlọ; le fi ọrọ kan kun ti ko si labẹ orukọ "atunse". Ẹlẹẹkeji, ti aworan "atunṣe" tabi "imupadabọ" ti ṣe pẹlu AI, awọn alaye ti kii ṣe atilẹba le ṣejade.

Ofin akọọlẹ jẹ kedere: ẹda ipamọ oni nọmba gbọdọ jẹ oloootitọ si atilẹba. Gbogbo ilọsiwaju ti a ṣe pẹlu AI yẹ ki o wa ni akọsilẹ ati ọlọjẹ gangan (aise) yẹ ki o tọju nigbagbogbo. "Ẹwa" iwe-ipamọ le pa iye ẹri itan rẹ jẹ.

Išọra: O le jẹ idanwo lati “imudara” fọto atijọ tabi iwe-ipamọ pẹlu AI; ṣugbọn AI kun awọn ẹya ti o padanu nipa ṣiṣe wọn soke. Ninu iwe ipamọ, eyi tumọ si ṣiṣẹda ẹri itan itanjẹ eke. Iṣẹjade imupadabọsipo ko rọpo orisun atilẹba; ti wa ni ipamọ bi iyatọ, iyatọ ti o ni aami kedere.

mẹta mini igba

Ọran 1 - Awọn ile-ipamọ iwe iroyin di wiwa. Ile-ikawe kan ti ṣe digitized ikojọpọ 30 ọdun ti awọn iwe iroyin agbegbe. Pẹlu OCR, awọn oju-iwe 90,000 ni a kọ ati ṣe wiwa; Iwadi koko kan ti o gba awọn ọjọ tẹlẹ ti dinku si iṣẹju-aaya. Bibẹẹkọ, ẹgbẹ naa ṣe akiyesi pe deede OCR silẹ si 80% lori awọn oju-iwe ti atijọ ati aibalẹ ati ni iṣaju iṣatunṣe awọn ọdun ti o ga julọ pẹlu oju eniyan.

Ọran 2 - HTR ṣii iwe afọwọkọ naa. Ile-ipamọ kan lo HTR si akojọpọ awọn lẹta ti o nira lati ka ni ọrundun 19th. Eto naa ni iyara nla ni ibamu si awọn oṣu ti kika nipasẹ awọn amoye; Ṣùgbọ́n ojú ìwé kọ̀ọ̀kan tí a tẹ̀ jáde ni a fi wé ìpilẹ̀ṣẹ̀ láti ọ̀dọ̀ onímọ̀ paleographer (ògbógi kan nínú kíkọ ìwé àtijọ́), nítorí pé àwọn àṣìṣe wà nínú orúkọ àwọn ènìyàn àti ibi.

Ọran 3 - Iro "imudopadabọ" kọ. Ẹgbẹ kan gbero “atunṣe” aworan itan ti o ya pẹlu AI. AI pari awọn ẹya oju ti o padanu nipa fifi wọn mu. Akọ̀wé òǹkọ̀wé náà rí i pé àwọn kúlẹ̀kúlẹ̀ tí a ṣẹ̀ṣẹ̀ ṣe yìí yóò yí ẹ̀rí ìtàn náà po; Aworan ti a tunṣe ti wa ni ipamọ lọtọ lẹgbẹẹ atilẹba, nikan ti o ni aami ni “itọsẹ AI”.

Ẹda wiwọle, ẹda ipamọ ati ipinnu kika

Iwa ti o dara ni digitization ni lati ya awọn ẹda ti ohun kanna lọtọ fun awọn idi oriṣiriṣi. Titunto si titọju jẹ ohun oni-nọmba gangan lati gbe lọ si ọjọ iwaju, ti o fipamọ sinu ipinnu ti o ga julọ, ọna kika ti a ko fi sii tabi ailapadanu; o ṣọwọn fi ọwọ kan. Ẹda wiwọle jẹ kere, iyatọ ṣiṣi ni irọrun ti a gbekalẹ si olumulo. Iyatọ yii jẹ pataki nitori pe ọna kika ti o wulo fun lilo (kekere, fisinuirindigbindigbin) le ma dara fun itọju igba pipẹ; Ọna ti o dara julọ fun titọju (nla, aisi pipadanu) jẹ wahala fun lilo ojoojumọ. Ninu ṣiṣiṣẹsẹhin iṣẹ yii, AI le ṣe iranlọwọ ni tito awọn faili, ṣawari awọn iyatọ ti o padanu, ati titọju awọn metadata ni ibamu laarin awọn ẹda meji. Sibẹsibẹ, yiyan ọna kika jẹ ipinnu ipamọ: ṣiṣi, ti o ni akọsilẹ pupọ ati awọn ọna kika ti o tọ yẹ ki o jẹ ayanfẹ (dipo awọn ohun-ini, awọn ọna kika pipade), ati pe eto iṣiwa yẹ ki o wa ni imurasilẹ ti o ba jẹ pe awọn ọna kika di ti atijo lori akoko. Paapa ti AI ba daba ọna kika kan, eto imulo itọju igba pipẹ ti ile-ẹkọ naa ni ọrọ ikẹhin.

Imọran: Fun ohun oni-nọmba kọọkan, tọju igbasilẹ kukuru ti o dahun awọn ibeere “nibo ni orisun atilẹba wa, ni ọna kika wo ni ẹda ipamọ, ni ọna kika wo ni ẹda iwọle, ati eyiti o wa fun olumulo?” Dapọ awọn ipele mẹta wọnyi jẹ ki o ṣe akiyesi iru faili wo ni oluwa ti o gbẹkẹle ti nlọ siwaju.

Mẹrin daakọ awọn awoṣe

1) Iranlọwọ atunse igbejade OCR:

Ni isalẹ jẹ ọrọ OCR ati apejuwe oju-iwe gangan. Ṣe atunṣe awọn aṣiṣe openOCR nikan (awọn ohun kikọ buburu, awọn ọrọ idapọ/pipin). Maṣe yi akoonu pada, ṣafikun tabi yọ awọn ọrọ kuro. Ti o ko ba ni idaniloju, samisi pẹlu "[?]". Ọrọ OCR: [nibi]

2) Ayẹwo aitasera aworan-ọrọ:

Njẹ awọn afikun eyikeyi wa ninu ọrọ atunṣe ni isalẹ ti a ko nireti lati wa ninu iwe atilẹba (eyiti o le ti ṣe)? Samisi apakan ifura kọọkan ki o kọ idi ti o fi jẹ ifura. Ọrọ: [nibi]

3) Ilana idabobo metadata:

Ṣe agbekalẹ ilana ilana metadata titọju fun nkan oni-nọmba atẹle wọnyi: orisun, iṣafihan, ọjọ ọlọjẹ / ipinnu, ọna kika faili, itan iṣowo. Kan lo alaye ti Mo pese, fi aaye ti o padanu silẹ ni ofifo. Alaye: [nibi]

4) Iranlọwọ iṣaju:

Ni isalẹ ni atokọ ti awọn akojọpọ ti n duro de digitization; Ṣe iranlọwọ ni iṣaju akọkọ ti o da lori ailagbara, ibeere, ati alailẹgbẹ. Fun finifini idalare fun kọọkan awọn oluşewadi; Fi ipinnu ikẹhin silẹ fun mi. Akojọ: [nibi]

Ailagbara kiakia / Alagbara kiakia

Ibere ​​ailagbara:

Ṣe atunṣe ati ṣe ẹwa ọrọ ti a ṣayẹwo yii.

"Beautify" nkepe AI lati yi akoonu pada, ṣe fun awọn aṣiṣe; Atilẹba ti iwe ipamọ ti bajẹ.

Ibere ​​ti o lagbara:

Ipa rẹ: oluranlọwọ olootu digitization. Ninu ọrọ OCR atẹle, ṣatunṣe awọn aṣiṣe idanimọ ti o fojuhan NIKAN (ohun kikọ buburu, ọrọ pipin ti ko tọ). Maṣe ṣafikun, yọkuro tabi yi ọrọ eyikeyi pada. Fi “[?]” silẹ nibiti o ko da ọ loju. Ṣe afihan atunṣe kọọkan ti o ṣe ni atokọ lọtọ. Ọrọ: [nibi]

Iyara ti o lagbara ṣe opin AI lati mọ awọn aṣiṣe nikan, ṣe idiwọ lati fi ọwọ kan akoonu, o jẹ ki awọn atunṣe wa kakiri.

Bisesenlo ati tabili ewu

Ipele

Ilowosi ti AI

Ewu akọkọ

Idaabobo odiwon

ọlọjẹ

-

ko dara didara

ga o ga

OCR/HTR

Yipada si ọrọ

Awọn aṣiṣe idanimọ

eda eniyan atunse

atunse

Imọran aṣiṣe

Yiyipada akoonu

Ifiwera pẹlu atilẹba

atunse

Itọsẹ aworan

ibamu apejuwe awọn

Jeki aise atilẹba, samisi rẹ

aabo

Metadata osere

isonu ti Oti

Igbasilẹ Provenance

Awọn aṣiṣe ti o wọpọ

  • Gbigba abajade OCR laisi atunṣe. Awọn aṣiṣe dabaru wiwa ati iraye si.
  • Pipe AI “ṣe lẹwa.” O yi akoonu pada ati ki o run atilẹba.
  • Rirọpo atunṣe AI fun ẹri gangan. Awọn alaye ti a ṣe ṣẹda ṣẹda itan-akọọlẹ eke.
  • Ko titoju awọn aise ọlọjẹ. Ko si atunse le jẹri laisi atilẹba.
  • Omitting provenance alaye. Igbẹkẹle iwe-ipamọ naa di eyiti ko ṣee ṣe.

Ni soki

AI ni awọn iwe ipamọ oni-nọmba ati digitization; O jẹ iranlọwọ ti o niyelori ti o yara iwe-kikọ OCR/HTR, kikọ metadata ati iṣaju. Ṣugbọn pataki ti iṣẹ ile ifi nkan pamosi jẹ otitọ ati iduroṣinṣin: iṣelọpọ OCR yẹ ki o ṣe atunṣe nipasẹ oju eniyan, AI ko yẹ ki o rọpo akoonu ni ipalọlọ, awọn itọsẹ imupadabọ ko yẹ ki o rọpo ẹri atilẹba, ati ọlọjẹ aise ati alaye asọtẹlẹ yẹ ki o tọju nigbagbogbo. Lo AI bi ohun elo ti ko “imudara” iwe-ipamọ naa, ṣugbọn kuku jẹ ki o wa lakoko ti o duro ni otitọ si rẹ.

Ohun elo iṣẹ-ṣiṣe

Gba apẹẹrẹ kukuru ti iṣelọpọ OCR (boya iṣelọpọ tirẹ tabi lati ọlọjẹ gangan). Ṣe atunṣe awọn aṣiṣe idanimọ nikan pẹlu awoṣe “iranlọwọ atunse igbejade OCR”, lẹhinna ṣayẹwo boya AI ti ṣafikun akoonu pẹlu awoṣe “ayẹwo aitasera aworan-ọrọ”. Lẹhinna ṣẹda igbasilẹ kan pẹlu iwifun ati ọna kika alaye fun ohun naa pẹlu awoṣe “Itọju metadata yiyan”.

akojọ ayẹwo

  • [] Mo ṣe afiwe iṣẹjade OCR/HTR pẹlu aworan gangan ati ṣe atunṣe.
  • [] Mo ti ṣayẹwo pe AI ko ṣafikun/ yi akoonu pada.
  • [] Mo tọju ọlọjẹ aise (titunto si) lọtọ ati ko yipada.
  • [] Mo ti fi kun provenance ati kika alaye si metadata.
  • [] Mo ti ṣe aami ni kedere awọn iyatọ imupadabọ bi “itọsẹ AI”.