Qligħ:
- Kapaċità li twaqqaf il-fluss tax-xogħol tad-diġitizzazzjoni u l-OCR (skanjar, ipproċessar minn qabel, rikonoxximent, korrezzjoni, verifika) pass pass
- Kapaċità li tuża AI biex tikkoreġi żbalji OCR bil-kuntest filwaqt li żżomm il-linja ta 'korrezzjoni u kitba mill-ġdid u timmarka l-ambigwità bi [?]
- Ifhem għaliex in-numri, id-dati u l-ismijiet proprji għandhom jiġu vverifikati viżwalment u r-rwol tal-kontroll tal-kwalità.
Il-miljuni ta’ paġni fuq l-ixkafef fiżiċi ta’ arkivju jew librerija jinfetħu tassew biss għar-riċerkatur meta jsiru diġitalizzati u jistgħu jitfittxu. Id-diġitizzazzjoni hija tikkonverti dokument fiżiku f'immaġni diġitali billi tiskannjah jew tirritrattah. Imma ritratt ta' paġna għadu mhux "test"; Għall-kompjuter huwa xorta immaġini, ma tistax tfittex fiha. Dan huwa fejn jidħol fis-seħħ l-OCR.
OCR (Optical Character Recognition) hija teknoloġija li tirrikonoxxi ittri stampati f'immaġni ta' dokument u tikkonvertihom f'test li jista' jinqara mill-magni u li jista' jitfittex. F'din l-unità, titgħallem kif tiddiġitalizza dokumenti stampati storiċi bl-OCR, kif l-AI tgħin biex tikkoreġi żbalji OCR f'dan il-proċess, u fejn l-għajn tal-bniedem hija essenzjali. (Testi miktuba bl-idejn jeħtieġu teknoloġija differenti; dan inkopruh fl-unità li jmiss.)
Fluss tax-xogħol tad-diġitizzazzjoni: pass pass
1. Tħejjija u screening. Skennja d-dokument bl-ogħla kwalità possibbli. Regola ġenerali għar-riċerka storika hija riżoluzzjoni ta' mill-inqas 300-400 DPI (tikek kull pulzier). Riżoluzzjoni baxxa togħla r-rata ta 'żball fl-istadju sussegwenti tal-OCR.
2. Ipproċessar minn qabel tal-immaġni. It-titjib tal-immaġini qabel l-OCR iżid ħafna s-suċċess: deskewing tal-paġna skennjata, it-tneħħija tat-tbajja, iż-żieda tal-kuntrast, il-konverżjoni għal iswed u abjad. Għodod moderni bbażati fuq l-AI jistgħu awtomatizzati dan il-pass.
3. Applikazzjoni OCR. Inti għalf l-immaġni lill-magna OCR; Il-magna tagħraf ittri u tipproduċi test. L-output normalment jikkonsisti f'żewġ saffi: l-immaġni tad-dokument viżibbli u "saff ta 'test moħbi li jista' jitfittex" taħt.
4. Korrezzjoni (post-korrezzjoni). L-output mhux maħdum tal-OCR qatt mhu perfett. Il-karattri jinqraw ħażin minħabba fonts qodma, karta safra, smearing tal-linka, u żbalji fl-iskannjar. Dan huwa fejn l-AI hija għajnuna qawwija: tissuġġerixxi u tikkoreġi żbalji OCR billi tuża l-kuntest.
5. Verifika u kontroll tal-kwalità. It-test korrett huwa kkontrollat mill-bniedem fuq bażi ta 'kampjun jew kompletament. Speċjalment oqsma kritiċi bħal ismijiet, dati u numri għandhom jiġu vverifikati viżwalment.
Għaliex l-OCR jagħmel żbalji, kif tgħin l-AI
Problemi tipiċi li jisfidaw l-OCR f’dokumenti storiċi: fonts qodma u fancy, forom ta’ ittri skaduti bħal "s" twal (ſ), tqassim ta’ paġni b’żewġ kolonni, noti ta’ qiegħ il-paġna, inserzjonijiet miktuba bl-idejn, siġilli, u linka faded. Minħabba li magna OCR "tara" ittri wieħed wieħed, spiss tħawwad il-binarju "rn" bħala "m", l-ittra "l" bħala n-numru "1", u l-ittra "O" bħala "0".
Mudelli tal-lingwa AI joffru setgħa differenti hawnhekk: jifhmu l-kuntest. Jekk magna OCR kitbet "1stanbu1", l-AI tista' tiddeduċi mill-kuntest li għandha tkun "Istanbul". Iżda hawn periklu kbir: meta "tikkoreġi" l-AI tista 'wkoll tibdel it-test. Huwa jista 'jżid "I kkoreġejt" kelma li ma teżistix jew imla post mhux ċar bil-raden tiegħu stess. Dan ifixkel il-fedeltà tat-traskrizzjoni.
Attenzjoni: Ir-regola tad-deheb fil-korrezzjoni OCR hija din: AI għandha tikkoreġi biss żbalji ovvji ta 'rikonoxximent, mhux tinterpreta jew tissupplimenta l-kontenut tat-test. "1stanbu1 → Istanbul" hija leġittima; Mhijiex li timla kelma li ma tinqarax b’suppożizzjonijiet. Postijiet inċerti għandhom ikunu mmarkati bi [?] u m'għandhomx ikunu magħmula.
Tipi ta 'żball OCR u approċċ b'tabella
Tip ta' żball
eżempju
L-AI tista' tirranġaha?
kontroll tal-bniedem
taħlit tal-karattri
rn↔m, l↔1, O↔0
Iva, huwa sigur
kampjun
forma ta 'ittri qodma
twil ſ → s
Iva, huwa sigur
kampjun
Kelma faded/li ma tinqarax
"ka___n"
Le, għandha tpoġġi [?]
obbligatorju
isem proprju/isem tal-post
"Konstantiniyye"
attent
obbligatorju
Numru/data
"1867" vs "1857"
riskjuż
obbligatorju
Tqassim tal-paġna (kolonna/nota f'qiegħ il-paġna)
fluss imħallat
parzjalment
obbligatorju
Biex tqassar l-istampa f'sentenza waħda: AI tnaddaf b'mod affidabbli l-iżbalji tal-karattri ordinarji; Iżda l-għajnejn tal-bniedem huma meħtieġa għal ismijiet speċjali, numri, dati u postijiet li ma jinqrawx.
tliet każijiet żgħar
Każ 1 — L-arkivji tal-gazzetti saru tfittxija. Librerija universitarja ddiġitizzat 12,000 paġna ta’ gazzetti lokali mis-snin tletin. Il-preċiżjoni tal-OCR mhux maħduma kienet stmata 82% (18 minn kull 100 karattru kienu żbaljati). Korrezzjoni bbażata fuq l-AI żiedet l-eżattezza għal 96% b'dizzjunarju u kuntest adattati għal-lingwa tal-gazzetta. Għall-iżbalji li kien fadal, saret kontroll tal-kampjun aktar milli t-test sħiħ; Il-kollezzjoni saret tfittxija fi żmien 3 ġimgħat.
Każ 2 — AI “ikkoreġuta” u storja mgħawġa. Arkivist kellu AI jikkoreġi d-data "1863" fuq il-printout OCR. L-AI "ikkoreġiet" id-data għal "1868" billi tħares lejn avveniment ieħor fil-kuntest - anki jekk id-dokument qal b'mod ċar 1863. Kieku l-arkivist ma kienx ħares lejn l-immaġni oriġinali, il-katalgu kien jidħol b'data ħażina. Lezzjoni: in-numri u d-dati qatt ma jitħallew f'idejn l-AI, huma vverifikati bl-immaġni.
Każ 3 — Paġna b'żewġ kolonni konfuża. Il-paġni b’żewġ kolonni ta’ yearbook tas-seklu 19 tħalltu f’fluss wieħed fl-OCR u s-sentenzi kienu magħquda ma’ xulxin. L-output mhux maħdum ma kienx jinqara. It-test tjieb meta l-ewwel qsejt it-tqassim tal-paġna f'reġjuni (segmentazzjoni) u pproċessajt kull kolonna separatament. Lezzjoni: fit-tqassim tal-paġna kumpless, l-ewwel struttura, it-tieni test.
Erba' mudelli li jistgħu jiġu kkupjati
1) Korrezzjoni OCR sigura:
Hawn taħt hemm l-output mhux maħdum tal-OCR ta’ dokument storiku. Il-kompitu tiegħek huwa li tikkoreġi żbalji ovvji ta’ rikonoxximent ottiku BISS (eż. rn→m,1→l, 0→O, twil ſ→s). Regoli: (1) Interpreta t-tifsira tat-test. (2) Ikkoreġi kliem li ma jinqarax/ambigwi, ħalli kif inhu u mmarka bi [?]. (3) LE li żżid, tneħħi jew tikkompleta sentenzi. (4) IBIDLA n-numri u d-dati; immarka [numru?] jekk għandek dubju.OCR mhux maħdum: [hawn]
2) Rapport tal-kwalità tal-OCR:
Eżamina l-output tal-OCR hawn taħt u pproduċi rapport ta’ kwalità: (1) Elenka kliem bi żbalji possibbli ta’ rikonoxximent, (2) Immarka żoni li jidhru li ma jinqrawx/mhux ċari, (3) Elenka ismijiet, dati u numri speċifiċi li jeħtieġu verifika umana. TIKKORREĠIXX; iġġenera lista ta' kontroll biss.Test: [hawn]
3) Għajnuna għall-analiżi tal-kolonna/struttura:
Minħabba li t-test OCR hawn taħt ġej minn paġna b'żewġ kolonni, il-fluss jista 'jkun konfuż. Irranġa t-test f'paragrafi loġiċi IMMA tbiddilx, iżżid jew tħassar ebda kliem. Ikkoreġi biss l-ordni. Immarka l-ordni li m'intix ċert biha [ordni?]. Test: [hawn]
4) Normalizzazzjoni għal lingwa standard (fakultattiv, saff separat):
Ipproduċi verżjoni tal-qari simplifikata bl-ortografija tal-lum, f'kolonna separata, FUQ it-test storiku korrett hawn taħt. QATT tbiddel it-test ORIĠINALI; Ħalli s-simplifikazzjoni tkun saff separat. Aġġorna biss l-ortografija/pronunzja mingħajr ma żżid tifsira.Oriġinali: [hawn]
Pront dgħajjef / Pront qawwi
Dgħajjef:
Ikkoreġi u ssebbaħ dan it-test OCR.
"Sbieħ" tippermetti lill-AI biex tikteb mill-ġdid it-test, tagħmel ommissjonijiet, u tinterpreta l-kontenut; ikisser il-lealtà.
Qawwija:
Waħħal BISS żbalji ta 'rikonoxximent ottiku f'dan l-output OCR mhux maħdum. Tinterpretax it-tifsira, żid/tħassarx kliem, tħalli partijiet li ma jinqrawx bi [?], tibdel in-numri u d-dati. Uri kull korrezzjoni li tagħmel f'lista separata fil-format "oriġinali → korrezzjoni" sabiex inkun nista' nivverifikaha. Test: [hawn]
Id-differenza: dazju limitat, projbizzjoni fuq il-fabbrikazzjoni, ambigwità tal-immarkar, u lista traċċabbli ta 'korrezzjonijiet jagħmlu l-output verifikabbli.
Żbalji komuni
- Skennjar b'riżoluzzjoni baxxa. Ħafna mill-iżbalji OCR huma kkawżati minn stampi ħżiena; L-iskannjar tal-kwalità huwa l-orħos investiment.
- Issejjaħ lill-AI "agħmel is-sabiħ." Dan jipproduċi ħeffa aktar milli fedeltà; Id-dokument jinkiteb mill-ġdid.
- Inħallu n-numri u d-dati lill-AI. Dawn huma skiet korrotta meta "ikkoreġuti" mill-kuntest; għandhom jiġu vverifikati bl-immaġni.
- Mili taż-żona li ma tinqarax b'raden. Għandu jkun protett minn inċertezza [?], mhux magħmul.
- Ma tikkontrolla xejn minflok ma tieħu kampjuni. Anke preċiżjoni ta '96% tfisser eluf ta' żbalji fi 12,000 paġna; żoni kritiċi huma skennjati.
Fil-qosor
L-OCR tiftaħ arkivji għar-riċerkaturi billi tikkonverti dokumenti storiċi stampati f'test li jista' jitfittex. L-AI hija għajnuna qawwija biex tikkoreġi l-iżbalji tal-karattri fl-output mhux maħdum tal-OCR bil-kuntest; Imma trid tiġbed il-linja bejn l-editjar u l-kitba mill-ġdid. Skennjar ta 'kwalità għolja, struzzjoni ta' korrezzjoni sikura, preservazzjoni ta 'ambigwità bi [?], u verifika tal-għajnejn tal-bniedem tal-ismijiet/dati/numri jagħmlu d-diġitizzazzjoni kemm veloċi kif ukoll affidabbli. AI tnaddaf it-test; Int il-gwardjan tal-fedeltà.
Kompitu ta' applikazzjoni
Skennja dokument storiku stampat (gazzetta l-qadima, ittra uffiċjali, paġna tal-ktieb) jew ħu stampat OCR. Ikkoreġi t-test bil-mudell "Korezzjoni OCR Sikura" u titlob korrezzjonijiet permezz tal-lista "oriġinali → korrezzjoni". Imbagħad, neħħi l-oqsma li jeħtieġu kontroll uman bir-"rapport ta 'kwalità OCR". Qabbel kull data u isem proprju fil-lista mal-immaġni attwali; Innota kemm ġew "ikkoreġuti" b'mod żbaljat.
lista ta' kontroll
- [ ] Skennjt id-dokument b'mill-inqas 300 DPI u kuntrast tajjeb.
- [ ] Staqsejt biss lill-AI għall-korrezzjoni tal-iżbalji ottiċi, mhux kitba mill-ġdid.
- [ ] Ipproteġit il-partijiet li ma jinqrawx b'[?].
- [ ] Ivverifikajt in-numri, id-dati u l-ismijiet proprji kollha bl-immaġni.
- [ ] Għamilt kampjun jew kontroll sħiħ f'żoni kritiċi.