Faida:
- Uwezo wa kusanidi uwekaji dijiti na mtiririko wa kazi wa OCR (skanning, usindikaji wa awali, utambuzi, urekebishaji, uthibitishaji) hatua kwa hatua.
- Uwezo wa kutumia AI kusahihisha makosa ya OCR na muktadha huku ukidumisha safu ya urekebishaji na kuandika upya na kuashiria utata na [?]
- Elewa kwa nini nambari, tarehe na majina sahihi lazima yathibitishwe kwa njia ya kuona na jukumu la udhibiti wa ubora.
Mamilioni ya kurasa kwenye rafu halisi za kumbukumbu au maktaba hufunguliwa tu kwa mtafiti zinapowekwa kidijitali na kutafutwa. Uwekaji dijiti ni kubadilisha hati halisi kuwa picha ya dijitali kwa kuichanganua au kuipiga picha. Lakini picha ya ukurasa bado sio "maandishi"; Kwa kompyuta bado ni picha, huwezi kutafuta ndani yake. Hapa ndipo OCR inapoanza kutumika.
OCR (Optical Character Recognition) ni teknolojia inayotambua herufi zilizochapishwa katika picha ya hati na kuzibadilisha kuwa maandishi yanayosomeka na mashine na kutafutwa. Katika kitengo hiki, utajifunza jinsi ya kuweka kidijitali hati za kihistoria zilizochapishwa kwa kutumia OCR, jinsi AI inavyosaidia kusahihisha makosa ya OCR katika mchakato huu, na mahali ambapo jicho la mwanadamu ni muhimu. (Maandiko yaliyoandikwa kwa mkono yanahitaji teknolojia tofauti; tutashughulikia hilo katika kitengo kinachofuata.)
Mtiririko wa kazi wa dijiti: hatua kwa hatua
1. Maandalizi na uchunguzi. Changanua hati katika ubora wa juu iwezekanavyo. Kanuni ya jumla ya utafiti wa kihistoria ni azimio la angalau 300-400 DPI (dots kwa inchi). Ubora wa chini huongeza kiwango cha makosa katika hatua inayofuata ya OCR.
2. Utayarishaji wa picha. Kuboresha picha kabla ya OCR huongeza sana mafanikio: kufuta ukurasa uliochanganuliwa, kuondoa kasoro, kuongeza tofauti, kugeuza kuwa nyeusi na nyeupe. Zana za kisasa za msingi wa AI zinaweza kufanya hatua hii kiotomatiki.
3. OCR maombi. Unalisha picha kwa injini ya OCR; Injini inatambua herufi na hutoa maandishi. Matokeo kawaida huwa na tabaka mbili: picha ya hati inayoonekana na "safu ya maandishi yaliyofichwa inayoweza kutafutwa" chini yake.
4. Kusahihisha (baada ya kusahihisha). Pato ghafi la OCR si kamilifu kamwe. Herufi zinasomwa vibaya kwa sababu ya fonti kuu, karatasi ya manjano, kupaka wino na makosa ya kuchanganua. Hapa ndipo AI ni msaidizi mwenye nguvu: inapendekeza na kurekebisha makosa ya OCR kwa kutumia muktadha.
5. Uthibitishaji na udhibiti wa ubora. Maandishi yaliyosahihishwa yanakaguliwa na mwanadamu kwa sampuli au kabisa. Maeneo muhimu haswa kama vile majina, tarehe na nambari lazima yathibitishwe kwa macho.
Kwa nini OCR hufanya makosa, jinsi AI inasaidia
Matatizo ya kawaida ambayo yanatia changamoto OCR katika hati za kihistoria: fonti kuu na dhabiti, herufi za kizamani kama vile "s" (ſ), mpangilio wa kurasa zenye safu wima mbili, tanbihi, ingizo zilizoandikwa kwa mkono, mihuri na wino uliofifia. Kwa sababu injini ya OCR "huona" herufi moja baada ya nyingine, mara nyingi huchanganya herufi "rn" kama "m", herufi "l" kama nambari "1", na herufi "O" kama "0".
Miundo ya lugha ya AI inatoa nguvu tofauti hapa: inaelewa muktadha. Ikiwa injini ya OCR iliandika "1stanbu1", AI inaweza kudhani kutoka kwa muktadha kwamba inapaswa kuwa "Istanbul". Lakini kuna hatari kubwa hapa: wakati "kurekebisha" AI inaweza pia kubadilisha maandishi. Anaweza kuongeza "Nilisahihisha" neno ambalo halipo au kujaza mahali pasipo wazi na nadhani yake mwenyewe. Hii inatatiza uaminifu wa unukuzi.
Tahadhari: Kanuni kuu katika urekebishaji wa OCR ni hii: AI inapaswa kusahihisha tu makosa dhahiri ya utambuzi, sio kufasiri au kuongezea yaliyomo kwenye maandishi. "1stanbu1 → Istanbul" ni halali; Sio juu ya kujaza neno lisilosomeka kwa kubahatisha. Maeneo yasiyo na uhakika yanapaswa kuwekewa alama ya [?] na hayafai kutengenezwa.
Aina za makosa ya OCR na mbinu na jedwali
Aina ya hitilafu
mfano
Je, AI inaweza kuirekebisha?
udhibiti wa binadamu
kuchanganya tabia
rn↔m, l↔1, O↔0
Ndiyo, ni salama
sampuli
muundo wa barua wa zamani
ndefu ſ → s
Ndiyo, ni salama
sampuli
Neno lililofifia/ lisilosomeka
"ka_n"
Hapana, inapaswa kuweka [?]
lazima
jina sahihi / jina la mahali
"Constantiniyye"
makini
lazima
Nambari/tarehe
"1867" dhidi ya "1857"
hatari
lazima
Mpangilio wa ukurasa (safu wima/ maelezo ya chini)
mtiririko mchanganyiko
kwa sehemu
lazima
Kwa muhtasari wa picha katika sentensi moja: AI husafisha kwa uaminifu makosa ya kawaida ya wahusika; Lakini macho ya mwanadamu yanahitajika kwa majina maalum, nambari, tarehe na sehemu zisizoweza kusomeka.
kesi tatu ndogo
Kesi ya 1 - Kumbukumbu za magazeti zilianza kutafutwa. Maktaba ya chuo kikuu imeweka kidigitali kurasa 12,000 za magazeti ya hapa nchini kuanzia miaka ya 1930. Usahihi ghafi wa OCR ulikadiriwa 82% (18 kati ya kila herufi 100 hazikuwa sahihi). Usahihishaji unaotegemea AI uliongeza usahihi hadi 96% kwa kamusi na muktadha unaolingana na lugha ya gazeti. Kwa makosa yaliyosalia, ukaguzi wa sampuli ulifanyika badala ya maandishi kamili; Mkusanyiko ulianza kutafutwa baada ya wiki 3.
Kesi ya 2 - AI "iliyosahihishwa" na historia iliyopotoka. Mtunzi wa kumbukumbu alikuwa na AI kusahihisha tarehe "1863" kwenye uchapishaji wa OCR. AI "ilirekebisha" tarehe kuwa "1868" kwa kuangalia tukio lingine katika muktadha - ingawa hati hiyo ilisema waziwazi 1863. Ikiwa mtunzi wa kumbukumbu hakuangalia picha asili, katalogi ingeingia na tarehe isiyo sahihi. Somo: nambari na tarehe haziachiwi kwa AI, zinathibitishwa na picha.
Kesi ya 3 - Ukurasa wa safu wima mbili umechanganyikiwa. Kurasa za safu wima mbili za kitabu cha mwaka cha karne ya 19 zilichanganywa katika mkondo mmoja katika OCR na sentensi ziliunganishwa. Toleo ghafi lilikuwa halisomeki. Maandishi yaliboreshwa nilipogawanya mpangilio wa ukurasa kwa mara ya kwanza katika kanda (segmentation) na kuchakata kila safu kando. Somo: katika mpangilio mgumu wa ukurasa, muundo kwanza, maandishi ya pili.
Violezo vinne vinavyoweza kunakiliwa
1) Salama marekebisho ya OCR:
Ifuatayo ni matokeo ghafi ya OCR ya hati ya kihistoria. Jukumu lako ni kusahihisha makosa dhahiri ya utambuzi wa macho PEKEE (k.m. rn→m,1→l, 0→O, long ſ→s). Kanuni: (1) Fasiri maana ya maandishi. (2) Sahihisha maneno yasiyoweza kusomeka/ya kutatanisha, acha kama yalivyo na utie alama kwa [?]. (3) HAKUNA kuongeza, kuondoa au kukamilisha sentensi. (4) BADILISHA nambari na tarehe; weka alama [nambari?] ikiwa una shaka.OCR Mbichi: [hapa]
2) Ripoti ya ubora wa OCR:
Chunguza pato la OCR hapa chini na utoe ripoti ya ubora: (1) Orodhesha maneno yenye hitilafu zinazowezekana za utambuzi, (2) Tia alama kwenye maeneo ambayo yanaonekana kutosomeka/kutoeleweka, (3) Orodhesha majina mahususi, tarehe na nambari zinazohitaji kuchunguzwa na binadamu. USISAHIHISHE; tengeneza orodha ya kukaguliwa pekee. Maandishi: [hapa]
3) Usaidizi wa uchanganuzi wa safu wima/muundo:
Kwa sababu maandishi ya OCR hapa chini yanatoka kwa ukurasa wa safu wima mbili, mtiririko unaweza kuchanganyikiwa. Panga upya maandishi katika aya zenye mantiki LAKINI usibadilishe, ongeza au ufute maneno yoyote. Sahihisha tu agizo. Weka alama kwenye agizo ambalo huna uhakika nalo kwa [agizo?]. Maandishi: [hapa]
4) Kurekebisha kwa lugha sanifu (si lazima, safu tofauti):
Toa toleo lililorahisishwa la usomaji katika tahajia ya leo, katika safu wima tofauti, JUU ya maandishi ya kihistoria yaliyosahihishwa hapa chini. KAMWE usibadilishe maandishi HALISI; Acha kurahisisha iwe safu tofauti. Sasisha tu tahajia/matamshi bila kuongeza maana.Asili: [hapa]
Mwongozo dhaifu / Mwongozo thabiti
Dhaifu:
Sahihisha na upendeze maandishi haya ya OCR.
"Beautify" inaruhusu AI kuandika upya maandishi, kufanya makosa, na kutafsiri yaliyomo; huvunja uaminifu.
Nguvu:
Rekebisha hitilafu za utambuzi wa macho PEKEE katika pato hili ghafi la OCR. Usifasiri maana, ongeza/ufute maneno, uache sehemu zisizoweza kusomeka na [?], badilisha nambari na tarehe. Onyesha kila masahihisho unayofanya katika orodha tofauti katika umbizo la "asili → marekebisho" ili niweze kulithibitisha. Maandishi: [hapa]
Tofauti: Ushuru wa mipaka, marufuku ya kutengeneza, kuashiria utata, na orodha inayoweza kufuatiliwa ya masahihisho hufanya matokeo kukaguliwa.
Makosa ya kawaida
- Inachanganua kwa ubora wa chini. Makosa mengi ya OCR husababishwa na picha mbaya; Kuchanganua ubora ni uwekezaji wa bei nafuu zaidi.
- Kuita AI "fanya mrembo." Hii inazalisha ufasaha badala ya uaminifu; Hati imeandikwa upya.
- Kuacha nambari na tarehe kwa AI. Hawa hupotoshwa kimyakimya wanapo "sahihishwa" kutoka kwa muktadha; lazima idhibitishwe na picha.
- Kujaza eneo lisiloweza kusomeka kwa nadhani. Inapaswa kulindwa na kutokuwa na uhakika [?], sio kutengenezwa.
- Si kudhibiti kabisa badala ya sampuli. Hata usahihi wa 96% unamaanisha maelfu ya makosa katika kurasa 12,000; maeneo muhimu yanakaguliwa.
Kwa muhtasari
OCR inafungua kumbukumbu kwa watafiti kwa kubadilisha hati za kihistoria zilizochapishwa kuwa maandishi yanayoweza kutafutwa. AI ni msaada mkubwa katika kusahihisha makosa ya herufi katika pato ghafi la OCR na muktadha; Lakini lazima uchore mstari kati ya kuhariri na kuandika upya. Uchanganuzi wa hali ya juu, maagizo ya kusahihisha salama, uhifadhi wa utata na [?], na uthibitishaji wa majina/tarehe/namba kwa macho ya binadamu hufanya uwekaji dijiti kuwa wa haraka na wa kutegemewa. AI husafisha maandishi; Wewe ndiye mlinzi wa uaminifu.
Jukumu la maombi
Changanua hati ya kihistoria iliyochapishwa (gazeti la zamani, barua rasmi, ukurasa wa kitabu) au chukua chapa ya OCR. Sahihisha maandishi kwa kutumia kiolezo cha "Sahihisho salama la OCR" na uombe masahihisho kupitia orodha ya "asili → masahihisho". Kisha, ondoa maeneo yanayohitaji udhibiti wa binadamu kwa "ripoti ya ubora wa OCR". Linganisha kila tarehe na jina linalofaa katika orodha na picha halisi; Kumbuka ni wangapi "walisahihishwa" kimakosa.
orodha ya ukaguzi
- [ ] Nilichanganua hati kwa angalau DPI 300 na utofautishaji mzuri.
- [ ] Niliuliza tu AI kwa urekebishaji wa makosa ya macho, sio kuandika upya.
- [ ] Nililinda sehemu zisizoweza kusomeka kwa [?].
- [ ] Nilithibitisha nambari zote, tarehe na majina sahihi kwa picha.
- [ ] Nilifanya sampuli au ukaguzi kamili katika maeneo muhimu.