Girdeji:
- Sanlaşdyrmak we OCR iş prosesini (skanerlemek, öňünden işlemek, tanamak, düzetmek, barlamak) ädimme-ädim düzmek ukyby
- Düzedişi saklamak we täzeden ýazmak we [?] Bilen düşnüksizligi bellemek bilen OCR ýalňyşlyklaryny kontekst bilen düzetmek üçin AI ulanmak ukyby;
- Sanlaryň, seneleriň we dogry atlaryň näme üçin wizual tassyklanmalydygyna we hil gözegçiliginiň roluna düşüniň.
Arhiwiň ýa-da kitaphananyň fiziki tekjelerindäki millionlarça sahypa diňe sanlaşdyrylan we gözlenýän mahaly gözlegçä hakykatdanam açylýar. Sanlaşdyrmak, fiziki resminamany skanirlemek ýa-da surata almak arkaly sanly şekile öwürýär. Emma sahypanyň suraty entek "tekst" däl; Kompýuter üçin henizem surat, ony gözläp bolmaz. OCR şu ýerde oýnaýar.
OCR (Optiki nyşanlary tanamak), resminama şekilinde çap edilen harplary tanap, olary maşyn okalýan, gözlenýän tekste öwürýän tehnologiýa. Bu bölümde, OCR bilen taryhy çap edilen resminamalary nädip sanlaşdyrmalydygyny, AI-iň bu amalda OCR ýalňyşlyklaryny düzetmäge nädip kömek edýändigini we adamyň gözüniň zerur ýerini öwrenersiňiz. (Golýazma tekstleri başga tehnologiýany talap edýär; indiki bölümde ýazarys.)
Sanlaşdyrma iş tertibi: ädimme-ädim
1. Taýýarlyk we barlag. Resminamany mümkin boldugyça ýokary hilli skanirläň. Taryhy gözlegler üçin umumy düzgün, azyndan 300-400 DPI (bir dýuýmdaky nokatlar) çözgüdi. Pes ölçegli indiki OCR tapgyrynda ýalňyşlyk derejesi ýokarlanýar.
2. Suraty gaýtadan işlemek. OCR-den öň şekili gowulaşdyrmak üstünligi ep-esli ýokarlandyrýar: skanirlenen sahypany işletmek, kemçilikleri aýyrmak, kontrasty ýokarlandyrmak, ak-gara öwürmek. AI esasly häzirki zaman gurallary bu ädimi awtomatlaşdyryp biler.
3. OCR programmasy. Suraty OCR hereketlendirijisine iýmitlendirýärsiňiz; Dwigatel harplary tanadýar we tekst öndürýär. Çykyş adatça iki gatlakdan durýar: görünýän resminama şekili we aşagyndaky "gözlenýän gizlin tekst gatlagy".
4. Düzediş (düzedişden soňky). Çig OCR çykyşy hiç wagt kämil däl. Nyşanlar köne şriftler, sary kagyz, syýa reňklemek we skaner ýalňyşlyklary sebäpli nädogry okalýar. Bu ýerde AI güýçli kömekçi: OCR ýalňyşlyklaryny kontekst arkaly teklip edýär we düzedýär.
5. Barlamak we hil gözegçiligi. Düzedilen tekst adam tarapyndan ýa-da dolulygyna barlanýar. Esasanam atlar, seneler we sanlar ýaly möhüm ýerler wizual tassyklanmalydyr.
OCR näme üçin ýalňyşýar, AI nähili kömek edýär
Taryhy resminamalarda OCR-ni kynlaşdyrýan adaty meseleler: köne we ajaýyp şriftler, uzyn "s" (ſ) ýaly köne harplar, iki sütünli sahypa düzülişi, bellikler, golýazmalar, möhürler we solan syýa. OCR hereketlendirijisi ikitaraplaýyn "rn" harpyny "m", "l" harpyny "1", "O" harpyny "0" diýip bulaşdyrýar.
AI dil modelleri bu ýerde başga bir güýç hödürleýär: kontekste düşünýärler. OCR hereketlendirijisi "1stanbu1" ýazan bolsa, AI "Stambul" bolmalydygyny göz öňünde tutup biler. Hereöne bu ýerde uly howp bar: AI “düzedilende” teksti hem üýtgedip biler. Ol ýok sözi "düzedipdim" goşup biler ýa-da öz çaklamasy bilen düşnüksiz bir ýer dolduryp biler. Bu transkripsiýanyň wepalylygyny bozýar.
Üns beriň: OCR düzedişiniň altyn düzgüni şulardan ybarat: AI diňe aç-açan tanamak ýalňyşlyklaryny düzetmeli, tekstiň mazmunyny düşündirmeli ýa-da doldurmaly däl. "1stanbu1 → Stambul" kanuny; Gürrüň okalmaýan sözi çaklamalar bilen doldurmak däl. Näbelli ýerler [?] Bilen bellenmeli we düzülmeli däl.
OCR ýalňyşlyk görnüşleri we tablisa bilen çemeleşmek
Roralňyş görnüşi
mysal
AI düzedip bilermi?
adam gözegçiligi
nyşanlary garyşdyrmak
rn↔m, l↔1, O↔0
Hawa, howpsuz
nusga
köne hat
uzyn → → s
Hawa, howpsuz
nusga
Öçürilen / okalmaýan söz
"ka___n"
, Ok, goýmalymy?
hökmany
dogry ady / ýeri
"Constantiniyye"
seresap boluň
hökmany
Belgi / senesi
"1867" vs "1857"
töwekgelçilikli
hökmany
Sahypanyň ýerleşişi (sütün / bellik)
garyşyk akym
bölekleýin
hökmany
Suraty bir sözlemde jemlemek üçin: AI adaty häsiýet ýalňyşlyklaryny ygtybarly arassalaýar; Emma adam atlary aýratyn atlar, sanlar, seneler we okalmaýan ýerler üçin zerurdyr.
üç sany kiçi halat
1-nji waka - Gazet arhiwleri gözlenip başlandy. Uniwersitetiň kitaphanasy 1930-njy ýyllardan başlap ýerli gazetleriň 12,000 sahypasyny sanlaşdyrdy. Çig OCR takyklygy takmynan 82% boldy (her 100 simwoldan 18-si nädogry). AI esasly düzediş gazet diline laýyk sözlük we kontekst bilen takyklygy 96% -e çenli ýokarlandyrdy. Galan ýalňyşlyklar üçin doly tekst däl-de, nusga barlagy geçirildi; Theygyndy 3 hepdäniň içinde gözlenip başlandy.
2-nji waka - AI taryhy “ýoýdy” we ýoýuldy. Bir arhiwçi, OCR neşirinde "1863" senesini düzedipdi. AI kontekstdäki başga bir hadysa seredip, "1868" senesini "düzeddi" - resminamada 1863-nji ýylda aýdyň görkezilen hem bolsa. Arhiwçi asyl surata seretmedik bolsa, katalog nädogry senesi bilen girizilerdi. Sapak: sanlar we seneler hiç haçan AI-de galdyrylmaýar, şekil bilen barlanýar.
3-nji waka - Iki sütünli sahypa bulaşdy. XIX asyr ýyl kitabynyň iki sütünli sahypasy OCR-de bir akym bilen garyldy we sözlemler biri-biri bilen baglanyşdy. Çig önüm okalmady. Sahypanyň ýerleşişini ilki sebitlere (segmentasiýa) bölenimde we her sütüni aýratynlykda işlänimde tekst gowulaşdy. Sapak: çylşyrymly sahypa düzülişinde, gurluşy birinji, ikinji tekst.
Göçürip boljak dört şablon
1) Howpsuz OCR düzedişi:
Aşakda taryhy resminamanyň çig OCR çykyşy. Siziň wezipäňiz diňe aç-açan optiki tanamak ýalňyşlyklaryny düzetmek (meselem, rn → m, 1 → l, 0 → O, uzyn → → s). Düzgünler: (1) Tekstiň manysyny düşündiriň. (2) Okalmaýan / düşnüksiz sözleri düzediň, bolşy ýaly goýuň we [?] Bilen bellik ediň. (3) NOOK sözlemleri goşmak, aýyrmak ýa-da doldurmak. (4) Sanlary we seneleri üýtgetmek; şübhelenýän bolsaňyz [san?] belläň. Çig OCR: [şu ýerde]
2) OCR hil hasabaty:
Aşakdaky OCR çykyşyny gözden geçiriň we hil hasabatyny taýýarlaň: (1) Mümkin bolan ýalňyşlyklar bilen sözleri sanaň, (2) Okalmaýan / düşnüksiz görünýän ýerleri belläň, (3) Adam barlagyny talap edýän anyk atlary, seneleri we sanlary sanaň. Dogry etme; diňe gözegçilik sanawyny dörediň. Tekst: [şu ýerde]
3) Sütün / gurluş derňewi kömek:
Aşakdaky OCR teksti iki sütünli sahypadan gelendigi sebäpli akym bulaşyp biler. Teksti logiki abzaslara täzeden düzüň, ýöne sözleri üýtgetmäň, goşmaň we pozmaň. Diňe buýrugy düzediň. Özüňize ynanmaýan tertibi [sargyt?] Bilen belläň. Tekst: [şu ýerde]
4) Adaty dile kadalaşdyrmak (islege görä, aýratyn gatlak):
Aşakdaky düzedilen taryhy tekstiň ýokarsynda şu günki orfografiýada, aýratyn sütünde ýönekeý okalýan wersiýany öndüriň. Hiç haçan ORIGINAL teksti üýtgetmäň; Simplönekeýleşdirmek aýratyn gatlak bolsun. Diňe many goşmazdan ýazuw / aýdylyşyny täzeläň .Original: [şu ýerde]
Gowşak haýyş / Güýçli haýyş
Gowşak:
Bu OCR tekstini düzediň we owadanlaň.
“Gözellik” AI-e teksti täzeden ýazmaga, ýalňyşlyklary düzmäge we mazmuny düşündirmäge mümkinçilik berýär; wepalylygy bozýar.
Güýçli:
Bu çig OCR çykyşynda Diňe optiki tanamak ýalňyşlyklaryny düzediň. Manysyny düşündirmäň, sözleri goşuň / pozmaň, okalmaýan bölekleri [?] Bilen goýuň, sanlary we seneleri üýtgediň. Her bir düzedişiňizi aýratyn sanawda "asyl → düzediş" görnüşinde görkeziň, men ony barlap bilerin. Tekst: [şu ýerde]
Tapawut: çäklendirilen borç, ýasamagy gadagan etmek, düşnüksizligi bellemek we yzarlanylýan düzedişleriň sanawy çykyşy diňleýär.
Adaty ýalňyşlyklar
- Pes ölçegde skaner. OCR ýalňyşlyklarynyň köpüsi erbet şekiller sebäpli ýüze çykýar; Hil gözlemek iň arzan maýa goýumdyr.
- AI diýmek “owadan etmek”. Bu wepalylyk däl-de, erkin gürlemek; Resminama gaýtadan ýazyldy.
- Sanlary we seneleri AI-e goýmak. Kontekstden "düzedilende" bular sessiz bozulýar; şekil bilen tassyklanmalydyr.
- Okalmaýan ýerde çaklama bilen doldurmak. Düzedilmedik näbellilik bilen goramalymy?
- Nusga almagyň ýerine asla gözegçilik etmezlik. Hatda 96% takyklyk 12,000 sahypadaky müňlerçe ýalňyşlygy aňladýar; möhüm ýerler skanirlenýär.
Gysgaça
OCR çap edilen taryhy resminamalary gözlenýän tekste öwürmek arkaly gözlegçiler üçin arhiw açýar. AI, çig OCR önümindäki kontekstdäki ýalňyşlyklary düzetmekde güýçli kömek; Editöne redaktirlemegiň we gaýtadan ýazmagyň arasynda çyzyk çekmeli. Qualityokary hilli skanerlemek, ygtybarly düzediş görkezmesi, [?] Bilen düşnüksizligi saklamak we atlaryň / seneleriň / sanlaryň adam gözüni barlamak sanlaşdyrmagy çalt we ygtybarly edýär. AI teksti arassalaýar; Siz wepalylygyň goragçysysyňyz.
Programma meselesi
Çap edilen taryhy resminamany skanirläň (köne gazet, resmi hat, kitap sahypasy) ýa-da OCR çap ediň. Teksti “Howpsuz OCR düzediş” şablony bilen düzediň we “asyl → düzediş” sanawy arkaly düzedişleri haýyş ediň. Soň bolsa, "OCR hil hasabaty" bilen adam gözegçiligini talap edýän ýerleri aýyryň. Sanawdaky her senäni we dogry ady hakyky surat bilen deňeşdiriň; Näçe sanysynyň nädogry düzedilendigine üns beriň.
gözegçilik sanawy
- [] Iň azyndan 300 DPI we oňat kontrast bilen resminamany gözden geçirdim.
- [] Diňe AI-den täzeden ýazmak däl-de, optiki ýalňyşlygy düzetmek isledim.
- [] Okalmaýan bölekleri [?] Bilen goradym.
- [] Surat bilen ähli sanlary, seneleri we dogry atlary barladym.
- [] Möhüm ýerlerde nusga ýa-da doly barladym.