Daromadlar:
- Skanerlangan hujjatlarni OCR va HTR yordamida matnga aylantirish va chiqishni haqiqiy tasvir bilan solishtirish orqali tuzatish imkoniyati
- Arxiv hujjatining o'ziga xosligi va yaxlitligini saqlab qolish va AI tarkibini o'zgartirish va qayta tiklashni oldini olish qobiliyati
- Manba ma'lumotlari va bardoshli formatlar bilan uzoq muddatli raqamli saqlashni rejalashtirish qobiliyati
Arxivchiga ellik yillik gazeta jildlari, qo'lda yozilgan xatlar yoki eski fotosuratlarni kelajakka olib borish vazifasi yuklangan. Ushbu hujjatlar vaqt o'tishi bilan eskiradi; Ularni saqlash va ulardan foydalanish imkoniyatini yaratish uchun raqamlashtirish amalga oshiriladi: jismoniy hujjatni skanerlash va uni raqamli nusxaga o'tkazish. Ammo skriningning o'zi etarli emas; Raqamli ob'ektni topish, o'qish va uzoq muddatda saqlash mumkin bo'lishi kerak. Ushbu bo'limda siz raqamlashtirish, transkripsiya va raqamli saqlash ish jarayonida sun'iy intellektdan qanday foydalanishni o'rganasiz; lekin nima uchun o'ziga xoslik va aniqlik uchun javobgarlikni o'z zimmangizga olishingizni bilib olasiz.
Bir nechta tushunchalar. OCR (Optical Character Recognition) - hujjat tasviridagi matnni mashinada tahrirlanadigan matnga aylantiruvchi texnologiya. HTR (Handwritten Text Recognition) qo'lda yozilgan hujjatlar uchun xuddi shu vazifani bajaradi va ancha qiyinroq. Raqamli saqlash - bu fayl formatlari eskirgan va dasturiy ta'minot o'zgargan taqdirda ham raqamli ob'ektlar o'nlab yillar davomida o'qilishi mumkin bo'lishini ta'minlash uchun rejalashtirilgan harakatdir. AI har uch sohada kuchli, ammo nuqsonli yordamchidir.
Bosqichma-bosqich: raqamlashtirishdan saqlashgacha
1. Ustuvorlik. Hamma narsani birdaniga raqamlashtira olmaysiz. Eng nozik, eng ko'p so'raladigan va eng noyob hujjatlar birinchi o'ringa qo'yiladi. Bu sud qarori; AI ro'yxatni tahrirlashda yordam beradi, lekin tashkilot ustuvorlikni belgilaydi.
2. OCR/HTRni skanerlang va qo'llang. Hujjatni yuqori aniqlikda skanerlang, keyin matnni chiqarish uchun OCR yoki HTR dan foydalaning. AIga asoslangan vositalar bu erda, hatto eski va qiyin matnlar bilan ham yaxshilanib bormoqda.
3. Matnni to‘g‘rilab, tasdiqlang. OCR/HTR chiqishi hech qachon mukammal emas. Xatolar tez-tez uchraydi, ayniqsa eski yozuv, bo'yalgan sahifalar yoki qo'lyozma bo'lsa. Chiqarishni haqiqiy tasvir bilan solishtirish va uni tuzatish juda muhimdir.
4. Metadata va himoya ma'lumotlarini qo'shing. Raqamli ob'ektga uning kelib chiqishi, skanerlash shartlari, format ma'lumotlari va kelib chiqishini qo'shing - hujjat qayerdan kelgan va qanday qayta ishlangan. Ushbu ma'lumot kelajakda tekshirish va himoya qilish uchun juda muhimdir.
5. Uzoq muddatli himoya qilish rejasi. Ochiq, keng tarqalgan va bardoshli fayl formatlarini tanlang; zaxira nusxasini yaratish; Formatlar eskirgan taqdirda migratsiya rejasini tuzing.
Maslahat: OCR chiqishini "aniq matn" sifatida qabul qilmang. Agar qidiruv tizimi ushbu matn orqali ishlayotgan bo'lsa, noto'g'ri tanilgan so'zlar manba topilmasligiga olib keladi. Muhim to'plamlar uchun OCR chiqishini inson ko'ziga tuzatish barcha keyingi kirish sifatini belgilaydi.
Raqamli ob'ektning haqiqiyligi va yaxlitligi
Arxiv ishining markazida haqiqiylik va yaxlitlik yotadi: hujjat haqiqatda da'vo qilingan manbadan olinganligi va uning mazmuni o'zgartirilmaganligiga ishonch. Ayni paytda AI ikki tomonlama tahdid yaratadi. Birinchidan, OCR/HTR tuzatish yoki "yaxshilash" paytida AI matnni jimgina o'zgartirishi mumkin; "tuzatish" nomi ostida mavjud bo'lmagan so'zni qo'shishi mumkin. Ikkinchidan, agar tasvirni "ta'mirlash" yoki "qayta tiklash" AI yordamida amalga oshirilsa, asl bo'lmagan tafsilotlar ishlab chiqarilishi mumkin.
Arxivchining qoidasi aniq: raqamli saqlash nusxasi asl nusxaga sodiq bo'lishi kerak. AI yordamida amalga oshirilgan har bir yaxshilanish hujjatlashtirilishi va haqiqiy (xom) skanerlash har doim saqlanishi kerak. Hujjatni "chiroylash" uning tarixiy daliliy qiymatini yo'q qilishi mumkin.
Diqqat: AI yordamida eski fotosurat yoki hujjatni "yaxshilash" vasvasasi bo'lishi mumkin; ammo sun'iy intellekt etishmayotgan qismlarni to'ldirish orqali to'ldiradi. Arxiv hujjatida bu yolg'on tarixiy dalillarni yaratishni anglatadi. Qayta tiklash chiqishi hech qachon asl manbani almashtirmaydi; alohida, aniq belgilangan variant sifatida saqlanadi.
uchta mini holat
1-holat - Gazeta arxivlarini qidirish mumkin bo'ldi. Kutubxona o'zining 30 yillik mahalliy gazetalar to'plamini raqamlashtirdi. OCR bilan 90 000 sahifa transkripsiya qilindi va qidiruvga ruxsat berildi; Ilgari bir necha kun davom etgan mavzuni qidirish endi soniyalarga qisqartirildi. Biroq, jamoa eski va bo'yalgan sahifalarda OCR aniqligi 80% ga tushganini payqadi va eng yaxshi yillarni inson ko'zi bilan tuzatishga ustuvor ahamiyat berdi.
2-holat - HTR qo'lyozmani ochdi. Arxiv 19-asrda oʻqish qiyin boʻlgan xatlar toʻplamiga HTR qoʻllagan. Mutaxassislarning bir necha oylik o'qishlariga ko'ra tizim katta tezlikka erishdi; Lekin bosma nashrning har bir sahifasi ekspert paleograf (qadimgi yozuv bo‘yicha mutaxassis) tomonidan asl nusxa bilan solishtirildi, chunki odamlar va joylarning nomlarida xatolar bor edi.
3-holat - Soxta "tiklash" rad etildi. Bir jamoa yirtilgan tarixiy fotosuratni sun'iy intellekt yordamida "ta'mirlash" haqida o'ylashdi. AI etishmayotgan yuz qismlarini ularni o'rnatish orqali yakunladi. Arxivchi bu uydirma tafsilotlar tarixiy dalillarni buzib tashlashini tushundi; Ta'mirlangan tasvir asl nusxasi bilan birga alohida saqlangan, faqat "AI lotin" deb aniq belgilangan.
Nusxa olish, saqlash nusxasi va format qaroriga kirish
Raqamlashtirishning yaxshi amaliyoti bir xil ob'ektning nusxalarini turli maqsadlar uchun ajratishdir. Saqlash ustasi - bu kelajakda olib boriladigan, eng yuqori aniqlikda, siqilmagan yoki yo'qotishsiz formatda saqlanadigan haqiqiy raqamli ob'ekt; kamdan-kam hollarda tegadi. Kirish nusxasi foydalanuvchiga taqdim etiladigan kichikroq, oson ochiladigan variantdir. Bu farq muhim, chunki foydalanish uchun amaliy bo'lgan format (kichik, siqilgan) uzoq muddatli saqlash uchun mos kelmasligi mumkin; Saqlash uchun ideal format (katta, yo'qotishsiz) kundalik foydalanish uchun noqulay. Ushbu ish jarayonida AI fayllarni inventarizatsiya qilish, etishmayotgan variantlarni aniqlash va metama'lumotlarni ikki nusxa o'rtasida izchil saqlashda yordam berishi mumkin. Biroq, formatni tanlash saqlash qaroridir: ochiq, keng hujjatlashtirilgan va bardoshli formatlarga ustunlik berish kerak (mulkiy, yopiq formatlar o'rniga) va vaqt o'tishi bilan formatlar eskirib qolsa, migratsiya rejasi tayyor bo'lishi kerak. AI formatni taklif qilsa ham, yakuniy so'zni institutning uzoq muddatli saqlash siyosati aytadi.
Maslahat: Har bir raqamli ob'ekt uchun "asl manba qayerda, saqlanish nusxasi qanday formatda, kirish nusxasi qanday formatda va qaysi biri foydalanuvchiga taqdim etilgan?" degan savollarga javob beradigan qisqacha yozuvni saqlang. Ushbu uchta qatlamni aralashtirish qaysi fayl ishonchli master ekanligini aniqlab beradi.
To'rt nusxa ko'chirish shablonlari
1) OCR chiqishini tuzatish bo'yicha yordam:
Quyida OCR matni va haqiqiy sahifaning tavsifi keltirilgan. Faqat openOCR xatolarini tuzating (yomon belgilar, birikma/bo'lingan so'zlar). Tarkibni o'zgartirmang, so'zlarni qo'shmang yoki olib tashlamang. Agar ishonchingiz komil bo'lmasa, "[?]" bilan belgilang. OCR matni: [bu yerda]
2) Matn-tasvir muvofiqligini tekshirish:
Quyidagi tuzatilgan matnda asl hujjatda bo'lishi kutilmagan qo'shimchalar bormi (ular tuzilgan bo'lishi mumkin)? Har bir shubhali qismni belgilang va nima uchun shubhali ekanligini yozing. Matn: [bu yerda]
3) Himoya metadata loyihasi:
Quyidagi raqamlashtirilgan ob'ekt uchun saqlanish metama'lumotlari konturini yarating: manba, kelib chiqish, skanerlash sanasi/ravshanligi, fayl formati, tranzaksiya tarixi. Men taqdim etgan ma'lumotlardan foydalaning, etishmayotgan maydonni bo'sh qoldiring. Ma'lumot: [bu erda]
4) ustuvorlik bo'yicha yordam:
Quyida raqamlashtirishni kutayotgan to'plamlar ro'yxati keltirilgan; Mo'rtlik, talab va o'ziga xoslik asosida ustuvorlikni belgilashga yordam bering. Har bir resurs uchun qisqacha asoslab bering; Yakuniy qarorni menga qoldiring. Roʻyxat: [bu yerda]
Zaif taklif / Kuchli taklif
Zaif taklif:
Ushbu skanerlangan matnni to'g'rilang va chiroylilang.
"Beautify" AIni tarkibni o'zgartirishga, kamchiliklarni to'ldirishga taklif qiladi; Arxiv hujjatining aslligi buzilgan.
Kuchli so'rov:
Sizning rolingiz: raqamlashtirish muharriri yordamchisi. Quyidagi OCR matnida FAQAT aniq tanib olish xatolarini tuzating (yomon belgi, noto'g'ri ajratilgan so'z). Hech qanday so'z qo'shmang, olib tashlamang yoki o'zgartirmang. Ishonchingiz komil bo'lmagan joyda "[?]" ni qoldiring. Siz kiritgan har bir tuzatishni alohida ro'yxatda ko'rsating. Matn: [bu yerda]
Kuchli so'rov AIni faqat xatolarni tan olish bilan cheklaydi, kontentga tegishni taqiqlaydi va tuzatishlarni kuzatish imkonini beradi.
Ish jarayoni va xavflar jadvali
Bosqich
AIning hissasi
Asosiy xavf
himoya chorasi
skanerlash
—
sifatsiz
yuqori aniqlik
OCR/HTR
Matnga aylantirish
Tanib olish xatolari
insoniy tuzatish
tuzatish
Xato taklifi
Tarkibni o'zgartirish
Asl bilan taqqoslash
qayta tiklash
Rasm hosilasi
mos keladigan detal
Xom asl nusxasini saqlang, uni belgilang
himoya qilish
Metadata loyihasi
kelib chiqishini yo'qotish
Kelib chiqishi rekordi
Umumiy xatolar
- OCR chiqishini tuzatishsiz qabul qilish. Xatolar qidiruv va kirishni buzadi.
- AIni "chiroyli qilish" deb atash. U tarkibni o'zgartiradi va o'ziga xoslikni buzadi.
- Haqiqiy dalillar uchun AI restavratsiyasini almashtirish. O'ylab topilgan tafsilotlar soxta tarixni yaratadi.
- Xom skanerlash saqlanmaydi. Asl nusxasiz hech qanday tuzatishni tekshirish mumkin emas.
- Kelib chiqishi to'g'risidagi ma'lumotlarni o'tkazib yuborish. Hujjatning ishonchliligi kuzatilmaydi.
qisqa bayoni; yakunida
Raqamli arxivlar va raqamlashtirishda AI; Bu OCR/HTR transkripsiyasini tezlashtiradigan, metadata loyihasini va ustuvorligini tezlashtiradigan qimmatli yordamdir. Ammo arxiv ishining mohiyati haqiqiylik va yaxlitlikdir: OCR chiqishi inson ko'zi bilan tuzatilishi kerak, AI hech qachon tarkibni jimgina almashtirmasligi kerak, tiklash lotinlari asl dalillarni almashtirmasligi kerak va xom skanerlash va kelib chiqish ma'lumotlari doimo saqlanishi kerak. AIdan hujjatni “yaxshilamaydigan” vosita sifatida foydalaning, aksincha, unga sodiq qolgan holda unga kirish imkoniyatini beradi.
Ilova vazifasi
OCR chiqishining qisqa namunasini oling (oʻz ishlab chiqarishingiz yoki haqiqiy skanerdan). “OCR chiqishini toʻgʻrilash boʻyicha yordam” shablonida faqat tanib olish xatolarini tuzating, soʻngra “Matn tasviri muvofiqligini tekshirish” shablonida AI tarkibi qoʻshilganligini tekshiring. Keyin "Matadata saqlanishi loyihasi" shabloniga ega ob'ektning kelib chiqishi va formati ma'lumotlari bilan yozuv yarating.
nazorat ro'yxati
- [ ] Men OCR/HTR chiqishini haqiqiy tasvir bilan solishtirdim va uni tuzatdim.
- [ ] Men AI tarkibni qo'shmasligini/o'zgartirmasligini tekshirdim.
- [ ] Men xom (master) skanerlashni alohida va o'zgarishsiz qoldirdim.
- [ ] Men metamaʼlumotlarga kelib chiqish va format maʼlumotlarini qoʻshdim.
- [ ] Men qayta tiklash variantlarini "AI lotin" deb aniq belgilaganman.