Daromadlar:
- HTR va transliteratsiya ish oqimini sozlash va xom qoralama nima uchun satr bo'yicha ekspert tekshiruvini talab qilishini tushuntirish qobiliyati
- Usmonli turk tilida unli/harf noaniq bo'lgan taqdirda aniq o'qishni o'rnatish o'rniga muqobillarni so'rash orqali o'qilmaydigan joylarni himoya qilish qobiliyati
- Yakuniy ilmiy mas'uliyatni paleografga yuklagan holda, asl transliteratsiyani soddalashtirishning alohida qatlamidan ajratish qobiliyati
Ehtimol, tarixiy tadqiqotlarning eng talabchan qismi qo'lyozmalar va eski yozma hujjatlarni o'qilishi mumkin bo'lgan matnga ko'chirishdir. Xat, daftar, sud yozuvi yoki Usmonli hujjati transkripsiya qilingandan keyingina qidirish mumkin bo'ladi. Transkripsiya - bu hujjat mazmunini (ko'pincha qo'lda yozilgan yoki qadimgi yozuv) yozma, o'qilishi mumkin bo'lgan matnga o'tkazish harakati. Usmonli tiliga kelsak, bu ko'pincha transliteratsiya bilan birga keladi: arab harflaridagi matnni harfma-harf ekvivalentlari bilan lotin alifbosiga o'tkazish.
Biz bosma matnlar uchun OCR dan foydalandik; Qo'l yozuvi boshqa texnologiyani talab qiladi: HTR (Handwritten Text Recognition). HTR - bu OCR ga o'xshash texnologiya, lekin qo'lda yozilgan hujjatlarni mashina matniga aylantiradigan ancha qiyinroq. Ushbu bo'limda biz Usmonli va qo'lyozma transkripsiyasida HTR va AIdan qanday foydalanishni, xato chegaralarini va bu erda tekshirish nima uchun muhimroq ekanligini ko'rib chiqamiz.
Nima uchun qo'l yozuvi shunchalik qiyin?
Qo'l yozuvi bosma matnga qaraganda ancha o'zgaruvchan: har bir yozuvchining o'ziga xos qo'li bor, harflar bir-biriga bog'langan, qisqartmalar va maxsus belgilar qo'llaniladi, siyoh oqadi, qog'oz eskiradi. Usmonli turk tilida qiyinchilik ko'paytiriladi:
- Kontekstli harf shakllari: Bir harf so‘z boshida, o‘rtasida va oxirida turlicha yoziladi.
- Unli tovushlarni yozmaslik: Qisqa unlilar ko'pincha yozilmaydi; o'quvchi kontekstdan tugatadi. Bu "qabul qilish yoki rad etish?" kabi noaniqliklarni keltirib chiqaradi.
- Turli xil yozuv uslublari: Rik'a, divoni, ta'lik kabi turli xil yozuv uslublari mavjud; Ularning har biri alohida o'qish tajribasini talab qiladi.
- Usmonli lugʻati: Arab va fors tillaridan boʻlgan, bugungi turkiy tilda mavjud boʻlmagan soʻzlar.
Shuning uchun, HTR va AI Usmonli turk tilida chop etish OCRga qaraganda ancha yuqori xato chegarasi bilan ishlaydi. Mutaxassis paleografning ko‘zi (paleografiya – qadimiy yozuvlarni o‘qish haqidagi fan) bu yerda vosita emas, balki zaruratdir.
Ish jarayoni: bosqichma-bosqich
1. Hujjat sifatini tayyorlang. OCRda bo'lgani kabi, yuqori aniqlik va yaxshi kontrast muhim ahamiyatga ega. Bu qo'l yozuvida yanada muhimroqdir.
2. HTR modelini tanlang. Usmonli, arab yozuvi yoki ma'lum bir davr uchun maxsus tayyorlangan HTR modellari umumiy modellarga qaraganda ancha muvaffaqiyatli. Qaysi model davr va yozish uslubi uchun yaxshi ishlashini sinab ko'ring.
3. Xom transkripsiyani hosil qiling. HTR modeli konturni ishlab chiqaradi. Usmonli turk tilida bu qoralama xatolarga to'la boshlanish bo'lib, tajribali ko'z yaxshilab tekshirib ko'rishi kerak.
4. AI yordamida kontekstni yaxshilash. Sizda AI bayrog'i nomuvofiqliklari, mumkin bo'lgan o'qish variantlari va xom chiqishda shubhali joylar bo'lishi mumkin. Ammo sun'iy intellektni "tuzatish" bu erda ayniqsa xavflidir: u uydirma o'qishni taklif qilishi mumkin.
5. Transliteratsiya va soddalashtirish (qatlamli). Arab alifbosidagi matnning lotin alifbosiga transliteratsiyasi, soʻng uni bugungi turkiy tilga soddalashtirilgan holda oʻqish alohida qatlamlar holida ishlab chiqariladi. Asl hech qachon buzilmaydi.
6. Ekspert tekshiruvi. Yakuniy transkripsiya paleografiya va davr bilimiga ega bo'lgan mutaxassis tomonidan hujjat bilan taqqoslash yo'li bilan tasdiqlanadi.
Diqqat: Usmonli turk tilida, kontekstdan yozilmagan unlili so'zni "taxmin qilish"da, AI mutlaqo noto'g'ri o'qishni keltirib chiqarishi va uni ishonchli tilda taqdim etishi mumkin. Harflardagi farq, masalan, “qobil” o‘rniga “qobul” yoki “alim” o‘rniga “alem” ma’nosini butunlay o‘zgartiradi. Har bir noaniq o'qish muqobillari bilan taqdim etilishi kerak va bitta aniq o'qish qo'llanilmasligi kerak.
Jadval bilan qatlamlar va mas'uliyat
qatlam
Tarkib
AIning roli
Mutaxassisning roli
Rasm
asl hujjat
—
Manba
HTR loyihasi
Xom mashinani o'qish
ishlab chiqaradi
Boshidan oxirigacha nazorat qiling
transliteratsiya
Lotin harflarining transpozitsiyasi
loyihasi taklif qiladi
To'g'rilaydi, tuzatadi
Noaniqlik eslatmalari
[?] va muqobillar
belgilar
qaror qiladi
Soddalashtirish
Bugungi turkcha
loyihasi taklif qiladi
Tasdiqlashlar
ilmiy nashr
Yakuniy matn + eslatmalar
—
Faqat mutaxassis
uchta mini holat
1-holat - HTR birinchi qoralamani 5 baravar tezlashtirdi. Doktorant 200 betlik Usmonli daftarini ko‘chirardi. Toʻliq qoʻlda transkripsiya 60 ish kuni deb hisoblangan. Davr uchun o'qitilgan HTR modeli bilan xom qoralama bir necha soat ichida chiqdi; Talaba bu loyihani tuzatdi va ishni 12 ish kuniga qisqartirdi. Lekin u har bir sahifani hujjat bilan, satr-satr bilan solishtirishi kerak edi; Loyihaning taxminan 30 foizi noto'g'ri edi.
2-holat - Bir harf, bir ma'no. Bir tadqiqotchi AI "gubernator" deb o'qigan so'zga tayangan. Mutaxassis nazorati ostida, bu so'z aslida "qo'riqchi" (bola/shaxs uchun javobgar) ekanligi va unli tovush belgilanmaganligi sababli, AI buni noto'g'ri deb hisoblagan. Hujjatning huquqiy ma'nosi butunlay o'zgardi. Dars: Usmonli turk tilida bitta harf/unli farqi hujjatning boshidan talqin qilinishiga sabab bo‘ladi; mutaxassis talab qilinadi.
3-holat - O'ylab topilgan. Siyohi tugagan va bir so‘zini o‘qib bo‘lmaydigan satrda AI bo‘shliqni “mantiqiy” so‘z bilan to‘ldirdi. Mutaxassis bu bo'shliq aslida joy nomi ekanligini va uni sun'iy intellekt yaratganini tushundi. Bo'sh joy [o'qib bo'lmaydigan] sifatida qoldi. Dars: o'qilmaydigan bo'sh joy to'ldirilmagan, belgilangan.
To'rt nusxa ko'chirish shablonlari
1) noaniqlikni saqlaydigan transliteratsiya:
Quyida Usmonli hujjatining HTR xom chiqishi/transliteratsiyasi keltirilgan. Sizning vazifangiz matnni ko'rib chiqish va mumkin bo'lgan o'qish xatolarini belgilashdir. Qoidalar: (1) Siz ishonchingiz komil bo'lmagan har bir so'z uchun 2-3 ta o'qish muqobilini taklif qiling, bittasini qo'llamang. (2) O'qib bo'lmaydigan joylarda [o'qib bo'lmaydigan] qoldiring, ularni to'ldirmang. (3) Matnda mavjud bo'lmagan so'zlarni QO'SHISH. (4) Koʻp maʼnoli unlili soʻzlardagi muqobillarni koʻrsating. Matn: [bu yerda]
2) Qatlamli o'qish (asl + soddalashtirish):
Quyidagi tasdiqlangan Usmonli transliteratsiyasi uchun IKKI ustun hosil qiling: (1) Asl transliteratsiya (tegish), (2) Bugungi turk tiliga soddalashtirilgan o'qish. AQSH maʼnosi, soddalashtirishda izoh qoʻshish; faqat tilni yangilang. Noaniq ma'noli joylarni belgilang[noaniq]. Transliteratsiya: [bu yerda]
3) Muddat va shaxsni chiqarish:
Quyidagi transkripsiyada ko'rsatilgan shaxs ismlari, joy nomlari, unvonlari va davriy atamalar alohida ro'yxatlarda ko'rsatilgan. Faqat matnda ANIQ ko'rsatilganlarni oling; Taxmin qilib qo'shmang. Agar talaffuzga ishonchingiz komil bo'lmasa, [?] bilan belgilang. Matn: [bu yerda]
4) Shubhali o'qish nazorati:
Rolda tajribali paleografiya nazoratchisi. Quyidagi transkripsiyada ma’no jihatdan bir-biriga mos kelmaydigan, davrga to‘g‘ri kelmaydigan yoki kontekstga to‘g‘ri kelmaydigan so‘zlarni belgilang va nima uchun shubhali ekanligini yozing. Aniq tuzatish kiritish; Inson eksperti hujjat bilan solishtiradigan shubhalar ro'yxatini tuzing. Matn: [bu yerda]
Zaif taklif / Kuchli taklif
Zaif:
Bu usmonli matnni o‘qing va menga tarjimasini bering.
Bu AIni noaniqliklarni yashirish va bo'shliqlarni o'rnatish uchun yagona, aniq o'qishni ishlab chiqarishga undaydi. Usmonli turk tilida bu deyarli kafolatlangan xatodir.
Kuchli:
Quyida Usmonli transliteratsiyasini tekshiring. Aniq o'qish: IPOSITION. Har bir noaniq so'z uchun mumkin bo'lgan muqobillarni taqdim eting, [o'qib bo'lmaydigan] qismlarni qoldiring, matnda bo'lmagan narsalarni qo'shmang. Bugungi turk tiliga soddalashtirilgan o'qishni alohida ustunda bering, lekin asl nusxasini saqlang. Mutaxassis uni hujjat bilan solishtirishi uchun [?] bilan ishonchingiz komil boʻlmagan narsalarni belgilang. Matn: [bu yerda]
Farqi: qat'iy o'qishni taqiqlash, muqobillarni so'rash, bo'sh joyni saqlash va qatlamli chiqish ekspert tekshiruviga imkon beradi.
Umumiy xatolar
- HTR loyihasini to'g'ri deb xato qilish. Usmonli turk tilida xom qoralamaning ko'p qismi noto'g'ri bo'lishi mumkin; Satr bo'yicha nazorat qilish shart.
- Faqatgina aniq o'qish - bu majburlash. Unlilari yozilmagan so‘zlarda muqobillar yashirin bo‘lsa, noto‘g‘ri ma’no yoziladi.
- O'qib bo'lmaydigan joyni to'ldirish. U bo'sh joy [o'qib bo'lmaydigan] bilan himoyalangan bo'lishi kerak, tuzatilgan emas.
- Asl nusxani soddalashtirish bilan aralashtirish. Soddalashtirish alohida qatlam bo'lishi kerak; Asl transliteratsiya buzilmasligi kerak.
- Mutaxassisni o'chirish. Paleografiya va davr haqida ma'lumotsiz, AIning o'qishi ilmiy ahamiyatga ega bo'lmagan taxmindir.
qisqa bayoni; yakunida
Usmonli va qo'lyozma transkripsiyasini HTR va AI bilan xom qoralama bosqichida juda tezlashtirish mumkin; Siz ish kunlarini soatga qisqartiradigan birinchi natijani olasiz. Lekin aynan shu sohada bitta harf, bitta unli farq ma’noni o‘zgartiradi; AI noaniqlikni yashirishga va bo'shliqlarni to'ldirishga intiladi. To'g'ri usul qatlamli: xom kontur, noaniqlikning muqobil eslatmalari, soddalashtirishning alohida qatlami va birinchi navbatda, paleografiya bilan tanish bo'lgan mutaxassis tomonidan hujjatni satr bo'yicha tekshirish. AI dastlabki o'qishni tezlashtiradi; Ilmiy javobgarlik mutaxassisga tegishli.
Ilova vazifasi
Usmonli yoki qo'lyozma hujjatning transliteratsiyasini oling (o'zingizning mahsulotingiz yoki nashr etilgan nusxasi). AIdan "noaniqlikni saqlaydigan transliteratsiya" shabloni bilan muqobil o'qishni so'rang. Keyin soddalashtirish qatlamini "qatlamli o'qish" bilan alohida yarating. Har bir noaniq belgilangan so'zni ekspert manbasi yoki lug'at bilan solishtiring; Agar AI bitta o'qishni qo'llasa, qancha xatoga yo'l qo'yishiga e'tibor bering.
nazorat ro'yxati
- [ ] Men davrga va yozish uslubiga mos HTR/modeldan foydalandim.
- [ ] Men AIdan aniq o'qishga alternativa so'radim.
- [ ] Men o'qib bo'lmaydigan qismlarni [o'qib bo'lmaydigan] bilan himoya qildim.
- [ ] Asl transliteratsiyani soddalashtirishdan alohida saqladim.
- [ ] Men yakuniy matnni paleografiyani biladigan mutaxassis/hujjatli film tomonidan tasdiqlangan edim.