Табыстар:
- HTR және транслитерация жұмыс процесін орнату және өңделмеген жоба неліктен жол бойынша сарапшылық тексеруді қажет ететінін түсіндіру мүмкіндігі
- Османлы түрік тілінде дауысты/әріп анық емес болған жағдайда дәл оқуды орнатудың орнына балама сұрау арқылы оқылмайтын жерлерді қорғау мүмкіндігі
- Палеографта соңғы ғылыми жауапкершілікті сақтай отырып, түпнұсқа транслитерацияны жеңілдетудің жеке қабатынан ажырату мүмкіндігі
Тарихи зерттеулердің ең талапты бөлігі қолжазбалар мен ескі жазба құжаттарды оқылатын мәтінге көшіру болса керек. Хат, дәптер, сот хаттамасы немесе Османлы құжаты көшірілгеннен кейін ғана іздеуге болады. Транскрипция – құжаттың мазмұнын (көбінесе қолжазба немесе көне жазу) жазбаша, оқылатын мәтінге көшіру әрекеті. Осман тілінде бұл көбінесе транслитерациямен бірге жүреді: араб әріптеріндегі мәтінді әріптен әріпке баламаларымен латын әліпбиіне көшіру.
Біз басып шығарылған мәтіндер үшін OCR қолдандық; Қолжазба басқа технологияны қажет етеді: HTR (Handwritten Text Recognition). HTR - OCR-ге ұқсас технология, бірақ қолмен жазылған құжаттарды машина мәтініне түрлендіретін әлдеқайда күрделірек. Бұл бөлімде біз HTR және AI-ны осман тілінде және қолжазба транскрипциясында қалай пайдалану керектігін, қателік шегін және бұл жерде тексеру неге маңыздырақ екенін көреміз.
Неліктен қолжазба соншалықты қиын?
Қолжазба баспа мәтініне қарағанда әлдеқайда құбылмалы: әрбір жазушының қолы ерекше, әріптер бір-бірімен байланыстырылады, қысқартулар мен арнайы белгілер қолданылады, сия ағады, қағаз тозады. Осман түрік тілінде қиындық еселенген:
- Мәтінмәндік әріп түрлері: Бір әріп сөздің басында, ортасында және соңында әр түрлі жазылады.
- Дауысты дыбыстарды жазбау: Қысқа дауыстылар жиі жазылмайды; оқырман контекстен аяқтайды. Бұл «қабылдау ма әлде қабылдамау ма?» сияқты түсініксіздіктерді тудырады.
- Әртүрлі жазу стильдері: рик'а, дивани, тә'лик сияқты әртүрлі қолжазба стильдері бар; Әрқайсысы әртүрлі оқу тәжірибесін қажет етеді.
- Османлы лексикасы: Қазіргі түрік тілінде жоқ араб және парсы тілдерінен енген сөздер.
Сондықтан HTR және AI Осман түрік тілінде басып шығару OCRге қарағанда әлдеқайда жоғары қателіктермен жұмыс істейді. Маман палеографтың көзі (палеография – көне жазбаларды оқитын ғылым) бұл жерде құрал емес, қажеттілік.
Жұмыс барысы: кезең-кезеңімен
1. Құжат сапасын дайындаңыз. OCR сияқты, жоғары ажыратымдылық пен жақсы контраст маңызды. Бұл қолжазбада одан да маңызды.
2. HTR үлгісін таңдаңыз. Осман, араб қолжазбасы немесе белгілі бір кезеңге арнайы дайындалған HTR үлгілері жалпы үлгілерге қарағанда әлдеқайда табысты. Кезең мен жазу стилі үшін қай модель жақсы жұмыс істейтінін тексеріңіз.
3. Шикізат транскрипциясын жасаңыз. HTR үлгісі контурды жасайды. Осман түрік тілінде бұл жоба тәжірибелі көз мұқият тексеруі керек қателерге толы бастама.
4. AI көмегімен контекстік жақсарту. Сізде AI жалауының сәйкессіздіктері, ықтимал оқу баламалары және өңделмеген шығарылымдағы күдікті орындар болуы мүмкін. Бірақ AI «түзету» бұл жерде өте қауіпті: ол ойдан шығарылған оқуды ұсынуы мүмкін.
5. Транслитерация және жеңілдету (қабатты). Араб әріптерімен жазылған мәтінді латын әріптерімен транслитерациялау, одан кейін оның бүгінгі түрік тіліне жеңілдетілген оқуы жеке қабаттар түрінде жасалған. Түпнұсқа ешқашан бұзылмайды.
6. Сараптамалық тексеру. Қорытынды транскрипцияны палеографиялық және кезеңдік білімі бар сарапшы құжатпен салыстыру арқылы бекітеді.
Назар аударыңыз: Осман түрік тілінде жазылмаған дауысты дыбысы бар сөзді контекстен «болжау» кезінде AI мүлде қате оқылым шығарып, оны сенімді тілде ұсынуы мүмкін. «Қабыл» орнына «қабул» немесе «әлим» орнына «алем» сияқты әріптердегі айырмашылық мағынаны толығымен өзгертеді. Әрбір белгісіз оқылым баламалармен ұсынылуы керек және бірде-бір түпкілікті оқуды таңуға болмайды.
Кестемен қабаттар мен жауапкершілік
қабат
Мазмұны
АИ рөлі
Сарапшының рөлі
Кескін
түпнұсқа құжат
—
Дереккөз
HTR жобасы
Шикізат машинасын оқу
өндіреді
Басынан аяғына дейін бақылау
транслитерация
Латын әрпінің транспозициясы
жобасын ұсынады
Түзетеді, түзетеді
Белгісіздік ескертулері
[?] және баламалар
белгілері
шешеді
Жеңілдету
Бүгінгі түрік
жобасын ұсынады
Бекітулер
ғылыми жарияланым
Қорытынды мәтін + ескертпелер
—
Тек сарапшы
үш шағын іс
1-жағдай — HTR бірінші жобаны 5 есе жылдамдатты. Докторант 200 беттік Османлы дәптерін жазып алатын. Толық қолмен транскрипция 60 жұмыс күні деп есептелді. Кезеңге дайындалған HTR үлгісімен шикі жоба бірнеше сағатта шықты; Студент бұл жобаны түзетіп, жұмысты 12 жұмыс күніне дейін қысқартты. Бірақ ол құжаттың әрбір бетін жол-жол салыстыруға мәжбүр болды; Жобаның 30%-ға жуығы дұрыс емес болып шықты.
2 жағдай — Бір әріп, бір мағына. Бір зерттеуші AI «губернатор» деп оқитын сөзге сүйенді. Сарапшылардың бақылауымен бұл сөздің шын мәнінде «қамқоршы» (балаға/адамға жауапты) екендігі түсіндірілді және дауысты дыбыс белгіленбегендіктен, АИ оны дұрыс емес деп тапты. Құжаттың құқықтық мәні толығымен өзгерді. Сабақ: Осман түрік тілінде бір әріп/дауысты дыбыс айырмашылығы құжаттың басынан бері түсіндірілуіне себеп болады; сарапшы қажет.
3-жағдай — Ойдан құрастырылған аяқтау. Сиясы таусылған және бір сөзі оқылмайтын жолда AI бос орынды «логикалық» сөзбен толтырды. Сарапшы бұл олқылықтың шын мәнінде жер атауы екенін және оны AI жасағанын түсінді. Бос орын [оқылмайтын] ретінде қалды. Сабақ: оқылмайтын орын толтырылмаған, белгіленген.
Көшірілетін төрт үлгі
1) Көп мағыналылықты сақтайтын транслитерация:
Төменде Османлы құжатының HTR шикі шығысы/транслитерациясы берілген. Сіздің міндетіңіз мәтінді қарап шығу және мүмкін оқу қателерін белгілеу. Ережелер: (1) Өзіңіз сенімді емес әрбір сөз үшін 2-3 ықтимал оқу баламасын ұсыныңыз, біреуін таңбаңыз. (2) [оқылмайтын] жерлерді оқылмайтын жерлерге қалдырыңыз, оларды толтырмаңыз. (3) Мәтінде жоқ сөздерді ҚОСУ. (4) Көп дауысты дыбыстары бар сөздердегі баламаларды көрсетіңіз. Мәтін: [мұнда]
2) Қабатты оқу (түпнұсқа + жеңілдету):
Келесі расталған осман транслитерациясы үшін ЕКІ бағанды жасаңыз: (1) түпнұсқа транслитерация (түрту), (2) бүгінгі түрік тіліне оңайлатылған оқу. ҚОСУ мағынасы, ықшамдауда түсіндірме қосу; тек тілді жаңартыңыз. Көп мағыналы орындарды белгілеңіз[анық емес]. Транслитерация: [мұнда]
3) Мерзім мен тұлғаны шығару:
Төмендегі транскрипцияда аталған жеке есімдер, жер-су атаулары, атаулар және мерзімді терминдер бөлек тізімдерде көрсетіледі. Мәтінде АНЫҚ айтылғандарды ғана алыңыз; Болжам арқылы қоспаңыз. Айтылуына сенімді болмасаңыз, [?] белгісін қойыңыз. Мәтін: [мұнда]
4) Күдікті оқуды басқару:
Рөлдегі тәжірибелі палеография бақылаушысы. Төмендегі транскрипцияда мағынасы жағынан үйлесімсіз, мезгілге сәйкес келмейтін немесе контекстке сәйкес келмейтін сөздерді белгілеп, неліктен күдіктенетінін жазыңыз. Түпкілікті түзету енгізу; Адам маманы құжатпен салыстыратын күдіктер тізімін жасаңыз. Мәтін: [мұнда]
Әлсіз шақыру / Күшті шақыру
Әлсіз:
Мына Османлы мәтінін оқып, маған оның аудармасын беріңіз.
Бұл AI-ны біртұтас, нақты оқуды жасауға, түсініксіздіктерді жасыруға және бос орындарға сәйкес келтіруге итермелейді. Осман түрік тілінде бұл дерлік кепілдендірілген қате.
Күшті:
Төменде Османлы транслитерациясын қараңыз. Түпкілікті оқу: IMPOSITION. Әрбір анық емес сөзге мүмкін баламаларды көрсетіңіз, [оқылмайтын] бөліктерді қалдырыңыз, мәтінде жоқ ештеңе қоспаңыз. Бүгінгі түрік тіліне жеңілдетілген оқуды бөлек бағанда беріңіз, бірақ түпнұсқасын сақтаңыз. Сарапшы оны құжатпен салыстыруы үшін [?] дегенге сенімді емес нәрсені белгілеңіз. Мәтін: [мұнда]
Айырмашылық: оқуға қатаң тыйым салу, баламаларды сұрау, бос орынды сақтау және деңгейлі шығару сарапшылық тексеруге мүмкіндік береді.
Жалпы қателер
- HTR жобасын дұрыс деп қателесу. Осман түрік тілінде өңделмеген жобаның көп бөлігі дұрыс емес болуы мүмкін; Жол бойынша бақылау міндетті болып табылады.
- Жалғыз түпкілікті оқу - таңу. Дауысты дыбыстары жазылмаған сөздерде балама жасырылса, қате мағына жазылады.
- Оқуға болмайтын жерді толтыру. Ол бос орынмен қорғалуы керек [оқылмайтын], жасалмаған.
- Түпнұсқаны оңайлатумен араластыру. Жеңілдету бөлек қабат болуы керек; Түпнұсқа транслитерация бұрмаланбауы керек.
- Сарапшыны өшіру. Палеография мен кезеңді білмей, AI оқуы ғылыми құндылығы жоқ болжам болып табылады.
Қысқаша
Осман және қолжазба транскрипциясы HTR және AI көмегімен шикі жоба кезеңінде айтарлықтай жылдамдатылуы мүмкін; Сіз жұмыс күндерін сағатқа қысқаратын бірінші нәтиже аласыз. Бірақ дәл осы салада бір әріп, бір дауысты дыбыс айырмашылығы мағынаны өзгертеді; AI белгісіздікті жасыруға және олқылықтарды толтыруға бейім. Дұрыс әдіс қабатталған: шикі контур, екіұштылықтың альтернативті ноталары, жеңілдетудің жеке қабаты және ең алдымен, палеографиямен таныс сарапшының құжатты жолды тексеру. AI бастапқы оқуды жылдамдатады; Ғылыми жауапкершілік сарапшыға жүктеледі.
Қолданбалы тапсырма
Османлы немесе қолжазба құжатының транслитерациясын алыңыз (өз өніміңіз немесе жарияланған көшірме). AI-дан «анықтамалықты сақтайтын транслитерация» үлгісімен балама оқуды сұраңыз. Содан кейін «қабатты оқу» арқылы оңайлату қабатын бөлек жасаңыз. Әрбір анық емес белгіленген сөзді сарапшы дереккөзбен немесе сөздікпен салыстырыңыз; Егер AI бір оқуды енгізсе, қанша қате жіберетініне назар аударыңыз.
бақылау парағы
- [ ] Мен кезеңге және жазу стиліне сәйкес келетін HTR/модельді қолдандым.
- [ ] Мен AI-дан дәл оқуға балама сұрадым.
- [ ] Мен оқылмайтын бөліктерді [оқылуы мүмкін емес] арқылы қорғадым.
- [ ] Түпнұсқа транслитерацияны оңайлатудан бөлек ұстадым.
- [ ] Менде соңғы мәтінді палеографияны білетін сарапшы/деректі фильм тексерді.