Добивки:
- Способност да се постави работниот тек на HTR и транслитерација и да се објасни зошто необработениот нацрт бара стручна проверка линија по линија
- Способност да се заштитат нечитливите области со барање алтернативи наместо да се наметнува прецизно читање во случај на двосмисленост на самогласки/букви на османлискиот турски јазик
- Способност да се оддели оригиналната транслитерација од посебен слој на поедноставување, задржувајќи ја конечната научна одговорност кај палеографот
Можеби најсложениот дел од историското истражување е препишување на ракописи и стари пишани документи во читлив текст. Писмо, тетратка, судски записник или османлиски документ може да се пребарува само откако ќе се препишат. Транскрипцијата е чин на пренесување на содржината на документот (најчесто ракописно или античко писмо) во пишан, читлив текст. Во случајот со Отоманската, ова често е придружено со транслитерација: пренесување на текстот со арапски букви во латиница со неговите еквиваленти буква по буква.
Ние користевме OCR за печатени текстови; Ракописот бара различна технологија: HTR (Handwritten Text Recognition). HTR е технологија слична на OCR, но многу попредизвикувачки што ги претвора рачно напишаните документи во машински текст. Во оваа единица ќе видиме како да ги користиме HTR и AI во отоманската и ракописната транскрипција, маргините на грешка и зошто верификацијата е уште покритична овде.
Зошто е толку тешко ракописот?
Ракописот е многу попроменлив од печатениот текст: секој писател има уникатна рака, буквите се поврзани меѓусебно, се користат кратенки и специјални знаци, мастилото тече, хартијата се истроши. Во отоманскиот турски тешкотијата се множи:
- Контекстуални форми на букви: Истата буква се пишува различно на почетокот, средината и крајот на зборот.
- Не пишување самогласки: Кратките самогласки често не се пишуваат; читателот комплетира од контекстот. Ова создава нејаснотии како „прифаќање или отфрлање?“
- Различни стилови на пишување: Постојат различни стилови на ракопис како што се rik'a, divani, ta'lik; Секој бара различна експертиза за читање.
- Отомански вокабулар: Зборови од арапски и персиски што не постојат во денешниот турски јазик.
Затоа, HTR и AI работат со многу поголема маргина на грешка на отомански турски од печатениот OCR. Окото на стручниот палеограф (палеографија - наука за читање антички списи) овде не е алатка, туку неопходност.
Работен тек: чекор по чекор
1. Подгответе квалитет на документот. Како и кај OCR, од суштинско значење се високата резолуција и добриот контраст. Ова е уште покритично во ракописот.
2. Изберете модел HTR. Моделите со отомански, арапски ракопис или HTR специјално обучени за одреден период се многу поуспешни од општите модели. Тестирајте кој модел функционира добро за одреден период и стил на пишување.
3. Генерирајте сирова транскрипција. Моделот HTR произведува преглед. На отомански турски, овој нацрт е почеток полн со грешки кои искусното око мора темелно да ги провери.
4. Контекстуално подобрување со ВИ. Може да имате недоследности на знамето на вештачката интелигенција, можни алтернативи за читање и сомнителни локации во необработениот излез. Но, „корекцијата“ на вештачката интелигенција е особено ризична овде: може да сугерира измислено читање.
5. Транслитерација и поедноставување (слоевито). Транслитерацијата на текстот со арапски букви на латински букви, проследена со неговото поедноставено читање на денешниот турски јазик, се произведува како посебни слоеви. Оригиналот никогаш не се расипува.
6. Експертска верификација. Конечната транскрипција ја одобрува стручњак со палеографија и периодично познавање со споредување со документот.
Внимание: Во османлискиот турски јазик, при „погодување“ на збор со непишана самогласка од контекстот, вештачката интелигенција може да произведе сосема погрешно читање и да го претстави на сигурен јазик. Разликата во буквите, како „кабул“ наместо „кабил“ или „алем“ наместо „алим“, целосно го менува значењето. Секое несигурно читање треба да биде претставено со алтернативи и не треба да се наметнува единствено дефинитивно читање.
Слоеви и одговорност со табела
слој
Содржина
Улогата на вештачката интелигенција
Улогата на експертот
Слика
оригинален документ
-
Извор
нацрт HTR
Читање со сирова машина
произведува
Контрола од почеток до крај
транслитерација
Транспозиција на латиница
предлог сугерира
Поправа, поправа
Забелешки за несигурност
[?] и алтернативи
знаци
одлучува
Поедноставување
Денешниот турски
предлог сугерира
Одобрувања
научна публикација
Завршен текст + белешки
-
Само експерт
три мини футроли
Случај 1 - HTR го забрза првиот нацрт за 5x. Докторант би препишувал османлиска тетратка од 200 страници. Целосната рачна транскрипција беше проценета на 60 работни дена. Со модел HTR обучен за тој период, сировиот нацрт излезе за неколку часа; Студентот го коригира овој нацрт и ја намали работата на 12 работни дена. Но, тој мораше да ја споредува секоја страница со документот, ред по ред; Околу 30% од нацртот беше неточен.
Случај 2 - Една буква, едно значење. Еден истражувач се потпира на збор што вештачката интелигенција го чита како „гувернер“. Под стручна контрола, се разбрало дека зборот е всушност „старател“ (одговорен за дете/лице), а бидејќи самогласката не била означена, вештачката интелигенција го погодила погрешно. Правното значење на документот целосно се менуваше. Поука: Во османлискиот турски, една буква/самогласка разлика предизвикува документот да се толкува од почеток; се бара експерт.
Случај 3 - Измислено завршување. Во редот чие мастило се снемало и еден збор не можел да се чита, вештачката интелигенција ја пополни празнината со „логичен“ збор. Експертот сфатил дека таа празнина е всушност име на место и дека вештачката интелигенција го надополнила. Оставено празно место како [нечитливо]. Лекција: нечитливиот простор не се пополнува, тој е обележан.
Четири шаблони за копирање
1) Транслитерација што ја зачувува двосмисленоста:
Подолу е HTR необработен излез/транслитерација на отомански документ. Ваша задача е да го прегледате текстот и да ги означите можните грешки при читањето. Правила: (1) Понудете 2-3 можни алтернативи за читање за секој збор за кој не сте сигурни, не наметнувајте една. (2) Оставете [нечитливи] на нечитливите области, не ги пополнувајте. (3) ДОДАВАЊЕ зборови што не постојат во текстот. (4) Покажете алтернативи во зборови со двосмислени самогласки. Текст: [тука]
2) Слоевито читање (оригинал + поедноставување):
Создадете ДВЕ колони за следната потврдена отоманска транслитерација: (1) Оригинална транслитерација (допир), (2) Поедноставено читање на денешниот турски јазик. ДОДАВАЊЕ значење, додавање толкување во поедноставување; само ажурирајте го јазикот. Означете места со двосмислено значење[нејасно]. Транслитерација: [тука]
3) Извлекување на термин и лице:
Личните имиња, имињата на местата, насловите и периодичните термини споменати во транскрипцијата подолу се појавуваат во посебни списоци. Земете ги само оние ЈАСНО спомнати во текстот; Не додавајте со погодување. Обележете со [?] ако не сте сигурни во изговорот. Текст: [тука]
4) Сомнителна контрола за читање:
Искусен палеографски контролер во улогата. Во транскрипцијата подолу, означете ги зборовите што се неконзистентни по значење, не одговараат на периодот или не се вклопуваат во контекстот и напишете зошто се сомнителни. Наметнување дефинитивна корекција; Создадете листа на сомневања дека експертот за луѓе ќе ги спореди со документот. Текст: [тука]
Слаб промпт / Силен промпт
Слаб:
Прочитај го овој отомански текст и дај ми го неговиот превод.
Ова ја турка вештачката интелигенција да произведе единствено, дефинитивно читање, сокривање на нејаснотии и вклопување во празнините. На отомански турски, ова е речиси загарантирана грешка.
Силно:
Проверете ја отоманската транслитерација подолу. Дефинитивно читање: НАЛОЖУВАЊЕ. Обезбедете можни алтернативи за секој двосмислен збор, изоставувајте [нечитливи] делови, не додавајте ништо што го нема во текстот. Во посебна колумна дајте му го поедноставеното читање на денешниот турски јазик, но чувајте го оригиналот. Обележете сè за што не сте сигурни со [?] за да може експертот да го спореди со документот. Текст: [тука]
Разликата: строгата забрана за читање, барање алтернативи, зачувување на празно место и повеќеслоен излез овозможуваат стручна проверка.
Вообичаени грешки
- Грешка на нацртот на HTR како точен. На отомански турски, голем дел од необработениот нацрт може да биде неточен; Контролата линија по линија е задолжителна.
- Единственото дефинитивно читање е да се наметне. Ако алтернативите се кријат во зборовите чии самогласки не се напишани, ќе се запише погрешно значење.
- Пополнување на нечитливата област. Треба да биде заштитено со празно место [нечитливо], а не да е измислено.
- Мешање на оригиналот со поедноставување. Поедноставувањето треба да биде посебен слој; Оригиналната транслитерација не треба да се искривува.
- Оневозможување на експертот. Без знаење за палеографија и период, читањето на вештачката интелигенција е претпоставка без научна вредност.
Сумирано
Отоманската транскрипција и транскрипцијата на ракопис може многу да се забрза во фазата на необработена нацрт со HTR и AI; Го добивате првиот резултат што ги намалува деновите на работа на часови. Но, токму во оваа област една буква, една самогласна разлика го менува значењето; ВИ има тенденција да ја крие несигурноста и да ги пополни празнините. Правилниот метод е слоевит: необработен преглед, алтернативни белешки на двосмисленост, посебен слој на поедноставување и, пред сè, проверка линија по линија на документот од експерт запознаен со палеографијата. ВИ го забрзува почетното читање; Научната одговорност му припаѓа на експертот.
Задача за апликација
Добијте транслитерација на отомански или ракописен документ (ваша сопствена продукција или објавена копија). Побарајте од вештачката интелигенција алтернативно читање со шаблонот „транслитерација за зачувување на двосмисленоста“. Потоа генерирајте го слојот за поедноставување одделно со „слоевито читање“. Споредете го секој нејасно означен збор со експертски извор или речник; Забележете колку грешки би предизвикала вештачката интелигенција ако наметне едно читање.
листа за проверка
- [ ] Користев HTR/модел соодветен на периодот и стилот на пишување.
- [ ] Побарав од вештачката интелигенција алтернативи за точното читање.
- [ ] Ги заштитив нечитливите делови со [нечитливо].
- [ ] Ја задржав оригиналната транслитерација одвоена од поедноставувањето.
- [ ] Го имав конечниот текст потврден од експерт/документарец кој знае палеографија.