Печалби:
- Възможност за настройка на HTR и работния процес за транслитерация и обяснение защо необработената чернова изисква експертна проверка ред по ред
- Възможност за защита на нечетливи зони чрез искане за алтернативи вместо налагане на прецизно четене в случай на двусмислие на гласна/буква в османски турски
- Възможност за отделяне на оригиналната транслитерация от отделен слой на опростяване, запазвайки крайната научна отговорност на палеографа
Може би най-взискателната част от историческото изследване е преписването на ръкописи и стари писмени документи в четим текст. Писмо, тетрадка, съдебен протокол или османски документ стават достъпни за търсене едва след като бъдат преписани. Транскрипцията е акт на прехвърляне на съдържанието на документ (най-често ръкописен или древен шрифт) в писмен, четим текст. В случая с османския език това често е придружено от транслитерация: прехвърляне на текста с арабски букви в латинската азбука с нейните еквиваленти буква по буква.
Използвахме OCR за печатни текстове; Ръкописното писане изисква различна технология: HTR (разпознаване на ръкописен текст). HTR е технология, подобна на OCR, но много по-предизвикателна, която преобразува ръкописни документи в машинен текст. В този раздел ще видим как да използваме HTR и AI в османска транскрипция и транскрипция на ръкописи, допустимите грешки и защо проверката е още по-важна тук.
Защо ръкописът е толкова труден?
Почеркът е много по-променлив от печатния текст: всеки пишещ има уникална ръка, буквите са свързани помежду си, използват се съкращения и специални знаци, мастилото кърви, хартията се износва. В османски турски трудността се умножава:
- Форми на контекстни букви: Една и съща буква се изписва по различен начин в началото, средата и края на думата.
- Неизписване на гласни: Кратките гласни често не се пишат; читателят допълва от контекста. Това създава неясноти като "приемане или отхвърляне?"
- Различни стилове на писане: Има различни стилове на почерк като rik'a, divani, ta'lik; Всеки изисква различен опит в четенето.
- Османски речник: Думи от арабски и персийски, които не съществуват в днешния турски.
Следователно HTR и AI работят с много по-голяма граница на грешка на османотурски, отколкото OCR за печат. Окото на експерт палеограф (палеография - наука за разчитане на древни писания) тук не е инструмент, а необходимост.
Работен процес: стъпка по стъпка
1. Подгответе качеството на документа. Както при OCR, високата разделителна способност и добрият контраст са от съществено значение. Това е още по-критично при ръкописа.
2. Изберете HTR модел. Моделите с османски, арабски почерк или HTR, специално обучени за определен период, са много по-успешни от общите модели. Тествайте кой модел работи добре за период и стил на писане.
3. Генерирайте необработена транскрипция. Моделът HTR произвежда контур. На османотурски тази чернова е начало, пълно с грешки, които опитното око трябва да провери старателно.
4. Подобрение на контекста с AI. Можете да имате несъответствия на флага на AI, възможни алтернативи за четене и подозрителни местоположения в необработения изход. Но „корекцията“ на AI е особено рискована тук: може да предложи измислено четене.
5. Транслитерация и опростяване (слоесто). Транслитерацията на текста от арабски букви в латински букви, последвана от опростеното му четене на днешния турски език, се произвежда като отделни слоеве. Оригиналът никога не се чупи.
6. Експертна проверка. Окончателният препис се одобрява от експерт по палеография и периодични познания чрез сравняване с документа.
Внимание: В османски турски, когато „отгатва“ дума с неизписана гласна от контекста, AI може да произведе напълно погрешно четене и да го представи на уверен език. Разлика в буквите, като "кабул" вместо "кабил" или "алем" вместо "алим", напълно променя смисъла. Всяко несигурно четене трябва да бъде представено с алтернативи и не трябва да се налага нито едно окончателно четене.
Слоеве и отговорност с маса
слой
Съдържание
Роля на AI
Роля на експерта
Изображение
оригинален документ
—
Източник
HTR проект
Сурово машинно четене
произвежда
Контрол от началото до края
транслитерация
Транспониране на латински букви
черновата предполага
Коригира, коригира
Нотки на несигурност
[?] и алтернативи
знаци
решава
Опростяване
Днешният турски
черновата предполага
Одобрения
научна публикация
Окончателен текст + бележки
—
Само експерт
три мини калъфа
Случай 1 — HTR ускори първата чернова с 5 пъти. Един докторант би преписал османска тетрадка от 200 страници. Пълното ръчно преписване беше изчислено на 60 работни дни. С HTR модел, обучен за периода, необработеният проект излезе за няколко часа; Студентът коригира тази чернова и намали работата до 12 работни дни. Но той трябваше да сравни всяка страница с документа, ред по ред; Около 30% от черновата беше неправилна.
Случай 2 — Една буква, едно значение. Един изследовател разчита на дума, разчетена от AI като „губернатор“. Под експертен контрол се разбра, че думата всъщност е „пазител“ (отговорен за дете/човек) и тъй като гласната не е отбелязана, AI я отгатва погрешно. Правното значение на документа се променя напълно. Поука: В османотурския език разликата в една буква/гласна кара документа да се тълкува от самото начало; изисква се експерт.
Случай 3 — Измислено завършване. В ред, чието мастило беше свършило и една дума от която беше нечетлива, AI запълни празнината с „логична“ дума. Експертът осъзна, че тази празнина всъщност е име на място и че AI го е измислил. Оставено място като [нечетливо]. Урок: нечетливото място не се запълва, маркира се.
Четири копируеми шаблона
1) Транслитерация, която запазва неяснотата:
По-долу е HTR необработен изход/транслитерация на османски документ. Вашата задача е да прегледате текста и да маркирате възможните грешки при четене. Правила: (1) Предложете 2-3 възможни алтернативи за четене за всяка дума, за която не сте сигурни, не налагайте нито една. (2) Оставете [нечетливо] в нечетливите области, не ги попълвайте. (3) ДОБАВЯНЕ на думи, които не съществуват в текста. (4) Покажете алтернативи в думи с двусмислени гласни. Текст: [тук]
2) Наслоено четене (оригинал + опростяване):
Генерирайте ДВЕ колони за следната потвърдена османска транслитерация: (1) Оригинална транслитерация (докосване), (2) Опростено четене на днешния турски. ДОБАВЯНЕ на смисъл, добавяне на интерпретация при опростяване; просто актуализирайте езика. Маркирайте места с двусмислено значение [неясно]. Транслитерация: [тук]
3) Извличане на срок и лице:
Личните имена, имена на места, заглавия и периодични термини, споменати в транскрипцията по-долу, се появяват в отделни списъци. Вземете само ЯСНО споменатите в текста; Не добавяйте чрез отгатване. Маркирайте с [?], ако не сте сигурни в произношението. Текст: [тук]
4) Подозрителен контрол на четене:
Опитен контрольор палеография в ролята. В транскрипцията по-долу отбележете думите, които са непоследователни по смисъл, не отговарят на периода или не се вписват в контекста и напишете защо са подозрителни. Налагане на окончателна корекция; Генерирайте списък с подозрения, които човешкият експерт ще сравни с документа. Текст: [тук]
Слаба подкана / Силна подкана
Слаб:
Прочетете този османски текст и ми дайте превода му.
Това подтиква AI да произвежда едно, окончателно четене, скривайки неяснотите и напасвайки празнините. В османотурския език това е почти гарантирана грешка.
Силен:
Вижте османската транслитерация по-долу. Окончателно четене: НАЛОЖЕНИЕ. Дайте възможни алтернативи за всяка двусмислена дума, изпуснете [нечетливи] части, не добавяйте нищо, което не е в текста. Дайте опростения прочит на днешния турски в отделна колона, но запазете оригинала. Маркирайте всичко, за което не сте сигурни с [?], за да може експертът да го сравни с документа. Текст: [тук]
Разликата: строга забрана за четене, искане на алтернативи, запазване на празно пространство и наслоен изход позволява експертна проверка.
Често срещани грешки
- Грешка в черновата на HTR като правилна. На османотурски голяма част от необработената чернова може да е неточна; Контролът ред по ред е задължителен.
- Единственият окончателен прочит е да се наложи. Ако алтернативите са скрити в думи, чиито гласни не са написани, ще бъде записано грешното значение.
- Попълване на нечетливата област. Трябва да бъде защитено с празно пространство [нечетливо], а не измислено.
- Смесване на оригинала с опростяване. Опростяването трябва да бъде отделен слой; Оригиналната транслитерация не трябва да бъде изкривена.
- Деактивиране на експерта. Без познаване на палеографията и периода, четенето на AI е предположение без научна стойност.
В обобщение
Османската транскрипция и транскрипцията на ръкописи могат да бъдат значително ускорени на етапа на необработена чернова с HTR и AI; Получавате първи резултат, който намалява работните дни до часове. Но точно в тази област една буква, една гласна разлика променя значението; AI има тенденция да прикрива несигурността и да запълва празнините. Правилният метод е наслоен: необработено очертание, алтернативни бележки за неяснота, отделен слой за опростяване и преди всичко проверка ред по ред на документа от експерт, запознат с палеографията. AI ускорява първоначалното четене; Научната отговорност принадлежи на експерта.
Задача за приложение
Получете транслитерация на османски или ръкописен документ (ваше собствено производство или публикувано копие). Помолете AI за алтернативно четене с шаблона „транслитерация, запазваща двусмислието“. След това генерирайте слоя за опростяване отделно с "наслоено четене". Сравнете всяка неясно маркирана дума с експертен източник или речник; Обърнете внимание колко грешки би произвел AI, ако наложи едно четене.
контролен списък
- [ ] Използвах HTR/модел, подходящ за периода и стила на писане.
- [ ] Помолих AI за алтернативи на точното четене.
- [ ] Защитих нечетливите части с [нечетливо].
- [ ] Запазих оригиналната транслитерация отделно от опростяването.
- [ ] Окончателният текст беше проверен от експерт/документалист, който познава палеографията.