Zyski:
- Możliwość skonfigurowania przepływu pracy HTR i transliteracji oraz wyjaśnienia, dlaczego surowy projekt wymaga specjalistycznego sprawdzenia linia po linii
- Możliwość ochrony nieczytelnych obszarów poprzez proszenie o alternatywy zamiast narzucania dokładnego odczytu w przypadku niejednoznaczności samogłosek/liter w języku tureckim osmańskim
- Możliwość oddzielenia oryginalnej transliteracji od osobnej warstwy uproszczeń, z zachowaniem ostatecznej odpowiedzialności naukowej paleografa
Być może najbardziej wymagającą częścią badań historycznych jest przepisywanie rękopisów i starych dokumentów pisanych na czytelny tekst. List, notatnik, akt sądowy lub dokument osmański można przeszukiwać dopiero po ich transkrypcji. Transkrypcja to czynność przeniesienia zawartości dokumentu (najczęściej pisanego odręcznie lub starożytnego pisma) na tekst pisany, czytelny. W przypadku języka osmańskiego często towarzyszy temu transliteracja: przeniesienie tekstu zapisanego literami arabskimi na alfabet łaciński wraz z jego odpowiednikami litera po literze.
W przypadku tekstów drukowanych stosowaliśmy OCR; Pismo odręczne wymaga innej technologii: HTR (rozpoznawanie tekstu odręcznego). HTR to technologia podobna do OCR, ale znacznie trudniejsza, która konwertuje odręczne dokumenty na tekst maszynowy. W tej części dowiemy się, jak wykorzystać HTR i sztuczną inteligencję w transkrypcji osmańskiej i rękopisów, jakie są marginesy błędu i dlaczego weryfikacja jest tutaj jeszcze ważniejsza.
Dlaczego pisanie ręczne jest takie trudne?
Pismo odręczne jest znacznie bardziej zmienne niż tekst drukowany: każdy pisarz ma niepowtarzalną rękę, litery są ze sobą łączone, używane są skróty i znaki specjalne, atrament zacieka, papier się zużywa. W języku tureckim osmańskim trudność jest mnożona:
- Kontekstowe formy liter: Ta sama litera jest zapisywana inaczej na początku, w środku i na końcu słowa.
- Nie pisanie samogłosek: krótkie samogłoski często nie są zapisywane; czytelnik uzupełnia z kontekstu. Stwarza to niejasności, takie jak „akceptacja czy odrzucenie?”
- Różne style pisma: Istnieją różne style pisma ręcznego, takie jak rik'a, divani, ta'lik; Każdy z nich wymaga innej umiejętności czytania.
- Słownictwo osmańskie: słowa z języka arabskiego i perskiego, które nie istnieją w dzisiejszym języku tureckim.
Dlatego HTR i AI działają ze znacznie większym marginesem błędu w języku tureckim osmańskim niż drukowany OCR. Oko wytrawnego paleografa (paleografia – nauka czytania starożytnych pism) nie jest tu narzędziem, ale koniecznością.
Przebieg pracy: krok po kroku
1. Przygotuj jakość dokumentu. Podobnie jak w przypadku OCR, niezbędna jest wysoka rozdzielczość i dobry kontrast. Jest to jeszcze ważniejsze w przypadku pisma ręcznego.
2. Wybierz model HTR. Modele pisma osmańskiego, arabskiego lub modele HTR specjalnie przeszkolone na określony okres są znacznie skuteczniejsze niż modele ogólne. Sprawdź, który model sprawdza się w danym okresie i stylu pisania.
3. Wygeneruj surową transkrypcję. Model HTR tworzy kontur. W języku tureckim ten szkic jest początkiem pełnym błędów, które doświadczone oko musi dokładnie sprawdzić.
4. Poprawa kontekstowa dzięki AI. W nieprzetworzonym wyniku mogą pojawić się niespójności flag AI, możliwe alternatywy odczytu i podejrzane lokalizacje. Ale „korekta” AI jest tutaj szczególnie ryzykowna: może sugerować wymyśloną lekturę.
5. Transliteracja i uproszczenie (warstwowe). Transliteracja tekstu zapisanego literami arabskimi na litery łacińskie, a następnie jego uproszczone odczytanie na dzisiejszy język turecki, odbywa się w postaci oddzielnych warstw. Oryginał nigdy się nie psuje.
6. Weryfikacja ekspercka. Ostateczną transkrypcję zatwierdza biegły posiadający wiedzę paleograficzną i epokową, porównując ją z dokumentem.
Uwaga: w języku tureckim osmańskim, „odgadując” słowo zawierające niezapisaną samogłoskę z kontekstu, sztuczna inteligencja może uzyskać całkowicie błędne odczytanie i przedstawić je w pewnym języku. Różnica w literach, np. „kabul” zamiast „kabil” lub „alem” zamiast „alim”, całkowicie zmienia znaczenie. Do każdego niepewnego odczytania należy przedstawić alternatywy i nie należy narzucać jednego ostatecznego odczytania.
Warstwy i odpowiedzialność za pomocą stołu
warstwa
Treść
Rola sztucznej inteligencji
Rola eksperta
Obraz
oryginalny dokument
—
Źródło
Projekt HTR
Surowy odczyt maszynowy
produkuje
Kontrola od początku do końca
transliteracja
Transpozycja liter łacińskich
projekt sugeruje
Poprawia, poprawia
Notatki niepewności
[?] i alternatywy
znaki
decyduje
Uproszczenie
Dzisiejszy turecki
projekt sugeruje
Zatwierdzenia
publikacja naukowa
Tekst końcowy + notatki
—
Tylko ekspert
trzy mini etui
Przypadek 1 — HTR przyspieszył pierwszą wersję 5-krotnie. Doktorant przepisywał 200-stronicowy notatnik osmański. Pełną transkrypcję ręczną oszacowano na 60 dni roboczych. Po przeszkoleniu modelu HTR w tym okresie surowy projekt ukazał się w ciągu kilku godzin; Student poprawił ten projekt i skrócił czas pracy do 12 dni roboczych. Musiał jednak porównywać każdą stronę z dokumentem, linia po linijce; Około 30% projektu było błędne.
Przypadek 2 — Jedna litera, jedno znaczenie. Jeden z badaczy oparł się na słowie, które sztuczna inteligencja odczytała jako „gubernator”. Pod kontrolą eksperta zrozumiano, że słowo to w rzeczywistości oznacza „opiekun” (odpowiedzialny za dziecko/osobę), a ponieważ samogłoska nie została zaznaczona, sztuczna inteligencja odgadła je błędnie. Znaczenie prawne dokumentu uległo całkowitej zmianie. Lekcja: W języku tureckim osmańskim różnica w jednej literze/samogłosce powoduje, że dokument jest interpretowany od początku; potrzebny jest ekspert.
Przypadek 3 – Wymyślone zakończenie. W wierszu, w którym skończył się atrament i którego jedno słowo było nieczytelne, sztuczna inteligencja wypełniła lukę „logicznym” słowem. Ekspert zdał sobie sprawę, że ta luka była w rzeczywistości nazwą miejscowości i że sztuczna inteligencja ją wymyśliła. Pozostała przestrzeń jako [nieczytelna]. Lekcja: nieczytelna przestrzeń nie jest wypełniona, jest zaznaczona.
Cztery szablony do kopiowania
1) Transliteracja zachowująca dwuznaczność:
Poniżej znajduje się surowy wynik/transliteracja HTR dokumentu osmańskiego. Twoim zadaniem jest przejrzenie tekstu i zaznaczenie ewentualnych błędów w czytaniu. Zasady: (1) Zaproponuj 2-3 możliwe alternatywy czytania dla każdego słowa, co do którego nie jesteś pewien, nie narzucaj ich. (2) W miejscach nieczytelnych pozostawić [nieczytelne], nie wypełniać ich. (3) DODAWANIE słów, których nie ma w tekście. (4) Pokaż alternatywy w słowach z niejednoznacznymi samogłoskami. Tekst: [tutaj]
2) Odczyt warstwowy (oryginał + uproszczenie):
Wygeneruj DWIE kolumny dla następującej zweryfikowanej transliteracji osmańskiej: (1) Transliteracja oryginalna (dotykowa), (2) Uproszczone czytanie na dzisiejszy język turecki. DODANIE znaczenia, dodanie interpretacji w uproszczeniu; po prostu zaktualizuj język. Oznaczaj miejsca o niejednoznacznym znaczeniu [niewyraźne]. Transliteracja: [tutaj]
3) Ekstrakcja terminów i osób:
Nazwiska osobiste, nazwy miejscowości, tytuły i terminy okresowe wymienione w poniższej transkrypcji pojawiają się na oddzielnych listach. Weź tylko te WYRAŹNIE wymienione w tekście; Nie dodawaj przez zgadywanie. Zaznacz [?], jeśli nie jesteś pewien wymowy. Tekst: [tutaj]
4) Kontrola podejrzanego odczytu:
Na stanowisku doświadczony kontroler paleografii. W poniższej transkrypcji zaznacz słowa, które są niespójne znaczeniowo, nie pasują do kropki lub nie mieszczą się w kontekście i napisz, dlaczego są podejrzane. Nałożenie ostatecznej korekty; Wygeneruj listę podejrzeń, które ekspert porówna z dokumentem. Tekst: [tutaj]
Słaba zachęta/silna zachęta
Słabe:
Przeczytaj ten tekst osmański i daj mi jego tłumaczenie.
Zmusza to sztuczną inteligencję do uzyskania pojedynczego, ostatecznego odczytu, ukrywania niejasności i dopasowywania luk. W języku tureckim jest to prawie gwarantowany błąd.
Mocny:
Sprawdź transliterację osmańską poniżej. Ostateczna lektura: IMPOZYCJA. Podaj możliwe alternatywy dla każdego niejednoznacznego słowa, pomiń części [nieczytelne], nie dodawaj niczego, czego nie ma w tekście. Podaj uproszczoną lekturę dzisiejszego języka tureckiego w osobnej kolumnie, ale zachowaj oryginał. Jeśli nie jesteś pewien, zaznacz [?], aby ekspert mógł porównać to z dokumentem. Tekst: [tutaj]
Różnica: ścisły zakaz odczytu, żądanie alternatyw, zachowanie białych znaków i warstwowe wyjście umożliwiają ekspercką weryfikację.
Typowe błędy
- Uznanie projektu HTR za poprawny. W języku tureckim osmańskim większość surowego szkicu może być niedokładna; Kontrola linia po linii jest koniecznością.
- Jedynym ostatecznym odczytaniem jest narzucenie. Jeśli alternatywy zostaną ukryte w słowach, w których nie zapisano samogłosek, zostanie zapisane nieprawidłowe znaczenie.
- Wypełnianie nieczytelnego obszaru. Powinien być chroniony białymi znakami [nieczytelny], a nie wymyślony.
- Mieszanie oryginału z uproszczeniem. Uproszczenia powinny stanowić osobną warstwę; Oryginalna transliteracja nie powinna być zniekształcana.
- Wyłączenie eksperta. Bez znajomości paleografii i okresu odczytanie AI jest przypuszczeniem bez wartości naukowej.
Podsumowując
Transkrypcję osmańską i rękopisów można znacznie przyspieszyć na etapie pierwotnej wersji roboczej za pomocą HTR i AI; Otrzymujesz pierwszy wynik, który redukuje dni pracy do godzin. Ale właśnie w tym obszarze pojedyncza litera, pojedyncza różnica samogłosek zmienia znaczenie; Sztuczna inteligencja ma tendencję do ukrywania niepewności i wypełniania luk. Właściwa metoda jest wielowarstwowa: surowy zarys, alternatywne nuty niejednoznaczności, osobna warstwa uproszczeń, a przede wszystkim weryfikacja dokumentu linijka po linijce przez znawcę paleografii. AI przyspiesza wstępne czytanie; Odpowiedzialność naukowa należy do eksperta.
Zadanie aplikacji
Uzyskaj transliterację dokumentu osmańskiego lub rękopisu (własnej produkcji lub opublikowanej kopii). Poproś sztuczną inteligencję o alternatywny odczyt za pomocą szablonu „transliteracji zachowującej dwuznaczność”. Następnie wygeneruj osobno warstwę upraszczającą za pomocą „odczytu warstwowego”. Porównaj każde niewyraźnie zaznaczone słowo ze źródłem eksperckim lub słownikiem; Zwróć uwagę, ile błędów wygenerowałaby sztuczna inteligencja, gdyby narzuciła pojedynczy odczyt.
lista kontrolna
- [ ] Użyłem HTR/modelu odpowiedniego do epoki i stylu pisania.
- [ ] Poprosiłem sztuczną inteligencję o alternatywy dla dokładnego odczytu.
- [ ] Zabezpieczyłem nieczytelne części za pomocą [unreadable].
- [ ] Zachowałem oryginalną transliterację oddzielnie od uproszczenia.
- [ ] Ostateczny tekst zleciłem weryfikacji ekspertowi/dokumentalowi znającemu się na paleografii.