이득:
- HTR 및 음역 워크플로우를 설정하고 원시 초안에 전문가가 한 줄씩 확인해야 하는 이유를 설명하는 능력
- 오스만 터키어에서 모음/문자가 모호한 경우 정확한 읽기를 강요하는 대신 대안을 요구하여 읽을 수 없는 영역을 보호하는 기능
- 원래의 음역을 별도의 단순화 레이어에서 분리하고, 최종 과학적 책임을 고생물학자에게 맡길 수 있는 능력
아마도 역사 연구에서 가장 까다로운 부분은 원고와 오래된 문서를 읽을 수 있는 텍스트로 옮기는 것입니다. 편지, 공책, 법원 기록 또는 오스만 문서는 복사된 후에만 검색할 수 있습니다. 전사는 문서(대개 손으로 쓴 문자 또는 고대 문자)의 내용을 읽을 수 있는 서면 텍스트로 전송하는 행위입니다. 오스만 제국의 경우 음역이 수반되는 경우가 많습니다. 즉, 아랍어 문자로 된 텍스트를 문자별로 동등한 문자를 사용하여 라틴 알파벳으로 옮기는 것입니다.
우리는 인쇄된 텍스트에 OCR을 사용했습니다. 필기에는 HTR(손글씨 텍스트 인식)이라는 다른 기술이 필요합니다. HTR은 OCR과 유사하지만 손으로 쓴 문서를 기계 텍스트로 변환하는 데 훨씬 더 어려운 기술입니다. 이 단원에서는 오스만 및 원고 전사에서 HTR 및 AI를 사용하는 방법, 오류 한계 및 여기에서 검증이 더욱 중요한 이유를 살펴보겠습니다.
손글씨는 왜 이렇게 어려운 걸까요?
손글씨는 인쇄된 텍스트보다 훨씬 더 다양합니다. 각 작가는 고유한 손을 가지고 있고, 글자는 서로 연결되어 있으며, 약어와 특수 기호가 사용되고, 잉크가 번지고, 종이가 낡아집니다. 오스만 터키어에서는 난이도가 배가됩니다.
- 문맥에 따른 글자 형태: 같은 글자라도 단어의 시작, 중간, 끝 부분에 다르게 쓰여집니다.
- 모음을 쓰지 않음: 단모음을 쓰지 않는 경우가 많습니다. 독자는 문맥에서 완성합니다. 이는 "수락 또는 거부?"와 같은 모호성을 만듭니다.
- 다양한 쓰기 스타일: rik'a, divani, ta'lik과 같은 다양한 필기 스타일이 있습니다. 각각은 다른 읽기 전문 지식이 필요합니다.
- 오스만 어휘: 오늘날의 터키어에는 존재하지 않는 아랍어 및 페르시아어 단어입니다.
따라서 HTR과 AI는 인쇄 OCR보다 오스만 터키어에서 훨씬 더 높은 오차 범위로 작동합니다. 전문 고문서학자(고전학 - 고대 글을 읽는 과학)의 눈은 여기서 도구가 아니라 필수입니다.
작업 흐름: 단계별
1. 문서 품질을 준비합니다. OCR과 마찬가지로 고해상도와 우수한 대비가 필수적입니다. 이는 필기에서는 더욱 중요합니다.
2. HTR 모델을 선택합니다. 특정 기간 동안 특별히 훈련된 오스만, 아랍어 필기 또는 HTR 모델은 일반 모델보다 훨씬 더 성공적입니다. 어떤 모델이 특정 기간과 글쓰기 스타일에 잘 맞는지 테스트해 보세요.
3. 원시 전사본을 생성합니다. HTR 모델은 개요를 생성합니다. 오스만 터키어에서 이 초안은 숙련된 눈이 철저하게 확인해야 할 오류로 가득 찬 시작입니다.
4. AI를 통한 상황별 개선. 원시 출력에는 AI 플래그 불일치, 가능한 읽기 대안 및 의심스러운 위치가 있을 수 있습니다. 그러나 AI "수정"은 여기서 특히 위험합니다. 인위적인 판독을 암시할 수 있습니다.
5. 음역 및 단순화(계층화). 아랍어 문자의 텍스트를 라틴 문자로 음역한 후 오늘날의 터키어로 단순화된 읽기가 별도의 레이어로 생성됩니다. 원본은 절대 깨지지 않습니다.
6. 전문가 검증. 최종 필사본은 고문서학 및 시대적 지식을 갖춘 전문가가 문서와 비교하여 승인합니다.
주의: 오스만 터키어에서는 문맥에서 쓰여 있지 않은 모음이 있는 단어를 "추측"할 때 AI가 완전히 잘못된 읽기를 생성하여 자신 있는 언어로 제시할 수 있습니다. "kabil" 대신 "kabul"을 사용하거나 "alim" 대신 "alem"을 사용하는 등 문자의 차이로 인해 의미가 완전히 달라집니다. 모든 불확실한 판독에는 대안이 제시되어야 하며 단일한 확정 판독이 강요되어서는 안 됩니다.
테이블의 레이어와 책임
레이어
내용
AI의 역할
전문가의 역할
이미지
원본 문서
—
소스
HTR 초안
원시 기계 판독
생산하다
처음부터 끝까지 제어
음역
라틴 문자 전치
초안 제안
수정하다, 수정하다
불확실성에 대한 참고 사항
[?] 및 대안
표지판
결정하다
단순화
오늘의 터키어
초안 제안
승인
과학 출판물
최종 텍스트 + 메모
—
전문가 전용
세 개의 미니 케이스
사례 1 - HTR은 첫 번째 초안 속도를 5배 단축했습니다. 박사 과정 학생은 200페이지 분량의 오스만 노트를 복사했습니다. 전체 수동 전사에는 영업일 기준 60일이 소요될 것으로 예상됩니다. 해당 기간 동안 훈련된 HTR 모델을 사용하면 몇 시간 만에 원시 초안이 나왔습니다. 학생은 이 초안을 수정하고 작업 시간을 영업일 기준 12일로 단축했습니다. 그러나 그는 각 페이지를 문서와 한 줄씩 비교해야 했습니다. 초안의 약 30%가 잘못되었습니다.
사례 2 — 하나의 문자, 하나의 의미. 한 연구원은 AI가 '지사'라고 읽는 단어에 의존했다. 전문가의 통제 하에 해당 단어는 실제로는 '보호자'(어린이/사람을 담당하는 사람)인 것으로 파악됐고, 모음이 표시되지 않았기 때문에 AI가 잘못 추측한 것이다. 문서의 법적 의미가 완전히 바뀌었습니다. 교훈: 오스만 터키어에서는 단일 문자/모음 차이로 인해 문서가 처음부터 해석됩니다. 전문가가 필요합니다.
사례 3 - 인위적인 완성. 잉크가 떨어져서 한 단어도 읽을 수 없는 줄에 AI는 '논리적' 단어로 그 공백을 메웠다. 전문가는 그 공백이 실제로는 지명이었고 AI가 만들어낸 것임을 깨달았다. 공백이 [읽을 수 없음]으로 남았습니다. 교훈: 읽을 수 없는 공간은 채워지지 않고 표시됩니다.
복사 가능한 템플릿 4개
1) 모호성을 유지하는 음역:
다음은 오스만 문서의 HTR 원시 출력/음역입니다. 귀하의 임무는 텍스트를 검토하고 가능한 읽기 오류를 표시하는 것입니다. 규칙: (1) 확실하지 않은 각 단어에 대해 2-3개의 가능한 읽기 대안을 제공하고 하나를 강요하지 마십시오. (2) 읽을 수 없는 부분은 [읽을 수 없음]으로 남겨두고 채우지 마십시오. (3) 본문에 없는 단어를 추가합니다. (4) 모호한 모음이 포함된 단어로 대안을 표시합니다. 텍스트: [여기]
2) 계층적 읽기(원본 + 단순화):
다음과 같이 검증된 오스만어 음역에 대해 두 개의 열을 생성합니다. (1) 원본 음역(터치), (2) 오늘날의 터키어로 단순화된 읽기. 의미를 추가하고 단순화하여 해석을 추가합니다. 언어를 업데이트하면 됩니다. 의미가 모호한[불분명한] 장소를 표시하세요. 음역: [여기]
3) 용어 및 인물 추출:
아래 필사본에 언급된 개인 이름, 지명, 직위 및 정기 용어는 별도의 목록에 표시됩니다. 본문에 명확하게 언급된 것만 선택하세요. 추측해서 추가하지 마세요. 발음이 확실하지 않으면 [?]로 표시하세요. 텍스트: [여기]
4) 의심스러운 읽기 제어:
숙련된 고문서학 컨트롤러 역할을 맡았습니다. 아래 표기에서 의미가 일치하지 않는 단어, 마침표와 문맥에 맞지 않는 단어를 표시하고, 의심스러운 이유를 적어주세요. 확실한 수정을 부과합니다. 인간 전문가가 문서와 비교할 의심 목록을 생성합니다. 텍스트: [여기]
약한 프롬프트 / 강한 프롬프트
약함:
이 오스만 문서를 읽고 번역해 주세요.
이로 인해 AI는 단일하고 확실한 판독값을 생성하여 모호성을 숨기고 간격을 맞추게 됩니다. 오스만 터키어에서는 이는 거의 보장된 실수입니다.
강한:
아래에서 오스만어 음역을 확인하세요. 최종 읽기: IMPOSITION. 각각의 모호한 단어에 대해 가능한 대안을 제공하고, [읽을 수 없는] 부분을 제외하고, 텍스트에 없는 내용을 추가하지 마십시오. 오늘날의 터키어에 대한 간략한 읽기를 별도의 열에 제공하고 원본을 유지하십시오. 전문가가 문서와 비교할 수 있도록 확실하지 않은 내용은 [?]로 표시하세요. 텍스트: [여기]
차이점: 엄격한 읽기 금지, 대안 요청, 공백 보존, 계층화된 출력을 통해 전문가 검증이 가능합니다.
일반적인 실수
- HTR 초안을 올바른 것으로 착각합니다. 오스만 터키어에서는 원시 초안의 대부분이 부정확할 수 있습니다. 라인별 제어가 필수입니다.
- 유일한 결정적인 독서는 부과하는 것입니다. 모음이 표기되지 않은 단어에 대체문이 숨겨져 있으면 잘못된 의미가 기록됩니다.
- 읽을 수 없는 부분을 채웁니다. 구성되지 않은 공백(읽기 불가능)으로 보호되어야 합니다.
- 원본과 단순화를 혼합합니다. 단순화는 별도의 레이어여야 합니다. 원문을 왜곡해서는 안 됩니다.
- 전문가를 비활성화합니다. 고문서나 시대에 대한 지식이 없으면 AI의 판독은 과학적 가치가 없는 추측일 뿐입니다.
요약하면
오스만 및 원고 전사는 HTR 및 AI를 통해 원시 초안 단계에서 크게 가속화될 수 있습니다. 작업 일수를 몇 시간으로 단축하는 첫 번째 결과물을 얻을 수 있습니다. 그러나 단 하나의 글자, 단 하나의 모음의 차이가 의미를 바꾸는 것은 바로 이 부분입니다. AI는 불확실성을 숨기고 격차를 메우는 경향이 있습니다. 올바른 방법은 계층화되어 있습니다. 원시 개요, 모호성에 대한 대체 메모, 별도의 단순화 계층, 그리고 무엇보다도 고문서학에 익숙한 전문가가 문서를 한 줄씩 확인합니다. AI는 초기 읽기 속도를 높입니다. 과학적 책임은 전문가에게 있습니다.
응용과제
오스만 문서 또는 원고 문서(귀하가 직접 제작한 문서 또는 출판된 사본)의 음역을 구합니다. "모호함 보존 음역" 템플릿을 사용하여 대체 읽기를 AI에 요청하세요. 그런 다음 "계층 읽기"를 사용하여 별도로 단순화 계층을 생성합니다. 모호하게 표시된 각각의 단어를 전문가 소스 또는 사전과 비교하십시오. AI가 단일 판독값을 부과하면 얼마나 많은 오류가 발생하는지 확인하십시오.
체크리스트
- [ ] 시대와 문체에 맞는 HTR/모델을 사용했습니다.
- [ ] 정확한 판독에 대한 대안을 AI에 요청했습니다.
- [ ] 읽을 수 없는 부분을 [읽을 수 없음]으로 보호했습니다.
- [ ] 단순화된 음역과 원본 음역을 별도로 유지했습니다.
- [ ] 고문서학에 정통한 전문가/다큐멘터리로부터 최종 텍스트 검증을 받았습니다.