หน่วย
1. ปัญญาประดิษฐ์เบื้องต้นในประวัติศาสตร์และการเก็บถาวร: บทบาท ขอบเขต การตรวจสอบความถูกต้อง และจริยธรรม 2. การแปลงเอกสารเป็นดิจิทัลและ OCR: การแปลงข้อความที่พิมพ์เป็นข้อความในเครื่อง 3. การถอดความ: ภาษาตุรกีออตโตมัน และต้นฉบับ 4. ข้อมูลเมตา การทำรายการและการจำแนกประเภท 5. การสแกนแหล่งที่มา การค้นพบ และการสรุป 6. การแปลทางประวัติศาสตร์และการทำให้เข้าใจง่าย 7. การตรวจสอบแหล่งที่มา ยุคสมัย และภาพหลอน 8. การวิเคราะห์เนื้อหาและการค้นพบรูปแบบ 9. การเข้าถึงเอกสารคำอธิบายและบริการผู้ใช้ 10. การอนุรักษ์ การฟื้นฟู และการอนุรักษ์ดิจิทัล 11. จริยธรรม ลิขสิทธิ์ ความเป็นส่วนตัว และความอ่อนไหวทางวัฒนธรรม 12. โครงการแบบครบวงจร: การประมวลผลคอลเลกชันเอกสารสำคัญด้วยปัญญาประดิษฐ์
หน่วย 3 / 12

การถอดความ: ภาษาตุรกีออตโตมัน และต้นฉบับ

กำไร:

  • ความสามารถในการตั้งค่า HTR และการทับศัพท์ และอธิบายว่าทำไมฉบับร่างดิบจึงต้องมีการตรวจสอบจากผู้เชี่ยวชาญทีละบรรทัด
  • ความสามารถในการปกป้องพื้นที่ที่อ่านไม่ได้โดยการขอทางเลือกอื่นแทนการอ่านที่แม่นยำในกรณีที่มีความคลุมเครือของสระ/ตัวอักษรในภาษาตุรกีออตโตมัน
  • ความสามารถในการแยกการทับศัพท์ดั้งเดิมออกจากเลเยอร์การทำให้เข้าใจง่ายที่แยกจากกัน โดยรักษาความรับผิดชอบทางวิทยาศาสตร์ขั้นสุดท้ายไว้กับนักบรรพชีวินวิทยา

บางทีส่วนที่เรียกร้องมากที่สุดของการวิจัยทางประวัติศาสตร์คือการถอดความต้นฉบับและเอกสารเก่าที่เป็นลายลักษณ์อักษรให้เป็นข้อความที่อ่านได้ จดหมาย สมุดบันทึก บันทึกของศาล หรือเอกสารของออตโตมันจะสามารถค้นหาได้หลังจากที่มีการถอดเสียงแล้วเท่านั้น การถอดเสียงเป็นการถ่ายโอนเนื้อหาของเอกสาร (ส่วนใหญ่มักเขียนด้วยลายมือหรือสคริปต์โบราณ) ไปเป็นข้อความที่เป็นลายลักษณ์อักษรและอ่านได้ ในกรณีของออตโตมัน มักมีการทับศัพท์ควบคู่ไปด้วย นั่นคือ การโอนข้อความที่เป็นตัวอักษรอารบิกไปเป็นอักษรละตินโดยเทียบเท่ากันทีละตัวอักษร

เราใช้ OCR สำหรับข้อความที่พิมพ์ การเขียนด้วยลายมือต้องใช้เทคโนโลยีที่แตกต่าง: HTR (การรู้จำข้อความที่เขียนด้วยลายมือ) HTR เป็นเทคโนโลยีที่คล้ายกับ OCR แต่มีความท้าทายมากกว่ามากในการแปลงเอกสารที่เขียนด้วยลายมือให้เป็นข้อความของเครื่อง ในหน่วยนี้ เราจะดูวิธีใช้ HTR และ AI ในภาษาออตโตมัน และการถอดความด้วยต้นฉบับ ขอบเขตของข้อผิดพลาด และเหตุใดการตรวจสอบจึงมีความสำคัญยิ่งขึ้นที่นี่

ทำไมการเขียนด้วยลายมือจึงเป็นเรื่องยาก?

การเขียนด้วยลายมือมีความหลากหลายมากกว่าข้อความที่พิมพ์ นักเขียนแต่ละคนมีมือที่มีเอกลักษณ์เฉพาะตัว ตัวอักษรเชื่อมโยงเข้าด้วยกัน ใช้ตัวย่อและสัญลักษณ์พิเศษ หมึกมีเลือดออก กระดาษเสื่อมสภาพ ในภาษาตุรกีออตโตมัน ความยากจะทวีคูณ:

  • รูปแบบตัวอักษรตามบริบท: ตัวอักษรเดียวกันเขียนแตกต่างกันที่จุดเริ่มต้น ตรงกลาง และจุดสิ้นสุดของคำ
  • ไม่เขียนสระ: สระสั้นมักไม่เขียน ผู้อ่านจบจากบริบท สิ่งนี้สร้างความคลุมเครือ เช่น "การยอมรับหรือการปฏิเสธ?"
  • รูปแบบการเขียนที่แตกต่างกัน: มีรูปแบบการเขียนด้วยลายมือที่แตกต่างกัน เช่น rik'a, divani, ta'lik; แต่ละคนต้องใช้ทักษะการอ่านที่แตกต่างกัน
  • คำศัพท์ออตโตมัน: คำจากภาษาอาหรับและเปอร์เซียที่ไม่มีในภาษาตุรกีในปัจจุบัน

ดังนั้น HTR และ AI จึงทำงานโดยมีข้อผิดพลาดในภาษาตุรกีออตโตมันสูงกว่าการพิมพ์ OCR มาก สายตาของนักบรรพชีวินวิทยาผู้เชี่ยวชาญ (วิชาบรรพชีวินวิทยา - ศาสตร์แห่งการอ่านงานเขียนโบราณ) ไม่ใช่เครื่องมือที่นี่ แต่เป็นสิ่งจำเป็น

ขั้นตอนการทำงาน: ทีละขั้นตอน

1.จัดเตรียมคุณภาพเอกสาร เช่นเดียวกับ OCR ความละเอียดสูงและความเปรียบต่างที่ดีถือเป็นสิ่งสำคัญ สิ่งนี้สำคัญยิ่งกว่าในการเขียนด้วยลายมือ

2. เลือกรุ่น HTR โมเดลออตโตมัน ลายมืออารบิก หรือ HTR ที่ได้รับการฝึกมาโดยเฉพาะในช่วงเวลาหนึ่งจะประสบความสำเร็จมากกว่าโมเดลทั่วไปมาก ทดสอบว่าโมเดลใดทำงานได้ดีในช่วงเวลาหนึ่งและสไตล์การเขียน

3. สร้างการถอดเสียงแบบดิบ โมเดล HTR สร้างโครงร่าง ในภาษาตุรกีออตโตมัน ร่างนี้เป็นจุดเริ่มต้นที่เต็มไปด้วยข้อผิดพลาดที่ผู้มีประสบการณ์จะต้องตรวจสอบอย่างละเอียด

4. การปรับปรุงบริบทด้วย AI คุณสามารถมีความไม่สอดคล้องกันของการตั้งค่าสถานะ AI ตัวเลือกการอ่านที่เป็นไปได้ และตำแหน่งที่น่าสงสัยในเอาต์พุตดิบ แต่ "การแก้ไข" ของ AI มีความเสี่ยงอย่างยิ่งที่นี่: มันสามารถแนะนำการอ่านที่วางแผนไว้ได้

5. การทับศัพท์และการทำให้เข้าใจง่าย (เลเยอร์) การทับศัพท์ข้อความในตัวอักษรอารบิกเป็นตัวอักษรละติน ตามด้วยการอ่านภาษาตุรกีในปัจจุบันให้ง่ายขึ้น จะถูกผลิตเป็นชั้นที่แยกจากกัน ของเดิมไม่เคยแตก

6. การตรวจสอบโดยผู้เชี่ยวชาญ การถอดความขั้นสุดท้ายได้รับการอนุมัติโดยผู้เชี่ยวชาญที่มีความรู้ด้านบรรพชีวินวิทยาและยุคสมัยโดยเปรียบเทียบกับเอกสาร

ข้อควรสนใจ: ในภาษาตุรกีออตโตมัน เมื่อ "เดา" คำที่มีสระที่ไม่ได้เขียนจากบริบท AI สามารถสร้างการอ่านที่ผิดโดยสิ้นเชิงและนำเสนอในภาษาที่มั่นใจ ความแตกต่างของตัวอักษร เช่น "คาบูล" แทน "คาบิล" หรือ "อาเล็ม" แทน "อาลิม" ความหมายเปลี่ยนไปโดยสิ้นเชิง การอ่านค่าที่ไม่แน่นอนทุกครั้งควรเสนอทางเลือก และไม่ควรบังคับให้อ่านค่าสุดท้ายเพียงค่าเดียว

เลเยอร์และความรับผิดชอบพร้อมโต๊ะ

ชั้น

เนื้อหา

บทบาทของเอไอ

บทบาทของผู้เชี่ยวชาญ

รูปภาพ

เอกสารต้นฉบับ

แหล่งที่มา

ร่าง HTR

การอ่านเครื่องดิบ

ผลิต

ควบคุมตั้งแต่ต้นจนจบ

การทับศัพท์

การขนย้ายอักษรละติน

ร่างแนะนำ

ถูกต้อง ถูกต้อง

หมายเหตุของความไม่แน่นอน

[?] และทางเลือกอื่น

สัญญาณ

ตัดสินใจ

ลดความซับซ้อน

วันนี้เป็นภาษาตุรกี

ร่างแนะนำ

การอนุมัติ

สิ่งพิมพ์ทางวิทยาศาสตร์

ข้อความสุดท้าย + หมายเหตุ

ผู้เชี่ยวชาญเท่านั้น

มินิเคสสามอัน

กรณีที่ 1 — HTR เร่งความเร็วร่างแรกขึ้น 5 เท่า นักศึกษาปริญญาเอกจะถอดความสมุดบันทึกออตโตมัน 200 หน้า การถอดเสียงด้วยตนเองแบบเต็มใช้เวลาประมาณ 60 วันทำการ ด้วยการฝึกโมเดล HTR ในช่วงเวลาดังกล่าว ร่างดิบจึงออกมาภายในไม่กี่ชั่วโมง นักเรียนแก้ไขร่างนี้และลดงานเหลือ 12 วันทำการ แต่เขาต้องเปรียบเทียบแต่ละหน้ากับเอกสารทีละบรรทัด ประมาณ 30% ของร่างไม่ถูกต้อง

กรณีที่ 2 — ตัวอักษรหนึ่งตัว หนึ่งความหมาย นักวิจัยคนหนึ่งอาศัยคำที่ AI อ่านว่า "ผู้ว่าราชการ" ภายใต้การควบคุมของผู้เชี่ยวชาญ เป็นที่เข้าใจว่าจริงๆ แล้วคำนี้คือ "ผู้ปกครอง" (รับผิดชอบเด็ก/บุคคล) และเนื่องจากสระไม่ได้ทำเครื่องหมายไว้ AI จึงเดาผิด ความหมายทางกฎหมายของเอกสารมีการเปลี่ยนแปลงโดยสิ้นเชิง บทเรียน: ในภาษาตุรกีออตโตมัน ความแตกต่างระหว่างตัวอักษร/สระตัวเดียวทำให้เอกสารถูกตีความตั้งแต่ต้น จำเป็นต้องมีผู้เชี่ยวชาญ

กรณีที่ 3 — การวางแผนเสร็จสมบูรณ์ ในบรรทัดที่หมึกหมดและมีคำหนึ่งคำที่ไม่สามารถอ่านได้ AI เติมช่องว่างด้วยคำ "ตรรกะ" ผู้เชี่ยวชาญตระหนักว่าช่องว่างนั้นเป็นชื่อสถานที่จริงๆ และ AI ก็เป็นคนสร้างมันขึ้นมา เว้นวรรคเป็น [อ่านไม่ออก] บทเรียน: ไม่ได้เติมพื้นที่ที่อ่านไม่ได้ แต่ถูกทำเครื่องหมายไว้

เทมเพลตที่สามารถคัดลอกได้สี่แบบ

1) การทับศัพท์ที่รักษาความคลุมเครือ:

ด้านล่างนี้คือเอาต์พุตดิบ/การทับศัพท์ HTR ของเอกสารออตโตมัน งานของคุณคือตรวจสอบข้อความและทำเครื่องหมายข้อผิดพลาดในการอ่านที่อาจเกิดขึ้น กฎเกณฑ์: (1) เสนอตัวเลือกการอ่านที่เป็นไปได้ 2-3 รายการสำหรับแต่ละคำที่คุณไม่แน่ใจ อย่ากำหนดไว้อย่างใดอย่างหนึ่ง (2) ปล่อย [อ่านไม่ออก] ไว้ในบริเวณที่อ่านไม่ออก ไม่ต้องเติมให้เต็ม (3) การเพิ่มคำที่ไม่มีอยู่ในข้อความ (4) แสดงทางเลือกในคำที่มีสระคลุมเครือ ข้อความ: [ที่นี่]

2) การอ่านแบบเลเยอร์ (ต้นฉบับ + ลดความซับซ้อน):

สร้างสองคอลัมน์สำหรับการทับศัพท์ออตโตมันที่ได้รับการตรวจสอบแล้วต่อไปนี้: (1) การทับศัพท์ดั้งเดิม (สัมผัส) (2) การอ่านตัวย่อเป็นภาษาตุรกีในปัจจุบัน เพิ่มความหมาย เพิ่มการตีความให้เข้าใจง่าย เพียงอัปเดตภาษา ทำเครื่องหมายสถานที่ด้วยความหมายที่ไม่ชัดเจน[ไม่ชัดเจน] การทับศัพท์: [ที่นี่]

3) การแยกเงื่อนไขและบุคคล:

ชื่อบุคคล ชื่อสถานที่ ตำแหน่ง และคำศัพท์เฉพาะงวดที่กล่าวถึงในการถอดความด้านล่างจะปรากฏในรายการแยกต่างหาก รับเฉพาะสิ่งที่กล่าวถึงอย่างชัดเจนในข้อความ อย่าบวกด้วยการคาดเดา ทำเครื่องหมาย [?] หากคุณไม่แน่ใจในการออกเสียง ข้อความ: [ที่นี่]

4) การควบคุมการอ่านที่น่าสงสัย:

ผู้ควบคุมบรรพชีวินวิทยาที่มีประสบการณ์ในบทบาทนี้ ในการถอดความด้านล่าง ให้ทำเครื่องหมายคำที่ความหมายไม่สอดคล้องกัน ไม่ตรงช่วง หรือไม่เข้ากับบริบท และเขียนว่าเหตุใดจึงน่าสงสัย การกำหนดการแก้ไขขั้นสุดท้าย สร้างรายการข้อสงสัยที่ผู้เชี่ยวชาญที่เป็นมนุษย์จะเปรียบเทียบกับเอกสาร ข้อความ: [ที่นี่]

พรอมต์อ่อน / พรอมต์แรง

อ่อนแอ:

อ่านข้อความภาษาออตโตมันนี้และแปลให้ฉันด้วย

สิ่งนี้ผลักดันให้ AI สร้างการอ่านที่ชัดเจนเพียงครั้งเดียว ซ่อนความคลุมเครือและปรับช่องว่างให้เหมาะสม ในภาษาตุรกีออตโตมัน นี่เป็นข้อผิดพลาดที่รับประกันได้เกือบหมด

แข็งแกร่ง:

ตรวจสอบการทับศัพท์ออตโตมันด้านล่าง การอ่านขั้นสุดท้าย: IMPOSITION ระบุทางเลือกที่เป็นไปได้สำหรับคำที่คลุมเครือแต่ละคำ ยกเว้นส่วนที่ [อ่านไม่ออก] อย่าเพิ่มสิ่งใดที่ไม่ได้อยู่ในข้อความ ให้การอ่านแบบง่ายแก่ภาษาตุรกีในปัจจุบันในคอลัมน์แยกต่างหาก แต่เก็บต้นฉบับไว้ ทำเครื่องหมายสิ่งที่คุณไม่แน่ใจด้วย [?] เพื่อให้ผู้เชี่ยวชาญสามารถเปรียบเทียบกับเอกสารได้ ข้อความ: [ที่นี่]

ความแตกต่าง: การห้ามอ่านอย่างเข้มงวด การขอทางเลือกอื่น การรักษาช่องว่าง และเอาต์พุตแบบเลเยอร์ช่วยให้สามารถตรวจสอบโดยผู้เชี่ยวชาญได้

ข้อผิดพลาดทั่วไป

  • การเข้าใจผิดร่าง HTR ว่าถูกต้อง ในภาษาตุรกีออตโตมัน ร่างดิบส่วนใหญ่อาจไม่ถูกต้อง ต้องมีการควบคุมทีละบรรทัด
  • การอ่านขั้นสุดท้ายเพียงอย่างเดียวคือการกำหนด หากทางเลือกอื่นซ่อนอยู่ในคำที่ไม่ได้เขียนสระ ความหมายที่ผิดจะถูกบันทึก
  • กรอกข้อมูลในพื้นที่ที่อ่านไม่ได้ ควรได้รับการปกป้องด้วยช่องว่าง [อ่านไม่ออก] ไม่ใช่สร้างขึ้น
  • ผสมผสานความดั้งเดิมเข้ากับความเรียบง่าย การทำให้เข้าใจง่ายควรเป็นเลเยอร์แยกต่างหาก การทับศัพท์ต้นฉบับไม่ควรบิดเบือน
  • ปิดการใช้งานผู้เชี่ยวชาญ หากไม่มีความรู้เกี่ยวกับบรรพชีวินวิทยาและยุคสมัย การอ่านของ AI ก็ถือเป็นการเดาที่ไม่มีคุณค่าทางวิทยาศาสตร์

โดยสรุป

การถอดความออตโตมันและต้นฉบับสามารถเร่งได้อย่างมากในขั้นตอนการร่างดิบด้วย HTR และ AI คุณได้รับผลลัพธ์แรกที่ลดวันทำงานเป็นชั่วโมง แต่ในพื้นที่นี้เองที่ตัวอักษรตัวเดียวและความแตกต่างของสระตัวเดียวเปลี่ยนความหมาย AI มีแนวโน้มที่จะซ่อนความไม่แน่นอนและเติมเต็มช่องว่าง วิธีการที่ถูกต้องคือการแบ่งชั้น: โครงร่างดิบ บันทึกทางเลือกของความกำกวม การแยกชั้นของการทำให้เข้าใจง่าย และเหนือสิ่งอื่นใด การตรวจสอบเอกสารทีละบรรทัดโดยผู้เชี่ยวชาญที่คุ้นเคยกับบรรพชีวินวิทยา AI เร่งความเร็วการอ่านครั้งแรก ความรับผิดชอบทางวิทยาศาสตร์เป็นของผู้เชี่ยวชาญ

งานสมัคร

รับการทับศัพท์ของเอกสารออตโตมันหรือต้นฉบับ (ผลงานของคุณเองหรือสำเนาที่ตีพิมพ์) ขอให้ AI ​​อ่านทางเลือกอื่นด้วยเทมเพลต "การทับศัพท์ที่รักษาความกำกวม" จากนั้นสร้างเลเยอร์การทำให้เข้าใจง่ายแยกจากกันด้วย "การอ่านแบบเลเยอร์" เปรียบเทียบแต่ละคำที่มีการทำเครื่องหมายอย่างคลุมเครือกับแหล่งข้อมูลหรือพจนานุกรมของผู้เชี่ยวชาญ สังเกตว่า AI จะเกิดข้อผิดพลาดจำนวนเท่าใดหากกำหนดให้มีการอ่านเพียงครั้งเดียว

รายการตรวจสอบ

  • [ ] ฉันใช้ HTR/แบบจำลองที่เหมาะสมกับช่วงเวลาและสไตล์การเขียน
  • [ ] ฉันถาม AI เพื่อหาทางเลือกอื่นนอกเหนือจากการอ่านที่แน่นอน
  • [ ] ฉันป้องกันส่วนที่อ่านไม่ได้ด้วย [อ่านไม่ได้]
  • [ ] ฉันแยกการทับศัพท์ดั้งเดิมออกจากการทำให้เข้าใจง่าย
  • [ ] ฉันได้รับข้อความสุดท้ายที่ได้รับการยืนยันโดยผู้เชี่ยวชาญ/สารคดีที่รู้จักวิชาบรรพชีวินวิทยา