หน่วย
1. ปัญญาประดิษฐ์เบื้องต้นในประวัติศาสตร์และการเก็บถาวร: บทบาท ขอบเขต การตรวจสอบความถูกต้อง และจริยธรรม 2. การแปลงเอกสารเป็นดิจิทัลและ OCR: การแปลงข้อความที่พิมพ์เป็นข้อความในเครื่อง 3. การถอดความ: ภาษาตุรกีออตโตมัน และต้นฉบับ 4. ข้อมูลเมตา การทำรายการและการจำแนกประเภท 5. การสแกนแหล่งที่มา การค้นพบ และการสรุป 6. การแปลทางประวัติศาสตร์และการทำให้เข้าใจง่าย 7. การตรวจสอบแหล่งที่มา ยุคสมัย และภาพหลอน 8. การวิเคราะห์เนื้อหาและการค้นพบรูปแบบ 9. การเข้าถึงเอกสารคำอธิบายและบริการผู้ใช้ 10. การอนุรักษ์ การฟื้นฟู และการอนุรักษ์ดิจิทัล 11. จริยธรรม ลิขสิทธิ์ ความเป็นส่วนตัว และความอ่อนไหวทางวัฒนธรรม 12. โครงการแบบครบวงจร: การประมวลผลคอลเลกชันเอกสารสำคัญด้วยปัญญาประดิษฐ์
หน่วย 4 / 12

ข้อมูลเมตา การทำรายการและการจำแนกประเภท

กำไร:

  • ความสามารถในการสร้างร่างข้อมูลเมตาตามมาตรฐาน เช่น ISAD(G) หรือ Dublin Core ด้วยปัญญาประดิษฐ์
  • ความสามารถในการป้องกันภาพหลอนและแม็ปคำศัพท์ของวิชาเพื่อควบคุมคำศัพท์โดยได้รับอนุญาตจากให้เว้นว่างไว้
  • ความสามารถในการแยกแยะว่าฟิลด์ใด เช่น วันที่ ชื่อบุคคล และรหัสอ้างอิง ที่ต้องได้รับการอนุมัติจากมนุษย์ และฟิลด์ใดควรได้รับมอบหมายจากสถาบันเท่านั้น

ไฟล์เก็บถาวรหรือไลบรารีไม่ว่าจะมีข้อมูลมากมายเพียงใด ก็ไม่สามารถค้นพบได้เว้นแต่จะมีการกำหนดไว้อย่างชัดเจน สิ่งที่ทำให้เอกสาร “ค้นหาได้” คือข้อมูลที่อธิบายได้ เช่น ใครเป็นผู้เขียน เมื่อใด ที่ไหน หัวข้อของเอกสารคืออะไร เป็นของคอลเลกชันใด ข้อมูลนี้เรียกว่าข้อมูลเมตา (ข้อมูลเมตา — ข้อมูลเชิงพรรณนาเกี่ยวกับเอกสาร “ข้อมูลเกี่ยวกับข้อมูล”) การทำแคตตาล็อกเป็นกระบวนการในการระบุเอกสารด้วยข้อมูลเมตานี้ และบันทึกไว้ในระบบที่ค้นหาได้ การจำแนกประเภท คือ การจัดระเบียบเอกสารตามเกณฑ์ เช่น หัวเรื่อง ประเภท หรือที่มา

การสร้างข้อมูลเมตาใช้เวลานานมาก การป้อนข้อมูลวันที่ หัวเรื่อง บุคคล และสถานที่แยกกันสำหรับเอกสารหลายพันรายการในคอลเลกชันขนาดใหญ่อาจใช้เวลานานหลายปี AI เป็นตัวสร้างร่างที่แข็งแกร่งในธุรกิจนี้ ในหน่วยนี้ เราจะดูวิธีสร้างข้อมูลเมตาด้วย AI การจัดทำรายการตามมาตรฐาน (ISAD(G), Dublin Core) และทั้งข้อดีและข้อผิดพลาดของการจำแนกประเภทอัตโนมัติ

มาตรฐานเอกสารสำคัญ: เหตุใดจึงมีความจำเป็น

ข้อมูลเมตาไม่ได้ถูกป้อนแบบสุ่ม มีมาตรฐานสากลเพื่อให้บันทึกจากสถาบันต่างๆสามารถพูดคุยกันได้:

  • ISAD(G) (คำอธิบายเอกสารสำคัญมาตรฐานสากลทั่วไป): กฎสำหรับการอธิบายเนื้อหาเอกสารสำคัญตามลำดับชั้น (ที่กองทุน ซีรีส์ ไฟล์ ระดับเอกสาร) ประกอบด้วยช่องต่างๆ เช่น รหัสอ้างอิง ชื่อ วันที่ ขอบเขต ผู้สร้าง
  • Dublin Core: มาตรฐานทั่วไปที่ประกอบด้วยฟิลด์หลัก 15 ฟิลด์สำหรับการอธิบายทรัพยากรดิจิทัล (ชื่อ ผู้สร้าง หัวข้อ วันที่ ประเภท รูปแบบ แหล่งที่มา ภาษา ฯลฯ)
  • Fonds: ชุดบันทึกที่เกิดขึ้นตามธรรมชาติจากกิจกรรมของบุคคล ครอบครัว หรือสถาบันเพียงคนเดียว เป็นหน่วยจัดระเบียบพื้นฐานของการเก็บถาวร
  • แหล่งที่มา (ที่มา): ข้อมูลเกี่ยวกับแหล่งที่มาของเอกสารและมือที่ส่งผ่าน ในการเก็บถาวร เอกสารจะถูกจัดเก็บไว้ด้วยกันตามแหล่งที่มา

การระบุมาตรฐานเป้าหมายอย่างชัดเจนเมื่อมี AI สร้างข้อมูลเมตาทำให้มั่นใจได้ว่าเอาต์พุตจะถูกป้อนเข้าสู่องค์กรโดยตรง

แนวคิดหลักอีกประการหนึ่งคือบันทึกอำนาจ ซึ่งเป็นบันทึกที่กำหนดชื่อของบุคคล สถานที่ หรือสถาบันในรูปแบบเดียวที่เป็นมาตรฐานและได้รับการอนุมัติ ในเอกสารทางประวัติศาสตร์ บุคคลหรือสถานที่เดียวกันอาจปรากฏด้วยการสะกดต่างกัน บันทึกสิทธิ์จะผูกข้อมูลทั้งหมดไว้ในรูปแบบเดียวที่ได้รับอนุมัติ เพื่อไม่ให้กระจัดกระจายในการค้นหา AI แนะนำชื่อจากเอกสาร แต่การจับคู่ชื่อนี้กับแบบฟอร์มมาตรฐานในบันทึกอำนาจถือเป็นงานของมนุษย์ การเชื่อมโยงสิ่งที่ AI พูดว่า "Ahmed" กับ "Ahmed Bey (1840-1912)" ในบันทึกอำนาจของสถาบันจะรักษาความสอดคล้องของแคตตาล็อก

ขั้นตอนการทำงาน: ทีละขั้นตอน

1. เตรียมแหล่งที่มา รวบรวมใบรับรองผลการเรียนหรือรูปภาพของเอกสารและข้อมูลบริบทใดๆ

2. ระบุมาตรฐานและพื้นที่ บอก AI ว่ามาตรฐานใด (ISAD(G), Dublin Core) และฟิลด์ใดที่จะสร้างเอาต์พุต

3. สร้างข้อมูลเมตาแบบร่าง AI กรอกข้อมูลในช่องที่สามารถแยกออกจากเอกสารได้ (วันที่ บุคคล สถานที่ หัวเรื่อง ภาษา ประเภท) โดยจะเว้นว่างไว้ในส่วนที่ไม่สามารถลบออกได้

4. แผนที่เพื่อควบคุมคำศัพท์ ชื่อเรื่องและสถานที่ไม่ได้ฟรีในสถาบันส่วนใหญ่ แต่จะเชื่อมโยงกับรายการที่กำหนดไว้ล่วงหน้า (คำศัพท์ / อรรถาภิธานที่ควบคุม) แมปคำศัพท์หัวเรื่องที่ AI แนะนำมาในรายการนี้

5. ตรวจสอบและยืนยัน แต่ละฟิลด์ โดยเฉพาะวันที่ ชื่อ และหัวเรื่อง จะถูกเปรียบเทียบโดยมนุษย์กับเอกสารและบันทึกอำนาจ

เคล็ดลับ: ให้สิทธิ์ AI "เว้นว่างไว้" อย่างชัดเจน Otherwise, it will "guess" fill in a date or creator that isn't in the document and insert fake metadata into your catalog. คำสั่ง "ปล่อยช่องนี้ว่างไว้ถ้าไม่มีในเอกสาร" ถือเป็นเกราะป้องกันภาพหลอนที่แข็งแกร่งที่สุด

เขตข้อมูลและระดับความเชื่อถือในตาราง

ฟิลด์ข้อมูลเมตา

AI มีความน่าเชื่อถือแค่ไหน?

การตรวจสอบ

ภาษา

สูง

ตัวอย่าง

ประเภทเอกสาร

สูงปานกลาง

การควบคุม

ชื่อบุคคล/สถานที่

ปานกลาง (อ่านผิด)

บังคับ

วันที่

ต่ำ-ปานกลาง (ความเสี่ยงของการประดิษฐ์)

บังคับ

เงื่อนไขเรื่อง

ปานกลาง (สร้างฟรี)

แผนที่ไปยังรายการตรวจสอบ

ขอบเขต/บทสรุป

สูงปานกลาง

เปรียบเทียบกับแหล่งที่มา

รหัสอ้างอิง

ไม่มี (สถาบันให้)

มนุษย์ขว้าง

สรุป: AI ทำงานรวดเร็วและเชื่อถือได้ในด้านต่างๆ เช่น ภาษาและประเภท สร้างแบบร่างในฟิลด์ต่างๆ เช่น วันที่ ชื่อ และหัวเรื่อง แต่ต้องได้รับการอนุมัติจากมนุษย์ AI ไม่เคยสร้างสาขาของสถาบัน เช่น รหัสอ้างอิง

มินิเคสสามอัน

กรณีที่ 1 — ร่างข้อมูลเมตาสำหรับรูปภาพ 8,000 รูป หอจดหมายเหตุของเมืองรวบรวมภาพถ่ายประวัติศาสตร์ไว้ 8,000 ภาพ บันทึกที่ด้านหลังของภาพถ่ายแต่ละภาพได้รับการคัดลอกและมอบให้กับ AI AI สร้างวันที่ สถานที่ และโครงร่างหัวข้อ ทีมงานมนุษย์ได้ตรวจสอบมันภาคสนามและแม็ปมันเข้ากับรายการควบคุม งานประมาณ 10 เดือนลดลงเหลือ 3 เดือน แต่ทุกวันและชื่อสถานที่ได้รับการตรวจสอบด้วยสายตา

กรณีที่ 2 — ประวัติที่สร้างขึ้น นักเก็บเอกสารมีแคตตาล็อก AI เป็นจดหมายไม่ระบุวันที่ YZ ดูเนื้อหาของจดหมายแล้วเขียนวันที่ "1912" ไว้อย่างชัดเจน อย่างไรก็ตาม ไม่มีวันที่ในเอกสาร เอไอคาดการณ์ไว้ หากผู้เก็บเอกสารไม่ได้เพิ่มคำสั่ง "เว้นว่างไว้หากไม่อยู่ในเอกสาร" แค็ตตาล็อกก็จะถูกกรอกวันที่จัดทำขึ้น บทเรียน: จำเป็นต้องได้รับอนุญาตที่ว่างเปล่า

กรณีที่ 3 — ศัพท์เฉพาะที่สร้างความสับสน AI กำหนดเงื่อนไขฟรีที่คล้ายกันแต่แตกต่างกัน เช่น "การย้ายถิ่นฐาน" "การย้ายถิ่นฐาน" "ข้อตกลง" ให้กับเอกสารที่คล้ายกัน เมื่อไม่ได้จับคู่กับคำศัพท์ที่ได้รับการควบคุม หัวข้อเดียวกันก็จะถูกแท็กด้วยคำศัพท์ที่แตกต่างกันสามคำและกระจัดกระจายในการค้นหา ความสอดคล้องเกิดขึ้นได้โดยการแมปข้อกำหนดลงในรายการผู้มีอำนาจรายการเดียว บทเรียน: ไม่มีการเผยแพร่ข้อกำหนดของหัวข้อ แต่จะเชื่อมโยงกับรายการ

เทมเพลตที่สามารถคัดลอกได้สี่แบบ

1) Dublin Core outline:

แยกร่างข้อมูลเมตาของ Dublin Core ออกจากการถอดเสียงเอกสารด้านล่าง ช่อง: ชื่อ ผู้สร้าง หัวเรื่อง คำอธิบาย วันที่ ประเภท ภาษา ขอบเขต (สถานที่/ช่วงเวลา) กฎ: (1) ใช้ข้อมูลที่ชัดเจนในข้อความเท่านั้น (2) ปล่อยช่องที่ไม่อยู่ในข้อความ BLANK ไม่ต้องเดา (3) ทำเครื่องหมายค่าที่คุณไม่แน่ใจด้วย [?] ถอดความ: [ที่นี่]

2) คำจำกัดความร่าง ISAD(G):

สร้างฉบับร่างสำหรับเอกสารต่อไปนี้ในช่อง ISAD(G): ชื่อ วันที่ ระดับคำอธิบาย (เอกสาร/ไฟล์) ขอบเขตและเนื้อหา (สรุปโดยย่อ) ผู้สร้าง ภาษา ทิ้งรหัสอ้างอิง BLANK (สถาบันจะจัดให้) อย่าเพิ่มข้อมูลใดๆ ที่ไม่ได้อยู่ในข้อความ ปล่อยให้ช่องที่ไม่มีอยู่ว่างไว้ เอกสาร: [ที่นี่]

3) ข้อเสนอแนะระยะหัวข้อ (ควบคุม):

แนะนำคำศัพท์หัวข้อ 3-5 ข้อที่เหมาะสมกับเอกสารด้านล่าง ขั้นแรกให้อาศัยข้อเท็จจริงในเอกสาร ด้านล่างนี้คือรายการคำศัพท์ที่มีการควบคุมของสถาบันของเรา ขั้นแรก ให้เลือกจากรายการนี้ หากไม่มีอยู่ในรายการ ให้ทำเครื่องหมายข้อเสนอแนะคำศัพท์ใหม่ของคุณแยกกัน รายการ: [เงื่อนไข]. เอกสาร: [ที่นี่]

4) การตรวจสอบความสอดคล้องเป็นกลุ่ม:

ด้านล่างนี้คือบันทึกข้อมูลเมตาสำหรับเอกสารจากคอลเลกชันเดียวกัน แจ้งความไม่สอดคล้องกัน: บันทึกการสะกดสถานที่/บุคคลเดียวกันต่างกัน รูปแบบวันที่ต่างกัน คำที่ต่างกันสำหรับเรื่องเดียวกัน การแก้ไขการนำ; เพียงสร้างรายการความไม่สอดคล้องกันเพื่อให้มนุษย์ตรวจสอบ บันทึก: [ที่นี่]

พรอมต์อ่อน / พรอมต์แรง

อ่อนแอ:

สร้างบันทึกแค็ตตาล็อกที่สมบูรณ์สำหรับเอกสารนี้

คำสั่งที่ “สมบูรณ์” ผลักดันให้ AI เข้ามาเติมเต็มทุกช่องว่าง กล่าวคือ ประดิษฐ์ประวัติศาสตร์และผู้สร้างที่ไม่มีอยู่จริง

แข็งแกร่ง:

Dublin Core ได้รับการร่างขึ้นสำหรับเอกสารนี้ ใช้เฉพาะข้อมูลที่รวมอยู่ในการถอดเสียงอย่างชัดเจน ปล่อยฟิลด์ที่ไม่มีว่างไว้ ไม่ต้องเดา เลือกคำศัพท์ของหัวข้อจากรายการควบคุมนี้: [รายการ] ทำเครื่องหมายวันที่และชื่อบุคคลด้วย [?] เพื่อให้สามารถตรวจสอบกับเอกสารได้ ถอดความ: [ที่นี่]

ความแตกต่าง: การอนุญาต "เว้นว่างไว้" แทนฉบับที่ "สมบูรณ์" การยึดถือรายการที่มีการควบคุม และเครื่องหมายยืนยันจะช่วยปกป้องแค็ตตาล็อกจากการปลอมแปลง

ข้อผิดพลาดทั่วไป

  • แปลว่า "เติมให้เต็ม". สิ่งนี้นำไปสู่การปรับฟิลด์ที่ไม่มีอยู่ให้เหมาะสม ควรให้สิทธิ์ "เว้นว่างไว้"
  • ปล่อยเงื่อนไขเรื่อง คำศัพท์ที่ไม่สอดคล้องกับคำศัพท์ที่ได้รับการควบคุมจะทำให้การค้นหาเสียสมาธิ
  • มี AI ทำนายประวัติศาสตร์ การป้อนวันที่สมมติลงในเอกสารที่ไม่ระบุวันที่จะทำให้แค็ตตาล็อกเสียหาย
  • มีรหัสอ้างอิงที่สร้างโดย AI นี่คือพื้นที่ขององค์กรที่มีเอกลักษณ์เฉพาะตัว คนขว้าง
  • ไม่กำหนดมาตรฐาน. หากไม่กล่าวถึงมาตรฐาน ผลงานจะเป็นร่างยุ่งวุ่นวายที่ไม่สามารถเข้าสู่สถาบันได้

โดยสรุป

ข้อมูลเมตาและการจัดทำรายการเป็นโครงสร้างพื้นฐานที่มองไม่เห็นซึ่งเปิดไฟล์เก็บถาวรให้กับผู้วิจัย และต้องใช้ความพยายามอย่างมาก จากการถอดเสียง AI จะสร้างโครงร่างอย่างรวดเร็วสำหรับสาขาต่างๆ เช่น วันที่ บุคคล สถานที่ หัวข้อ และประเภท สามารถทำงานได้ตามมาตรฐาน เช่น ISAD(G) หรือ Dublin Core แต่ความกดดันที่ต้อง “เติมให้เต็ม” ดันให้ AI ต้องแก้ไขสิ่งต่างๆ การอนุญาต "เว้นว่างไว้" การแมปกับคำศัพท์ที่ควบคุม และการยืนยันวันที่/ชื่อโดยมนุษย์ทำให้แคตตาล็อกมีความน่าเชื่อถือ AI เตรียมร่าง; คุณต้องรับผิดชอบต่อความถูกต้องของแค็ตตาล็อก

งานสมัคร

ถอดความเอกสารและขอข้อมูลเมตาจาก AI ด้วยเทมเพลต "Dublin Coreร่าง" ตรวจสอบว่าได้เว้นช่องว่างที่ไม่มีอยู่ไว้ จากนั้นเรียกใช้เทมเพลต "ข้อเสนอแนะหัวข้อ" ด้วยรายการตรวจสอบของคุณเอง (หรือตัวอย่าง) สุดท้าย ให้ทดสอบบันทึกสองสามรายการด้วย "การตรวจสอบความสอดคล้องจำนวนมาก" สังเกตจำนวนฟิลด์ที่ AI พยายามเติมด้วยการคาดการณ์ และจำนวนคำศัพท์ที่ต้องจับคู่กับรายการ

รายการตรวจสอบ

  • [ ] ฉันได้ระบุมาตรฐานเป้าหมายไว้อย่างชัดเจน (ISAD(G)/Dublin Core)
  • [ ] ฉันให้สิทธิ์ "ปล่อยให้ช่องว่างว่างไว้"
  • [ ] ฉันแมปเงื่อนไขของหัวข้อกับรายการควบคุม
  • [ ] ฉันตรวจสอบวันที่และชื่อบุคคลด้วยเอกสาร/บันทึกอำนาจ
  • [ ] I left the reference code to the institution, not to AI.