การแปลงเอกสารเป็นดิจิทัลและ OCR: การแปลงข้อความที่พิมพ์เป็นข้อความในเครื่อง

กำไร:

• ความสามารถในการตั้งค่าขั้นตอนการทำงานการแปลงเป็นดิจิทัลและ OCR (การสแกน การประมวลผลล่วงหน้า การจดจำ การแก้ไข การตรวจสอบ) ทีละขั้นตอน
• ความสามารถในการใช้ AI เพื่อแก้ไขข้อผิดพลาด OCR พร้อมบริบท ในขณะที่ยังคงแก้ไขและเขียนบรรทัดใหม่ และทำเครื่องหมายความคลุมเครือด้วย [?]
• ทำความเข้าใจว่าเหตุใดจึงต้องตรวจสอบตัวเลข วันที่ และชื่อเฉพาะด้วยสายตา และบทบาทของการควบคุมคุณภาพ

จำนวนหน้าหลายล้านหน้าบนชั้นวางจริงของเอกสารสำคัญหรือห้องสมุดจะเปิดให้ผู้วิจัยเปิดได้อย่างแท้จริงก็ต่อเมื่อหน้าเหล่านั้นกลายเป็นดิจิทัลและสามารถค้นหาได้ การแปลงเป็นดิจิทัลคือการแปลงเอกสารทางกายภาพให้เป็นภาพดิจิทัลโดยการสแกนหรือถ่ายภาพ แต่รูปถ่ายของเพจยังไม่ใช่ "ข้อความ" สำหรับคอมพิวเตอร์ มันยังคงเป็นรูปภาพ คุณไม่สามารถค้นหาในนั้นได้ นี่คือจุดที่ OCR เข้ามามีบทบาท

OCR (การรู้จำอักขระด้วยแสง) เป็นเทคโนโลยีที่จดจำตัวอักษรที่พิมพ์ในภาพเอกสาร และแปลงเป็นข้อความที่เครื่องอ่านได้และค้นหาได้ ในหน่วยนี้ คุณจะได้เรียนรู้วิธีแปลงเอกสารที่พิมพ์ในอดีตให้เป็นดิจิทัลด้วย OCR วิธีที่ AI ช่วยแก้ไขข้อผิดพลาด OCR ในกระบวนการนี้ และจุดที่ดวงตาของมนุษย์มีความสำคัญ (ข้อความที่เขียนด้วยลายมือต้องใช้เทคโนโลยีที่แตกต่าง เราจะกล่าวถึงในหน่วยถัดไป)

ขั้นตอนการทำงานเป็นดิจิทัล: ทีละขั้นตอน

1. การเตรียมการและการคัดกรอง สแกนเอกสารด้วยคุณภาพสูงสุดที่เป็นไปได้ หลักการทั่วไปสำหรับการวิจัยเชิงประวัติศาสตร์คือความละเอียดอย่างน้อย 300-400 DPI (จุดต่อนิ้ว) ความละเอียดต่ำจะเพิ่มอัตราความผิดพลาดให้สูงขึ้นอย่างรวดเร็วในระยะ OCR ที่ตามมา

2. การประมวลผลภาพล่วงหน้า การปรับปรุงรูปภาพก่อน OCR จะช่วยเพิ่มความสำเร็จได้อย่างมาก เช่น การปรับหน้าที่สแกน, การลบรอยตำหนิ, เพิ่มความเปรียบต่าง, การแปลงเป็นขาวดำ เครื่องมือที่ใช้ AI สมัยใหม่สามารถทำให้ขั้นตอนนี้เป็นไปโดยอัตโนมัติ

3. แอปพลิเคชัน OCR คุณป้อนรูปภาพไปยังเอ็นจิ้น OCR เครื่องยนต์จดจำตัวอักษรและสร้างข้อความ โดยทั่วไปผลลัพธ์จะประกอบด้วยสองชั้น: รูปภาพเอกสารที่มองเห็นได้และ "เลเยอร์ข้อความที่ซ่อนอยู่ที่ค้นหาได้" ข้างใต้

4. การแก้ไข (หลังการแก้ไข) เอาต์พุต OCR แบบดิบไม่เคยสมบูรณ์แบบ อ่านอักขระไม่ถูกต้องเนื่องจากแบบอักษรเก่า กระดาษเหลือง หมึกเลอะ และข้อผิดพลาดในการสแกน นี่คือจุดที่ AI เป็นตัวช่วยที่ทรงพลัง โดยจะแนะนำและแก้ไขข้อผิดพลาด OCR โดยใช้บริบท

5. การตรวจสอบและการควบคุมคุณภาพ ข้อความที่แก้ไขจะถูกตรวจสอบโดยมนุษย์ตามตัวอย่างหรือทั้งหมด โดยเฉพาะอย่างยิ่งบริเวณที่สำคัญ เช่น ชื่อ วันที่ และหมายเลข จะต้องได้รับการตรวจสอบด้วยสายตา

เหตุใด OCR จึงทำผิดพลาด AI ช่วยได้อย่างไร

ปัญหาทั่วไปที่ท้าทาย OCR ในเอกสารทางประวัติศาสตร์: แบบอักษรเก่าและสวยงาม รูปแบบตัวอักษรที่ล้าสมัย เช่น ตัว "s" ยาว (ſ) เค้าโครงหน้าสองคอลัมน์ เชิงอรรถ ส่วนแทรกที่เขียนด้วยลายมือ ซีล และหมึกซีดจาง เนื่องจากกลไก OCR "เห็น" ตัวอักษรทีละตัว จึงมักสับสนระหว่างเลขฐานสอง "rn" เป็น "m" ตัวอักษร "l" เป็นตัวเลข "1" และตัวอักษร "O" เป็น "0"

โมเดลภาษา AI นำเสนอพลังที่แตกต่าง: เข้าใจบริบท หากกลไก OCR เขียนว่า "1stanbu1" AI ก็สามารถอนุมานจากบริบทได้ว่าควรเป็น "Istanbul" แต่มีอันตรายใหญ่อยู่ที่นี่เมื่อ "แก้ไข" AI ก็สามารถเปลี่ยนข้อความได้เช่นกัน เขาสามารถเพิ่ม "ฉันแก้ไข" คำที่ไม่มีอยู่จริงหรือเติมคำที่ไม่ชัดเจนด้วยการเดาของเขาเอง สิ่งนี้ขัดขวางความเที่ยงตรงของการถอดเสียง

ข้อควรระวัง: กฎทองในการแก้ไข OCR คือ: AI ควรแก้ไขข้อผิดพลาดในการรู้จำที่ชัดเจนเท่านั้น ไม่ใช่ตีความหรือเสริมเนื้อหาของข้อความ "1stanbu1 → อิสตันบูล" ถูกต้องตามกฎหมาย มันไม่เกี่ยวกับการเติมคำที่อ่านไม่ออกด้วยการเดา สถานที่ที่ไม่แน่นอนควรมีเครื่องหมาย [?] และไม่ควรสร้างขึ้นใหม่

ประเภทข้อผิดพลาด OCR และแนวทางพร้อมตาราง

ประเภทข้อผิดพลาด

ตัวอย่าง

AI สามารถแก้ไขได้หรือไม่?

การควบคุมของมนุษย์

การผสมตัวละคร

rn↔ม, l↔1, O↔0

ใช่มันปลอดภัย

ตัวอย่าง

รูปตัวอักษรเก่า

ยาว ſ → ส

ใช่มันปลอดภัย

ตัวอย่าง

คำจาง/อ่านไม่ออก

"คะ__น"

ไม่ ควรใส่ [?]

บังคับ

ชื่อจริง/ชื่อสถานที่

“คอนสแตนตินี่ย์”

ระวัง

บังคับ

หมายเลข/วันที่

"พ.ศ. 2410" กับ "พ.ศ. 2400"

มีความเสี่ยง

บังคับ

เค้าโครงหน้า (คอลัมน์/เชิงอรรถ)

การไหลแบบผสม

บางส่วน

บังคับ

เพื่อสรุปรูปภาพในหนึ่งประโยค: AI จะล้างข้อผิดพลาดของอักขระทั่วไปได้อย่างน่าเชื่อถือ แต่ดวงตาของมนุษย์จำเป็นสำหรับชื่อพิเศษ ตัวเลข วันที่ และสถานที่ที่ไม่สามารถอ่านได้

มินิเคสสามอัน

กรณีที่ 1 — คลังหนังสือพิมพ์สามารถค้นหาได้ ห้องสมุดของมหาวิทยาลัยแห่งหนึ่งได้แปลงหนังสือพิมพ์ท้องถิ่นจำนวน 12,000 หน้าในช่วงทศวรรษที่ 1930 ให้เป็นดิจิทัล ความแม่นยำของ Raw OCR อยู่ที่ประมาณ 82% (อักขระ 18 ตัวจากทุกๆ 100 ตัวไม่ถูกต้อง) การแก้ไขด้วย AI เพิ่มความแม่นยำถึง 96% ด้วยพจนานุกรมและบริบทที่เหมาะสมกับภาษาของหนังสือพิมพ์ สำหรับข้อผิดพลาดที่เหลืออยู่ จะดำเนินการตรวจสอบตัวอย่างแทนข้อความฉบับเต็ม คอลเล็กชันนี้สามารถค้นหาได้ภายใน 3 สัปดาห์

กรณีที่ 2 — AI “แก้ไข” และประวัติศาสตร์ที่บิดเบี้ยว นักเก็บเอกสารให้ AI แก้ไขวันที่ "1863" บนเอกสารที่พิมพ์ OCR AI “แก้ไข” วันที่เป็น “1868” โดยดูเหตุการณ์อื่นในบริบท – แม้ว่าเอกสารจะระบุปี 1863 ไว้อย่างชัดเจนก็ตาม หากผู้จัดเก็บเอกสารไม่ได้ดูภาพต้นฉบับ แค็ตตาล็อกก็จะป้อนวันที่ผิด บทเรียน: ตัวเลขและวันที่ไม่เคยตกเป็นหน้าที่ของ AI แต่ได้รับการตรวจสอบด้วยรูปภาพแล้ว

กรณีที่ 3 — หน้าสองคอลัมน์สับสน หน้าสองคอลัมน์ของหนังสือรุ่นศตวรรษที่ 19 ถูกผสมเป็นสตรีมเดียวใน OCR และประโยคก็เชื่อมโยงกัน ไม่สามารถอ่านเอาต์พุตดิบได้ ข้อความได้รับการปรับปรุงเมื่อฉันแบ่งเค้าโครงหน้าออกเป็นส่วนๆ (การแบ่งส่วน) และประมวลผลแต่ละคอลัมน์แยกกัน บทเรียน: ในรูปแบบหน้าที่ซับซ้อน โครงสร้างมาก่อน ข้อความที่สอง

เทมเพลตที่สามารถคัดลอกได้สี่แบบ

1) การแก้ไข OCR ที่ปลอดภัย:

ด้านล่างนี้คือเอาต์พุต OCR ดิบของเอกสารประวัติ งานของคุณคือแก้ไขข้อผิดพลาดการรับรู้แสงที่ชัดเจนเท่านั้น (เช่น rn→m,1→l, 0→O, long ſ→s) กฎเกณฑ์: (1) ตีความความหมายของข้อความ (2) แก้ไขคำที่อ่านไม่ออก/คลุมเครือ ทิ้งไว้ตามที่เป็นอยู่และทำเครื่องหมายด้วย [?] (3) ห้ามเพิ่ม ลบ หรือเติมประโยค (4) เปลี่ยนหมายเลขและวันที่ ทำเครื่องหมาย [หมายเลข?] หากมีข้อสงสัย OCR ดิบ: [ที่นี่]

2) รายงานคุณภาพ OCR:

ตรวจสอบผลลัพธ์ OCR ด้านล่างและสร้างรายงานคุณภาพ: (1) แสดงรายการคำที่อาจเกิดข้อผิดพลาดในการรู้จำ (2) ทำเครื่องหมายบริเวณที่อ่านไม่ออก/ไม่ชัดเจน (3) ระบุชื่อ วันที่ และหมายเลขเฉพาะที่ต้องมีการตรวจสอบโดยมนุษย์ อย่าแก้ไข; สร้างรายการตรวจสอบเท่านั้น ข้อความ: [ที่นี่]

3) ความช่วยเหลือในการแยกวิเคราะห์คอลัมน์/โครงสร้าง:

เนื่องจากข้อความ OCR ด้านล่างมาจากหน้าสองคอลัมน์ ขั้นตอนนี้อาจสับสนได้ จัดเรียงข้อความใหม่เป็นย่อหน้าเชิงตรรกะ แต่อย่าเปลี่ยนแปลง เพิ่ม หรือลบคำใดๆ เพียงแก้ไขคำสั่งซื้อ ทำเครื่องหมายคำสั่งซื้อที่คุณไม่แน่ใจด้วย [order?] ข้อความ: [ที่นี่]

4) การทำให้เป็นมาตรฐานเป็นภาษามาตรฐาน (ไม่จำเป็น, แยกเลเยอร์):

สร้างเวอร์ชันอ่านง่ายในการสะกดของวันนี้ ในคอลัมน์แยกต่างหาก เหนือข้อความทางประวัติศาสตร์ที่แก้ไขด้านล่าง ห้ามแก้ไขข้อความต้นฉบับ ปล่อยให้การทำให้ง่ายขึ้นเป็นชั้นที่แยกจากกัน เพียงอัปเดตการสะกด/การออกเสียงโดยไม่ต้องเพิ่มความหมาย ต้นฉบับ: [ที่นี่]

พรอมต์อ่อน / พรอมต์แรง

อ่อนแอ:

แก้ไขและตกแต่งข้อความ OCR นี้ให้สวยงาม

“Beautify” ช่วยให้ AI เขียนข้อความใหม่ แต่งข้อความที่ละเว้น และตีความเนื้อหา ทำลายความภักดี

แข็งแกร่ง:

แก้ไขข้อผิดพลาดการรู้จำแสงเฉพาะในเอาต์พุต OCR แบบดิบนี้ ห้ามตีความความหมาย เพิ่ม/ลบคำ ปล่อยส่วนที่อ่านไม่ออกด้วย [?] เปลี่ยนตัวเลขและวันที่ แสดงการแก้ไขแต่ละรายการที่คุณทำในรายการแยกต่างหากในรูปแบบ "ต้นฉบับ → การแก้ไข" เพื่อให้ฉันสามารถตรวจสอบได้ ข้อความ: [ที่นี่]

ความแตกต่าง: หน้าที่ที่มีขอบเขต ข้อห้ามในการประดิษฐ์ การทำเครื่องหมายความคลุมเครือ และรายการการแก้ไขที่ตรวจสอบย้อนกลับได้ ทำให้สามารถตรวจสอบผลลัพธ์ได้

ข้อผิดพลาดทั่วไป

• การสแกนที่ความละเอียดต่ำ ข้อผิดพลาด OCR ส่วนใหญ่เกิดจากภาพที่ไม่ดี การสแกนที่มีคุณภาพคือการลงทุนที่ถูกที่สุด
• เรียก AI ว่า “ทำให้สวย” สิ่งนี้ทำให้เกิดความคล่องแคล่วมากกว่าความซื่อสัตย์ เอกสารถูกเขียนใหม่
• ทิ้งตัวเลขและวันที่ไว้ให้ AI สิ่งเหล่านี้เสียหายแบบเงียบๆ เมื่อ "แก้ไข" จากบริบท จะต้องตรวจสอบด้วยภาพ
• เติมช่องว่างที่อ่านไม่ได้ด้วยการเดา ควรได้รับการปกป้องด้วยความไม่แน่นอน [?] ไม่ใช่การสร้างขึ้น
• ไม่ได้ควบคุมเลยแทนที่จะสุ่มตัวอย่าง ความแม่นยำ 96% ทำให้เกิดข้อผิดพลาดนับพันใน 12,000 หน้า พื้นที่วิกฤติจะถูกสแกน

โดยสรุป

OCR เปิดเอกสารสำคัญแก่นักวิจัยโดยแปลงเอกสารประวัติศาสตร์ที่พิมพ์ออกมาเป็นข้อความที่ค้นหาได้ AI เป็นตัวช่วยที่ทรงพลังในการแก้ไขข้อผิดพลาดของอักขระในเอาต์พุต OCR แบบดิบพร้อมบริบท แต่คุณต้องลากเส้นระหว่างการแก้ไขและการเขียนใหม่ การสแกนคุณภาพสูง คำแนะนำในการแก้ไขอย่างปลอดภัย การรักษาความกำกวมด้วย [?] และการตรวจสอบชื่อ/วันที่/หมายเลขด้วยตามนุษย์ ทำให้การแปลงเป็นดิจิทัลรวดเร็วและเชื่อถือได้ AI ทำความสะอาดข้อความ คุณคือผู้พิทักษ์แห่งความซื่อสัตย์

งานสมัคร

สแกนเอกสารทางประวัติศาสตร์ที่จัดพิมพ์ (หนังสือพิมพ์เก่า จดหมายอย่างเป็นทางการ หน้าหนังสือ) หรือพิมพ์ OCR ให้แก้ไขข้อความด้วยเทมเพลต “การแก้ไข OCR ที่ปลอดภัย” และขอแก้ไขผ่านรายการ “ต้นฉบับ → การแก้ไข” จากนั้น ลบส่วนที่ต้องมีการควบคุมโดยมนุษย์ด้วย "รายงานคุณภาพ OCR" เปรียบเทียบแต่ละวันที่และชื่อเฉพาะในรายการกับรูปภาพจริง โปรดทราบว่ามีกี่รายการที่ "แก้ไข" ไม่ถูกต้อง

รายการตรวจสอบ

• [ ] ฉันสแกนเอกสารด้วยความละเอียดอย่างน้อย 300 DPI และคอนทราสต์ที่ดี
• [ ] ฉันขอให้ AI แก้ไขข้อผิดพลาดด้านแสงเท่านั้น ไม่ใช่เขียนใหม่
• [ ] ฉันป้องกันส่วนที่อ่านไม่ได้ด้วย [?]
• [ ] ฉันตรวจสอบตัวเลข วันที่ และชื่อเฉพาะทั้งหมดด้วยรูปภาพแล้ว
• [ ] ฉันได้ทำการสุ่มตัวอย่างหรือตรวจสอบทั้งหมดในพื้นที่วิกฤติ