กำไร:
- ความสามารถในการแยกแยะระหว่างชั้น QA อัตโนมัติและชั้น LQA ทางภาษา และใช้ทั้งสองอย่างในลำดับที่ถูกต้อง
- ความสามารถในการประเมินการแปลอย่างเป็นกลางตามหมวดหมู่และน้ำหนัก (วิกฤต/สำคัญ/รอง) ด้วยกรอบข้อผิดพลาด เช่น MQM
- ความสามารถในการตัดสินใจขั้นสุดท้ายเมื่อใช้ AI เป็นผู้ตรวจสอบ การรับรู้ถึงความไม่รู้ในการแปลของตัวเอง ความเสี่ยงในการทำผิดพลาด และขีดจำกัดของการวัดผลอัตโนมัติ
ทันทีที่คุณบอกว่าการแปล "เสร็จสิ้น" นั่นก็เท่ากับครึ่งหนึ่งของงาน อีกครึ่งหนึ่งเป็นการพิสูจน์ว่าการแปลนั้นเชื่อถือได้จริง ในหน่วยนี้ คุณจะได้เรียนรู้วิธีการที่เป็นระบบในการวัดคุณภาพการแปล: การตรวจสอบ QA อัตโนมัติ กรอบงานข้อผิดพลาด LQA ที่อิงโดยมนุษย์ ตัวชี้วัดคุณภาพ และวิธีการใช้ AI เป็น "ผู้ตรวจสอบ" และข้อจำกัดต่างๆ จุดมุ่งหมายคือการหลีกหนีจากความคิดส่วนตัวที่ว่า "ฉันคิดว่ามันดี" และกลายเป็นผู้เชี่ยวชาญที่กำหนด วัดผล และพิสูจน์คุณภาพ
การควบคุมคุณภาพสองประเภท: อัตโนมัติและภาษา
QA (การประกันคุณภาพ) ทำงานในการแปลสองชั้น:
QA อัตโนมัติ: ข้อผิดพลาดด้านรูปแบบที่เครื่องมือ CAT และสคริปต์ตรวจพบ - หมายเลขไม่ตรงกัน, ขาดหายไป/มีพื้นที่เกิน, คำไม่สอดคล้องกัน, ส่วนที่ไม่ได้แปล, ตัวยึดตำแหน่ง/แท็กไม่ถูกต้อง, เว้นวรรคสองครั้ง, เครื่องหมายวรรคตอน สิ่งเหล่านี้จะถูกสแกนอย่างรวดเร็วและสมบูรณ์ด้วยเครื่อง มันหลบสายตามนุษย์ แต่ยานพาหนะกลับจับมันได้
LQA (การประกันคุณภาพภาษา): นี่คือชั้นที่ผู้ประเมินที่เป็นมนุษย์ตรวจสอบความหมาย คำศัพท์ รูปแบบ ไวยากรณ์ และความเหมาะสมของท้องถิ่น QA อัตโนมัติ "ตัวเลขตรงกันหรือไม่" ดูคำถาม LQA “ความหมายถูกต้อง น้ำเสียงเหมาะสม เหมาะสมกับวัฒนธรรมหรือไม่” เขามองคำถาม ทั้งสองเสริมซึ่งกันและกัน หนึ่งไม่ได้แทนที่อีกอัน
เคล็ดลับ: เรียกใช้ Auto QA ก่อนเสมอ การล้างข้อผิดพลาดที่เป็นทางการช่วยให้ผู้ประเมินที่เป็นมนุษย์สามารถมุ่งความสนใจไปที่ปัญหาทางภาษาที่แท้จริงได้ ผู้ตรวจสอบที่รบกวนเกี่ยวกับข้อผิดพลาดของตัวเลขจะพลาดข้อผิดพลาดของโทนเสียง
กรอบข้อผิดพลาด: MQM และ DQF
ประเภทข้อผิดพลาดมาตรฐานใช้เพื่อทำให้คุณภาพสามารถวัดได้ ไม่ใช่ "ดี/ไม่ดี" ที่พบบ่อยที่สุดคือ MQM (ตัวชี้วัดคุณภาพหลายมิติ): โดยจะกำหนดข้อผิดพลาดแต่ละรายการให้กับหมวดหมู่ (ความแม่นยำ ความคล่องแคล่ว คำศัพท์เฉพาะทาง สไตล์ สถานที่ รูปแบบ) และน้ำหนัก (วิกฤต หลัก รอง) กรอบงานอื่นคือ DQF (Dynamic Quality Framework) และกล่าวถึงร่วมกับ MQM
เหตุใดจึงสำคัญ? เนื่องจากด้วยกรอบการทำงานนี้ คุณสามารถให้คะแนนข้อผิดพลาดในการแปล เปรียบเทียบนักแปล/กลไกต่างๆ อย่างเป็นกลาง และถามว่า "สามารถส่งข้อความนี้ได้หรือไม่" คุณตอบคำถามด้วยเกณฑ์ที่เป็นตัวเลข ตัวอย่างเช่น: ข้อผิดพลาดร้ายแรง = 10 คะแนน, หลัก = 5, รอง = 1; ข้อความที่ต่ำกว่าเกณฑ์ที่กำหนดจะผ่านไปตามคำบางคำ
ข้อผิดพลาดที่สำคัญ: ข้อผิดพลาดที่กลับความหมาย สร้างความเสี่ยงด้านความปลอดภัย/ทางกฎหมาย สร้างความเสียหายให้กับแบรนด์ (ปริมาณที่ไม่ถูกต้อง "ไม่รับผิดชอบ" แทนที่จะเป็น "รับผิดชอบ") หลัก: ก่อกวน แต่ไม่เป็นอันตราย ผู้เยาว์: สังเกตได้ชัดเจนแต่ไม่เบี่ยงเบนความหมาย (รูปแบบเล็กน้อย/เครื่องหมายวรรคตอน)
การใช้ AI เป็นผู้ควบคุม — และข้อจำกัดของมัน
AI ทำงานรวดเร็วและมีประโยชน์ในการตรวจสอบการแปลโดยเทียบกับกรอบข้อผิดพลาด: คุณสามารถพูดว่า “ทำเครื่องหมายความถูกต้อง คำศัพท์เฉพาะทาง ข้อผิดพลาดด้านความคล่องแคล่วในการแปลนี้ด้วยหมวดหมู่ MQM” ช่วยลดจุดบอดของคุณและช่วยให้คุณ "ตาที่สอง" ได้อย่างรวดเร็ว
แต่มีข้อจำกัดสำคัญสามประการ: (1) AI อาจทำให้คนตาบอดได้เมื่อตรวจสอบการแปลที่สร้างขึ้น ทั้งที่ทำและยืนยันข้อผิดพลาดเดียวกัน; ตรวจสอบกับรุ่นอื่นหรือกลับไปยังแหล่งที่มา (2) AI สามารถสร้าง "ข้อผิดพลาด" ที่ทำให้ประสาทหลอนได้ - รายงานข้อผิดพลาดที่ไม่มีอยู่ ยืนยันคำเตือนแต่ละครั้ง (3) AI อาจไม่เข้าใจความรุนแรงของข้อผิดพลาดร้ายแรงในโลกแห่งความเป็นจริงได้อย่างเต็มที่ (ข้อผิดพลาดของขนาดยาอาจถึงแก่ชีวิตได้) ผู้เชี่ยวชาญทำการชั่งน้ำหนัก ดังนั้น AI จึงเร่ง QA แต่การตัดสินใจด้านคุณภาพขั้นสุดท้ายและการอนุมัติการส่งมอบจะขึ้นอยู่กับมนุษย์
ข้อควรระวัง: การพูดว่า "AI ผ่าน QA แล้ว สะอาด" เป็นความรู้สึกมั่นใจแบบผิด ๆ การตรวจสอบ AI ไม่ใช่การแทนที่ LQA ของมนุษย์และการเปรียบเทียบกับแหล่งที่มา เป็นเลเยอร์คัดกรองล่วงหน้าที่ช่วยให้พวกมันทำงานได้เร็วขึ้น
มินิเคสสามอัน
กรณีที่ 1 — QA อัตโนมัติพบข้อผิดพลาดจำนวน 40 รายการ ในการแปลรายงานทางการเงิน QA อัตโนมัติตรวจพบตัวเลข/รูปแบบที่ไม่ตรงกัน 40 รายการระหว่างแหล่งที่มาและเป้าหมาย (ตัวคั่นหลักพัน ทศนิยม สกุลเงิน) สายตาของมนุษย์จะพลาดสิ่งเหล่านี้ส่วนใหญ่ ยานพาหนะที่ระบุไว้ในไม่กี่วินาที
กรณีที่ 2 — คะแนน MQM นำไปสู่การเลือกเครื่องยนต์ สำนักหนึ่ง MQM ให้คะแนนผลลัพธ์ของเครื่องยนต์ MT สองตัวที่แตกต่างกันที่ 2,000 คำ: เครื่องยนต์ A มีจุดผิดพลาด 12 จุด เครื่องยนต์ B 31 การวัดผลตามวัตถุประสงค์ได้ตัดสินข้อโต้แย้ง "อันไหนดีกว่า" ด้วยคะแนน สำนักงานกำหนดให้เครื่องยนต์ A เป็นมาตรฐานและวางแผนงบประมาณหลังการแก้ไขให้สอดคล้องกัน
กรณีที่ 3 — การตรวจสอบ AI พลาดความผิดพลาดของตัวเอง นักแปลมีการแปลของ LLM ซึ่งอยู่ภายใต้การดูแลของ LLM เดียวกัน นางแบบกล่าวว่า "ไม่มีปัญหา" ซึ่งเป็นข้อผิดพลาดด้านคำศัพท์ที่เธอทำเอง ข้อผิดพลาดถูกเปิดเผยเมื่อผู้แปลตรวจสอบกับโมเดลและแหล่งที่มาอื่น ทีมงานจึงนำกฎที่ว่า "โมเดลเดียวกันไม่ควรควบคุมตัวเอง"
เทมเพลตที่สามารถคัดลอกได้สี่แบบ
1) การตรวจสอบข้อผิดพลาดตาม MQM:
บทบาทของคุณ: ผู้ประเมิน LQA เปรียบเทียบแหล่งที่มาและการแปลด้านล่าง ระบุข้อผิดพลาดแต่ละข้อที่คุณพบในรูปแบบต่อไปนี้: [หมวดหมู่: ความแม่นยำ/คำศัพท์เฉพาะทาง/ความคล่องแคล่ว/สไตล์/รูปแบบ][น้ำหนัก: สำคัญ/สำคัญ/รอง] [สถานที่] [ความคิดเห็น] [การแก้ไข] ทำเครื่องหมายคำเตือนที่คุณไม่แน่ใจเป็น "จำเป็นต้องยืนยัน"; errorfabrication.ที่มา: [...] | การแปล: [...]
2) Critical error scanning (high risk):
ค้นหาข้อผิดพลาดร้ายแรงเฉพาะในการแปลด้านล่าง: ความหมายการกลับกัน ข้อผิดพลาดด้านจำนวน/ขนาดยา/วันที่ การสูญเสียการปฏิเสธ การทดแทนภาระผูกพันทางกฎหมาย ข้อผิดพลาดคำเตือนด้านความปลอดภัย เพิกเฉยต่อปัญหาสไตล์เล็กน้อย อ้างอิงแหล่งที่มาสำหรับการค้นพบที่สำคัญแต่ละรายการที่มา: [...] | การแปล: [...]
3) การควบคุมเสริม QA อัตโนมัติ:
แสดงรายการความไม่สอดคล้องกันอย่างเป็นทางการในคู่แหล่งที่มา-เป้าหมายต่อไปนี้: หมายเลขไม่ตรงกัน ไม่มี/ตัวยึดตำแหน่งหรือแท็กเพิ่มเติม คำที่ไม่สอดคล้องกัน ส่วนที่ไม่ได้แปล ความแตกต่างของหน่วย/สกุลเงิน เพียงแค่บอกปัญหาเกี่ยวกับตำแหน่งของพวกเขา คู่: [...]
4) Independent second eye (cross-check):
ประเมินการแปลนี้โดยไม่มีอคติ อย่าถือว่าคุณเขียนมัน ให้คะแนนคุณภาพแก่แหล่งที่มา (1-5) สำหรับความเที่ยงตรง คำศัพท์เฉพาะทาง และความเป็นธรรมชาติ และระบุปัญหา 3 อันดับแรก มันขึ้นอยู่กับฉันที่จะตัดสินใจ ที่มา: [...] | การแปล: [...]
พรอมต์อ่อน / พรอมต์แรง
อ่อนแอ: "การแปลนี้ดีไหม?" (ไม่มีเกณฑ์ AI ส่งคืนคำตอบที่ไม่มีประโยชน์เช่น "ดีโดยทั่วไป")
ชัดเจน: "ตรวจสอบคำแปลนี้โดยเทียบกับแหล่งที่มา ติดป้ายกำกับแต่ละข้อผิดพลาดด้วยหมวดหมู่ (ความแม่นยำ/คำศัพท์เฉพาะทาง/ความคล่อง) และความรุนแรง (สำคัญ/สำคัญ/รอง) เน้นไปที่ข้อผิดพลาดด้านจำนวน การปฏิเสธ และคำศัพท์ อย่าสร้างข้อผิดพลาด ทำเครื่องหมาย 'จำเป็นต้องยืนยัน' หากคุณไม่แน่ใจ"
ความแตกต่าง: พรอมต์ที่แข็งแกร่งให้กรอบข้อผิดพลาดและโฟกัส ผลลัพธ์ที่ได้คือรายงานคุณภาพที่เปรียบเทียบได้และนำไปปฏิบัติได้
ตารางเลเยอร์คุณภาพ
ชั้น
สิ่งที่จับได้
ใคร/ทำอะไร
ประกันคุณภาพรถยนต์
หมายเลข ฉลาก ความสม่ำเสมอ
เครื่องมือ/สคริปต์
การควบคุมเอไอ
ข้อผิดพลาดด้านความหมาย/คำศัพท์ที่เป็นไปได้
LLM (พร้อมการยืนยัน)
LQA ของมนุษย์
ความหมาย น้ำเสียง วัฒนธรรม น้ำหนัก
ผู้ประเมินผู้เชี่ยวชาญ
คะแนน MQM/DQF
คะแนนข้อผิดพลาดตามวัตถุประสงค์
มนุษย์มีกรอบ
การยืนยันการจัดส่ง
ความรับผิดชอบสูงสุด
นักแปลที่มีความสามารถ
ข้อผิดพลาดทั่วไป
- Skipping the automated QA and getting straight into reading. ข้อผิดพลาดด้านโวหารเบี่ยงเบนความสนใจ
- แทนที่การตรวจสอบ AI ด้วย LQA ของมนุษย์ AI คัดกรองล่วงหน้า ไม่อนุมัติ
- มีรุ่นเดียวกันตรวจสอบการแปลของตัวเอง จุดบอด; จำเป็นต้องมีการตรวจสอบข้าม
- ไม่ใช่ข้อผิดพลาดในการถ่วงน้ำหนัก การมองว่าวิพากษ์วิจารณ์และเป็นเรื่องเล็กน้อยเป็นสิ่งเดียวกันจะขัดขวางลำดับความสำคัญ
- แก้ไข "ข้อผิดพลาด" ที่สร้างขึ้นโดย AI โดยไม่ต้องยืนยัน คุณสามารถบิดเบือนประโยคที่ถูกต้องได้
การวัดอัตโนมัติ: BLEU, COMET และขีดจำกัด
นอกจากนี้ยังมีโลกแห่งการวัดผลอัตโนมัติในการวัดคุณภาพอีกด้วย BLEU (การศึกษาแบบประเมินสองภาษา) เปรียบเทียบการแปลด้วยคอมพิวเตอร์กับการแปลโดยมนุษย์ และให้คะแนน 0-100 ตามคำที่ทับซ้อนกัน เป็นมาตรฐานในการเปรียบเทียบระบบ MT มายาวนาน ตัวชี้วัดที่ใหม่กว่า COMET นั้นใช้โครงข่ายประสาทเทียมและจับความคล้ายคลึงทางความหมายได้ดีกว่า BLEU ตัวชี้วัดเหล่านี้มีประโยชน์สำหรับการเปรียบเทียบกลไกสองตัวกับข้อมูลขนาดใหญ่อย่างรวดเร็วและอัตโนมัติ
แต่มีขีดจำกัดที่ชัดเจน: ตัวชี้วัดอย่าง BLEU มองที่คำที่ทับซ้อนกัน โดยไม่เข้าใจความหมายจริงๆ การแปลที่แตกต่างไปจากการอ้างอิงแต่ถูกต้องอาจได้รับคะแนนต่ำ การแปลที่คล้ายกับข้อมูลอ้างอิงแต่ไม่ถูกต้องอาจได้รับคะแนนสูง ข้อผิดพลาดเชิงลบที่สำคัญเป็นเพียงคำเดียว ดังนั้นจึงมีผลกระทบเพียงเล็กน้อยต่อการวัด แต่จริงๆ แล้วถือเป็นหายนะ นั่นเป็นสาเหตุที่การวัดแบบอัตโนมัติวัดแนวโน้มในระดับระบบ ไม่ใช่ตัดสินความสามารถในการส่งข้อความแต่ละรายการ การประเมินโดยมนุษย์ตาม MQM และการตัดสินของผู้เชี่ยวชาญจะตัดสินว่าการแปลจะส่งถึงลูกค้าหรือไม่ ไม่ใช่คะแนนอัตโนมัติ ใช้หน่วยเมตริกเป็นเข็มทิศ ไม่ใช่เครื่องตัดสิน
โดยสรุป
คุณภาพการแปลไม่ใช่ความรู้สึกส่วนตัว แต่เป็นสิ่งที่วัดผลได้ QA อัตโนมัติจะสแกนหาข้อผิดพลาดอย่างเป็นทางการอย่างละเอียดถี่ถ้วน LQA ของมนุษย์ประเมินความหมาย น้ำเสียง และวัฒนธรรม กรอบการทำงานข้อผิดพลาด เช่น MQM ระบุปริมาณคุณภาพตามหมวดหมู่และน้ำหนัก ช่วยให้สามารถเปรียบเทียบตามวัตถุประสงค์ได้ AI เป็นตาที่สองที่ทรงพลังซึ่งเร่งการควบคุมนี้ แต่อาจทำให้ตาบอดต่อการแปลของตัวเอง ทำผิดพลาด และไม่เข้าใจน้ำหนักในโลกแห่งความเป็นจริงได้อย่างเต็มที่ ดังนั้นการตัดสินใจด้านคุณภาพขั้นสุดท้าย การชั่งน้ำหนัก และการอนุมัติการจัดส่งจึงเป็นของนักแปลที่มีความสามารถ
งานสมัคร
รับเอาต์พุตการแปลด้วยเครื่อง แสดงรายการข้อผิดพลาดที่เป็นทางการก่อนด้วย "การตรวจสอบเสริม QA อัตโนมัติ" จากนั้นจึงแสดงรายการข้อผิดพลาดทางภาษาตามหมวดหมู่และน้ำหนักด้วย "การตรวจสอบข้อผิดพลาดตาม MQM" ฉันให้คะแนนข้อผิดพลาดแต่ละข้อ (วิกฤต 10, หลัก 5, รอง 1) โดยมีเกณฑ์ต่อคำ และถามว่า "สามารถจัดส่งได้หรือไม่" ตอบคำถาม. สุดท้ายนี้ ให้ยืนยันกับแหล่งที่มาว่ามีข้อผิดพลาดที่ AI แจ้งไว้กี่รายการที่เกิดขึ้นจริง และจำนวนข้อผิดพลาดที่ถูกสร้างขึ้น
รายการตรวจสอบ
- [ ] ฉันเรียกใช้ QA อัตโนมัติและกำจัดข้อผิดพลาดที่เป็นทางการทั้งหมด
- [ ] ฉันทำเครื่องหมายข้อผิดพลาดทางภาษาด้วยกล่อง (หมวดหมู่ + น้ำหนัก)
- [ ] ฉันสแกนข้อผิดพลาดร้ายแรงในรอบที่แยกจากกันและมีการจัดลำดับความสำคัญ
- [ ] ฉันจัดหาตัวควบคุม AI และตรวจสอบกับโมเดลอื่นหากจำเป็น
- [ ] ฉันตัดสินใจส่งมอบตามเกณฑ์ตัวเลขและการตัดสินของผู้เชี่ยวชาญเอง