กำไร:
- แยกแยะรูปแบบการควบคุมของมนุษย์ได้สามแบบ (ในลูป บนลูป ในคำสั่ง)
- การรับรู้และลดความเสี่ยงของอคติและการเลือกปฏิบัติในเอาท์พุต AI
- การแปลหลักการของความโปร่งใสและความสามารถในการอธิบายไปสู่การใช้งานที่เป็นรูปธรรม
ระบบ AI อาจทำงานได้อย่างสมบูรณ์แบบในทางเทคนิค แต่ก็ยังมีข้อผิดพลาดอยู่ เช่น ระบบอาจกำจัดกลุ่มอย่างเป็นระบบ ไม่สามารถอธิบายเหตุผลในการตัดสินใจ หรือทำให้ผู้คนยอมรับโดยไม่ต้องตั้งคำถาม ในหน่วยนี้ เราแปลด้านที่ "นุ่มนวล" แต่มีความสำคัญที่สุดของการกำกับดูแล ได้แก่ การควบคุมโดยมนุษย์ การจัดการอคติ ความโปร่งใส และจริยธรรม ให้เป็นแนวทางปฏิบัติที่เป็นรูปธรรม เป้าหมายไม่ใช่สโลแกนคลุมเครือ เช่น "อย่าไว้ใจ AI"; เป็นกลไกการทำงานที่แสดงวิธีการตรวจสอบผลลัพธ์ ลดอคติ และสร้างความโปร่งใส
การควบคุมของมนุษย์สามแบบ
การกำกับดูแลของมนุษย์หมายความว่ามนุษย์ยังคงควบคุมการตัดสินใจของ AI ได้ มีโมเดลพื้นฐานอยู่ 3 รุ่น และจำเป็นต้องเลือกรุ่นให้เหมาะสมตามความเสี่ยง
รุ่น
ความหมาย
มันเข้ากันตรงไหน.
มนุษย์อยู่ในวงโคจร
บุคคลอนุมัติทุกการตัดสินใจ
การตัดสินใจที่มีความเสี่ยงสูงและมีผลกระทบ
มนุษย์อยู่ในวง
AI ทำงาน มนุษย์ติดตามและแทรกแซงหากจำเป็น
ธุรกรรมที่มีความเสี่ยงปานกลางและมีปริมาณสูง
ชายผู้บังคับบัญชา
มนุษย์เป็นผู้ออกแบบระบบ กำหนดขอบเขต และสามารถปิดระบบได้
ระดับการกำกับดูแลโดยรวม
สำหรับการตัดสินใจที่ส่งผลกระทบอย่างมีนัยสำคัญต่อบุคคล (การจ้างงาน เครดิต การดูแลสุขภาพ) ควรใช้โมเดลแบบมนุษย์ในวงจร: AI จะให้คำแนะนำ แต่มนุษย์ที่มีความสามารถจะเป็นผู้ตัดสินใจขั้นสุดท้าย “AI พูดอย่างนั้น” ไม่ใช่ข้อแก้ตัว ความรับผิดชอบมักจะอยู่กับบุคคลนั้นเสมอ
ข้อควรสนใจ: การควบคุมโดยมนุษย์ "บนกระดาษ" นั้นไม่เพียงพอ หากมนุษย์อนุมัติคำแนะนำของ AI โดยอัตโนมัติ (การปั๊มยาง) ก็ไม่มีการควบคุมที่แท้จริง เพื่อให้การตรวจสอบมีความหมาย เราต้องสามารถเห็นเหตุผล ตั้งคำถาม และพูดว่า "ไม่" อย่างแท้จริง
ความเสี่ยงจากอคติและการเลือกปฏิบัติ
อคติคือเมื่อ AI เสียเปรียบหรือได้เปรียบกลุ่มบางกลุ่มอย่างเป็นระบบ แหล่งที่มามักเป็นข้อมูลการฝึกอบรม หากมีการเลือกปฏิบัติในข้อมูลในอดีต AI จะเรียนรู้และดูแลรักษา หรือแม้แต่ปรับขนาดด้วย
ขั้นตอนการปฏิบัติเพื่อลดอคติ:
- ตรวจสอบตัวแปรที่ละเอียดอ่อน: ตรวจสอบผลกระทบของฟิลด์ต่างๆ เช่น เพศ อายุ ชาติพันธุ์ ต่อการตัดสินใจ
- ผลการทดสอบตามกลุ่ม: ระบบสร้างอัตราการปฏิเสธ/การยอมรับที่แตกต่างกันในกลุ่มต่างๆ หรือไม่
- ระวังตัวแปรพร็อกซี: ช่องต่างๆ เช่น "ละแวกใกล้เคียง" หรือ "โรงเรียน" อาจสื่อถึงความแตกต่างทางชาติพันธุ์/ชนชั้นโดยปริยาย
- จัดให้มีการตรวจสอบอย่างสม่ำเสมอ: มีการทดสอบอคติอย่างต่อเนื่อง ไม่ใช่แค่ครั้งเดียว อาจกลับมาเมื่อข้อมูลมีการเปลี่ยนแปลง
มินิเคสสามอัน
กรณีที่ 1 — ตรายาง ที่ธนาคารแห่งหนึ่ง เจ้าหน้าที่สินเชื่ออนุมัติคะแนน AI โดยไม่ต้องตรวจสอบ เขาบอกว่า "ระบบคำนวณไปแล้ว" การตรวจสอบแสดงให้เห็นว่าในการส่ง 498 จาก 500 ครั้ง มนุษย์ได้ทำการตัดสินใจแบบเดียวกันกับ AI ดังนั้นจึงไม่มีการตรวจสอบจริง วิธีแก้ไข: ต้องการให้ผู้คนเห็นเหตุผล คาดเดาการตัดสินใจในระดับหนึ่ง และต้องมีหมายเหตุว่า "เหตุใดจึงเห็นด้วย/ไม่เห็นด้วย"
กรณีที่ 2 — อคติโดยนัย AI การรับสมัครให้คะแนนผู้สมัครหญิงต่ำกว่า แม้ว่าจะไม่ได้ใช้เพศเลยก็ตาม จากไหน? เนื่องจากข้อมูลในอดีตประกอบด้วยผู้ชายในตำแหน่งที่กำหนดเป็นส่วนใหญ่ โมเดลจึงเรียนรู้การเลือกปฏิบัติทางอ้อมผ่านตัวแปรพร็อกซี เช่น "อาชีพที่ไม่หยุดชะงัก" การทดสอบตามกลุ่มเผยให้เห็นสิ่งนี้ ทีมงานแยกตัวแปรตัวแทนและติดตามผลลัพธ์
กรณีที่ 3 — ไว้วางใจด้วยความโปร่งใส ในการประเมินความเสียหายที่ขับเคลื่อนด้วย AI บริษัทประกันภัยแจ้งให้ลูกค้าแต่ละรายทราบว่า “การตัดสินใจนั้นขับเคลื่อนด้วย AI พวกเขาสามารถอุทธรณ์และขอให้มีการตรวจสอบโดยมนุษย์ได้” อัตราการคัดค้านต่ำกว่าที่คาดไว้เนื่องจากลูกค้าเข้าใจและไว้วางใจกระบวนการ ความโปร่งใสเพิ่มความไว้วางใจในขณะที่ลดความเสี่ยง
ความโปร่งใสและคำอธิบายได้
ความโปร่งใสคือการทำให้ผู้ที่เกี่ยวข้องทราบอย่างชัดเจนว่า AI กำลังทำงานอยู่และวิธีการทำงาน ความสามารถในการอธิบายหมายถึงความสามารถในการอธิบายเหตุผลของการตัดสินใจในลักษณะที่เข้าใจได้ การใช้งานคอนกรีต:
- การแจ้งเตือน "คุณกำลังพูดคุยกับ AI" เกี่ยวกับ AI ที่โต้ตอบกับบุคคลนั้น
- คำอธิบาย "การตัดสินใจครั้งนี้ขึ้นอยู่กับปัจจัยต่อไปนี้" ในการตัดสินใจอัตโนมัติ
- นำเสนอแนวทางการอุทธรณ์และขอให้เจ้าหน้าที่ตรวจสอบอย่างชัดเจน
- สำหรับทีมภายใน: การจัดทำเอกสารและการบันทึกสิ่งที่โมเดลทำ
คำแนะนำ: ถามการตัดสินใจของ AI ว่า "ปัจจัยสามอันดับแรกที่มีอิทธิพลต่อการตัดสินใจครั้งนี้คืออะไร" ทดสอบด้วยคำถาม. หากระบบไม่สามารถทำให้เข้าใจได้และการตัดสินใจมีผลกระทบต่อบุคคลอย่างมีนัยสำคัญ แสดงว่าระบบนั้นยังไม่พร้อมสำหรับการใช้งานอย่างรับผิดชอบ
อคติอัตโนมัติ: กับดักของตัวเอง
แม้ว่าจะมีการสร้างความโปร่งใสและการกำกับดูแลของมนุษย์ แต่ก็ยังมีความเสี่ยงที่ร้ายกาจในด้านมนุษย์: อคติของระบบอัตโนมัติ นี่เป็นแนวโน้มที่ผู้คนจะเชื่อถือผลงานของเครื่องจักรมากกว่าการตัดสินใจของตนเอง เนื่องจากข้อเสนอ AI บนหน้าจอปรากฏว่า "มีวัตถุประสงค์และคำนวณแล้ว" เราจึงถูกล่อลวงให้ยอมรับโดยไม่ต้องตั้งคำถาม นี่คือที่มาทางจิตวิทยาของตรายาง
มีวิธีที่เป็นรูปธรรมในการลดสิ่งนี้ ส่งเสริมความคิดเห็นที่ขัดแย้งกันก่อน: ถามผู้ที่เห็นด้วยกับการตัดสินใจว่า “เหตุใดฉันจึงไม่เห็นด้วยกับ AI” ขอให้เขาคิดเกี่ยวกับคำถาม แล้วแสดงคะแนนความมั่นใจ ระบุว่า AI มีความมั่นใจแค่ไหน ทำเครื่องหมายเอาต์พุตความมั่นใจต่ำแยกกัน จากนั้นตั้งค่าการแจ้งเตือนข้อขัดแย้ง: หากคำแนะนำของ AI ละเมิดกฎของสถาบันหรือข้อมูลที่มนุษย์มีอยู่ ระบบจะเน้นสิ่งนี้ สุดท้าย นำหลักการทั้งสองของมนุษย์ไปใช้กับการตัดสินใจที่สำคัญ ผู้อนุมัติเพียงรายเดียวจะเสี่ยงต่ออคติของระบบอัตโนมัติมากกว่า
ข้อควรระวัง: การพูดว่า "มีการอนุมัติจากมนุษย์" ไม่ได้หมายความว่าปราศจากอคติด้านระบบอัตโนมัติ มนุษย์จะต้องมีทั้งอำนาจ เวลา และข้อมูลที่ถูกต้องในการตั้งคำถามกับ AI ระบบที่บังคับให้ผู้อนุมัติทำการตัดสินใจ 200 ครั้งใน 3 วินาทีไม่ได้ให้การควบคุมโดยมนุษย์อย่างแท้จริง
เทมเพลตที่คัดลอกได้
เทมเพลต 1 — การเลือกโมเดลการควบคุมโดยมนุษย์: "โมเดลการควบคุมโดยมนุษย์ใดที่เหมาะสมสำหรับการใช้ AI ต่อไปนี้ [อธิบายการใช้งาน]: ในลูป ในลูป หรือในคำสั่ง แนะนำโดยมีเหตุผล โดยพิจารณาถึงความเสี่ยงและผลกระทบต่อบุคคล ระบุการควบคุมใดที่ฉันควรเพิ่มเพื่อหลีกเลี่ยงความเสี่ยงจากตรายาง"
เทมเพลต 2 — แผนการทดสอบอคติ: "ร่างแผนการทดสอบอคติ [อธิบายการใช้งาน] สำหรับ AI ที่สนับสนุนการตัดสินใจต่อไปนี้: ฉันควรเปรียบเทียบกลุ่มใด ฉันควรวัดตัวชี้วัดใด (อัตราการปฏิเสธ/การยอมรับ ฯลฯ) ฉันควรมองหาตัวแปรตัวแทนใด ฉันควรทำซ้ำการทดสอบบ่อยแค่ไหน เขียนทีละขั้นตอน"
เทมเพลต 3 — ข้อความคำอธิบายการตัดสินใจ: "เขียนข้อความคำอธิบายง่ายๆ สำหรับการตัดสินใจอัตโนมัติส่วนบุคคล: ไม่ว่าการตัดสินใจนั้นขับเคลื่อนโดย AI หรือไม่ ปัจจัยสำคัญที่มีอิทธิพลต่อการตัดสินใจ วิธีอุทธรณ์และขอให้มนุษย์ตรวจสอบ น้ำเสียงที่ไม่กล่าวหา ใช้เพื่อแสดงความเคารพ ความยาวไม่เกิน 120 คำ"
เทมเพลต 4 — รายการตรวจสอบด้านจริยธรรม: "เตรียมรายการตรวจสอบด้านจริยธรรมก่อนเผยแพร่การใช้ AI: ความเป็นธรรม/การเลือกปฏิบัติ ความโปร่งใส การควบคุมโดยมนุษย์ ความเป็นส่วนตัว ความปลอดภัย ความรับผิดชอบ รวมคำถามที่ชัดเจน 1-2 ข้อที่จะตอบในแต่ละหัวข้อ"
พรอมต์อ่อน / พรอมต์แข็งแกร่ง
อ่อนแอ: “AI การรับสมัครนี้ยุติธรรมหรือไม่”-> โมเดลให้คำตอบทั่วไปเช่น 'มันควรจะยุติธรรม'; ไม่มีวิธีการทดสอบและการวัดอคติ แข็งแกร่ง: "จัดทำแผนการทดสอบอคติสำหรับ AI ที่สนับสนุนการสรรหาบุคลากร: วิธีการเปรียบเทียบอัตราการยอมรับระหว่างเพศและกลุ่มอายุ ตัวแปรพร็อกซีที่ต้องพิจารณา เกณฑ์ความแตกต่างที่ยอมรับได้ และความถี่ในการตรวจสอบ นอกจากนี้ยังเพิ่มการควบคุมเพื่อให้แน่ใจว่ามนุษย์ทำการตัดสินใจขั้นสุดท้าย" -> โมเดลสร้างกลไกความเป็นธรรมที่วัดผลได้และทำซ้ำได้
ข้อผิดพลาดทั่วไป
- ปล่อยให้การควบคุมของมนุษย์ “อยู่บนกระดาษ” และอนุมัติคำแนะนำ AI โดยอัตโนมัติ (ตรายาง)
- ปล่อยให้การตัดสินใจที่ส่งผลกระทบอย่างมีนัยสำคัญต่อบุคคลที่ไม่ได้รับการดูแลแทนที่จะอยู่ในวง
- เมื่อพิจารณาถึงอคติที่ได้รับการแก้ไขเพียงเพราะ "ฉันลบตัวแปรที่มีความละเอียดอ่อน"; ข้ามตัวแปรพร็อกซี
- ทดสอบอคติเพียงครั้งเดียวและไม่ได้ติดตามอย่างต่อเนื่อง
- ข้ามความโปร่งใสเพราะ "เป็นรายละเอียดด้านเทคนิคผู้ใช้จะไม่เข้าใจ"
- การใช้ระบบที่ไม่สามารถอธิบายเหตุผลในการตัดสินใจในการตัดสินใจที่สำคัญได้
- ทิ้งการประเมินทางจริยธรรมไว้จนกว่าจะตีพิมพ์ โดยบอกว่า “ไว้เจอกันทีหลัง”
โดยสรุป
- การควบคุมโดยมนุษย์ถูกนำมาใช้ในสามรูปแบบ; ในการตัดสินใจที่มีผลกระทบต่อผู้คน ผู้คนจะถูกเลือกมากกว่าในวงจร
- การควบคุมจะต้องมีความหมาย ตรายาง (อนุมัติอัตโนมัติ) ไม่ใช่การตรวจสอบจริง
- อคติมักมาจากข้อมูลการฝึกอบรม ตัวแปรที่ละเอียดอ่อนและตัวแปรตัวแทนควรได้รับการทดสอบและติดตามอย่างต่อเนื่อง
- ความโปร่งใสและความสามารถในการอธิบายต้องนำเสนอให้ผู้ใช้เห็นอย่างชัดเจนว่า AI มีบทบาทและเหตุผลในการตัดสินใจ
- การทบทวนด้านจริยธรรมเกิดขึ้นก่อนที่จะตีพิมพ์ ความรับผิดชอบอยู่ที่มนุษย์เสมอ “AI พูดอย่างนั้น” ไม่ใช่ข้อแก้ตัว
งานสมัคร
เลือกกระบวนการตัดสินใจของ AI ที่ส่งผลกระทบต่อผู้คนในองค์กรของคุณ (เช่น การประเมินแอปพลิเคชัน) กำหนดรูปแบบการควบคุมโดยมนุษย์ที่เหมาะสมสำหรับกระบวนการนี้โดยมีเหตุผล และออกแบบการควบคุมที่เป็นรูปธรรมเพื่อป้องกันการประทับของยาง (เช่น ข้อกำหนดเพื่อดูเหตุผล การตรวจสอบตัวอย่าง) จากนั้นจึงเขียนแผนการทดสอบอคติ: ระบุว่ากลุ่มใดที่คุณจะเปรียบเทียบ กับหน่วยวัดใด ความถี่ และตัวแปรพร็อกซีใดที่คุณจะให้ความสนใจ สุดท้าย ให้ร่างข้อความคำอธิบายการตัดสินใจที่จะแสดงให้บุคคลนั้นเห็นในระหว่างกระบวนการนี้ และรวมถึงเส้นทางการอุทธรณ์/การตรวจสอบโดยเจ้าหน้าที่
รายการตรวจสอบ
- [ ] ฉันเลือกรูปแบบการควบคุมโดยมนุษย์ที่เหมาะสมกับกระบวนการ
- [ ] ฉันออกแบบตัวควบคุมคอนกรีตที่จะป้องกันการประทับตรายาง
- [ ] ฉันเตรียมแผนการทดสอบอคติ (กลุ่ม เมตริก ความถี่)
- [ ] ฉันประเมินความเสี่ยงของตัวแปรตัวแทน
- [ ] ฉันเขียนข้อความอธิบายการตัดสินใจให้กับบุคคลนั้น
- [ ] ฉันได้นำเสนอเส้นทางในการอุทธรณ์และการตรวจสอบโดยเจ้าหน้าที่อย่างชัดเจน
- [ ] ฉันดำเนินการทบทวนจริยธรรมก่อนตีพิมพ์