กำไร:
- โดยจะจดจำข้อมูล การออกแบบ และแหล่งที่มาของการใช้งานอัลกอริธึมไบแอส และทดสอบเอาต์พุตแบบกลุ่ม
- อธิบายว่าวงจรป้อนกลับและข้อผิดพลาดในการนำเสนอขยายความไม่เท่าเทียมกันและสร้างการควบคุมผลกระทบได้อย่างไร
- ช่วยให้มั่นใจถึงความรับผิดชอบโดยรับประกันความสามารถในการอธิบายและอุทธรณ์ในการตัดสินใจอัตโนมัติทุกครั้ง
ประชาชนต้องใช้อำนาจอย่างเท่าเทียมกันกับทุกคน: การปฏิบัติที่คล้ายคลึงกันต่อพลเมืองสองคนในสถานการณ์ที่คล้ายคลึงกัน, ความแตกต่างตามสัดส่วนกับสถานการณ์ที่ต่างกัน หลักการแห่งความเท่าเทียมกันนี้เป็นพันธกรณีตามรัฐธรรมนูญ ปัญญาประดิษฐ์สามารถปรับปรุงและขัดขวางสาขานี้อย่างเงียบๆ สามารถปรับปรุงได้เนื่องจากกฎที่บังคับใช้อย่างสม่ำเสมอสามารถลดความเด็ดขาดและความลำเอียงของมนุษย์ได้ อาจเสียหายได้เนื่องจากโมเดล AI เรียนรู้จากข้อมูลในอดีต และข้อมูลในอดีตถือเป็นการเลือกปฏิบัติจากอดีต หากระบบได้รับการฝึกอบรมเกี่ยวกับข้อมูลที่เคยทำให้กลุ่มใดกลุ่มหนึ่งเสียเปรียบในอดีต ระบบก็จะนำข้อเสียนั้นไปในอนาคต และในรูปแบบที่ยากยิ่งขึ้นในการตรวจจับ ภายใต้หน้ากากของ “อัลกอริธึมเชิงวัตถุ” ในหน่วยนี้ คุณจะได้เรียนรู้วิธีรับรู้อคติของอัลกอริทึม (อคติอย่างเป็นระบบของเอาท์พุตแบบจำลองต่อกลุ่มบางกลุ่ม) เมื่อใช้ AI ในภาครัฐ วิธีลดอคติ และที่สำคัญที่สุดคือวิธีการรับรองความรับผิดชอบของอัลกอริทึม (เหตุผลสำหรับการตัดสินใจอัตโนมัติที่สามารถอธิบายได้ ตรวจสอบได้ และโต้แย้งได้)
อคติมาจากไหน?
มีแหล่งที่มาของอัลกอริธึมอคติอยู่หลายประการ และแหล่งที่มาทั้งหมดเหล่านี้มีความเสี่ยงในที่สาธารณะ:
- อคติในอดีต: ข้อมูลการฝึกอบรมประกอบด้วยความไม่เท่าเทียมกันในอดีต ตัวอย่างเช่น หากพื้นที่ใดเคยมีบริการน้อยในอดีต "ข้อมูลความต้องการ" อาจแสดงว่าพื้นที่นั้นมีความต้องการน้อย ซึ่งในความเป็นจริงแล้วความต้องการมีน้อยเนื่องจากไม่มีบริการ
- อคติในการเป็นตัวแทน: กลุ่มบางกลุ่มมีบทบาทน้อยในข้อมูล (กลุ่มที่ไม่มีการเข้าถึงแบบดิจิทัล กลุ่มภาษาชนกลุ่มน้อย) และแบบจำลองทำงานได้ไม่ดีสำหรับพวกเขา
- อคติเกี่ยวกับพร็อกซี: แม้ว่าโมเดลจะไม่ได้ดูเกณฑ์ต้องห้ามโดยตรง (เชื้อชาติ ศาสนา) แต่ก็สามารถสร้างการเลือกปฏิบัติแบบเดียวกันได้โดยการดูพร็อกซีที่เกี่ยวข้อง (บริเวณใกล้เคียง ชื่อ รหัสไปรษณีย์)
- อคติในการวัด: สิ่งที่เราวัดไม่ใช่สิ่งที่เราต้องการวัดจริงๆ "จำนวนข้อร้องเรียน" จะวัดความสามารถในการร้องเรียนมากกว่าความจำเป็น
ข้อควรระวัง: เป็นการเข้าใจผิดที่จะพูดว่า "ฉันได้ลบข้อมูลที่ละเอียดอ่อน (เพศ ชาติพันธุ์) ออกจากแบบจำลองแล้ว ตอนนี้ก็ยุติธรรมแล้ว" การเลือกปฏิบัติผ่านตัวแปรพร็อกซีอาจดำเนินต่อไป ความเป็นธรรมไม่ได้เกิดจากการลบอินพุต แต่โดยการทดสอบเอาต์พุตระหว่างกลุ่ม
การทดสอบความเป็นธรรม: ดูผลลัพธ์
ไม่ว่าระบบจะยุติธรรมหรือไม่ก็ตามสามารถเข้าใจได้โดยพิจารณาจากผลลัพธ์ ไม่ใช่ความตั้งใจ วิธีการพื้นฐาน: แบ่งการตัดสินใจเป็นกลุ่มแล้วเปรียบเทียบ ผลลัพธ์ เช่น อัตราการยอมรับ/การปฏิเสธ อัตราข้อผิดพลาด เวลารอ แตกต่างกันอย่างมีนัยสำคัญระหว่างกลุ่มต่างๆ (เพศ อายุ ภูมิภาค รายได้) หรือไม่? หากมีความแตกต่าง ความแตกต่างนี้ขึ้นอยู่กับเหตุผลที่ชอบด้วยกฎหมายหรือเป็นการเลือกปฏิบัติ? เนื่องจากการวิเคราะห์นี้อาจต้องใช้ข้อมูลส่วนบุคคล จึงต้องรวบรวมและดำเนินการตาม KVKK
เคล็ดลับ: ก่อนที่จะเปิดตัวระบบการตัดสินใจที่ขับเคลื่อนด้วย AI ใหม่ ให้แจกแจงการตัดสินใจตามกลุ่มประชากรและสร้าง “รายงานความเป็นธรรม” หากคุณพบความแตกต่าง "สามารถอธิบายความแตกต่างนี้ได้หรือไม่" นำคำถามไปยังคณะกรรมการประชาชน
ความสามารถในการอธิบายและการอุทธรณ์: หัวใจของความรับผิดชอบ
ในภาครัฐ ไม่มีพลเมืองคนใดที่ถูกลิดรอนสิทธิของตนได้หากได้รับคำตอบว่า "ระบบตัดสินใจเช่นนั้น" สำหรับการตัดสินใจแบบอัตโนมัติหรือแบบใช้ AI ทุกครั้ง จะต้องรับประกันสามสิ่งต่อไปนี้:
- ความสามารถในการอธิบาย: การตัดสินใจขึ้นอยู่กับอะไร ปัจจัยใดที่มีประสิทธิผล ควรอธิบายเป็นภาษาธรรมดา
- วิธีอุทธรณ์: ประชาชนควรสามารถคัดค้านการตัดสินใจและขอให้มนุษย์ตรวจสอบได้
- เส้นทางการตรวจสอบ: ควรบันทึกข้อมูล รุ่น/เวอร์ชันใด และผู้รับผิดชอบในการตัดสินใจทำ
มินิเคสสามอัน
กรณีที่ 1 — มีการจับตัวแปรตัวแทน รูปแบบการจัดลำดับความสำคัญของความช่วยเหลือรูปแบบหนึ่งไม่ได้ใช้ข้อมูลที่ละเอียดอ่อน แต่ดูที่ "รหัสไปรษณีย์" ในการทดสอบความเป็นธรรม พบว่าย่านใกล้เคียงบางแห่งได้รับลำดับความสำคัญต่ำอย่างเป็นระบบ ซึ่งมีความสัมพันธ์กับรหัสไปรษณีย์ รายได้ และความหนาแน่นทางชาติพันธุ์ ตัวแปรถูกลบออกและลำดับความสำคัญจะเชื่อมโยงโดยตรงกับตัวบ่งชี้ความต้องการ
กรณีที่ 2 — ช่องว่างการเป็นตัวแทน แชทบอทมีแนวโน้มที่จะชักชวนคำถามจากพลเมืองที่ไม่ใช่ภาษาตุรกีมากกว่า 41% ข้อมูลการฝึกอบรมมีข้อมูลกลุ่มนี้เพียงเล็กน้อย เมื่อมีการเพิ่มการสนับสนุนหลายภาษาและเกณฑ์การส่งมอบโดยมนุษย์ ช่องว่างก็ปิดลง
กรณีที่ 3 — การปฏิเสธโดยไม่ทราบสาเหตุ สถาบันปฏิเสธใบสมัครโดยอัตโนมัติ พลเมือง "ทำไม?" เมื่อถามเจ้าหน้าที่ก็อธิบายไม่ได้เพราะไม่เข้าใจสาเหตุโมเดล เหตุการณ์ดังกล่าวแสดงให้เห็นว่าแบบจำลองที่ไม่สามารถอธิบายได้ไม่ดีไม่สามารถใช้ในการตัดสินใจเกี่ยวกับสิทธิได้ ระบบได้ถูกเปลี่ยนให้เป็นแบบจำลองที่สร้างเหตุผลและต้องได้รับการอนุมัติจากมนุษย์
เทมเพลตที่สามารถคัดลอกได้สี่แบบ
1) แหล่งที่มาของการสแกนอคติ:
บทบาทของคุณ: ผู้เชี่ยวชาญด้านความเป็นธรรมของอัลกอริทึม ตรวจสอบกระบวนการตัดสินใจที่ขับเคลื่อนด้วย AI ด้านล่าง ระบุแหล่งที่มาของอคติที่เป็นไปได้: (1) อคติในอดีต (2) อคติในการเป็นตัวแทน (กลุ่มที่ด้อยโอกาส) (3) ตัวแปรพร็อกซี (คอลัมน์ที่เกี่ยวข้องกับเกณฑ์ต้องห้าม) (4) อคติในการวัด ยกตัวอย่างที่เป็นรูปธรรมสำหรับแต่ละรายการและบอกวิธีทดสอบให้ฉันทราบ กระบวนการ: [กระบวนการตัดสินใจและข้อมูลที่ใช้]
2) แผนการทดสอบความเป็นธรรม:
สร้างแผนการทดสอบความเป็นธรรมสำหรับผลลัพธ์การตัดสินใจต่อไปนี้: ฉันควรแจกแจงกลุ่มใด (อายุ เพศ ภูมิภาค รายได้) ฉันควรเปรียบเทียบตัวชี้วัดใด (อัตราการยอมรับ อัตราข้อผิดพลาด เวลารอ) ฉันจะตัดสินใจได้อย่างไรว่าความแตกต่างนั้นถูกต้องตามกฎหมายหรือเป็นการเลือกปฏิบัติ เพิ่มคำเตือน KVKK การตัดสินใจ: [การตัดสินใจอะไร]
3) คำแถลงการตัดสินใจ (ถึงพลเมือง):
เขียนคำอธิบายร่างที่พลเมืองเข้าใจได้สำหรับการตัดสินใจต่อไปนี้: ปัจจัยใดที่มีอิทธิพลในภาษาธรรมดา เพิ่มสิทธิ์อุทธรณ์ตอนท้ายและความเป็นไปได้ที่จะมีการตรวจสอบโดยเจ้าหน้าที่ [พร้อมเวลายืนยัน] การใช้สำนวนที่คลุมเครือ เช่น "ระบบตัดสินใจเช่นนั้น" การตัดสินใจ: [บทสรุปและปัจจัยที่มีอิทธิพล]
4) การตรวจสอบความรับผิดชอบก่อนเผยแพร่:
จัดทำรายการตรวจสอบความรับผิดชอบก่อนเปิดตัวระบบการตัดสินใจที่ขับเคลื่อนด้วย AI: อธิบายได้หรือไม่, มีวิธีอุทธรณ์หรือไม่, มีแนวทางการตรวจสอบ (ข้อมูล/เวอร์ชันโมเดล/ความรับผิดชอบ) มีการบำรุงรักษา, มีการทดสอบความเป็นธรรมแล้ว, จุดอนุมัติของมนุษย์อยู่ที่ไหน แจ้งรายการที่ขาดหายเป็นธงสีแดง ระบบ: [สูตร]
พรอมต์อ่อน / พรอมต์แรง
จุดอ่อน: “รูปแบบการตัดสินใจนี้ยุติธรรมหรือไม่?”
แข็งแกร่ง: "บทบาทของคุณคือผู้เชี่ยวชาญด้านความเป็นธรรมของอัลกอริธึม สำหรับโมเดลการจัดลำดับความสำคัญของความช่วยเหลือนี้ ขั้นแรกให้สแกนหาแหล่งที่มาของอคติ (ทางประวัติศาสตร์ การเป็นตัวแทน ตัวแปรตัวแทน การวัด) และยกตัวอย่างที่เป็นรูปธรรมสำหรับแต่ละรายการ จากนั้นให้จัดทำแผนการทดสอบความเป็นธรรม: แยกย่อยตามกลุ่ม ตัวชี้วัดใด วิธีตัดสินใจความถูกต้องตามกฎหมายของความแตกต่าง เพิ่มคำเตือน KVKK สุดท้าย ก่อนที่จะเปิดตัวระบบ ให้รายการตรวจสอบสำหรับการอธิบาย เส้นทางการอุทธรณ์ และแนวทางการตรวจสอบ และธงสีแดง ข้อบกพร่อง"
ความแตกต่าง: การแจ้งที่ชัดเจนจะมองหาอคติที่แหล่งที่มา มีการทดสอบผลลัพธ์โดยกลุ่ม และทำให้ความรับผิดชอบแพร่หลาย
มิติความยุติธรรมและการควบคุม
ขนาด
ความเสี่ยง
การควบคุม
ข้อมูลทางประวัติศาสตร์
อดีตมีความไม่เท่าเทียมกัน
ทดสอบผลลัพธ์ตามกลุ่ม
การเป็นตัวแทน
ทำงานไม่ดีสำหรับบางกลุ่ม
อัตราข้อผิดพลาดตามกลุ่ม
ตัวแปรตัวแทน
การเลือกปฏิบัติอย่างเป็นความลับ
ความสัมพันธ์ของเกณฑ์ที่ไวต่อตัวแปร
อธิบายได้
การตัดสินใจที่ไม่ยุติธรรม
สร้างคำอธิบายง่ายๆ
การคัดค้าน
การริบ
เส้นทางการตรวจสอบโดยมนุษย์
ข้อผิดพลาดในการวนซ้ำความคิดเห็นและการแสดงภาพ
รูปแบบที่ร้ายกาจที่สุดของการเลือกปฏิบัติด้วยอัลกอริทึมนั้นไม่ได้เกิดขึ้นจากการตัดสินใจที่ผิดเพียงครั้งเดียว แต่เกิดขึ้นในวงจรป้อนกลับที่เสริมกำลังตัวเองเมื่อเวลาผ่านไป (ผลลัพธ์ของแบบจำลองจะส่งผลต่อข้อมูลการฝึกอบรมที่ตามมา ซึ่งจะช่วยเสริมอคติที่มีอยู่) ตัวอย่างเช่น หากแบบจำลองการตรวจสอบทำเครื่องหมายพื้นที่ใกล้เคียงนั้นว่า "มีความเสี่ยง" ยิ่งมีการตรวจสอบมากขึ้นเท่าใด ก็จะมีการสร้างบันทึกมากขึ้นเท่านั้น โมเดลจะเห็นว่าพื้นที่ใกล้เคียงนั้นมีความเสี่ยงมากขึ้น แม้ว่าความแตกต่างจะเพิ่มขึ้นในสถานที่ที่มอง ไม่ใช่ในความเสี่ยงที่แท้จริง สิ่งที่ปูทางไปสู่สิ่งนี้มักเกิดจากข้อผิดพลาดในการนำเสนอ (ข้อมูลการฝึกอบรมสะท้อนถึงกลุ่มบางกลุ่มไม่สมบูรณ์หรือบิดเบือน) ในภาครัฐ วัฏจักรเหล่านี้อาจทำให้กลุ่มผู้ด้อยโอกาสตกอยู่ภายใต้การเฝ้าระวังและการลงโทษที่รุนแรงมากขึ้น วิธีป้องกันตัวเองคือการตรวจสอบผลกระทบของแบบจำลอง ไม่ใช่แค่ผลลัพธ์เท่านั้น แต่ยังตรวจสอบการกระจายการตัดสินใจตามกลุ่มอย่างสม่ำเสมอ และไม่ใช้คำแนะนำของแบบจำลองแบบสุ่มสี่สุ่มห้า
มินิเคส - แสดงความสงสัยในตนเอง โมเดลการตรวจจับการฉ้อโกงด้านสวัสดิการระบุว่าภูมิภาคที่ได้รับการตรวจสอบอย่างเข้มงวดมากขึ้นในอดีตว่ามีความเสี่ยงสูง เมื่อทีมดึงความเข้มข้นของการบังคับใช้ออกจากข้อมูลและวัด "อัตราการตรวจพบที่แท้จริงเมื่อเทียบกับประชากร" พวกเขาพบว่าความแตกต่างระหว่างภูมิภาคส่วนใหญ่หายไป แบบจำลองเข้าใจผิดว่าความไม่เท่าเทียมกันเป็นความเสี่ยงที่แท้จริง
เทมเพลตการควบคุมการกระแทกตามกลุ่ม:
งาน: ตรวจสอบข้อมูลการตัดสินใจต่อไปนี้ตามกลุ่ม (ไม่มีข้อมูลส่วนบุคคล สรุปหมวดหมู่) ข้อมูล: [กลุ่ม | การตัดสินใจทั้งหมด | อัตราการตัดสินใจเชิงลบ | ความเข้มข้นของการตรวจสอบ]ผลลัพธ์: 1) อัตราการตัดสินใจเชิงลบแสดงให้เห็นความแตกต่างที่มีนัยสำคัญระหว่างกลุ่มหรือไม่? 2) ความแตกต่างอาจเกิดจากความเสี่ยงที่เกิดขึ้นจริงหรือความเข้มข้นของการควบคุม/การเป็นตัวแทนหรือไม่ 3) มีสัญญาณของการวนซ้ำข้อเสนอแนะหรือไม่? 4) ข้อเสนอแนะสำหรับการควบคุมของมนุษย์ กฎ: การสร้างการเรียกร้องเชิงสาเหตุ ระบุคำอธิบายที่เป็นไปได้และวิธีการทดสอบ
ข้อควรระวัง: การโต้แย้งว่า "แบบจำลองนี้เป็นกลางเพราะใช้กฎเดียวกันกับทุกคน" ถือเป็นการทำให้เข้าใจผิด กฎเดียวกันนี้ เมื่อนำไปใช้กับข้อมูลที่บิดเบือน จะรักษาและขยายความไม่เท่าเทียมกัน ความยุติธรรมวัดได้จากความเท่าเทียมกันของผลลัพธ์ ไม่ใช่กฎเกณฑ์
ข้อผิดพลาดทั่วไป
- ลบข้อมูลที่ละเอียดอ่อนและคิดว่า "ยุติธรรม" ตัวแปรตัวแทนทำให้เกิดการเลือกปฏิบัติอย่างต่อเนื่อง ทดสอบผลลัพธ์
- วัดความยุติธรรมด้วยเจตนา ความยุติธรรมก็ปรากฏในที่สุด เรียงลำดับการตัดสินใจเป็นกลุ่มและเปรียบเทียบ
- ลืมกลุ่มผู้ด้อยโอกาสไปได้เลย โมเดลอาจทำงานได้ไม่ดีอย่างเงียบๆ สำหรับชนกลุ่มน้อย ดูข้อผิดพลาดตามกลุ่ม
- การใช้แบบจำลองที่ไม่สามารถอธิบายได้ในการตัดสินใจให้สิทธิ ระบบที่ไม่สามารถให้เหตุผลไม่สามารถตัดสินใจสาธารณะได้
- มิได้จัดให้มีช่องทางโต้แย้งแต่อย่างใด การตัดสินใจอัตโนมัติทุกครั้งควรได้รับการตรวจสอบจากเจ้าหน้าที่
- ไม่เก็บร่องรอยการตรวจสอบ ควรบันทึกข้อมูล/รุ่น/ผู้รับผิดชอบในการตัดสินใจด้วย
โดยสรุป
ในภาครัฐ AI สามารถเพิ่มความสม่ำเสมอแต่ยังส่งผ่านการเลือกปฏิบัติในอดีตอย่างเงียบๆ อีกด้วย อคติมาจากข้อมูลในอดีต ช่องว่างการเป็นตัวแทน ตัวแปรพร็อกซี และการวัดที่ไม่ถูกต้อง การลบข้อมูลที่ละเอียดอ่อนจะไม่สามารถแก้ปัญหาได้ ความเป็นธรรมเกิดขึ้นได้โดยการทดสอบผลลัพธ์ระหว่างกลุ่ม และไม่มีพลเมืองคนใดที่จะถูกเพิกถอนสิทธิ์โดย "ระบบดังกล่าว" ได้ การตัดสินใจทุกครั้งจะต้องอธิบายได้ โต้แย้งได้ และตรวจสอบได้ เป็นสถาบันที่ต้องรับผิดชอบ ไม่ใช่อัลกอริทึม
งานสมัคร
เลือกกระบวนการตัดสินใจที่ขับเคลื่อนโดย AI หรืออัตโนมัติในหน่วยของคุณ แสดงรายการอคติที่เป็นไปได้และค้นหาความเสี่ยงที่แปรผันได้อย่างน้อยหนึ่งรายการด้วยเทมเพลต "แหล่งที่มาของการสแกนอคติ" พิจารณาว่าจะพิจารณารายละเอียดกลุ่มใดด้วย "แผนทดสอบความเป็นธรรม" สำหรับการตัดสินใจตัวอย่าง ให้จัดทำคำอธิบายต่อหน้าประชาชนด้วยเทมเพลต "คำอธิบายการตัดสินใจ"
รายการตรวจสอบ
- [ ] ฉันสแกนหาแหล่งที่มาของอคติ (ทางประวัติศาสตร์ การเป็นตัวแทน พร็อกซี การวัดผล)
- [ ] ฉันไม่เพียงแค่ลบข้อมูลที่ละเอียดอ่อนเท่านั้น ฉันทดสอบผลลัพธ์ตามกลุ่ม
- [ ] ฉันควบคุมอัตราข้อผิดพลาดสำหรับกลุ่มที่ด้อยโอกาส
- [ ] ฉันได้ให้เหตุผลที่เรียบง่ายและอธิบายได้สำหรับการตัดสินใจแต่ละครั้ง
- [ ] ฉันได้กำหนดเส้นทางการคัดค้านและการตรวจสอบโดยเจ้าหน้าที่แล้ว
- [ ] มีการรักษาแนวทางการตรวจสอบ (ข้อมูล/เวอร์ชันของแบบจำลอง/ความรับผิดชอบ)