กำไร:
- ทำความเข้าใจว่าความลำเอียงในแบบจำลองปัญญาประดิษฐ์เกิดขึ้นจากข้อมูลและการออกแบบได้อย่างไร และเหตุใดจึงสร้างความเสี่ยงทางกฎหมายและจริยธรรมในการธนาคาร
- ความสามารถในการรับรู้คุณสมบัติที่ได้รับการป้องกัน ตัวแปรพร็อกซี และการเลือกปฏิบัติทางอ้อมและการตัดสินใจแบบจำลองคำถามในแง่ของความเป็นธรรม
- ความสามารถในการทำความเข้าใจว่าตัวชี้วัดความยุติธรรม กลุ่มที่ถูกแยกออก และสิทธิในการคัดค้านถูกถักทออย่างไรในแบบจำลองการกำกับดูแล และรักษาเส้นสีแดงของการเลือกปฏิบัติ
โมเดล AI ไม่เป็นกลาง มันเป็นกระจกเงาของข้อมูลที่ได้เรียนรู้ หากข้อมูลมีความไม่เท่าเทียมกันในอดีต โมเดลจะเรียนรู้และนำสิ่งเหล่านั้นไปสู่อนาคต ในการธนาคาร นี่ไม่ใช่ข้อถกเถียงเชิงนามธรรมทางจริยธรรม: หากรูปแบบสินเชื่อสร้างความเสียหายอย่างเป็นระบบต่อกลุ่มใดกลุ่มหนึ่ง สิ่งนี้ถือเป็นทั้งสิ่งผิดกฎหมาย (ห้ามการเลือกปฏิบัติ) และการละเมิดหลักจริยธรรม ซึ่งนำความเสี่ยงต่อชื่อเสียงและการคว่ำบาตรมาสู่ธนาคาร จุดประสงค์ของหน่วยนี้คือเพื่อแสดงให้เห็นว่าแบบจำลองมีอคติ รูปแบบการเลือกปฏิบัติทั้งทางตรงและทางอ้อม กับดักตัวแปรพร็อกซี และวิธีการสานต่อความเป็นธรรมในการกำกับดูแลแบบจำลอง ต้องกล่าวเส้นสีแดงเส้นหนึ่งตั้งแต่เริ่มแรก: การเลือกปฏิบัติไม่ว่าจะดูเป็น "สถิติ" แค่ไหนก็ตามเป็นสิ่งที่ยอมรับไม่ได้
อคติมาจากไหน?
- อคติของข้อมูล: หากการตัดสินใจในอดีตไม่ยุติธรรม (เช่น กลุ่มใดกลุ่มหนึ่งได้รับเครดิตน้อยกว่าในอดีต) โมเดลจะถือว่านี่เป็น "ปกติ" และดำเนินต่อไป สิ่งนี้เรียกว่าอคติทางประวัติศาสตร์
- อคติในการสุ่มตัวอย่าง: หากกลุ่มบางกลุ่มมีบทบาทน้อยในข้อมูล โมเดลจะเรียนรู้เกี่ยวกับกลุ่มเหล่านั้นได้ไม่ดีและไม่ถูกต้อง
- อคติของป้ายกำกับ: หากคำจำกัดความของ "ลูกค้าที่ดี" มีอคติ โมเดลจะปรับให้เหมาะสมสำหรับอคตินั้น
- อคติในการออกแบบ: การตัดสินใจของมนุษย์เกี่ยวกับตัวแปรที่จะใช้ก็สามารถมีอคติได้เช่นกัน
เคล็ดลับ: "แบบจำลองนี้อิงจากข้อมูล ดังนั้นจึงมีวัตถุประสงค์" ถือเป็นความเข้าใจผิด ข้อมูลเป็นเพียงภาพรวมของอดีต หากอดีตไม่ยุติธรรม แบบจำลอง "วัตถุประสงค์" จะพิสูจน์ความอยุติธรรมด้วยคณิตศาสตร์ ความเที่ยงธรรมไม่ได้รับประกันความเป็นกลาง
การเลือกปฏิบัติทั้งทางตรงและทางอ้อม
- การเลือกปฏิบัติโดยตรง: การใช้แบบจำลองโดยตรงของคุณลักษณะที่ได้รับการคุ้มครอง (เพศ ชาติพันธุ์ ศาสนา อายุ) นี่เป็นสิ่งต้องห้ามโดยชัดแจ้ง
- การเลือกปฏิบัติทางอ้อม (ตัวแปรตัวแทน / พร็อกซี): แม้ว่าโมเดลจะไม่ได้ใช้คุณลักษณะที่ได้รับการป้องกันโดยตรง แต่ก็ให้ผลลัพธ์เดียวกันโดยใช้ตัวแปรอื่นที่เกี่ยวข้องอย่างยิ่ง (รหัสไปรษณีย์ ชื่อ หมวดหมู่การซื้อของ เขตการทำงาน) รหัสไปรษณีย์มักเป็นตัวแทนสำหรับระดับชาติพันธุ์หรือรายได้ แบบจำลองบอกว่า "ย่านใกล้เคียง" แต่ผลลัพธ์คือการเลือกปฏิบัติ "ต้นกำเนิด"
ตัวแปร
เห็นได้ชัดว่า
สามารถเป็นตัวแทนได้
รหัสไปรษณีย์/อำเภอ
ภูมิศาสตร์
เชื้อชาติระดับรายได้
ชื่อ
บัตรประจำตัวประชาชน
ต้นกำเนิดเพศ
หมวดช้อปปิ้ง
พฤติกรรม
ไลฟ์สไตล์ความเชื่อ
สำเร็จการศึกษาจากโรงเรียน
การศึกษา
ต้นกำเนิดทางเศรษฐกิจและสังคม
นั่นเป็นเหตุผลที่ควรส่งเสียงเตือนเมื่อคุณเห็นข้อความเช่น "ย่านใกล้เคียงมีความเสี่ยง" ในการให้เหตุผล: อาจดูเหมือนเป็นเกณฑ์ที่ชอบด้วยกฎหมายแต่กลับมีการเลือกปฏิบัติทางอ้อม
ข้อควรระวัง: การลบคุณลักษณะที่ได้รับการป้องกันออกจากข้อมูลไม่ได้ยุติการเลือกปฏิบัติ ตัวแปรตัวแทนสามารถส่งคืนได้ ความยุติธรรมไม่ได้เกิดขึ้นโดย "ฉันลบคอลัมน์ที่ละเอียดอ่อน"; ซึ่งสามารถทำได้โดยการทดสอบผลลัพธ์ของการตัดสินใจแบบจำลองระหว่างกลุ่ม
สานต่อความยุติธรรมสู่การปกครอง
- ตัวชี้วัดความเป็นธรรม เปรียบเทียบอัตราการอนุมัติ/ปฏิเสธของแบบจำลองและอัตราข้อผิดพลาดระหว่างกลุ่ม กลุ่มหนึ่งเผชิญกับการปฏิเสธที่สูงกว่าอย่างเป็นระบบหรือไม่?
- การควบคุมพร็อกซี ตรวจสอบความสัมพันธ์ของตัวแปรที่ใช้กับคุณสมบัติที่ได้รับการป้องกัน
- อธิบายได้ ต้องมีเหตุผลสำหรับการตัดสินใจทุกครั้ง การปฏิเสธ "กล่องดำ" ไม่สามารถป้องกันได้
- สิทธิในการคัดค้าน ลูกค้าควรได้รับสิทธิ์ในการเรียนรู้เหตุผลในการตัดสินใจและขอให้มีการตรวจสอบโดยเจ้าหน้าที่
- กลุ่มที่ได้รับการยกเว้น นอกจากนี้ ควรตรวจสอบด้วยว่ากลุ่มที่มีบทบาทน้อยในข้อมูลจะไม่ได้รับการปฏิบัติในทางที่ผิด
เทมเพลตที่สามารถคัดลอกได้สี่แบบ
1) การคัดกรองการเลือกปฏิบัติด้วยเหตุผล:
ตรวจสอบเหตุผลในการตัดสินใจด้านเครดิตต่อไปนี้: มีการอ้างอิงโดยตรง/โดยอ้อมถึงคุณลักษณะที่ได้รับการคุ้มครอง (อายุ เพศ แหล่งกำเนิด ศาสนา) หรือตัวแปรตัวแทน (รหัสไปรษณีย์ บริเวณใกล้เคียง ชื่อ ประเภทการซื้อของ) หรือไม่ ทำเครื่องหมายข้อความที่มีความเสี่ยงและอธิบายว่าเหตุใดจึงมีความเสี่ยงที่จะถูกเลือกปฏิบัติ เหตุผล: [ข้อความ]
2) การควบคุมพร็อกซีรายการตัวแปร:
ตรวจสอบรายการตัวแปรที่ใช้ในแบบจำลองเครดิต อันไหนที่อาจเป็นพร็อกซีสำหรับลักษณะที่ได้รับการคุ้มครองและมีความเสี่ยงต่อการเลือกปฏิบัติทางอ้อม เขียนเหตุผลของคุณสำหรับตัวแปรที่มีความเสี่ยงแต่ละรายการ รายการ: [ตัวแปร]
3) สรุปการตัดสินใจในแง่ของความเป็นธรรม (เป็นกลาง อธิบายได้):
บทบาทของคุณ: ผู้ช่วยผู้ร่างเหตุผลในการตัดสินใจที่อธิบายได้ พึ่งพาเกณฑ์ที่ถูกต้องตามกฎหมายและไม่เลือกปฏิบัติเท่านั้น (อัตราส่วนหนี้สินต่อรายได้ ประวัติการชำระเงิน หลักประกัน) ห้ามอ้างอิงคุณสมบัติที่ได้รับการป้องกันและตัวแปรตัวแทน เขียนเหตุผลเป็นภาษาธรรมดาที่ลูกค้าจะเข้าใจ ฉันจะให้การอนุมัติ
4) ร่างคำตอบข้อโต้แย้ง:
ลูกค้าอุทธรณ์การปฏิเสธเครดิตและต้องการเหตุผล ร่างคำตอบด้วยความเคารพและเป็นคำอธิบายตามเกณฑ์ที่ถูกต้องตามกฎหมาย เตือนลูกค้าถึงสิทธิ์ของตนในการตรวจสอบและแก้ไขโดยมนุษย์ อย่าใช้ความหมายอันเป็นการเลือกปฏิบัติ เหตุผลที่ปฏิเสธที่ยืนยันแล้ว: [เหตุผล]
พรอมต์อ่อน / พรอมต์แข็งแกร่ง
พรอมต์ที่อ่อนแอ:
การใช้งานในภูมิภาคนี้มีความเสี่ยงมาก ให้ใช้ข้อมูลอำเภอให้หนักขึ้นในแบบจำลองเพื่อเพิ่มความแม่นยำ
แนวทางนี้เสริมสร้างการเลือกปฏิบัติทางอ้อมตามเขต มันทำให้ผลลัพธ์ที่ผิดกฎหมายในนามของ "การตี" ถูกต้องตามกฎหมาย
พรอมต์อันทรงพลัง:
บทบาทของคุณ: ผู้ช่วยตรวจสอบกระบวนการยุติธรรม ตั้งค่าสถานะตัวแปรที่ใช้ซึ่งก่อให้เกิดความเสี่ยงของตัวแปรตัวแทน แนะนำตัวชี้วัดที่ฉันควรปฏิบัติตามเพื่อเปรียบเทียบการตัดสินใจระหว่างกลุ่มในแง่ของอัตราการอนุมัติ/ปฏิเสธ อย่าเสริมเกณฑ์การเลือกปฏิบัติ เปลี่ยนเส้นทางไปยังเกณฑ์ที่ถูกต้องและอธิบายได้
Strong จะมองหาความเสี่ยงแบบตัวแทน แนะนำการวัดความเป็นธรรม และปฏิเสธการเลือกปฏิบัติ
มินิเคสสามอัน
กรณีที่ 1 — อคติทางประวัติศาสตร์ แบบจำลองหนึ่งให้คะแนนต่ำอย่างเป็นระบบแก่กลุ่มอาชีพหนึ่งๆ เนื่องจากในอดีตเคยให้เครดิตน้อยกว่า การตรวจสอบความเป็นธรรมแสดงให้เห็นว่าอัตราการปฏิเสธสำหรับกลุ่มนี้สูงกว่ากลุ่มอื่นๆ ที่มีรายได้ใกล้เคียงกันถึง 30% แบบจำลองนี้ได้รับการปรับสมดุลด้วยรายได้และเกณฑ์การชำระเงินที่ถูกต้องตามกฎหมาย
กรณีที่ 2 — ตัวแปรตัวแทน รหัสไปรษณีย์เป็นตัวแปรที่ทรงพลังในโมเดล การตรวจสอบพบว่ารหัสไปรษณีย์ทับซ้อนกับย่านใกล้เคียงที่มีกลุ่มชาติพันธุ์กระจุกตัว ทำให้เกิดการเลือกปฏิบัติโดยอ้อม ตัวแปรจะถูกลบออกและแทนที่ด้วยเกณฑ์มาตรฐานทางการเงินที่ถูกต้องตามกฎหมาย ประสิทธิภาพยังคงอยู่ในระดับที่ยอมรับได้ การเลือกปฏิบัติจะหมดไป
กรณีที่ 3 — สิทธิในการคัดค้าน ลูกค้าที่ถูกปฏิเสธขอเหตุผล ธนาคารให้เหตุผลที่อธิบายได้ (อัตราส่วนหนี้สินต่อรายได้สูง) และยอมรับคำขอให้มีการตรวจสอบโดยเจ้าหน้าที่ การตรวจสอบพบว่ามีการอ่านเอกสารผิด การตัดสินใจได้รับการแก้ไขแล้ว ความสามารถในการอธิบายและสิทธิในการคัดค้านชดเชยความผิดพลาดด้วยความยุติธรรม
ตัวชี้วัดความเป็นธรรม: เราวัดอะไรและอย่างไร
“โมเดลนี้ยุติธรรมไหม” ไม่มีคำตอบเดียวสำหรับคำถามนี้ ความยุติธรรมมีคำจำกัดความหลายประการ และบางครั้งก็ขัดแย้งกันเอง ต่อไปนี้เป็นแนวทางบางส่วนที่นำไปใช้ได้จริงในการธนาคาร:
- การเปรียบเทียบอัตราการอนุมัติ/การปฏิเสธ: อัตราการอนุมัติแตกต่างกันอย่างเป็นระบบระหว่างกลุ่มต่างๆ ที่มีโปรไฟล์ทางการเงินคล้ายกัน (เช่น กลุ่มเพศ) หรือไม่ ความแตกต่างที่ยิ่งใหญ่และอธิบายไม่ได้ถือเป็นสัญญาณของอคติ
- ความเท่าเทียมกันของอัตราข้อผิดพลาด: อัตราการปฏิเสธที่ผิดพลาดของแบบจำลอง (การปฏิเสธแอปพลิเคชันที่ถูกต้องตามกฎหมาย) มีความสมดุลระหว่างกลุ่มหรือไม่ หากกลุ่มหนึ่งถูกปฏิเสธอย่างไม่ยุติธรรมบ่อยกว่าอีกกลุ่มหนึ่ง นั่นก็เป็นปัญหา
- การสอบเทียบ: ลูกค้าที่โมเดลเรียกว่า “ความเสี่ยงสูง” ผิดนัดชำระหนี้ในอัตราที่ใกล้เคียงกันในแต่ละกลุ่มจริงหรือ ความหมายของคะแนนไม่ควรเปลี่ยนจากกลุ่มหนึ่งไปอีกกลุ่มหนึ่ง
บางครั้งไม่สามารถระบุเมตริกเหล่านี้พร้อมกันได้ คำจำกัดความของความยุติธรรมที่ต้องจัดลำดับความสำคัญไม่ใช่การตัดสินใจทางเทคนิค แต่เป็นการตัดสินใจทางจริยธรรมและกฎหมาย และจำเป็นต้องมีธรรมาภิบาลของมนุษย์
เคล็ดลับ: วัดเมตริกความเป็นธรรมในช่วงเวลาสม่ำเสมอ ไม่ใช่แค่เมื่อคุณสร้างแบบจำลองเท่านั้น โมเดลอาจใช้งานได้จริงและมีความลำเอียงเมื่อเวลาผ่านไปเนื่องจากการเคลื่อนตัวของข้อมูล ความยุติธรรมไม่ใช่เรื่องของ "การจัดตั้ง" แต่เป็นเรื่องของ "การติดตาม"
ข้อผิดพลาดทั่วไป
- การเข้าใจผิดของ "ข้อมูลวัตถุประสงค์" สมมติว่าโมเดลมีความเป็นกลาง ข้อมูลมีอคติทางประวัติศาสตร์
- เพียงลบคอลัมน์ที่ละเอียดอ่อน การลบคุณสมบัติที่ได้รับการป้องกันและมองข้ามตัวแปรพร็อกซี
- ไม่ติดตามตัวชี้วัดความเป็นธรรม ไม่ได้เปรียบเทียบอัตราการปฏิเสธ/ข้อผิดพลาดระหว่างกลุ่มเลย
- ปกป้องการตัดสินใจกล่องดำ พิจารณาคำวินิจฉัยที่ไม่สามารถให้เหตุผลได้ว่าชอบด้วยกฎหมาย
- เพิกถอนสิทธิในการคัดค้าน ปิดการใช้งานการตรวจสอบโดยเจ้าหน้าที่เนื่องจาก "ทำให้กระบวนการช้าลง"
ข้อควรสนใจ: การเลือกปฏิบัติมักไม่ได้เกิดขึ้นจากความอาฆาตพยาบาท แต่มาจากความประมาท ตัวแปรที่เพิ่มเนื่องจาก "เพิ่มความแม่นยำ" อาจแยกกลุ่มโดยไม่รู้ตัว ดังนั้นความยุติธรรมจึงไม่ได้ขึ้นอยู่กับความสุจริตใจ แต่ขึ้นอยู่กับการทดสอบอย่างสม่ำเสมอ
โดยสรุป
โมเดล AI มีอคติกับข้อมูลที่พวกเขาเรียนรู้ และการเลือกปฏิบัติในการธนาคารถือเป็นความเสี่ยงทางกฎหมาย จริยธรรม และชื่อเสียง การเลือกปฏิบัติโดยตรงกำลังใช้คุณลักษณะที่ได้รับการคุ้มครอง ในทางกลับกัน การเลือกปฏิบัติทางอ้อมก็ให้ผลลัพธ์เช่นเดียวกันกับตัวแปรพร็อกซี (รหัสไปรษณีย์ ชื่อ) ความยุติธรรมไม่ได้เกี่ยวกับการลบคอลัมน์ที่ละเอียดอ่อน มั่นใจด้วยตัวชี้วัดความเป็นธรรม การควบคุมพร็อกซี ความสามารถในการอธิบาย และสิทธิ์ในการคัดค้าน ในประโยคเดียว: รูปแบบนั้นซ้ำรอยอดีต; เป็นความรับผิดชอบของมนุษย์ที่จะต้องรักษาความยุติธรรมและปฏิเสธการเลือกปฏิบัติ
งานสมัคร
เขียนรายการตัวแปร 8-10 ตัวสำหรับแบบจำลองเครดิต (บางตัวอาจมีความเสี่ยงโดยเจตนา เช่น รหัสไปรษณีย์ ชื่อ หมวดการซื้อของ) 2. ทำการตรวจสอบพร็อกซีด้วยเทมเพลตและทำเครื่องหมายรายการที่มีความเสี่ยงพร้อมเหตุผล จากนั้นเขียนข้อความแสดงเหตุผลแบบเลือกปฏิบัติและสแกนด้วยเทมเพลต 1 สุดท้าย ให้วางแผนในย่อหน้าว่าเมตริกความเป็นธรรมที่คุณจะติดตามเพื่อเปรียบเทียบอัตราการปฏิเสธของแบบจำลองระหว่างกลุ่ม
รายการตรวจสอบ
- [ ] ฉันได้ตรวจสอบว่าโมเดล/เหตุผลไม่ได้ใช้คุณสมบัติที่ได้รับการป้องกัน
- [ ] ฉันยังได้คัดกรองความเสี่ยงของตัวแปรพร็อกซีด้วย
- [ ] ฉันวางแผนที่จะเปรียบเทียบการอนุมัติ/การปฏิเสธและอัตราข้อผิดพลาดระหว่างกลุ่ม
- [ ] ฉันมั่นใจว่าทุกการตัดสินใจมีเหตุผลที่สามารถอธิบายได้
- [ ] ฉันให้สิทธิ์แก่ลูกค้าในการคัดค้านและการตรวจสอบโดยเจ้าหน้าที่
- [ ] ฉันไม่ได้ข้ามเส้นสีแดงการเลือกปฏิบัติด้วยเหตุผลของการ "ตี" ด้วยซ้ำ