דעות קדומות, הוגנות ואפליה: הנקודות העיוורות של הדוגמנית

רווחים:

• הבנה כיצד הטיה במודלים של בינה מלאכותית נובעת מנתונים ועיצוב ומדוע היא יוצרת סיכונים משפטיים ואתיים בבנקאות
• יכולת לזהות תכונות מוגנות, משתני פרוקסי ואפליה עקיפה ולפקפק בהחלטות מודל במונחים של הוגנות
• יכולת להבין כיצד מדדי צדק, קבוצות מודרות וזכות ההתנגדות שזורים במודל הממשל ולשמור על הקו האדום של אפליה

מודל AI אינו ניטרלי; זה מראה של הנתונים שנלמדו. אם הנתונים נושאים אי-שוויון מהעבר, המודל לומד אותם ונושא אותם לעתיד. בבנקאות זה לא ויכוח אתי מופשט: אם מודל אשראי מקפח באופן שיטתי קבוצה מסוימת, זה גם לא חוקי (איסור אפליה) וגם הפרה אתית, מה שמביא לסיכוני מוניטין וסנקציות לבנק. מטרת יחידה זו היא להראות כיצד המודל הופך להיות מוטה, צורות ישירות ועקיפות של אפליה, מלכודת משתנה הפרוקסי, ודרכים לשזור הוגנות בממשל המודל. מלכתחילה יש לומר קו אדום אחד: אפליה, "סטטיסטית" ככל שתראה, אינה מתקבלת על הדעת.

מאיפה מגיעות דעות קדומות?

• הטיית נתונים: אם החלטות העבר היו לא הוגנות (למשל, קבוצה מסוימת קיבלה פחות קרדיט בעבר), המודל מניח שזה "נורמלי" וממשיך. זה נקרא הטיה היסטורית.
• הטיית דגימה: אם קבוצות מסוימות מיוצגות בחסר בנתונים, המודל לומד עליהן בצורה גרועה ולא מדויקת.
• הטיית תווית: אם ההגדרה של "לקוח טוב" עצמה מוטה, המודל מבצע אופטימיזציה להטיה.
• הטיית עיצוב: בחירות אנושיות לגבי המשתנים להשתמש יכולים לשאת גם הטיה.

טיפ: "המודל מבוסס על נתונים, אז הוא אובייקטיבי" היא תפיסה מוטעית. נתונים הם תמונת מצב של העבר; אם העבר היה לא צודק, המודל ה"אובייקטיבי" מצדיק את העוול במתמטיקה. אובייקטיביות אינה ערובה לחוסר משוא פנים.

אפליה ישירה ועקיפה

• אפליה ישירה: שימוש ישיר של המודל במאפיין מוגן (מגדר, מוצא אתני, דת, גיל). הדבר אסור במפורש.
• אפליה עקיפה (משתנה פונדקאי / פרוקסי): גם אם המודל אינו משתמש ישירות בתכונה המוגנת, הוא מייצר את אותה תוצאה על ידי שימוש במשתנה אחר שקשור אליו מאוד (מיקוד, שם, קטגוריית קניות, מחוז עבודה). מיקוד הוא לעתים קרובות פרוקסי למוצא אתני או רמת הכנסה. המודל אומר "שכונה" אבל התוצאה היא אפליה "מקור".

משתנה

ככל הנראה

יכול להיות פרוקסי

מיקוד/מחוז

גיאוגרפיה

מוצא אתני, רמת הכנסה

שם

תעודה מזהה

מוצא, מין

קטגוריית קניות

התנהגות

אורח חיים, אמונה

סיים בית ספר

חינוך

מוצא סוציו-אקונומי

לכן צריך להישמע אזעקה כשאתה רואה אמירה כמו "השכונה מסוכנת" בהצדקה: היא עשויה להיראות כקריטריון לגיטימי אך טומנת בחובה אפליה עקיפה.

זהירות: הסרת התכונה המוגנת מהנתונים אינה מסיימת את האפליה. משתני סרוגייט יכולים להחזיר אותו. הצדק אינו מושג על ידי "מחקתי את הטור הרגיש"; זה מושג על ידי בדיקת התוצאות של החלטות מודל בין קבוצות.

טווית צדק בממשל

1. מדדי הגינות. השווה את שיעורי האישור/הדחייה של המודל ושיעורי השגיאות בין קבוצות. האם קבוצה אחת חווה באופן שיטתי דחיות גבוהות יותר?
2. בקרת פרוקסי. בדוק את הקשר בין המשתנים המשמשים לנכסים המוגנים.
3. יכולת הסבר. יש להמציא הצדקה לכל החלטה; הכחשה של "קופסה שחורה" היא בלתי נסבלת.
4. זכות התנגדות. יש לתת ללקוח את הזכות ללמוד את הרציונל להחלטה ולבקש בדיקה אנושית.
5. קבוצות שלא נכללו. כמו כן, יש לבדוק שקבוצות שהן מיוצגות בתת-ייצוג בנתונים אינן זוכות ליחס לא נכון.

ארבע תבניות הניתנות להעתקה

1) מיון לאפליה בהצדקה:

בדוק את נימוק החלטת האשראי הבא: האם יש התייחסות ישירה/עקיפה למאפיין מוגן (גיל, מין, מוצא, דת) או משתנה פרוקסי (מיקוד, שכונה, שם, סוג קניות)? סמן הצהרות מסוכנות והסביר מדוע הן מהוות סיכון לאפליה. סיבה: [טקסט]

2) בקרת פרוקסי רשימת משתנים:

בחן רשימה זו של משתנים המשמשים במודל אשראי. אילו מהם יכולים להוות נציג של מאפיין מוגן ולהוות סיכון לאפליה עקיפה? כתוב את ההצדקה שלך עבור כל גרסה מסוכנת. רשימה: [משתנים]

3) סיכום ההחלטה במונחים של הגינות (ניטרלי, ניתן להסבר):

תפקידך: עוזר שמנסח נימוק החלטה בר הסבר. הסתמכו רק על קריטריונים לגיטימיים, לא מפלים (יחס חוב להכנסה, היסטוריית תשלומים, בטחונות). אין להתייחס לנכס מוגן ולמשתנה תחליף. כתבו את הרציונל בשפה פשוטה שהלקוח יבין. אני אתן את האישור.

4) טיוטת תגובת התנגדות:

לקוח ערער על דחיית האשראי ורוצה הצדקה. לנסח תגובה מכבדת ותיאורית המבוססת על קריטריונים לגיטימיים; הזכירו ללקוח את זכותו לעיון ותיקון אנושיים. אל תשתמש בהשלכות מפלות כלשהן. סיבת דחייה מאומתת: [סיבה]

הנחיה חלשה / הנחיה חזקה

הנחיה חלשה:

יישומים באזור זה מסוכנים מאוד, בואו נשתמש במידע מחוזי יותר במודל כדי שניתן יהיה להגביר את הדיוק.

גישה זו מחזקת אפליה עקיפה על בסיס מחוז; זה נותן לגיטימציה לתוצאה בלתי חוקית בשם "מכה".

הנחיה עוצמתית:

תפקידך: עוזר ביקורת צדק. סמן את המשתנים המשמשים המהווים סיכון למשתנים פונדקאיים. הצע אילו מדדים עלי לפעול כדי להשוות החלטות בין קבוצות במונחים של שיעור אישור/דחייה. לעולם אל תחזק קריטריון מפלה; הפנה מחדש לקריטריונים לגיטימיים וניתנים להסבר.

רצון חזק מחפש סיכון פרוקסי, מציג מדדי הוגנות ודוחה אפליה.

שלושה מיני תיקים

מקרה 1 - הטיה היסטורית. מודל אחד מעניק לקבוצת מקצוע מסוימת ציון נמוך באופן שיטתי, כי הוא קיבל פחות קרדיט בעבר. מבדיקת הגינות עולה כי שיעור הדחייה בקבוצה זו גבוה ב-30% מאחרים ברמות הכנסה דומות. המודל מאוזן מחדש עם קריטריוני הכנסה ותשלום לגיטימיים.

מקרה 2 - משתנה מחליף. מיקוד הוא משתנה רב עוצמה במודל. מהביקורת עולה כי המיקוד חופף לשכונות מסוימות מרוכזות אתנית, מה שיוצר אפליה עקיפה של מוצא. המשתנה מוסר ומוחלף במדדים פיננסיים לגיטימיים; הביצועים נשארים ברמה מקובלת, האפליה מבוטלת.

מקרה 3 - זכות התנגדות. לקוח דחוי מבקש הצדקה. הבנק מספק את ההצדקה הניתנת להסבר (יחס חוב להכנסה גבוה) ומקבל את הבקשה לביקורת אנושית. סקירה חושפת קריאה שגויה של מסמך; ההחלטה מתוקנת. ההסבר והזכות להתנגד מפצות על טעות בצדק.

מדדי הוגנות: מה ואיך אנחנו מודדים

"האם הדוגמנית הוגנת?" אין תשובה אחת לשאלה; ישנן מספר הגדרות של צדק, ולעתים הן מתנגשות זו בזו. להלן מספר גישות שפועלות בפועל בבנקאות:

• השוואת שיעורי אישור/פסילה: האם שיעור האישורים שונה באופן שיטתי בין קבוצות שונות בעלות פרופילים פיננסיים דומים (למשל קבוצות מגדריות)? הבדל גדול ובלתי מוסבר הוא סימן להטיה.
• שוויון בשיעורי השגיאות: האם שיעור הדחייה הכוזבת של המודל (דחיית בקשה לגיטימית) מאוזן בין קבוצות? אם קבוצה אחת נדחתה באופן לא הוגן לעתים קרובות יותר מאשר קבוצה אחרת, יש בעיה.
• כיול: האם הלקוחות שהמודל מכנה "סיכון גבוה" באמת מחדלים בשיעורים דומים בכל קבוצה? משמעות הניקוד לא צריכה לעבור מקבוצה לקבוצה.

לפעמים לא ניתן לספק מדדים אלה בו-זמנית; איזו הגדרה של צדק לתעדף אינה החלטה טכנית אלא אתית ומשפטית ודורשת ממשל אנושי.

טיפ: מדוד את מדד ההגינות במרווחי זמן קבועים, לא רק כשאתה בונה את המודל. מודל עשוי לעלות לאוויר בצורה הוגנת ולהיות מוטה לאורך זמן עקב סחף נתונים. הצדק אינו עניין של "הקמה" אלא עניין של "פיקוח".

טעויות נפוצות

• הכשל "נתונים אובייקטיביים". בהנחה שהדגם ניטרלי; נתונים נושאים הטיה היסטורית.
• פשוט מחק את העמודה הרגישה. הסרת הנכס המוגן והתעלמות על משתני פרוקסי.
• לא עוקב אחר מדדי הוגנות. לא משווים בכלל את שיעור הדחייה/טעויות בין קבוצות.
• הגנה על החלטת הקופסה השחורה. בהתחשב בהחלטה שלא ניתן להצדיק אותה כלגיטימית.
• הסרת זכות ההתנגדות. השבתת ביקורת אנושית כי "זה מאט את התהליך".

תשומת לב: אפליה נובעת לרוב לא מרוע לב אלא מחוסר זהירות. משתנה שנוסף בגלל שהוא "מגביר את הדיוק" עלול שלא לכלול קבוצה מבלי לדעת. לכן הצדק מבוסס לא על תום לב אלא על בדיקות קבועות.

לסיכום

מודלים של AI נושאים את ההטיות של הנתונים שהם לומדים מהם, ואפליה בבנקאות היא סיכון משפטי, אתי ומוניטין. אפליה ישירה היא שימוש בתכונה מוגנת; אפליה עקיפה, לעומת זאת, מייצרת את אותה תוצאה עם משתני פרוקסי (מיקוד, שם). הצדק אינו מחיקת הטור הרגיש; מובטח על ידי מדדי הגינות, בקרת פרוקסי, יכולת הסבר וזכות להתנגד. במשפט אחד: הדפוס חוזר על העבר; באחריות האדם לשמור על הצדק ולדחות אפליה.

משימת יישום

כתוב רשימה של 8-10 משתנים עבור מודל אשראי (חלקם עם סיכון פרוקסי מכוון: מיקוד, שם, קטגוריית קניות). 2. בצעו בדיקת פרוקסי עם התבנית וסמנו את המסוכנים בנימוקיהם. לאחר מכן כתוב טקסט הצדקה מפלה וסרוק אותו עם תבנית 1. לבסוף, תכנן בפסקה אילו מדדי הוגנות תעקבו כדי להשוות את שיעור הדחייה של המודל בין קבוצות.

רשימת בדיקה

• [ ] בדקתי שהמודל/רציונל אינו משתמש במאפיינים מוגנים.
• [ ] בדקתי גם את הסיכון של משתני פרוקסי.
• [ ] תכננתי להשוות את שיעור האישור/הדחייה ושיעור השגיאות בין הקבוצות.
• [ ] הבטחתי שלכל החלטה יהיה רציונל שניתן להסביר.
• [ ] נתתי ללקוח זכות התנגדות וביקורת אנושית.
• [ ] אפילו לא חציתי את הקו האדום האפליה בטענה של "פגיעה".