רווחים:
- הוא מזהה נתונים, עיצוב ומקורות שימוש של הטיה אלגוריתמית ובודק את הפלט על בסיס קבוצתי.
- מסביר כיצד לולאת המשוב ושגיאת הייצוג מגדילים את אי השוויון ומבססים בקרת השפעה.
- זה מבטיח אחריות על ידי הבטחת הסבר וערעור בכל החלטה אוטומטית.
על הציבור להחיל את כוחו באופן שווה על כולם: יחס דומה לשני אזרחים במצבים דומים, הבדל מידתי למצבים שונים. עקרון השוויון הזה הוא חובה חוקתית. בינה מלאכותית יכולה גם לשפר וגם לשבש את התחום הזה. זה יכול להשתפר מכיוון שכלל מיושם בעקביות יכול להפחית את השרירותיות וההטיה האנושית. זה יכול להיות מושחת מכיוון שמודלים של AI לומדים מנתוני העבר, ונתוני העבר נושאים את האפליה של העבר. אם מערכת מאומנת על נתונים שקיפחו באופן היסטורי קבוצה מסוימת, היא נושאת את החיסרון הזה אל העתיד - ובצורה שקשה עוד יותר לזהות אותה, במסווה של "אלגוריתם אובייקטיבי". ביחידה זו תלמדו כיצד לזהות הטיה אלגוריתמית (הטיה שיטתית של פלט המודל מול קבוצות מסוימות) בעת שימוש בבינה מלאכותית במגזר הציבורי, כיצד לצמצם אותה ובעיקר, כיצד להבטיח אחריות אלגוריתמית (הרציונל להחלטה אוטומטית ניתנת להסבר, ביקורת וניתנת לערעור).
מאיפה הטיה?
ישנם מספר מקורות להטיה אלגוריתמית, וכולם מסוכנים בציבור:
- הטיה היסטורית: נתוני הכשרה מכילים אי שוויון בעבר. לדוגמה, אם באזור היה פחות שירות בעבר, "נתוני ביקוש" עשויים להראות לאזור זה כבעל צרכים נמוכים - כאשר למעשה הביקוש היה נמוך כי לא היה שירות.
- הטיית ייצוג: חלק מהקבוצות מיוצגות בחסר בנתונים (אלו ללא גישה דיגיטלית, קבוצות שפות מיעוט) והמודל לא עובד עבורן.
- הטיית פרוקסי: גם אם המודל אינו מסתכל ישירות על קריטריון אסור (אתניות, דת), הוא יכול לייצר את אותה אפליה על ידי הסתכלות על פרוקסי המשויך אליו (שכונה, שם, מיקוד).
- הטיית מדידה: מה שאנחנו מודדים הוא לא מה שאנחנו באמת רוצים למדוד. "מספר התלונות" מודד את היכולת להתלונן ולא את הצורך.
זהירות: זה מטעה לומר "הסרתי נתונים רגישים (מגדר, מוצא אתני) מהמודל, עכשיו זה הוגן". אפליה באמצעות משתני פרוקסי עלולה להימשך. הוגנות מושגת לא על ידי מחיקת הקלט, אלא על ידי בדיקת הפלט בין קבוצות.
בדיקת הוגנות: ראה את הפלט
ניתן להבין אם מערכת הוגנת או לא על ידי התבוננות בתוצאות שלה, לא בכוונותיה. שיטה בסיסית: חלקו את ההחלטה לקבוצות והשוו. האם התפוקות כגון שיעור קבלה/דחייה, שיעור טעויות, זמן המתנה שונות באופן משמעותי בין קבוצות שונות (מגדר, גיל, אזור, הכנסה)? אם יש הבדל, האם הבדל זה מבוסס על סיבה לגיטימית או שמא מדובר באפליה? מכיוון שניתוח זה עשוי לדרוש נתונים אישיים, יש לאסוף אותו ולבצע אותו בהתאם ל-KVKK.
טיפ: לפני הפעלת מערכת החלטות חדשה המונעת בינה מלאכותית, חלק את ההחלטות שלה לפי קבוצות דמוגרפיות והפק "דוח הוגנות". אם אתה מוצא הבדל, "האם ניתן להסביר את ההבדל הזה?" קח את השאלה לוועדה של אנשים.
הסבר וערעור: לב ליבה של אחריותיות
במגזר הציבורי לא ניתן לשלול אף אזרח מזכויותיו בתשובה "כך החליטה המערכת". עבור כל החלטה אוטומטית או בסיוע בינה מלאכותית, יש לוודא שלושה דברים:
- הסבר: על מה התבססה ההחלטה, אילו גורמים היו יעילים, יש להסביר בשפה פשוטה.
- דרך לערער: אזרחים צריכים להיות מסוגלים להתנגד להחלטה ולבקש מאדם לעיין בה.
- מסלול ביקורת: יש לרשום אילו נתונים, איזה דגם/גרסה ועם איזה אחראי התקבלה ההחלטה.
שלושה מיני תיקים
מקרה 1 - גרסה פונדקאית נתפסה. מודל אחד של תעדוף סיוע לא השתמש בנתונים רגישים אלא הסתכל על "מיקוד". במבחן ההגינות נמצא כי שכונות מסוימות קיבלו עדיפות נמוכה באופן שיטתי - בקורלציה עם מיקוד, הכנסה וצפיפות אתנית. המשתנה הוסר והעדיפות נקשרה ישירות למדדי הצורך.
מקרה 2 - פער הייצוג. צ'אטבוט היה ב-41% יותר סיכוי להטעות שאלות של אזרחים עם שפת אם שאינה טורקית; נתוני האימון הכילו מעט מקבוצה זו. כאשר נוספו תמיכה רב לשונית וסף מסירה אנושית, הפער נסגר.
מקרה 3 - דחייה בלתי מוסברת. מוסד דחה בקשה אוטומטית; אזרח "למה?" כשנשאל, השוטר לא ידע להסביר כי הסיבה לדגם לא הייתה מובנת. התקרית הראתה שלא ניתן להשתמש במודלים בעלי יכולת הסבר לקויה כדי לקבל החלטות נושאות זכויות; המערכת הפכה למודל שמייצר הצדקה ודורש אישור אנושי.
ארבע תבניות הניתנות להעתקה
1) מקור לסריקת הטיה:
תפקידך: מומחה להוגנות אלגוריתמית. בדוק את תהליך ההחלטה המופעל על ידי AI למטה. רשום מקורות אפשריים להטיה: (1) הטיה היסטורית, (2) הטיית ייצוג (קבוצה מיוצגת בחסר), (3) משתני פרוקסי (עמודה הקשורה לקריטריון אסור), (4) הטיית מדידה. תן דוגמה קונקרטית לכל אחד ותגיד לי איך לבדוק את זה. תהליך: [תהליך החלטה ונתונים בשימוש]
2) תוכנית בדיקת הגינות:
צור תוכנית לבדיקת הוגנות עבור פלט ההחלטות הבא: אילו קבוצות (גיל, מין, אזור, הכנסה) עלי לפרק, אילו מדדים (שיעור קבלה, שיעור שגיאות, זמן המתנה) עלי להשוות, כיצד אוכל להחליט אם ההבדל הוא לגיטימי או מפלה? הוסף אזהרת KVKK. החלטה: [איזו החלטה]
3) הצהרת החלטה (לאזרח):
כתבו טיוטת הסבר המובנת לאזרח להחלטה הבאה: אילו גורמים השפיעו, בשפה פשוטה. הוסף את הזכות לערער בסוף ואת האפשרות לערוך ביקורת אנושית [עם הזמן שיאושר]. שימוש בביטויים מעורפלים כגון "המערכת החליטה כך". החלטה: [סיכום וגורמים משפיעים]
4) בדיקת אחריות לפני ההפצה:
הפק רשימת בדיקה לאחריות לפני הפעלת מערכת ההחלטות המונעת בינה מלאכותית: האם היא ניתנת להסבר, האם יש דרך לערער, האם מתוחזק נתיב ביקורת (נתונים/גרסת דגם/אחריות), האם נעשו בדיקות הוגנות, היכן נקודת האישור האנושית. סמן פריטים חסרים כדגלים אדומים. SYSTEM: [מתכון]
הנחיה חלשה / הנחיה חזקה
חלש: "האם מודל ההחלטה הזה הוגן?"
Strong: "התפקיד שלך הוא מומחה להוגנות אלגוריתמי. עבור מודל תעדוף סיוע זה, סרוק תחילה מקורות הטיה (היסטוריים, ייצוג, משתנה פונדקאי, מדידה) ותן דוגמאות קונקרטיות לכל אחד מהם. לאחר מכן תמציא תוכנית לבדיקת הוגנות: פירוט לפי אילו קבוצות, אילו מדדים, כיצד להחליט על הלגיטימציה של ההבדל; הוסף את המערכת סופית, לפני מתן אפשרות לערעור, תן רשימה סופית למלחמה. נתיב ושביל ביקורת, וסמן אדום את החסרונות".
ההבדל: הנחיה חזקה מחפשת הטיה במקור שלה, בודקת את התפוקה על ידי קבוצות, והופכת את האחריות לנפוצה.
ממדי צדק ובקרות
גודל
סיכון
שליטה
נתונים היסטוריים
העבר טומן בחובו אי שוויון
בדיקת פלט לפי קבוצות
ייצוג
עובד רע עבור קבוצה כלשהי
שיעור שגיאות מבוסס קבוצה
משתנה פונדקאי
אפליה סמויה
קשר קריטריון רגיש למשתנה
יכולת הסבר
החלטה לא מוצדקת
צור הסבר פשוט
התנגדות
חילוט
נתיב סקירה אנושית
לולאת משוב ושגיאת ייצוג
הצורה הכי ערמומית של ההבחנה האלגוריתמית מתרחשת לא בהחלטה שגויה אחת אלא בלולאת משוב שמחזקת את עצמה לאורך זמן (תפוקה של מודל משפיעה על נתוני האימון הבאים, מחזקת הטיה קיימת). לדוגמה, אם מודל בדיקה מסמן שכונה מסוימת כ"מסוכנת", ככל שיותר בדיקות יגיעו לשם, כך נוצרות יותר רשומות, המודל רואה את השכונה הזו כמסוכנת יותר - למרות שההבדל גדל במיקום הנבדק, לא בסיכון בפועל. מה שסולל את הדרך לכך הוא לרוב שגיאת ייצוג (נתוני אימון המשקפים קבוצות מסוימות באופן חלקי או מעוות). במגזר הציבורי, מחזורים אלו עלולים להציב קבוצות מוחלשות תחת מעקב וסנקציות מחמירות יותר ויותר. הדרך להגן על עצמך היא לפקח על השפעת המודל, לא רק על התפוקה שלו: לפקח באופן קבוע על התפלגות ההחלטות המבוססות על קבוצות ולא ליישם באופן עיוור את המלצות המודל.
מארז מיני - ספק שמגביר את עצמו. מודל גילוי הונאות רווחה סימן אזור שנבדק בצורה כבדה יותר בעבר כבעל סיכון גבוה. כשהצוות חילץ מהנתונים את עוצמת האכיפה ומדד את "שיעור הגילוי האמיתי ביחס לאוכלוסייה", הם גילו שההבדלים בין האזורים נעלמו ברובם; המודל טעה באי-שוויון כסיכון אמיתי.
תבנית בקרת השפעה מבוססת קבוצה:
משימה: בדוק את נתוני ההחלטות הבאים לפי קבוצות (ללא נתונים אישיים, סיכום קטגורי). נתונים: [קבוצה | החלטה כוללת | שיעור החלטה שלילית | עוצמת הבדיקה]תפוקה: 1) האם שיעור ההחלטות השליליות מראה הבדל משמעותי בין הקבוצות? 2) האם ההבדל יכול לנבוע מסיכון ממשי או מעוצמת שליטה/ייצוג? 3) האם יש סימן ללולאת משוב? 4) המלצות לשליטה אנושית. כלל: ביסוס טענת סיבתיות; רשום הסברים אפשריים ודרכים לבדיקה.
זהירות: הטיעון ש"המודל הוא ניטרלי כי הוא מחיל את אותו כלל על כולם" מטעה. אותו כלל, כשהוא מיושם על נתונים מוטים, שומר ומגדיל את אי השוויון. צדק נמדד על פי שוויון התוצאה, לא על פי הכלל.
טעויות נפוצות
- מחיקת נתונים רגישים וחושבת "זה הוגן". משתנים פונדקאים מנציחים אפליה; לבדוק את הפלט.
- מדידת צדק לפי כוונה. הצדק מופיע בסופו של דבר; מיין החלטות לקבוצות והשווה.
- שוכחים את הקבוצה המיוצגת בחסר. המודל עשוי לעבוד בצורה לא טובה עבור קבוצת מיעוט; ראה שגיאה מבוססת קבוצה.
- שימוש במודל הבלתי מוסבר בהחלטות מתן זכויות. מערכת שלא יכולה לייצר הצדקה לא יכולה לקבל החלטות ציבוריות.
- לא מספק שום אמצעי התנגדות. כל החלטה אוטומטית צריכה להיות נתונה לביקורת אנושית.
- לא שומרת על עקבות ביקורת. יש לרשום עם איזה נתונים/דגם/אחראי התקבלה ההחלטה.
לסיכום
במגזר הציבורי, בינה מלאכותית יכולה להגביר את העקביות, אך גם להעביר בשקט את האפליה של העבר. הטיה מגיעה מנתונים היסטוריים, פער ייצוג, משתני פרוקסי ומדידה לא מדויקת; מחיקת נתונים רגישים לא תפתור את זה. הוגנות מושגת על ידי בדיקת התוצאה בין קבוצות. ואי אפשר לשלול שום אזרח מ"המערכת אמרה כך": כל החלטה חייבת להיות ניתנת להסבר, ערעור וניתנת לביקורת. המוסד הוא שאחראי, לא האלגוריתם.
משימת יישום
בחר תהליך החלטה המופעל על ידי בינה מלאכותית או אוטומטי ביחידה שלך. רשום הטיות אפשריות ומצא לפחות סיכון משתנה חלופי אחד עם התבנית "סריקת מקור הטיה". קבע אילו תקלות קבוצתיות להסתכל על ידי "תוכנית מבחן ההגינות". לקבלת החלטה לדוגמה, הפק הסבר הפונה לאזרח עם תבנית "הסבר החלטה".
רשימת בדיקה
- [ ] סרקתי מקורות להטיה (היסטורי, ייצוג, פרוקסי, מדידה).
- [ ] לא סתם מחקתי נתונים רגישים; בדקתי את הפלט לפי קבוצות.
- [ ] שלטתי בשיעור השגיאות עבור קבוצות שאינן מיוצגות.
- [ ] הבאתי נימוק פשוט וניתן להסבר לכל החלטה.
- [ ] הגדרתי התנגדות ונתיב ביקורת אנושית.
- [ ] שביל הביקורת (נתונים/גרסת דגם/אחראי) נשמר.