דעות קדומות וצדק — אוריינות בינה מלאכותית

רווחים:

מבין שהנתונים הם המקור העיקרי להטיית AI
מכיר בסיכונים שהטיה יכולה ליצור במקום העבודה
מיישם צעדים שניתן לנקוט כדי להפחית דעות קדומות

בינה מלאכותית מופיעה כמכונה ניטרלית ואובייקטיבית; אבל האמת הרבה יותר מורכבת. מערכות בינה מלאכותית לומדות הטיות אנושיות בנתונים עליהם הם מאומנים ולפעמים מגדילות ומשכפלות אותן. דעות קדומות הן הנטייה של מערכת להעדיף או להדיר באופן שיטתי אנשים או קבוצות מסוימות. ביחידה זו נשקול מהיכן מגיעות דעות קדומות, אילו סיכונים קונקרטיים היא מציבה במקום העבודה ומה ניתן לעשות נגדה. זה לא רק עניין של "אתיקה"; זהו עניין עסקי מעשי הנושא סיכון משפטי, מסחרי ומוניטין כאשר הוא מנוהל בצורה לא נכונה.

מאיפה מגיעות דעות קדומות?

המידע של מודל שפה מגיע מהטקסטים העצומים שבני אדם מייצרים. טקסטים אלה מכילים את כל הידע על החברה האנושית, כמו גם את כל הסטריאוטיפים, חוסר האיזון ואי השוויון ההיסטוריים שלה. המודל אינו מבחין בין דפוסים "טובים" ל"רעים"; הוא לומד כל מה שיש בנתונים.

דוגמה: אם מקצועות מסוימים היו קשורים בעיקר למין בטקסטים בעבר (למשל "אחות" עם אישה, "מהנדס" עם זכר), המודל לומד את הקשר הזה. ייתכן שהיא נוטה לבחור כינוי זכר בעת השלמת המשפט, "מהנדס נכנס למשרד, הוא..." המודל אינו זדוני; זה רק משקף את חוסר האיזון בנתונים.

אז ההטיה נובעת בעיקר מכך שהיא שיקוף של הנתונים, לא שגיאת תכנות מודעת. הסבר הבעיה כ"מישהו כתב קוד גרוע" מטעה; הבעיה היא שחוסר האיזון בעולם נישא לתוך הנתונים ומשם למודל.

סיכונים מוחשיים במקום העבודה

אזור

סיכון להטיה

נזק אפשרי

גיוס עובדים

למד את המגמה בנתונים היסטוריים וחסל קבוצות מסוימות

תיק משפטי, אובדן כושר

תקשורת עם לקוחות

שפה סטריאוטיפית או חריגה

אובדן מוניטין, בריחת לקוחות

אשראי/סיכון

הנצחת אי השוויון בעבר

אפליה, סנקציות

הערכת ביצועים

העברת הטיה בנתונים להחלטה

קידום/בונוס לא הוגן

תוכן/שיווק

הפוך קבוצה ספציפית לבלתי נראית

נזק למותג

שלושה מיני מארזים

מקרה 1 - המודעה צמצמה את השפה. חברה החלה להדפיס מודעות דרושים עם AI. לאחר זמן מה הבחינו שהפרסומות פנו לפרופיל מסוים עם ביטויים כמו "צעיר ודינמי", "מטרה אגרסיבית" ובכך הפחיתו את מגוון האפליקציות. הצוות הוסיף שלב שבודק כל פרסום עבור "שפה כוללת"; מגוון הפונים גדל משמעותית תוך מספר חודשים.

מקרה 2 - הטיה נסתרת בסיכום. מנהל אחד נתן ל-AI לסכם 30 משוב של עובדים. נראה היה שהתקציר ריכז את ההערות השליליות בצוות מסוים אחד; ואילו בנתונים הגולמיים המצב היה מאוזן. המודל הגזים בכמה אמירות חזקות. כשהמנהל חזר ובדק את הנתונים הגולמיים, הוא נמנע מלהעלות תפיסה מוטעית.

מקרה 3 - מנדט ההכללה עבד. צוות שיווק אחד תקן את ההוראה בעותק מסע הפרסום כדי "להשתמש בשפה כוללת ולא ספציפית של מגדר/גיל/קבוצה ורשום את ההנחות שלך בסוף." הביטויים הנוסחים בטקסטים שהופקו ירדו באופן ניכר; הצוות לא היה צריך לתקן ידנית כל פלט שוב ושוב.

מדוע קשה לזהות הטיה?

הדבר הכי ערמומי בדעות קדומות הוא שלעתים קרובות היא בלתי נראית. התפוקה נראית חלקה, מקצועית וסבירה; הנטייה בתוכו מתגלה רק כאשר מסתכלים היטב או מודדים את השפעתו על קבוצות שונות. זה מטעה לומר "אין כאן משוא פנים" בהסתכלות על דוגמה אחת; הטיה מתבטאת לרוב לא בדוגמאות בודדות אלא בנטייה הכללית של המערכת.

זהירות: ההנחה ש"אני ניטרלי, לכן הכלי שבו אני משתמש הוא גם ניטרלי" מסוכנת. הנייטרליות של הכלי תלויה בנתוני ההדרכה ובאופן שבו הוא נבדק, ולא בכוונתך.

הנחיה חלשה / הנחיה חזקה

הנחיה חלשה: תאר את המועמד האידיאלי לתפקיד זה.

תוצאה: המודל עשוי להסתמך על סטריאוטיפים ולהציג פרופיל מסוים כ"אידיאלי".

הנחיה חזקה: רשום רק כישורים שניתנים למדידה לתפקיד זה הרלוונטיים באמת לתפקיד. אין להשתמש במאפיינים שאינם קשורים לעבודה, כגון מין, גיל, מצב משפחתי, עיר הולדתו. לבסוף, כתוב את מה שהשארת מתחת לכותרת "הנחות שאני נמנע ממנה".

תוצאה: הערכה מוגבלת לקריטריונים הקשורים לעבודה, תכונות לא רלוונטיות אינן נכללות.

תבניות להפחתת הטיה

בדוק את הטקסט למטה לשפה כוללת. סמן הצהרות המרמזות על מגדר, גיל, מוצא אתני, מוגבלות או קבוצה מסוימת ומציעים חלופה ניטרלית עבור כל אחד מהם. טקסט: [הדבק כאן]

בצע הערכה זו רק על סמך הקריטריונים האובייקטיביים הבאים: [קריטריונים]. אין לקחת בחשבון מידע אחר מלבד הקריטריונים הללו (שם, מין, גיל).

רשום תחת כותרת נפרדת בסוף אילו הנחות הנחת בטקסט שהפקת. אז אני יכול לראות הטיות נסתרות.

הערך תוכן זה דרך עיניהן של שלוש קבוצות שונות של קוראים וסמן כל אמירה שעלולה לפגוע/ לפגוע בכל אחת מהן. תוכן: [הדבק כאן]

טעויות נפוצות

בהנחה פלט AI "נייטרלי". למרות שהפלט נראה ניטרלי, הוא עשוי לשאת את ההטיה בנתונים; נדרשת השגחה פעילה.
מסתכל על דוגמה אחת ואומר "אין הטיה". דעות קדומות מסתתרות בנטייה הכללית של המערכת.
השארת קבלת החלטות בעלת השפעה רבה לבינה מלאכותית ללא פיקוח. סמכות אנושית חיונית בהחלטות כמו גיוס, קידום ואשראי.
שוכחים לדרוש הכלה. אם לא תבקש זאת במפורש בהנחיה, המודל יחזור לדפוסי ברירת המחדל.
זה אומר "המכונה אמרה את זה". מי שמשתמש בהחלטה אחראי גם להשלכות.

הצדק הוא באחריות כולם

להילחם בדעות קדומות זה לא רק תפקידו של הצוות הטכני. על כל עובד שמשתמש בפלט AI מוטלת האחריות לשאול האם הפלט הזה הוגן. "המכונה אמרה לי" אינו תירוץ; מי שמקבל את ההחלטה אחראי גם לתוצאות.

לסיכום

המקור העיקרי להטיה בינה מלאכותית אינו זדון, אלא חוסר איזון וסטריאוטיפים קיימים בנתוני האימון.
לִפְגוֹעַ; זה יוצר סיכון משפטי ומוניטין אמיתי בתחומים כמו גיוס, תקשורת עם לקוחות, כספים והערכה.
הטיה היא לרוב בלתי נראית ומוטבעת בנטייה הכוללת של המערכת; הסתכלות על דוגמה בודדת היא מטעה.
כדי לצמצם: להיות מודע, להגביל את ההחלטה לקריטריונים הקשורים לעבודה, לבקש במפורש הכלה, לשים שליטה אנושית על החלטות בעלות השפעה רבה.
"המכונה אמרה לי" אינו תירוץ; ההגינות היא באחריות כל מי שמשתמש בפלט.

משימת יישום

אמור ל-AI "תאר עובד אידיאלי [כל עיסוק]" וסמן אילו הנחות (אולי מיותרות) נעשו בפלט. לאחר מכן חזור על התבנית של "קריטריונים הקשורים לעבודה" למעלה והשווה את שתי התפוקות לצורך הגינות.

רשימת תיוג

[ ] אני מבין שהמקור העיקרי להטיה הוא נתוני אימון.
[ ] אני יכול למנות את הסיכונים הקונקרטיים שהטיה במקום העבודה יכולה להוות.
[ ] אני יודע שלעתים קרובות הטיה אינה נראית ושההסתכלות על דוגמה אחת היא מטעה.
[ ] אני יכול לבקש בבירור הכלה וקריטריונים הקשורים לעבודה בהנחיה.
[ ] אני דורש פיקוח אנושי על החלטות בעלות השפעה.