רווחים:
- להבין מהי ספקנות מקצועית ואת הסיכונים ליפול להטיית אישור ולהטיית אוטומציה בעת שימוש בבינה מלאכותית
- יכולת לבדוק פלט של בינה מלאכותית בטכניקת תשאול שמנסה להפריך (חפש את ההיפך)
- היכולת להבין ששטף הבינה המלאכותית אין פירושו דיוק, שהמוח הספקן הוא ליבת השליטה ולא ניתן להעבירו.
ישנה גישה נפשית אחת שמבדילה את האודיטינג העצמאי ממקצועות רבים אחרים: ספקנות מקצועית. רשות הרשות מגדירה זאת כמבקר שעובד "במוח חוקר, מציין אם הראיות מצביעות על הצגה מוטעית פוטנציאלית, ומעריך באופן ביקורתי את הראיות". כלומר, רואה החשבון המבקר אינו מקבל באופן אוטומטי כל מידע שהוצג לו - לא הצהרת הנהלה, לא מסמך, אפילו לא חשבון ש"נראה סביר" - כנכון. אני כל הזמן תוהה "האם זה באמת כך?" הוא שואל. גישה זו היא ליבת השליטה והיא בלתי ניתנת להסרה.
בעידן הבינה המלאכותית, ליבה זו עומדת בפני מבחן חדש לגמרי. מכיוון שה-AI מיומן בהפעלת שתי חולשות עמוקות של המוח האנושי - הטיית אוטומציה והטיית אישור. ביחידה זו, נסקור כיצד מבקר המשתמש בבינה מלאכותית יכול לשמור או אפילו לחזק את הספקנות שלו. התזה העיקרית היא שהשטף של AI אינה דיוק; המוח הספקני הופך להיות חשוב עוד יותר מול AI.
שתי הטיות מסוכנות
הטיית אוטומציה היא הנטייה של אנשים לסמוך על הפלט של מכונה/תוכנה יותר מאשר בשיקול הדעת שלהם. "המחשב חישב את זה, זה נכון." הסכנה הזו מוגברת כשמדובר בבינה מלאכותית, כי בינה מלאכותית לא רק עושה חישוב; מדבר משפטים שוטפים, בטוחים, דמויי אנוש, מנומקים. נימה בטוחה משכנעת גם אם המידע אינו מדויק.
הטיית אישור היא הנטייה של אנשים לחפש מידע התומך במסקנה שהם האמינו או קיוו לה בעבר ולהתעלם ממידע סותר. זה קטלני בביקורת: אודיטור שחושב ש"הלקוח הזה חייב להיות נקי" יקבל הקלה כשהוא ישאל את הבינה המלאכותית ויקבל אישור, ויפסיק לחפש ראיות להיפך. מכיוון שבינה מלאכותית נוטה להישען על השאלה הנשאלת (אם אתה שואל "זה בסדר, נכון?" סביר יותר לייצר תשובה שמסכימה איתך), זה יכול לטפח הטיית אישור.
יש גם שלישית: הזיה. ראינו את זה פעמים רבות במודול - AI יכול להרכיב באופן שוטף מספר, פריט, משאב שלא קיים. הסכנה מתחזקת כאשר משלבים שלוש חולשות: בינה מלאכותית ממציאה דברים (הזיה), אתה מאמין בה כי הוא נזיל (הטיית אוטומציה), אתה לא מפקפק בזה כי הוא אומר לך למה אתה מצפה (הטיית אישור).
שלושת הכלים של המוח הסקפטי נגד AI
בואו נשים ספקנות בטכניקות קונקרטיות נגד AI:
- נסה להפריך, לא לאשר. AI עשוי לשאול את הפלט שלו "האם זה נכון?" לא "איך אני יודע אם זה לא בסדר?" שְׁאֵלָה. שאלו את עצמכם: "אם ההצהרה הזו הייתה שקרית, אילו ראיות יראו זאת?" ולחפש את ההוכחות האלה. קל למצוא דוגמה אחת המאשרת; הניסיון להפריך ולהיכשל נותן ביטחון אמיתי.
- שאל בצורה ניטראלית ואחורה. שאל את הבינה המלאכותית "אין בעיה כאן, נכון?" אל תשאל; זה מזמין תגובה מאשרת. במקום זאת, "מהם הסיכונים שאולי החמצתי בנתונים האלה?" ו"מהם שלושת התרחישים הסבירים ביותר שבהם תוצאה זו עלולה להיות שגויה?" לִשְׁאוֹל. שאלו את אותה שאלה משני צדדים מנוגדים והשוו בין התשובות.
- הורד למקור ושכפל. עבור כל סוגיה, ייחוס ומסקנה, "היכן אני מאמת זאת באופן עצמאי?" שאל את השאלה ובאמת אמת. הצג את הפלט של ה-AI כטענה; הראיות הן חיצוניות לתביעה.
טיפ: עשה לך הרגל: ליד כל פלט משמעותי שה-AI נותן, כתוב שני דברים ביד - "(1) עם מה אימתתי את זה, (2) אילו ראיות יראו את זה אם זה היה שקרי." שני הערות אלו שוברות הן את האוטומציה והן את הטיית האישור.
פסקי דין שהמבקר אינו יכול להאציל
חלק מהעבודות דורשות מטבען ספקנות ושיפוטיות; לא ניתן להאציל את אלה ל-AI, רק נתמך:
סמכות שיפוט בלתי ניתנת להסרה
למה
האם הראיות מספיקות וראויות
שיקול דעת מקצועי; תלוי בהקשר
סבירות של הסבר
דורש התחשבות בארגון ובכוונה
הערכת סיכוני הונאה
ספקנות ואינטואיציה; מעבר לדפוס הנתונים
החלטת מהותיות וחוות דעת
מערכת המשפט אחראית לציבור
דעה על יושר ההנהלה
קריאת התנהגות אנושית; AI לא יכול לעשות את זה
ההבדל בין ספקנות לפדנטיות: גישה מדודה
ספקנות מקצועית אין פירושה לא להאמין לכל דבר או להאשים את ההנהלה מראש; זו תהיה הגזמה ותהפוך את הבקרה ללא יעילה. ספקנות היא לא אמון טהור (קבלת כל מה שאומרים לך) ולא הכחשה עיוורת (דחיית הכל); בין לבין, מדובר בגישה של חקירה התואמת את הראיות. המבקר עשוי לקבל את ההנהלה כישרה, אך בודק קבלה זו בראיות; עשוי למצוא הסבר סביר, אך מאשר את הסבירות. בינה מלאכותית יכולה להפר את האיזון הזה: בכיוון אחד, היא מרגיעה אותך לביטחון עצמי מופרז עם הפלט הנוזלי שלו; מצד שני, אם תגיד לו "למצוא פגם בכל דבר" זה יפציץ אותך באינסוף תוצאות שגויות. הגישה הנכונה היא לשקול תמיד את התוצאה מול משקל הראיות, תוך הפעלת ה-AI כדי להפיק ראיות ולהפריך את הראיות. ספקנות היא לא תכונת אישיות, אלא דרך עבודה ממושמעת; והמבקר הוא זה שמקים, מקיים ומוכיח את הדיסציפלינה הזו, לא בינה מלאכותית.
שלושה מיני תיקים
מקרה 1 - טכניקת ההפרכה עובדת. מבקר הדפיס את הבינה המלאכותית ואמר "הערכת המניות הזו נראית סבירה." במקום לאשר, הוא שאל בגב: "אם הערכת השווי הזו מוגזמת, אילו ראיות יראו זאת?" "פריטים שמחיריהם לאחר המכירה יורדים מתחת לעלות", אמר YZ. המבקר חיפש את הפריטים הללו ומצא קבוצה שלמעשה לא מוערכת. שאלת ההפרכה חשפה את הסיכון שהאישור הסתיר.
מקרה 2 - נפילה להטיית אישור. חבר צוות שאל את הבינה המלאכותית בזמן קריסה, "אין שום דבר חמור בחשבון הזה, נכון?" הוא שאל. י.ז. נשען על השאלה ואמר: "לפי המידע שמסרת, לא נראה שיש בעיה משמעותית". חבר הצוות נרגע וחתם את העט. עם זאת, הוא לא הציג כל ראיה; ה-AI רק שיקף את גזר הדין שלו. האחראי הראה שהשאלה לא נשאלה ללא משוא פנים. שיעור: איך אתה שואל את השאלה קובע את התשובה שתקבל; שאלה המבקשת אישור מייצרת אישור.
מקרה 3 - נופל לשטף. מבקר סבר שפרשנות חקיקה שהסבירה י.ז בפסקה קולחת ומנומקת מאוד נכונה וכללה אותה בנייר העבודה. הטקסט היה כל כך מסודר שלא עלה בדעתו להטיל בו ספק. האחראי הראה שאין להפניה מקבילה בטקסט הרשמי. לקח: שטף וביטחון עצמי אינם הוכחה לדיוק; התוצאה שנראית משכנעת ביותר עשויה להיות המסוכנת ביותר.
הנחיה חלשה / הנחיה חזקה
הנחיה חלשה:
הניתוח הזה נכון, נכון? האם אתה מאשר?
הבעיה: שאלה מוטה המבקשת אישור. זה דוחף את הבינה המלאכותית להצטרף אליך; זה מטפח הטיית אישור ומסתיר סיכון אמיתי.
הנחיה עוצמתית:
תפקידך: אתה שותף לחקירה קריטי של מבקר בלתי תלוי. המשימה שלך היא לא להסכים איתי, אלא לנסות לסרב לפלט שלי. הקשר: להלן המסקנה שלי של הליך אנליטי והמסקנה הטנטטיבית. הצע ראיות קונקרטיות ניתנות לחיפוש. 3) סמן את כל הנתונים או ההנחות שאולי פספסתי. 4) אל תעשה משפטים שמסכימים איתי; מוטלת עליך המשימה למצוא נקודות תורפה. סמן "לא ידוע" היכן שאינך בטוח.
הנחיה זו היא רבת עוצמה מכיוון שהיא הופכת את תפקיד ה-AI (הפרכה), דורשת תרחישי הפרכה וראיות ניתנות לחיפוש, ואוסרת על שפה מחפשת אישור. זה מעמיד את הבינה המלאכותית בשירות של ספקנות ולא מכשיר של הטיית אישור.
טעויות נפוצות
- שואל שאלות מבקש אישור. "זה בסדר, נכון?" על ידי שואל והבטחת התשובה המוסכמת.
- טועה בשטף הדיוק. קבלת פלט כתוב היטב ובטוח ללא שאלה.
- הסתפקו בדוגמה מאששת אחת. נסגר עם הממצא התומך הראשון, מבלי לנסות להפריך אותו.
- להאציל סמכות שיפוט בלתי ניתנת לביטול. השארת ההחלטה לגבי מידת הראיות, הסבירות, הדעה ל-AI.
- לשחרר ספקנות בלחץ זמן. מוצאים מפלט בתשובה המנחמת של AI כשאתה תקוע.
זהירות: לחץ זמן הוא האויב הגדול ביותר של הספקנות, ובינה מלאכותית הופכת למסוכנת ביותר תחת לחץ זה; כי הוא מציע לך תשובה מהירה, שוטפת ומנחמת. הפוך את זה לחובה לשאול את שאלת ההפרכה כאשר אתה ממהר.
לסיכום
ספקנות מקצועית היא בליבת הביקורת והופכת קריטית עוד יותר בעידן הבינה המלאכותית. בינה מלאכותית מעוררת שלוש נקודות חולשה: הזיה (מרכיבה אותה), הטיית אוטומציה (אנחנו מאמינים בה כי היא זורמת), הטיית אישור (אנחנו לא מפקפקים בה כי היא אומרת למה אנחנו מקווים). התרופה היא למהר להפריך את הבינה המלאכותית, לא לאשר אותה: "אם זה שקרי, אילו ראיות יראו את זה?" ' ומחפש ראיות מנוגדות, שואל באובייקטיביות ולאחור, משחזר כל פלט מהמקור. פסקי דין כגון מספיק ראיות, סבירות, סיכון להונאה ושיקול דעת דורשים ספקנות ואינם ניתנים להעברה. שטף אינו דיוק; המוח הספקני הוא שלך.
משימת יישום
קבל את תוצאת הביקורת שלך (או תוצאה היפותטית). שאל את הבינה המלאכותית תחילה עם שאלה חלשה "מחפשת אישור", ולאחר מכן עם דפוס ההנחיה החזקה של "הפרכה" למעלה. שימו את שתי התוצאות זו לצד זו ורשמו את ההבדל: אילו סיכונים התגלו רק בשאלת ההפרכה? לאחר מכן הוסף שתי הערות ליד כל טענה מרכזית בפלט שלך: "עם מה אימתתי" ו"איזה ראיה תראה אם זה היה שקרי".
רשימת בדיקה
- [ ] שאלתי את השאלות ההפרכות/נייטרליות של AI, לא שאלות שמבקשות אישור.
- [ ] עבור כל תוצאה משמעותית, "אם זה שקרי, אילו ראיות יראו זאת?" שאלתי את השאלה וחיפשתי ראיות.
- [ ] בדקתי את הפלט, שנראה חלק ובטוח, בספקנות יתרה.
- [ ] לא הפסקתי עם דוגמה מאששת אחת; ניסיתי להפריך את זה אבל נכשלתי.
- [ ] עשיתי שיקולים משלי, כגון די בראיות, סבירות וחוות דעת.
- [ ] גם בלחץ זמן, לא דילגתי על שאלת ההפרכה.
- [ ] לצד הטענות החשובות, רשמתי "במה אימתתי / מה יראה אם זה היה שגוי".