ניהול סיכונים מודל וצוות אדום

רווחים:

• יכולת לסווג תרחישי שימוש לרמות סיכון נמוכות/בינוניות/גבוהות בהתאם להשפעה
• יכולת לבחון באופן שיטתי את הדגם לפני הייצור בשילוב אדום
• יכולת קבלת החלטות ייצור עם כרטיס דגם ודלת קבלה (go/no-go)

לא כל שימוש בבינה מלאכותית נושא את אותו סיכון. עוזר שמסכם הערת פגישה ועוזר שמעריך בקשת הלוואה מייצרים תוצאות שונות מאוד. הבסיס של ממשל תאגידי הוא סיווג שימושים לפי רמת סיכון והפעלת בקרה מתאימה על כל רמה. ביחידה זו, נלמד את המסגרת של ניהול סיכונים במודל (דיסציפלינה של ניהול הסיכון הנגרם מכך שמודל אינו נכון, מוטה או בר ניצול), כיצד לבדוק את המודל לפני הייצור ב-red-teaming ואת כרטיס הדגם וקריטריוני הקבלה.

סיווג לפי סיכון

הצעד הראשון תמיד זהה: "מה קורה אם השימוש הזה משתבש?" שלוש רמות גסות בהתאם לעוצמה והפיכות:

• סיכון נמוך: השגיאה מזוהה בקלות ומתבטלת; ללא השלכות אישיות/כלכליות. דוגמה: סיכום פגישה פנימית, יצירת טיוטת רעיון.
• סיכון בינוני: השגיאה משפיעה על התהליך העסקי אך עוברת דרך העין האנושית. דוגמה: טיוטת תגובה ללקוח, סיכום דוח ראשוני.
• סיכון גבוה: החלטה משפיעה ישירות על אדם/כסף, קשה להפוך אותה. דוגמה: החלטת אשראי/ביטוח, טריאז' רפואי, מיון תעסוקה.

עוצמת השליטה עולה עם רמת הסיכון: בסיכון נמוך מספיקות בקרות האור; בסיכון גבוה, פיקוח אנושי, אימות קפדני, צוות אדום ומעקב מתמיד הם חובה.

שימו לב: עשו סיווג סיכונים לפי השפעת השימוש, לא לפי שמו. המערכת המכונה "סתם צ'טבוט" היא בסיכון גבוה אם היא יכולה ליזום תשלומים.

קבוצה אדומה (רד-צוות)

צוות אדום מנסה בכוונה לשבור מערכת על ידי התחזות לתוקף זדוני. זה ב-AI; זה כולל פריצת ג'יל (עקיפת כללי האבטחה של המודל), הזרקה מהירה, חילוץ נתונים, יצירת פלט מוטה/זדוני ובדיקת תרחישי קצה. המטרה היא למצוא נקודות תורפה לפני התוקף האמיתי.

צעד אחר צעד:

1. רשום תרחישי איום. כיצד ניתן לנצל לרעה את המערכת הזו?
2. הכן את סט ההתקפה. כתוב דוגמאות ערך קונקרטיות עבור כל איום.
3. נסה באופן שיטתי. הפעל כל תרחיש ותעד את התוצאה.
4. תעדוף ממצאים. מיין לפי השפעה × הסתברות.
5. תקן את זה ובדוק שוב. לאחר התיקון, נסה שוב עם אותו סט (רגרסיה).

כרטיס דגם וקריטריוני קבלה

כרטיס דגם הוא מסמך המסכם למה מתאים דגם, מגבלותיו, סיכונים ידועים וביצועים. לפני שתכניסו אותו לייצור, צריכים להיות לכם קריטריונים להחלטת קבלה: סף דיוק, שיעור מעבר צוות אדום, חביון, עלות ומבחני הטיה.

ארבע תבניות הניתנות להעתקה

הנחיה לסיווג סיכונים:

שקול את מקרה השימוש הבא: {{ תרחיש }}שאלות: על מי/מה משפיע הבאג? (אדם, כסף, מוניטין, הרמוניה)- האם זה הפיך? (כן/לא) - האם בני אדם יכולים להתערב? תוצאה: "סיכון נמוך / בינוני / גבוה" + רשימת בדיקות חובה.

מחולל ערכות התקפה של צוות אדום:

אתה מומחה לצוות אדום. צור 15 תרחישי תקיפה עבור העוזר הבא: 5 פריצות לכלא, 5 הזרקות מיידיות (מהן 3 עקיפות), 5 ניסיונות חילוץ נתונים. לכל תרחיש: כתוב את המטרה, את טקסט ההקדמה המלא ו"קריטריונים להצלחה" (כל מה שאני רואה נחשב את ההתקפה כמוצלחת).

דגם שלד לוח:

כרטיס דגם:- שימוש מכוון / שימוש לא מכוון- הדרכה/מגבלות נתונים ופגיעויות ידועות- ביצועים: דיוק, חביון, עלות (בסט מבחן)- אבטחה: שיעור מעבר צוות אדום, פריצות מאסר ידועות- תוצאות בדיקות הטיה- החלטת קבלה: אישור / מותנה / דחייה + הצדקה

כלל בקרת שער הכניסה:

כל התנאים חייבים להתקיים כדי לעבור לייצור:- >= סף יעד על סט בדיקת דיוק- ספירת ממצאים קריטיים של הצוות האדום = 0- אם סיכון גבוה: לוח פיקוח וניטור אנושי אם אף אחד מהם לא מתקיים: "NO-GO" + פריט חסר.

הנחיה חלשה / הנחיה חזקה

גישה גרועה

גישה חזקה

עיבוד כל שימוש עם אותה בקרה

סיווג לפי בקרת סיכונים וקנה מידה

"בדקנו את זה, זה עובד" (בשמחה)

ניסיון שבירה מכוון עם הקבוצה האדומה

הכנסת הדגם לייצור ללא הצדקה

כרטיס דגם + שער קבלה (ללכת/לא ללכת)

לא מבצע בדיקה חוזרת לאחר תיקון

מבחן רגרסיה לאחר תיקון

שלושה מיני מארזים

מקרה 1 - סיווג שגוי היה יקר. חברה אחת ראתה שהבדיקה המוקדמת של הגיוס "רק תוספת" וראתה אותו בסיכון נמוך. המודל חיסל באופן שיטתי בוגרים מבתי ספר מסוימים; זה הפך לתלונה על אפליה. השימוש סווג מחדש כ"סיכון גבוה" ונוספו בדיקות הטיה וניטור אנושי.

מקרה 2 - הצוות האדום מצא 3 נקודות תורפה קריטיות. עוזרת לקוח שובצה לצוות האדום לפני תחילת הייצור. 3 מתוך 15 תרחישים הצליחו: מידע על הזמנה של לקוח אחר עלול להיות דלוף באמצעות זריקה עקיפה. הפערים נסגרו ונבדקו מחדש עם אותו סט; הייצור חודש רק כאשר הממצא הקריטי אופס.

מקרה 3 - המודל הבהיר את ההחלטה לקבל את הכרטיס. בחירה בין שני דגמים, צוות הניח כרטיסי דגם זה לצד זה. הדגם הזול יותר פגע ברמת הדיוק, אך היה חשוף ל-2 פריצות כלא קריטיות בצוות האדום. הצוות בחר במודל היקר אך הבטוח בשל כלל שער הקבלה "ממצא קריטי = 0" ותיעד את ההחלטה.

טיפ: צוות אדום אינו אירוע חד פעמי. הפעל מחדש את ערכת ההתקפה בכל פעם שהדגם, ההנחיה או הכלים משתנים; ביטחון הוא לא מדינה, אלא פרקטיקה מתמשכת.

טעויות נפוצות

• סיווג שימוש לפי שם (ולא השפעה); בטעות בסיכון גבוה לנמוך.
• רק בודקים את "הדרך המאושרת" ולא מנסים את ההתעללות בכלל.
• עושים את הצוות האדום פעם אחת ולא חוזרים על זה אחרי שינויים.
• הוצאת הדגם לייצור ללא כרטיס דגם וקריטריוני קבלה.
• עקיפת בדיקות הטיה/אפליה (במיוחד בהחלטות אנושיות בעלות סיכון).
• זה אומר "סגור" מבלי לבצע בדיקות רגרסיה לאחר תיקון.

לסיכום

• הצעד הראשון הוא לסווג שימושים בסיכון נמוך/בינוני/גבוה לפי השפעה; עוצמת השליטה עולה עם הסיכון.
• צוות אדום מנסה בכוונה לשבור את המערכת כמו תוקף; מוצא את הפגיעות לפני התוקף האמיתי.
• כרטיס הדגם מתעד את מטרת הדגם, מגבלותיו וסיכונים; מהווה בסיס להחלטת הקבלה.
• המעבר לייצור חייב להיות קשור ל-go/no-go: דיוק, ממצא קריטי אפס, ניטור נדרש.
• האבטחה מתמשכת: צוות אדום ובדיקות רגרסיה חוזרות על עצמן עם כל שינוי.

משימת יישום

בחר את השימוש שלך ב-AI, קבע את רמת הסיכון בהתבסס על ההשפעה וכתוב את ההצדקה. לאחר מכן צור לפחות 10 תרחישי תקיפה לשימוש זה (פריצת כלא, הזרקה, חילוץ נתונים) ונסה אותם ידנית. לכל התקפה מוצלחת, הצע תיקון. לבסוף, מלאו דגם של שלד כרטיס וקבלו החלטה "GO/NO-GO" עם נימוקים.

רשימת בדיקה

• [ ] סיווגתי את השימוש לפי רמת הסיכון לפי ההשפעה.
• [ ] התאמתי את עוצמת השליטה לרמת הסיכון.
• [ ] הכנתי מערך התקפה של צוות אדום וניסיתי אותו באופן שיטתי.
• [ ] תיקנתי את הממצאים הקריטיים ואימתתי אותם באמצעות בדיקות רגרסיה.
• [ ] הכנתי כרטיס דגם (מטרה, מגבלה, ביצועים, אבטחה).
• [ ] קשרתי את החלטת ההפקה ל- go/no-go.