זרימת עבודה מקצה לקצה, ממשל, אימות ושימוש אחראי

רווחים:

• יכולת להטמיע בעקביות בינה מלאכותית בכל שלב מתכנון ועד הפעלה, עם שערי אימות אנושיים ותנאי מעבר של משפט אחד
• יכולת להקים מסגרת ממשל עם רשימת רכבים מאושרת, סיווג נתונים, מעקב, הדרכה ואימות שוטף
• יכולת להטמיע את העקרונות של אחריות אנושית, עדיפות אבטחה, אימות, סודיות, שקיפות ואחריות סביבתית-חברתית בזרימת העבודה

בעשר היחידות הקודמות, ראינו כיצד להשתמש בבינה מלאכותית בבטחה בתחומים בודדים של הנדסה כימית - תכנון, סימולציה, קינטיקה, חיזוי מאפיינים, אופטימיזציה, נתוני בקרה, HAZOP, חיפוש תקנים ופייתון. ביחידה הסופית הזו, מרכיבים את החלקים: נלמד כיצד להטמיע AI מתחילתו ועד סופו של פרויקט או מתקן עם משמעת עקבית, שערי אימות אנושיים ומבנה ממשל - המסגרת הקובעת את הכללים לפיהם כלים, נתונים והחלטות ישמשו בארגון. המטרה היא לבנות מערכת שכבתית שמונעת מבאג AI יחיד לזחול לתוך עיצוב, החלטה עסקית או מסמך אבטחה.

הרעיון הבסיסי פשוט: בכל שלב מוצבים שער אימות אנושי ותנאי מעבר ברור; אי אפשר לעבור דרך דלת אחת בלי לעבור דרך אחרת. זהו מבנה מציל חיים בהנדסה כימית, כמו גם בתחומים משפטיים או רפואיים - כי גם כאן לטעויות יש השלכות לא על הנייר אלא במציאות, על אנשים ועל הסביבה.

זרימת עבודה מקצה לקצה: עם שערי אימות

בואו נשקול פרויקט הנדסה כימית בחמישה שלבים ונציב את התפקיד של AI ושער האימות בכל אחד מהם:

1. עיצוב וקונספט. AI מייצר אפשרויות מסלול וטיוטת PFD. דלת: האם האיזון החומרי נשמר ביד, האם המסלול נבחר תוך שיקול דעת הנדסי?

2. ניתוח וסימולציה. מסכם פלט סימולציית AI, נותן סקיצת קינטיקה/נכס. שער: האם המודל התרמודינמי מתאים, האם מאזן המסה/אנרגיה מתקיים, האם הערכים הקריטיים תלויים במקור הניסוי/בסיס הנתונים?

3. אופטימיזציה ושינוי גודל. AI מייצר טיוטת קוד אופטימיזציה וחישוב. דלת: האם האילוצים מלאים, האם הקוד נבדק, האם הוא נמצא בחלון האבטחה האופטימלי?

4. אבטחה ותאימות. מספק שלד AI HAZOP ומפה סטנדרטית. דלת: האם ניתוח המפגעים בוצע על ידי צוות מומחה, האם הפריטים הסטנדרטיים אומתו מהמקור העיקרי, האם התקבל אישור מורשה?

5. תפעול וניטור. AI מנטר נתוני חיישנים ומסמן חריגות. דלת: אות אמיתי או חיישן, הגנה בטיחותית ב-SIS עצמאי?

שערים אלו מונעים העברת פלט אחד לא מאומת לשלב הבא. גם אם באג בורח, יש סיכוי טוב שהוא ייתפס בדלת הסמוכה.

טיפ: כתוב "תנאי מעבר" של משפט אחד לכל שלב והפוך אותו לגלוי לצוות: "לא ניתן להתחיל סימולציה עד שיאומת ידנית איזון החומר". כללים ברורים כאלה מבטיחים שהמשמעת נשמרת גם בלחץ זמן.

מסגרת ממשל: משמעת מוסדית

אימות פרטני הוא טוב, אבל דרושה מסגרת ממשל בקנה מידה מתקנים. חמישה מרכיבים מרכזיים:

1. רשימת רכבים ודגמים מאושרים. הוא מגדיר באילו כלי AI ניתן להשתמש עבור אילו משימות. כלים לא מאושרים אינם משמשים עבור חשבונות קריטיים לאבטחה.

2. סיווג נתונים. באיזה רכב ניתן להיכנס מרשמים רשומים, תנאי הפעלה ונתונים אישיים? נתונים חסויים/קנייניים אינם ניתנים לכלים שדולפים נתונים מחוץ לארגון.

3. רישום ומעקב (שביל ביקורת). איזה פלט הגיע מאיזה כלי, מי אימת אותו, לאיזה מקור הוא היה מקושר? זה צריך להיות ניתן למעקב אם מתרחשת בעיה.

4. הכשרה וכשירות. על המשתמשים לדעת את גבולות הבינה המלאכותית, את הסיכון להזיות ואת משמעת האימות. הכלי חזק, אבל מסוכן בידיים הלא נכונות.

5. אימות רציף. דגמים וכלי רכב משתנים; מהימנות התפוקות נבדקת מחדש מעת לעת.

שימו לב: במוסד, הגישה של "כל אחד צריך לתת את הנתונים שהוא רוצה לכלי הבינה המלאכותית שהוא רוצה" מהווה סיכון גם לדליפת מידע קנייני וגם לכשל אבטחה. ממשל הוא התשתית הבלתי נראית אך קריטית שמגבילה את הסיכונים הללו.

עקרונות שימוש אחראי

בואו נחבר את המודול עם שישה עקרונות:

1. אחריות אנושית. ההחלטה והחתימה הסופית בידי המומחה המוסמך; הפלט של ה-AI אינו תחליף לאישורו.
2. עדיפות אבטחה. החלטות קריטיות לבטיחות (בטיחות, סכנה, חומר, גודל) דורשות אימות ואישור מורשה.
3. משמעת האימות. כל פלט מחובר לפיזיקה/מקור, נבדק בשיטה עצמאית ומועבר דרך מסנן הפרשנות.
4. בִּטָחוֹן. נתונים קנייניים ואישיים מעובדים רק בצורה מאושרת ומאובטחת.
5. שְׁקִיפוּת. השימוש בבינה מלאכותית מוצהר בכנות בדוחות ובתיעוד.
6. אחריות סביבתית וחברתית. החלטות לוקחות בחשבון לא רק את הכלכלה, אלא גם את בריאות האדם והסביבה.

שלושה מיני תיקים

מקרה 1 - הדלת תפסה את הבאג. בפרויקט אחד, חוסר איזון מסה של 4% בטיוטה PFD של ה-AI נתפס בשער האיזון לפני המעבר לשלב הסימולציה. הבאג תוקן במקור; אם לא הייתה דלת, השגיאה הזו הייתה מתפשטת לסימולציה ולאחר מכן למימדים. מבנה השכבות עבד.

מקרה 2 - ממשל מנע דליפת נתונים. מהנדס עמד להדביק מתכון זרז קנייני ברכב AI פתוח. כלל סיווג הנתונים של הסוכנות אמר שניתן לעבד נתונים אלה רק בכלי מאושר פנימי. הכלל מנע דליפה קריטית מבחינה מסחרית.

מקרה 3 - עקיבות הביאה אמון. בביקורת אחת, נשאלנו כיצד התקבלה החלטת עיצוב. הודות למשמעת ההקלטה של ​​המוסד, ניתן היה לתעד שה-AI הפיק רק טיוטה, שכל ערך קריטי יוחס למקור הניסוי ושההחלטה אושרה על ידי המהנדס המורשה. שקיפות סיפקה גם אמון וגם הגנה משפטית.

ארבע תבניות הניתנות להעתקה

1) תוכנית שער זרימת עבודה:

תפקידך: יועץ אבטחת פרויקטים. הפרויקט שלי: [תיאור]. הכינו לי תוכנית VERIFICATION GATE לשלבים (תכנון, ניתוח, גודל, אבטחה, תפעול): מה עושה ה-AI בכל שלב, איזה תנאי מעבר של משפט אחד לא יכול לעבור לשלב הבא בלי להתקיים, מי מוודא. דגש מיוחד על דלתות קריטיות לביטחון.

2) רגולציה עצמית של ממשל:

רשימת ביקורת עצמית מונפקת לשימוש ב-AI בארגון שלנו: (1) האם יש רשימה של כלים מאושרים, (2) האם מוגדר סיווג נתונים, (3) נשמר תיעוד/מעקב, (4) האם יש הדרכת משתמשים, (5) האם יש אימות מתמשך? בקש הערכה "כן/חלקית/לא" והצעות שיפור עבור כל פריט. הקשר: [הגדרה]

3) שקיפות / הצהרת שימוש:

נסח פסקת שקיפות המתארת ביושר את השימוש ב-AI עבור דו"ח הנדסי: באילו שלבים נעשה שימוש ב-AI לניסוח/ניתוח, כיצד תוקפו התפוקות, עם אחריות סופית על המהנדס האחראי. הַגזָמָה; רק משקף את מה שנעשה בפועל. פעולות: [תיאור]

4) בדיקה אחרונה לפני החלטה:

אני עומד לקבל את ההחלטה הזו: [החלטה]. העבירו אותי על רשימת בדיקה סופית לפני שתמסור אותה: (1) האם זה קריטי לאבטחה, (2) האם ערכים כלשהם שאני מסתמך עליהם מקורם/ניסיתי, (3) האם היה אימות עצמאי, (4) האם נדרש אישור רשות, (5) האם נשמר סודיות/ציות? סמן את הצעד שאתה רואה חסר. ההחלטה היא שלי; אתה עוקב אחר רשימת הבדיקה.

הנחיה חלשה / הנחיה חזקה

הנחיה חלשה:

כיצד עלי להשתמש בבינה מלאכותית בפרויקט שלי?

אין הקשר, אין מבנה אימות. AI נותן תשובה כללית, עוקף שערים קריטיים לאבטחה.

הנחיה עוצמתית:

תפקידך: יועץ אבטחת פרויקטים. אני רוצה להשתמש בבינה מלאכותית מתכנון ועד הפעלה בפרויקט ייצור כימי של 50,000 טון לשנה. לכל שלב אני מקבל מסגרת לתפקיד ה-AI, מבנה האימות שאי אפשר לעבור בלי לעבור, מי יאשר אותו ואיזה נתונים ניתן לתת לאיזה כלי. סמן גם שלבים קריטיים לאבטחה והדגש היכן אישור אנושי הוא חובה.

ההבדל ברור: ההקשר של הפרויקט, שערים, אישורים וכללי נתונים מסדרים את השימוש ב-AI.

חלוקת תפקידים במבנה מקצה לקצה

במה

תפקיד של AI

שער אימות

עיצוב

מסלול, טיוטת PFD

יתרה + אישור מסלול

ניתוח

סיכום סימולציה, חיזוי

דגם + אישור מקור

גודל

אופטימיזציה, קוד

אילוץ + בדיקה + אבטחה

אבטחה/תאימות

שלד HAZOP, מפה

צוות מומחים + מקור ראשי

עסקים

מעקב אחר חריגות

אמיתי/חיישן + SIS עצמאי

טעויות נפוצות

• דלתות קופצות בלחץ זמן. דילוג על שער יאפשר לשגיאה לדלוף לשלבים הבאים.
• הזנחת הממשל. שימוש לא סדיר בכלים ובנתונים מהווה דליפה וסיכוני אבטחה.
• הסתרת שימוש. אם השימוש בבינה מלאכותית אינו מתועד בשקיפות, הן האמון והן ההגנה המשפטית מתערערות.
• אישור אבטחה קריטי לראות רשמי. אישור מורשה אינו פורמליות חתימה אלא אחריות אימות אמיתית.
• שוכחים את ההיבטים הסביבתיים והחברתיים. החלטות נשקללות לא רק מהיבטים כלכליים אלא גם מהיבטים בריאותיים וסביבתיים.

לסיכום

במבנה מקצה לקצה, AI מוטמע בשערי אימות אנושיים בכל שלב של הנדסה כימית; אי אפשר לעבור דרך דלת אחת בלי לעבור דרך אחרת. מסגרת ממשל (כלים מוסמכים, סיווג נתונים, מעקב, הדרכה, אימות מתמשך) מביאה את המשמעת הזו לקנה המידה הארגוני. עמוד השדרה של שימוש אחראי הוא שישה עקרונות: אחריות אנושית, עדיפות ביטחונית, משמעת אימות, סודיות, שקיפות ואחריות סביבתית-חברה. AI הוא עוזר רב עוצמה; אבל הבעלים של העיצוב, האבטחה והמילה האחרונה הוא תמיד המומחה המוסמך.

משימת יישום

צור תוכנית שער אימות בת חמישה שלבים עבור פרויקט משלך (או דמיוני) עם התבנית "תוכנית שער זרימת עבודה"; כתוב תנאי מעבר של משפט אחד לכל שלב. לאחר מכן, עם התבנית "ביקורת עצמית של ממשל", העריכו כיצד פועל השימוש ב-AI בפרויקט זה מבחינת כלים מאושרים, סיווג נתונים, מעקב והדרכה, וזיהוי לפחות שני שיפורים.

רשימת בדיקה

• [ ] שמתי שער אימות אנושי ותנאי מעבר של משפט אחד בכל שלב.
• [ ] הגדרתי את רשימת הכלים המאושרת ואת סיווג הנתונים.
• [ ] שמרתי תיעוד/מעקב (איזה פלט, מי אימת, איזה מקור).
• [ ] ציינתי את השימוש בבינה מלאכותית בשקיפות בדוח.
• [ ] אני מייחס החלטות קריטיות לבטיחות לאישור מומחה מורשה ואחריות סביבתית-חברה.

מבחן מודול

1. איזה מהבאים הוא המיקום המדויק ביותר לבינה מלאכותית בהנדסה כימית?

• א) בינה מלאכותית יכולה לכתוב חישובי בטיחות ישירות לתוך התכנון ללא אישור אנושי
• ב) AI הוא מאיץ חשבונות ומחולל שרטוטים; האחריות לקביעת בטיחות התכנון וההחלטה הסופית היא של האדם ✔
• ג) מכיוון שבינה מלאכותית תמיד אמינה יותר מבני אדם, יש להשאיר לה החלטות ביטחוניות.
• ד) בינה מלאכותית שימושית רק לסיכום טקסט, אין לה שום קשר לחישובים הנדסיים

תיאור: בינה מלאכותית; זהו עוזר שמבצע בדיקה של נתונים נרחבים, מסמן דפוסים ומפיק חישובים/טיוטות קוד. אחריות ואישור של נושאים קריטיים כגון בטיחות התכנון, פרשנות ההדמיה והחלטה סופית שייכים למומחה המוסמך; פלט לא מאושר עלול להוביל לדליפה בכור או לפיצוץ. לכן, פלט בינה מלאכותית אינו מחליף אישור מומחה מוסמך.

2. מהי דיסציפלינת האימות התלת-שלבי לתוצאת חישוב הנדסי הניתנת על ידי בינה מלאכותית?

• א) לראות אם הפלט שוטף ובטוח
• ב) שאלו את אותה שאלה לבינה מלאכותית שלוש פעמים וקחו את הממוצע
• ג) חבר אותו לפיזיקה/מקור, בדוק אותו באופן עצמאי, העביר אותו דרך מסנן גבול הערות ✔
• ד) קבלת התוצאה ישירות ובדיקתה רק בשלב הדיווח

הסבר: כל פלט מחובר תחילה לפיזיקה/מקור (איזו משוואה, איזה מקור, איזו הנחה), לאחר מכן הוא נבדק בשיטה עצמאית (חישוב ידני, סימולציה, נתוני התייחסות, בדיקת סדר), ולבסוף הוא מועבר דרך מסנן הגבול הערה (האם המסה/אנרגיה נשמרת, האם הערך ריאלי). שלושת השלבים הללו תופסים את רוב ההזיות.

3. מה צריך לעשות אם המסה הכוללת שנכנסת ויוצאת אינה תואמת את טיוטת איזון החומר שנקבעה על ידי בינה מלאכותית בתכנון תהליך?

• א) ההבדל הקטן אינו חשוב, התעלם ממנו והמשיך בעיצוב
• ב) ההבדל נמצא ומתוקן; לעתים קרובות יש זרימה נשכחת או חזרת ספירה כפולה ✔
• ג) האיזון נחשב נכון כי הבינה המלאכותית מחשבת אותו כך.
• ד) הערך של זרם יוצא מוגדל באופן ידני כדי להשלים את ההבדל

הסבר: בהנדסה כימית, המסה נשמרת או לא; 'זה עולה בערך' אינו מקובל. אם משוואת הקלט = פלט אינה מסופקת, לעתים קרובות יש זרימת צד שנשכחה, ​​מיחזור בספירה כפולה או שגיאה. לא ניתן להתקדם בתכנון עד שיימצא ותיקון זה; אחרת השגיאה תתפשט לכל הגדלים הבאים.

4. הדמיית תהליך 'התכנסה ונתנה תמונה מסודרת'. מהו הסיכון הקריטי ביותר לדיוק התוצאה הזו?

• א) הטבלה אינה מוצגת בצבע ובצורה קריא
• ב) הסימולציה מתכנסת מהר מדי
• ג) דגם תרמודינמי שאינו מתאים למאפייני המערכת מייצר תוצאות משכנעות אך שגויות ✔
• ד) יותר מדי מקומות עשרוניים בטבלת הזרימה

הסבר: רוב שגיאות הסימולציה אינן מספריות, אלא נובעות מבחירת מודל תרמודינמי (חבילת נכס). החלת דגם אידיאלי על תערובת קוטבית יכולה להפוך אזאוטרופ לבלתי נראה, והתוצאה תהיה חלקה אך שגויה לחלוטין. תמונה שלכאורה מתכנסת ויפהפייה אינה מתגלה כנכונה; נדרשות התאמה של מודל והשוואה ניסיונית.

5. כיצד יש לפעול כאשר בינה מלאכותית נותנת ערך קבוע של קצב תגובה (k) עבור תכנון כור?

• א) יש לקבוע את הערך בניסוי; חיזוי AI אינו משמש כנתוני עיצוב ✔
• ב) ערך מושקע ישירות בעיצוב מכיוון שבינה מלאכותית מספקת בביטחון
• ג) ההנחה היא שהערך זהה בכל תגובה ללא קשר לתנאים
• ד) הערך מספיק ברגע שמספר דומה מופיע באינטרנט

תיאור: קבועי הקצב, אנרגיית ההפעלה והמנגנון נקבעים רק בניסוי; אותה תגובה מתנהגת בצורה שונה מאוד עם זרזים, זיהומים או שלבים שונים. ערך k המוחזר על ידי AI עשוי להיות ניחוש ראשוני, אבל זה לא נתוני עיצוב. כל פרמטר קינטי שנכנס לבסיס התכנון חייב להיות מבוסס על מקור אמפירי.

6. כיצד יש לקבוע את החום של תגובה אקסותרמית (אנטלפיית תגובה) לתכנון קירור בטוח?

• א) הערך ההתחלתי שניתן על ידי בינה מלאכותית מוזן ישירות לתכנון הקירור
• ב) הערך נמדד על ידי קלורימטריה ומוערך על ידי מהנדס מורשה, הוא אינו מבוסס על חיזוי בינה מלאכותית ✔
• ג) אם התגובה היא אקסותרמית, ניתן להזניח את עומס החום
• ד) הערך של תרכובת דומה משמש ללא קשר לתנאי

תיאור: חום תגובה ופוטנציאל בריחה תרמי הוא נושא קריטי לבטיחות. ערך המוחזר על ידי הבינה המלאכותית עשוי להיות שייך לממס/מצב אחר ועשוי לייצג שווא באופן משמעותי את עומס החום בפועל. ערכים אלה נמדדים על ידי קלורימטריה (למשל קלורימטריית תגובה) ומוערכים על ידי המהנדס המוסמך; זה אף פעם לא מבוסס על חיזוי בינה מלאכותית בלבד.

7. בינה מלאכותית נתנה את לחץ האדים של ממס עם מספר בטוח. מה צריך לעשות לפני השימוש בערך זה?

• א) מכיוון שהערך ניתן בצורה שוטפת, הוא ממוקם ישירות בעיצוב העמודה
• ב) רק היחידה נשלטת, אין צורך להסתכל על המקור
• ג) הערך מאומת על ידי מסד נתונים מהימן (DIPPR/NIST) או ניסוי, עם התנאי ✔
• ד) אם הערך מושווה לזה של ממס אחר והוא דומה, הוא מתקבל.

הסבר: הערכת תכונה היא הבסיס המספרי של התכנון, ושגיאה כאן מתפשטת לאורך כל החישוב. ערך ה-AI עשוי להיות שייך לתרכובת אחרת, במצב לא נכון, או להיות הזיה. לכן, כל תכונה קריטית מאומתת על ידי מסד נתונים מהימן (DIPPR/NIST) או ניסוי; יש לבקש גם יחד עם מצב הערך (טמפרטורה, לחץ, שלב).

8. מה קורה אם נאמר לבינה מלאכותית 'למזער את האנרגיה' באופטימיזציה של תהליך אך לא ניתן אילוץ על טוהר המוצר?

• א) התוצאה תמיד בטוחה ואיכותית, הגבלות מיותרות
• ב) עלול להופיע אופטימום מטעה שנראה טוב על הנייר אך מקריב טוהר או ביטחון ✔
• ג) בינה מלאכותית משלימה את האילוצים החסרים באופן ספונטני ונכון
• ד) אופטימיזציה לא עובדת ולא נותנת תוצאות

הסבר: אופטימיזציה בלתי מוגבלת היא מטעה: הבינה המלאכותית או האלגוריתם עשויים להציע 'אופטימום' שעל הנייר מפחית אנרגיה אך למעשה מפחית את טוהר המוצר מתחת למפרט או חורג ממרווח הבטיחות. לכן, כל אילוצי האיכות והאבטחה, כמו גם משתני מטרה ומשתני החלטה, חייבים להיות מוגדרים במלואם; יש לבדוק גם את האופטימום המתמטי לבטיחות והיתכנות.

9. מה הדבר הראשון שצריך לעשות כאשר AI מסמן קפיצה פתאומית בנתוני החיישנים כ'דליפה אפשרית'?

• א) הפסקת התהליך לאלתר, כי הבינה המלאכותית אמרה שהוא דולף
• ב) התעלמות מהאות כי חיישנים תמיד שגויים
• ג) בדיקה עם מסנן אמינות האם האות הוא אירוע תהליך אמיתי או בעיית חיישן/מדידה ✔
• ד) מחק אוטומטית את הקפיצה ממערך הנתונים

הסבר: חיישנים יכולים לשקר: כיול מחליק, חיבור מתרופף, הקו קולט רעש. ראשית יש לסנן אות חריג לאמינות הנתונים: האם הוא תואם לחיישנים שכנים/משויכים, האם זה אפשרי פיזית, האם הוא תואם את רשומת התחזוקה/כיול? רק לאחר שעברו הדבר נחקר כאירוע תהליך של ממש; אחרת, עלולה להתרחש התערבות בהתבסס על אזעקת שווא.

10. מהו התפקיד המתאים והבטוח של AI במחקר HAZOP?

• א) הפקת HAZOP שלם על ידי הכרת התהליך והפיכת הפגישה למיותרת
• ב) סיווג מדויק של רמות הסיכון וקבלת החלטות זהירות
• ג) מתן מסגרת עבודה, שאלות מילוליות מנחות והכנת פרוטוקולים; השאירו את הערכת הסכנה בפועל לצוות המומחים ✔
• ד) יציאה למקום המפגש וחתימה על דוח הסיכון הסופי לבד

תיאור: HAZOP היא פעילות מומחה קריטי לאבטחה. בינה מלאכותית; מסגרת המטריצה ​​של הצומת/פרמטר/מילת הדרכה מזרזת את התיעוד, כגון זכירת תרחיש טיפוסית ועריכת דקות. אך איזו סטייה היא הסכנה האמיתית, חומרת התוצאה ונאותות אמצעי הזהירות שייכים לצוות המומחים הרב-תחומי; יתרה מכך, סכנות ספציפיות לתהליך אינן נמצאות בבינה מלאכותית. טיוטת הבינה המלאכותית היא הקלט, לא הפלט, של פגישת המומחים.

11. מהי האזהרה הקריטית ביותר עבור AI בתקנים ובמחקר רגולטורי?

• א) בינה מלאכותית אף פעם לא טועה בידע הסטנדרטי שלה, ניתן להשתמש בה ישירות
• ב) כל מספר חומר, ערך גבול ותאריך חייבים להיות מאומתים ממקור ראשוני ונוכחי; AI מספק רק כיוון ✔
• ג) בדיקת עדכונים מיותרת מכיוון שהסטנדרטים לעולם לא משתנים.
• ד) יצירת רשימת בדיקה לבדה מוכיחה ציות

הסבר: מחקר תקנים הוא אחד התחומים שבהם הזיות בינה מלאכותית יכולות להיות הרסניות ביותר: מספר פריט לא קיים, נקודת שבירה שגויה או דרישה מיושנת ניתן להציג בצורה משכנעת מאוד. ציות פירושה גם אבטחה וגם חוק. לכן, לא ניתן להשתמש בכל חומר, ערך גבול ותאריך ללא אישור מהמקור הראשוני והנוכחי; AI רק מספק כיוון.

12. קוד חישוב הנדסי של Python שנכתב על ידי בינה מלאכותית עבד ללא שגיאות והפיק מספר. מה יידרש כדי לסמוך על המסקנה הזו?

• א) הפעולה ללא שגיאות של הקוד מוכיחה שהתוצאה נכונה.
• ב) יש לבדוק את הקוד עם תוצאה ידועה, יש לבדוק מקרי יחידה וקצה וכן לאמת את חישוב האבטחה על ידי הרשות ✔
• ג) אם הקוד ארוך ונראה מורכב, הוא יכול להיחשב נכון
• ד) מכיוון שהוא נכתב על ידי בינה מלאכותית, אין צורך באימות נוסף

הסבר: 'עובד' ו'נכון' הם דברים שונים: הקוד עשוי לרוץ ללא שגיאות ולייצר מספר שגוי (בלבול יחידה, שגיאת סימן, שינוי אינדקס). לכן, כל קוד צריך להיבדק על מקרה מבחן (מדגם אנליטי, חישוב ידני, נתוני התייחסות) שתשובתו ידועה באופן עצמאי; יש לבדוק יחידות ומקרי קצה; חישובים קריטיים לבטיחות חייבים להיות מאומתים גם על ידי המהנדס המורשה.

13. מהי הדרך היעילה ביותר להגן על תהליך הנדסה כימית התומך בינה מלאכותית מקצה לקצה מפני דליפת באג בודד למסמך התכנון או האבטחה?

• א) האצלת התהליך כולו לכלי AI יחיד והסתכלות על הסוף
• ב) הסרת אימותי ביניים למהירות ובדיקה רק בשלב הסופי
• ג) הצבת שער אימות אנושי ותנאי מעבר של משפט אחד בכל שלב (אימות שכבות) ✔
• ד) כל מהנדס יכול להשתמש ברכב שלו באופן חופשי מבלי לנהל רישומים.

תיאור: שער אימות אנושי ותנאי מעבר ברור (האם הוא יציב, האם הוא מחובר למקור, האם הקוד נבדק, התקבל אישור מומחה) ממוקמים בכל שלב (תכנון, ניתוח, גודל, אבטחה, תפעול). אתה לא יכול לעבור דרך דלת אחת בלי לעבור דרך אחרת; מבנה שכבות זה מונע משגיאת AI אחת לדלוף לשלבים הבאים.

14. איזו מהאפליקציות הבאות הופכת את השימוש בבינה מלאכותית במוסד לבטוח מבחינת ממשל?

• א) כל משתמש יכול להזין באופן חופשי נתונים קנייניים לכל כלי פתוח לפי בחירתו.
• ב) מסגרת ניהול הכוללת רשימת רכבים מאושרת, סיווג נתונים, מעקב, הדרכה ואימות שוטף ✔
• ג) השימוש בבינה מלאכותית אינו מתועד כלל
• ד) שימוש בכלי יחיד ולא מאושר לכל עבודה, כולל חשבונות קריטיים לאבטחה

הסבר: גישת 'כל אחד צריך לתת את הנתונים שהוא רוצה לרכב שהוא רוצה' מהווה סיכון הן לדליפת מידע קנייני והן לשגיאות אבטחה. מסגרת ממשל מוצקה; הוא כולל רשימת רכבים ודגמים מאושרים, סיווג נתונים (איזה רכב יכול לרשום נתונים רשומים/אישיים), רישום ומעקב (שביל ביקורת), הדרכת משתמשים ואימות מתמשך. זוהי תשתית קריטית שמגבילה סיכונים.