אישור, הזיה ויושרה מדעית

רווחים:

• יכולת להבין שהזיה טבועה במודל השפה ולבחור את שיטת האימות המתאימה לכל סוג פלט.
• אמת ערכים קריטיים בשתי דרכים עצמאיות עם טריאנגולציה ולא לבלבל בין שטף לבין דיוק
• יכולת ליישם שקיפות, עקיבות, שלמות נתונים ואחריות אנושית כבסיס ליושרה מדעית

משפט אחד חזר שוב ושוב לאורך המודול הזה: "AI מייצר, בני אדם מאמתים." ביחידה זו, אנו הופכים את המשפט הזה למערכת. המטרה היא לזהות הזיה (הפקת מידע כוזב/מפוברק בשפה בטוחה), שהיא ההתנהגות המסוכנת ביותר של AI, לקבוע שיטת אימות קונקרטית לכל סוג פלט, ולהציב את כל אלה במסגרת של יושרה מדעית (כנות, שקיפות, עקיבות). פלט AI לא מאומת בכימיה הוא לא רק טעות; זה יכול להיות ניסוי שהתפוצץ, אדם שהורעל, או נייר שנסוג לאחור.

מדוע הזיה היא בלתי נמנעת?

מודל השפה הגדול מייצר את "המילה הבאה בסבירות גבוהה"; הוא מכוון למה שאפשרי, לא למה שנכון. אז הוא יכול למלא משקל מולקולרי, DOI או נקודת רתיחה עם ערך ש"נראה סביר" - מבלי לבדוק אם הוא אמיתי. ההזיה אינה תקלה, אלא תוצאה של טבעה של טכנולוגיה זו. הפתרון הוא לא "לנסות לתקן" את המודל, אלא לבנות מעטפת אימות סביב כל פלט.

ההיבט הכי ערמומי של ההזיה הוא השפה הבטוחה שלה. משקל מולקולרי שגוי מוצג בדיוק באותו ביטחון כמו משקל תקין. אז "נראה בטוח" אף פעם לא אומר "נכון".

תשומת לב: כמה שוטף ובטוח ה-AI מדבר על נושא אינו קשור לדיוק המידע הזה. שטף משכנע; רק המקור העצמאי קובע את הדיוק.

אימות לפי סוג פלט בכימיה

לכל סוג פלט יש שיטת אימות משלו. במקום לשנן כלל בודד, השתמש בכלי המתאים עבור הפלט:

סוג פלט

שיטת אימות

רכב

משקל מולקולרי, נוסחה

חישוב מחדש מנוסחה

RDKit / ידנית

חיוכים/מבנה

ניתוח + קנוניזציה

RDKit

ציטוט/DOI

פתור במסד נתונים

doi.org, Crossref

קבוע פיזי (kn, pKa)

מסד נתונים עזר

PubChem, מדריך

חישוב מספרי

כתוב+הפעל קוד

פייתון

תגובה/מצב

אישור ספרותי

ריאקסיס, מאמר

תביעת ביטחון

SDS/GHS

SDS רשמי

הקצאת ספקטרום

מולטי טכני + אנושי

ספקטרום ניסוי

טבלה זו היא למעשה סיכום של מודול זה: כל יחידה היא שורה אחת.

טריאנגולציה: שלושה נתיבים עצמאיים

טכניקת האימות החזקה ביותר היא "טריאנגולציה": הגעה לאותה מסקנה בשלוש דרכים עצמאיות. לדוגמה, עבור משקל מולקולרי: (1) מה אומר YZ, (2) החישוב של RDKit, (3) חישוב ידני מהנוסחה. אם השלושה חופפים, האמון גבוה; אם מישהו תועה, עצור ותחקור. לעולם אל תסתמך על מקור אחד בכימיה; חפשו לפחות שני נתיבים עצמאיים.

שלב אחר שלב: תהליך אימות

1. סיווג את הפלט: האם זה מספר, מבנה, ייחוס, הצהרת אבטחה?
2. בחר כלי מתאים: קבל את נתיב האימות המתאים עבור סוג הפלט מהטבלה למעלה.
3. חשב/חפש באופן עצמאי: הפעל את הרכב ללא תלות ב-AI; להשוות את התוצאה.
4. אם יש סטייה, עצור: אם הערכים אינם תואמים, אל תמשיך מבלי לבדוק איזה מהם נכון.
5. השאר את חותמך: רשום מה אימתת וכיצד (יושרה מדעית).
6. ציין אי ודאות: סמן משהו שלא ניתן לאמת כ"לא מאושר", אל תסתיר אותו.

ארבע תבניות הניתנות להעתקה

1) אימות עצמי:

הרגע נתת את הפלט הבא: [OUTPUT]. משימה: רשום כל קביעה מספרית/עובדתית של פלט זה בשורה נפרדת. לכל קביעה: "איך לאמת אותה באופן עצמאי?" שיטת כתיבה (איזה כלי/בסיס נתונים). אל תטען שהטענה נכונה; רק תן דרך לאמת את זה.

2) בקרת טריאנגולציה:

אני רוצה לבדוק את המשקל של המולקולה הבאה בשלוש דרכים: [SMILES].משימה: 1) הגזר את הנוסחה המולקולרית.2) הראה את חישוב המשקל המולקולרי אטום אחר אטום (תרומה של כל יסוד). הערה: אני אחשב אותו גם ב-RDKit ושלישית אשווה אותו לזה שנתת. אם השלושה אינם חופפים, הזהיר.

3) סימון עמימות:

ישנן טענות עובדתיות מרובות בטקסט הבא:[TEXT]משימה: שים תווית רמת ביטחון ליד כל טענה:[מאומת] / [מאומת] / [לא בטוח]. אל תסמן שום דבר [מאומת] אם אינך בטוח.

4) שאילתת צולבת עקביות:

אשאל את אותה שאלה בשתי דרכים שונות; בדוק אם התשובות שלך עקביות. שאלה א': מהי הנוסחה המולקולרית של תרכובת

הנחיה חלשה / הנחיה חזקה

חלש:

רשמו את כל מה שאתם יודעים על המתחם הזה.

בינה מלאכותית מערבבת ללא הבחנה בין מידע שניתן לאימות ומידע מפוברק; לא ברור מי מהם אמיתי.

חזק:

ספק מידע על תרכובת זו, אך סמן כל טענה כ:[קביעה - מאומת על ידי מכשיר] למשל. נוסחה מולקולרית, [ניסוי - דרוש ציטוט] למשל. נקודת התכה, [לא בטוח - לא בטוח]. אל תכתוב טענות ללא תווית.

הבדל: אילצנו את ה-AI לסמן את חוסר הוודאות שלו; הפכנו את עבודת האימות לתכנון.

יושרה מדעית: יושר ועקיבות

אימות הוא לא רק שלב טכני, זה עניין אתי. יושרה מדעית דורשת:

• שקיפות: אל תסתיר שאתה משתמש בבינה מלאכותית; ציין בהתאם למדיניות הפרסום/דוח שלך.
• מעקב: רשום איזה פלט הגיע מה-AI וכיצד הוא אומת.
• שלמות נתונים: "מיפוי" תוצאות עם AI, השלכת חריגים ללא הצדקה היא הונאה.
• אחריות: אתה אחראי לתוצאה הסופית; "ה-AI אמר זאת" אינו תירוץ.

טיפ: קבל מלכתחילה שלעולם לא תוכל להשתמש בביטוי "הבינה המלאכותית אמרה זאת" בדוח או בהגנה. קבלה זו מביאה אוטומטית את ההרגל לאמת כל פלט.

מיני תיקים

מקרה 1 - טריאנגולציה תפסה שגיאה. תלמיד בדק משקל מולקולרי בשלוש דרכים: YZ אמר 178.2, חישוב ידני נתן 180.16, RDKit נתן 180.16. שני נתיבים עצמאיים חפפו וביטלו AI. שיעור: שני אימותים עצמאיים מביסים בשתיקה פלט שקרי אחד.

מקרה 2 - שפה בטוחה, מידע שגוי. AI כתב בביטחון רב שתגובה "פועלת באופן ספונטני בטמפרטורת החדר". הספרות הראתה שזה דורש חימום וזרז. התלמיד בטח במקור, לא בשפה הבטוחה. לקח: שטף אינו דיוק.

מקרה 3 - השגת שקיפות. בסעיף השיטה במאמרו, חוקר אחד ציין בבירור באילו שלבים השתמש ב-AI (עריכת טקסט, ניסוח קוד) וכתב שהוא אימת באופן עצמאי את כל התוצאות המספריות. תהליך השופט עבר חלק. לקח: שקיפות בונה אמון, הסתרה יוצרת סיכון.

טעויות נפוצות

• לסמוך על השפה הבטוחה. הטון הבטוח של ה-AI אינו אינדיקציה לדיוק.
• הסתמכות על מקור אחד. קבלת פלט בודד ללא טריאנגולציה.
• לא מפריד בין סוג הפלט. מתוך מחשבה ש"בדקתי" את המספר, הייחוס וטענת האבטחה באותה שיטה.
• מסתיר אי ודאות. דיווח על משהו שלא ניתן לאמת כאילו הוא בטוח.
• הסתרת השימוש ב-AI. חוסר שקיפות מערער את היושרה המדעית.
• האצלת אחריות. תירוץ ה"א"י אמר כך" פסול; האחריות היא על האדם.

לסיכום

• הזיה טבועה במודל השפה; הפתרון הוא לבנות מעטפת אימות סביב כל פלט.
• לכל סוג פלט יש שיטת אימות משלו; לסווג את הפלט ולהשתמש בכלי המתאים.
• טריאנגולציה (שני נתיבים עצמאיים) היא השליטה החזקה ביותר; אל תסמוך על מקור אחד.
• שטף ושפה בטוחה אינם קשורים לדיוק.
• יושרה מדעית דורשת שקיפות, עקיבות, שלמות נתונים ואחריות אנושית.

משימת יישום

לייצר בכוונה מגוון תפוקות בסשן AI: משקל מולקולרי, הפניה, קבוע פיזי, טענת אבטחה, חישוב מספרי. אמת כל אחד בנפרד בשיטה הנכונה (ראה טבלה). נסה לתפוס לפחות הזיה אחת. לאחר מכן הכינו "מטריצת אימות": פלטי שורות, עמודות (ערך AI / ערך עצמאי / האם זה חופף / איך אימתתי את זה). איך היית מדווח על הפגישה הזו מבחינת יושרה מדעית?

רשימת בדיקה

• [ ] אני מבין מדוע הזיה היא בלתי נמנעת.
• [ ] אני מסווג כל פלט לפי סוגו ומאמת אותו בשיטה המתאימה.
• [ ] אני עושה טריאנגולציה (שני נתיבים עצמאיים) על ערכים קריטיים.
• [ ] אני סומך על המקור, לא על השפה הבטוחה.
• [ ] אני מסמן את מה שלא ניתן לאשר כ"לא ודאי".
• [ ] אני שקוף בשימוש שלי בבינה מלאכותית ומטיל אחריות על התוצאה.