רווחים:
- הסבר את הסיבות להזיה ואת תפקידה של הארקה
- יישום טכניקות שגורמות למודל לומר 'אני לא יודע' אם הוא לא בהקשר
- הבטחת אמון וביקורת על ידי הוספת מקורות/ציטוטים הניתנים לאימות לתגובות
ההתנהגות המסוכנת ביותר של מודל שפה היא להמציא משהו שהוא לא יודע בנימה בטוחה ומשכנעת. זה נקרא הזיה. הזיות אצל עוזר תאגידי זה לא רק מעצבן, זה מסוכן לחלוטין: יום חופש לא נכון, מחיר לא נכון, החומר המשפטי הלא נכון יכול למעשה להזיק לעובד או ללקוח. ביחידה זו אנו מכסים מדוע מתרחשות הזיות, כיצד להפחית אותן ב- RAG וכיצד להפוך את התשובה לניתנת לאימות.
מה גורם להזיות?
המודל מאומן לייצר את המילה הבאה בסבירות גבוהה; לא "לספר את האמת", אלא "להפיק טקסט שוטף והגיוני". אם חסר מידע, הוא יכול למלא את החסר במשהו סביר מבחינה סטטיסטית אך לא נכון עובדתית. שלושה טריגרים אופייניים:
- אין תשובה בהקשר, אבל הדוגמנית מרגישה מחויבת לומר משהו בכל זאת.
- ההקשר סותר או לא מספק; המודל סוגר את הפער עם חיזוי.
- השאלה חורגת מהקשר; המודל חוזר לידע הכללי (ואולי מיושן) משלו.
RAG מפחית הזיות מכיוון שהוא נותן לדגם מקור אמיתי - אבל הוא לא מאפס אותו. אם מביאים את החלק הלא נכון או משאירים את הדגם "חופש למלא את החסר", המערכת עם RAG יכולה גם להתאים לו.
סוג של הזיה
סימפטום
שורש הסיבה
שכבת תמיסה
שמקורו באחזור
התשובה הנכונה נמצאת במסמך אך היא לא הגיעה
חלק שגוי/חסר נמסר
נתחים, היברידי, דירוג מחדש (יחידה 3-4)
מקור דור
החלק הנכון הגיע אבל התשובה שגויה/יש להוסיף
המודל מילא את החסר בתחזית
הארקה, אישור "אני לא יודע", יצירתיות נמוכה
מקור הציטוט
התשובה נכונה אבל המקור שגוי
הדגם התייחס לחלק הלא נכון
אימות ציטוט (ראה יחידה 8)
רמז: חלקו את ההזיה לשני חלקים. מקורו באחזור: הגיע חלק שגוי/חסר (פתרון: שפר את השליפה). מקור הדור: החלק הנכון הגיע, אך הדגם קרא/הוסיף אותו בצורה שגויה (פתרון: הנחיה והארקה). אתה לא יכול לתקן את זה אלא אם כן אתה יודע באיזה מהם מדובר.
הארקה: מסמר את התשובה בהקשר
הארקה הוא השם שניתן לכל הטכניקות של להגיד לדגם "פשוט תסתמך על הטקסט שאני נותן לך, אל תלך מעבר לזה". הטכניקה הבסיסית והיעילה ביותר שלו: מתן אישור מפורש לדגם לומר 'אני לא יודע'. הדוגמנית, כמו האדם, מהסס לומר "אני לא יודע"; עליך לתת לו רשות מפורשת לעשות זאת.
ענה רק על סמך ההקשר שלהלן. אם התשובה אינה ברורה בהקשר, כתוב בדיוק את זה: "לא הצלחתי למצוא מספיק מידע על זה בתיעוד." אל תכלול מספרים, תאריכים או שמות שאינם בהקשר. אל תנחש.
טכניקות הארקה נוספות:
- דרישת הצעת מחיר: לפני כל טענה, ציטוט את ההקשר מילה במילה ("המסמך אומר: '...'"). הפקת ציטוטים מפוברקים קשה יותר לדוגמנית.
- טמפרטורה נמוכה: הטמפרטורה (טמפרטורה, יצירתיות/הגדרה אקראית) צריכה להיות נמוכה. הערה: בחלק מהדגמים הנוכחיים פרמטר זה הוסר; בהם, אתה מספק הארקה עם הנחיה. יצירתיות גבוהה היא האויב של היושרה הארגונית.
- מגבלת היקף: "הגיב רק לבעיות של מדיניות הסכמה; סרב בנימוס לבטל את ההסכמה".
ציטוט
ההגנה המערכתית החזקה ביותר מפני הזיה היא להפוך את התשובה לניתנת לאימות. אם המשתמש יכול לראות על איזה מסמך מבוססת התשובה: (1) הוא יכול לתפוס את הטעות בעצמו, (2) הביקורת מתאפשרת, (3) האמון גובר, ו-(4) המודל מייצר ביתר זהירות מתוך מודעות ש"אצטרך לצטט את המקור".
שתי גישות נפוצות:
ייחוס מוטבע: תג מקור ליד כל טענה. "חופשה שנתית היא 14 ימים [1]". להלן התיעוד המלא של [1].
פלט מובנה: בקשה מהמודל להפיק את התשובה ואת רשימת המקורות בשדות נפרדים; הצגת משאבים כקישורים ניתנים ללחיצה בממשק.
# הפקת תשובה מובנית על סמך המודל (רעיונית) תן את תשובתך במבנה הבא:- answer: <context-based answer>- sources: [{"part_no": 1, "file": "...", "section": "..."}]- trust: <high|medium|low> # עד כמה ההקשר תומך בזה? אם ההקשר אינו תומך בתשובה, כתוב "לא נמצא מידע" בשדה התשובה והשאר את המקורות ריקים.
כדי שהציטוט יעבוד באמת, יש צורך לוודא שהייחוס נכון. המודל עשוי לפעמים לתת את התשובה הנכונה אבל נותן את המקור השגוי. מערכות מתקדמות בודקות אוטומטית שכל טענה שהופקה נתמכת בפועל ביצירה עליה היא מצביעה (מדידת ה"נאמנות" ביחידה הבאה).
חלש/חזק: הנחיה נגד הזיות
חלש (הזמנה למלא את החסר):
ענה על השאלה כמיטב יכולתך עם המידע שיש לך: {הקשר} שאלה: {שאלה}# "כמיטב יכולתך" פירושו "נחש אם אינך יודע" עבור הדגם.
חזק (הארקה + הרשאה לא יודע + מקור + אמון):
פשוט הסתמכו על CONTEXT. אחרת, אמור "לא הצלחתי למצוא שום מידע"; להמציא מספר/תאריך/שם. הוסף [n] מספר מקור לכל טענה. ציין את רמת האמון הנתמכת על ידי ההקשר. CONTEXT: [1]... [2]... QUESTION: {question}
שלושה מיני מארזים
מקרה 1 - מספר פריט מורכב. עורך דין המציא הצהרת "סעיף 17/ב" שיצאה מהקשרה ומסר מידע כוזב לעובד. כאשר נוספה ההוראה "אל תתנו מספר מאמר שאינו בהקשר, אחרת תגידו אני לא יודע" + חובת הציטוט, מקרים של מאמרים מפוברקים ירדו מ-11 ל-0 ב-40 דוגמאות.
מקרה 2 - תשובה נכונה, מקור שגוי. עוזר תמיכה ציין את תקופת ההחזרה הנכונה אך ציטט את המאמר הלא נכון; כאשר הלקוח לחץ על הקישור, נפתח עמוד לא רלוונטי. כאשר התווסף אימות ציטוט (לבדוק אם הטענה מופיעה ביצירה המצוטטת), שיעור הציטוטים הכוזבים ירד מ-23% ל-2%.
מקרה 3 - לא ניתן רשות "אני לא יודע". עוזרת משאבי אנוש המציאה תשובה סבירה אך לא נכונה לשאלה שלא הייתה במסמך. כאשר נוספו להודעה הסכמה מפורשת "לא יודע" וטקסט מלא ("לא הצלחתי למצוא מידע על כך בתיעוד"), שיעור הדחייה הכנה לשאלות ללא תשובה, ולא בדיה, עלה מ-8% ל-95%.
טעויות נפוצות
- לא לאפשר "אני לא יודע": הדוגמנית ממלאת את החסר בהמצאה.
- שמירה על יצירתיות גבוהה: אקראיות פוגעת ביושרה הארגונית.
- אמון במקור מבלי לאמת אותו: המודל עשוי לצרף את המקור השגוי לתשובה הנכונה.
- אין להבחין בין שני סוגי ההזיות: אתה מתקן את המקום הלא נכון מבלי לדעת אם זה נגרם על ידי שליפה או דור.
- ציטוט מוטעה עבור מוצרי קוסמטיקה: ציון המקור הוא גם אישור וגם מרתיע; לקחת את זה ברצינות.
זהירות: "הדגם נראה מאוד בטוח" אינו זהה ל"הדגם נכון". הזיות הן בדרך כלל המשפטים השוטפים והבטוחים ביותר. קרא את האמון מהמקור שהוא מציין, לא מהטון של המשפט.
לסיכום
- הזיה היא כאשר המודל ממלא את פער המידע בטקסט סביר אך שקרי; RAG מפחית אך אינו מתאפס.
- ההזיה עלולה להיגרם מאחזור (חלק שגוי) או דור (קריאה שגויה); קבע איזה ראשון.
- הטכניקה החזקה ביותר של הארקה היא לתת לדגם הרשאת "אני לא יודע" מפורשת; גם דרישת ציטוט ויצירתיות נמוכה.
- ציטוט הופך את התשובה לניתנת לאימות; זה גם נותן ביטחון וגם דוחף את הדגם לייצר בזהירות.
- יש לבדוק גם את דיוק הציטוט; ייתכן שהמקור השגוי מצורף לתשובה הנכונה.
משימת יישום
(1) הכינו 4 שאלות לשאול את העוזר שלכם, שהתשובות עליהן אינן במסמכים (שאלות מלכודת). בדוק כל אחד עם ההנחיה החלשה והחזקה וסמן אם הדגם מתאים או לא. (2) עבור 4 השאלות שתשובותיהן מופיעות במסמך, בקש מהדגם ליצור את מספר הריתוך ולוודא ידנית האם הריתוך שהוא מציג הוא אכן החלק הנכון. (3) בדקו אם המודל נותן "תשובה נכונה, מקור שגוי" לפחות במקרה אחד וכתוב במשפט אחד כיצד ניתן לתפוס זאת באופן אוטומטי.
רשימת בדיקה
- [ ] אני יכול לדעת מדוע ההזיה מתרחשת וכי RAG מפחית אותה אך לא מאפס אותה.
- [ ] אני יכול להבחין בין שליפה לבין הזיות שנגרמו מהדור ולתקן את המקום הנכון.
- [ ] אני מוסיף הרשאה מפורשת "אני לא יודע" וכללי ביסוס להנחיה.
- [ ] אני מוסיף מקור לאימות (ציטוט) לתשובה.
- [ ] אני מבין את הצורך להמשיך ולבדוק את דיוק הייחוס.