ניהול מידע ארגוני עם RAG

רווחים:

• להבין כיצד RAG מפחית הזיות על ידי קישור והפניה של התשובה למסמכים בפועל של המוסד ויישום החשיבות של בסיס מסמכים נקי
• יכולת לבדוק את המקור, התאריך והמטבע של פלט RAG ולהבחין בין גרסאות סותרות
• יכולת להגן על פרטיות הארגון על ידי מניעת תגובות ממסמכים לא מורשים עם בקרת גישה

הזיכרון של ארגון חי באלפי מסמכים מפוזרים: דוחות, מדריכים, פרוטוקולים, נהלים, מיילים. עובד עשוי לחפש מסמכים במשך שעות כדי לענות על שאלה פשוטה ("איך נוהל זה עובד?"). חלומו של מנהל הידע הוא שהזיכרון הזה יספק תשובות ישירות אך מבוססות מקור לשאלות. זה בדיוק מה ש-RAG מבטיח. ביחידה זו תלמדו מהו RAG, כיצד להשתמש בו בניהול מידע ארגוני וכיצד לאבטח אותו מבחינת דיוק, סודיות ועמידה בזמנים.

בואו נגדיר את המושג. RAG (Retrieval-Augmented Generation) הוא כאשר AI עונה על שאלה על ידי מציאת (שליפה) תחילה חלקים רלוונטיים מהתיעוד של הארגון עצמו ולאחר מכן יצירת התשובה על סמך אותם חלקים בלבד. זה שונה מהותית מבינה מלאכותית כללית שמייצרת תשובה מהזיכרון: RAG מקשרת ומביאה את התשובה למסמכים אמיתיים וניתנים למעקב. כך ההזיה מצטמצמת מאוד מכיוון שה-AI מדבר מהמסמך של המוסד, לא מה"ראש" שלו.

צעד אחר צעד: הבנת מערכת RAG ארגונית

1. הכן את בסיס המסמכים. המסמכים המהימנים והעדכניים של הארגון נאספים, מנוקים ומחולקים לנתחים (חלקים קטנים ומשמעותיים של מסמך). אם ייכנסו למערכת מסמכים גרועים, מיושנים או סותרים, התגובות יהיו גרועות: "זבל נכנס, זבל החוצה".

2. הטמע ואינדקס. כל נתח מומר לוקטור (הטמעה) המייצג את המשמעות שלו ומוכנס לאינדקס הניתן לחיפוש. כאשר עולה שאלה, המערכת מוצאת את החלקים הקרובים ביותר במשמעותם.

3. הביאו חלקים רלוונטיים. כאשר נשאלת שאלה, המערכת שואבת כמה מהחלקים הרלוונטיים ביותר מבסיס המסמכים. שלב זה הוא קריטי: אם יובא היצירה הלא נכונה, גם התשובה תהיה שגויה.

4. צור תגובה מבוססת מקור. ה-AI מייצר תגובה המבוססת אך ורק על הפרגמנטים שנלקחו ומציין מאיזה מסמך הוא נלקח. תגובה שאינה מביאה את המקור מנוגדת לתכלית ר"ג.

5. אמת ודווח בחזרה. המשתמש אמור להיות מסוגל לעבור למקור המוצג ולאשר את התשובה. תשובות שגויות או לא שלמות הופכות למשוב לשיפור בסיס התיעוד.

טיפ: איכות RAG תלויה במידה רבה באיכות בסיס המסמכים. עדכן מסמכים, נכה גרסאות סותרות/מיושנות, והוסף מידע על תאריך ומקור לכל מסמך לפני הכנסתו למערכת. 500 מסמכים מאורגנים היטב מייצרים תשובות טובות יותר מ-5,000 מסמכים מפוזרים.

גבולות ונקודות הביטחון של RAG

RAG מפחית את ההזיה אך אינו מאפס אותה. אם המערכת מחזירה את היצירה הלא נכונה, ה-AI עדיין עשוי לתת את התשובה השגויה בכך שהיא נשארת "נאמנה" ליצירה הלא נכונה. בנוסף, בינה מלאכותית עשויה לפרש לא נכון חלקים שנלקחו או לשלב חלקים מרובים בדרכים סותרות. לכן, יש לאמת פלט RAG גם על ידי מעבר למקור, במיוחד עבור החלטות קריטיות.

פרטיות היא נושא מרכזי ב-RAG ארגוני. בסיס המסמכים עשוי להכיל מידע רגיש (כוח אדם, חוזים, אסטרטגיה). המערכת לא אמורה לייצר תגובות ממסמכים שאינם מורשים על ידי המשתמש; יש להחיל בקרת גישה (מי יכול לראות איזה מסמך) גם על RAG. אחרת, עובד עשוי לגשת למידע דרך RAG שאינו יכול לראות.

שימו לב: גם בעת ציטוט של מסמך, RAG אינה מתחייבת שאותו מסמך עדכני ומדויק. המערכת עשויה להגיב ממסמך נוהל ישן מלפני שלוש שנים. באחריות המשתמש ומנהל המידע לבדוק את תאריך ותוקפו של מסמך המקור.

שלושה מיני תיקים

מקרה 1 - שאלות פרוצדורליות מואצות. ארגון אחד הקים מערכת RAG עבור מדריכים פנימיים של 1,200 עמודים. שאלות "איך לעשות את זה" של העובדים נפתרו תוך שניות עם תשובות המציינות את המקור; משך השיחה הממוצע ירד מ-25 דקות ל-2 דקות. מכיוון שכל תגובה הייתה מקושרת לקטע התיעוד שעליו היא התבססה, העובדים יכלו לאמת אותה.

מקרה 2 - מסמך ישן נתפס. מערכת RAG ענתה על שאלת נוהל היתר ממסמך ישן משנת 2021; עם זאת, גרסה מעודכנת שוחררה בשנת 2024. העובד שפתח את קישור המקור הבחין שהתאריך מיושן ומצא את המסמך המעודכן. מנהל המידע הסיר את הגרסה הישנה ממאגר המסמכים.

מקרה 3 - נמנעה גישה בלתי מורשית. בהגדרה הראשונית, RAG סרקה את כל המסמכים בפומבי; עובד קיבל תשובה ממסמך שכר שלא היה אמור לראות. הצוות הוסיף בקרת גישה ל-RAG: המערכת מייצרת כעת רק תגובות ממסמכים אליהם המשתמש מורשה.

הערכה, משוב ושיפור מתמיד

מערכת RAG היא לא כלי שצריך להתקין פעם אחת ולשכוח; זה דורש הערכה ושיפור מתמידים. הבסיס לכך הוא מדידה קבועה של תשובות המערכת לשאלות אמיתיות. שתי שאלות הן קריטיות: האם המערכת מביאה את חלקי המסמכים הנכונים (איכות גישה) והאם היא מפיקה את התגובה הנכונה מהחתיכות שנלקחו (איכות ייצור)? יש צורך להעריך את שני השכבות הללו בנפרד; כי הבאת המסמך הנכון ופרשנותו לא נכונה והבאת המסמך הלא נכון והעברתו נאמנה הן בעיות שונות ודורשות פתרונות שונים. תרגול טוב הוא לשמור סט של "שאלות מבחן" עם תשובות נכונות ידועות ולבדוק את המערכת עם סט זה בכל עדכון. בנוסף, המשוב של המשתמשים "האם התשובה הזו הייתה מועילה / האם המקור היה מדויק" חושף גם פערים בבסיס המסמכים וגם חלקים שנשלפו בצורה שגויה. בינה מלאכותית יכולה לעזור לצבור משוב זה ולסכם את סוגי השאלות שנכשלות בתדירות הגבוהה ביותר; אבל ההחלטה איזה מסמך להוסיף, לעדכן או להסיר שייכת למנהל המידע. המערכת דורשת טיפול כמו אורגניזם חי; RAG מוזנח הופך להיות יותר ויותר מטעה עקב הזדקנות התיעוד לאורך זמן.

טיפ: ברגע שתגדירו את מערכת RAG, הכינו ערכת מבחנים קטנה של 20-30 שאלות אמיתיות ותשובות נכונות ידועות. הפעלת סט זה עם כל עדכון מסמך מראה באופן מיידי אם שינוי משפר או שובר את המערכת.

ארבע תבניות הניתנות להעתקה

1) הנחית תגובה מבוססת מקור:

תפקידך: עוזר מידע תאגידי. להלן קטעי תיעוד שהועלו לגבי השאלה. תן את התשובה רק על סמך קטעים אלה וציין מאיזה מסמך/חתיכה עבור כל פיסת מידע היא מגיעה. אם אין תשובה בחלקים, אמור "מידע זה אינו כלול במסמכים שסופקו", אל תנחש. שאלה: [כאן] / חלקים: [כאן]

2) סתירה ושליטה במטבעות:

האם יש סתירות או גרסאות מתוארכות שונות בין הקטעים הבאים? אם כן, סמן אותו וציין מי מהם נראה מעודכן יותר. חלקים (עם תאריכים): [כאן]

3) ביקורת ניקוי בסיס מסמכים:

האם יש ברשימת המסמכים להלן מסמכים מיושנים, סותרים או מסמכים שמקורם לא ברור שיש לברור לפני הכנסתם למערכת RAG? סמן וכתוב למה. רשימה (עם תאריך/מקור): [כאן]

4) פרטיות ובקרת גישה מוקדמת:

האם קטעי המסמכים הבאים מכילים מידע רגיש (נתונים אישיים, הסכם סודי, אסטרטגיה)? סווגו כל אחד כ"גישה ציבורית/מוגבלת" ותנו הצדקה. רצועות: [כאן]

הנחיה חלשה / הנחיה חזקה

הנחיה חלשה:

הסבר את הליך ההיתר של המוסד שלנו.

אם לא ניתן תיעוד, ה-AI מייצר הליך מורכב מהזיכרון הכללי שלו או מיישום של מוסדות אחרים; יכול להיות שזה לא רלוונטי לשלטון המוסד בפועל.

הנחיה עוצמתית:

תפקידך: עוזר מידע תאגידי. להלן פיסות המסמכים (עם התאריכים) הנוגעים להליך ההיתר של המוסד. ענה על השאלה בהתבסס על חלקים אלה בלבד, תוך ציון מסמך המקור והתאריך בכל שלב. אם החלקים מתנגשים, השתמש באחד העדכני ביותר ותגיד זאת. אם זה לא במסמך, אמור "ללא מידע". שאלה: [כאן] / חלקים: [כאן]

הנחיה עוצמתית; קושר את התשובה למסמכי המוסד בפועל, מבקש מקורות ותאריכים, ומתייחס ביושר לסתירה ולפער.

רכיב RAG וטבלת סיכונים

רכיב

פונקציה

סיכון עיקרי

בטחון

בסיס מסמכים

מקור התשובה

מסמך מיושן/סותר

ניקיון, היסטוריה, מוצא

שליפה

מצא את החלק הרלוונטי

קטע לא נכון

בדיקות איכות, משוב

הפקה

השב

הערה שגויה

ציטוט מקור, אימות

בקרת גישה

בדיקת סמכות

חשיפה בלתי מורשית

הגבלה מבוססת משתמש

טעויות נפוצות

• הקמת בסיס מסמכים מלוכלך. מסמך מיושן/סותר מייצר תגובה גרועה.
• קבלת תשובה ללא ציון המקור. מטרת RAG היא עקיבות.
• לא בודק את תאריך המסמך. תשובה שנחשבת לעדכן מגיעה מהגרסה הישנה.
• עקיפת בקרת גישה. אדם לא מורשה ניגש למידע רגיש.
• חושב ש-RAG חסין לחלוטין מפני הזיות. היצירה הלא נכונה עדיין מייצרת את התשובה השגויה.

לסיכום

RAG מייצרת ערך רב בניהול ידע על ידי הפיכת זיכרון ארגוני למערכת תגובה מבוססת משאבים; בניגוד לבינה מלאכותית כללית, היא מקשרת ומביאה את התשובה למסמכים בפועל של הארגון, ובכך מפחיתה משמעותית את ההזיה. אבל ההצלחה תלויה בבסיס תיעוד נקי ומעודכן, גישה מדויקת למסלול, ייחוס מקור, בדיקת תאריך/נוכחות ובקרת גישה. RAG אינו מאפס את ההזיה; תשובות קריטיות מאומתות על ידי מעבר למקור והסודיות מכבדת כבר מההתחלה.

משימת יישום

הכן סט קטן של מסמכים (5-8 מסמכי סוכנות בפועל או לדוגמה, עם תאריכים); הכנס במודע גרסה ישנה אחת וגרסה סותרת אחת נוכחית. שאל שאלה עם התבנית "הנחיית תגובה מבוססת מקור" ובדוק אם ה-AI מצטט את המקור. לאחר מכן הערך אם ה-AI זיהה נכון את הקונפליקט ואת הגרסה הנוכחית באמצעות התבנית "בדיקת קונפליקט וגירסה נוכחית".

רשימת בדיקה

• [ ] עדכנתי את בסיס המסמכים, נישבתי מסמכים ישנים/סותרים.
• [ ] הקפדתי שכל תשובה מפנה למסמך המקור.
• [ ] בדקתי את התאריך והתוקף של מסמכי המקור.
• [ ] מנעתי יצירת תגובות ממסמכים לא מורשים עם בקרת גישה.
• [ ] אימתתי את התגובות הקריטיות על ידי מעבר למסמך המקורי.