المكاسب:
- شرح أسباب الهلوسة ودور التأريض
- تطبيق التقنيات التي تجعل النموذج يقول "لا أعرف" إذا لم يكن في السياق
- ضمان الثقة وقابلية التدقيق عن طريق إضافة مصادر/استشهادات يمكن التحقق منها إلى الردود
إن أخطر سلوك لنموذج اللغة هو اختلاق شيء لا يعرفه بنبرة واثقة ومقنعة. وهذا ما يسمى الهلوسة. الهلوسة في مساعد الشركة ليست مزعجة فحسب، بل إنها محفوفة بالمخاطر تمامًا: يوم إجازة خاطئ، وسعر خاطئ، ومضمون قانوني خاطئ يمكن أن يعرض الموظف أو العميل للخطر. في هذه الوحدة، نغطي سبب حدوث الهلوسة، وكيفية تقليلها في RAG، وكيفية جعل الإجابة قابلة للتحقق.
ما الذي يسبب الهلوسة؟
يتم تدريب النموذج على إنتاج الكلمة التالية الأكثر احتمالاً؛ لا "قول الحقيقة"، بل "أنتج نصًا سلسًا ومعقولًا". إذا كانت المعلومات مفقودة، فيمكن أن تملأ الفجوة بشيء معقول إحصائيًا ولكنه غير صحيح في الواقع. ثلاثة مشغلات نموذجية:
- لا توجد إجابة في السياق، لكن النموذج يشعر بأنه مضطر لقول شيء ما على أي حال.
- السياق متضارب أو غير مناسب؛ النموذج يغلق الفجوة بالتنبؤ.
- السؤال يتجاوز السياق. يعود النموذج إلى معرفته العامة (وربما التي عفا عليها الزمن).
يقلل RAG من الهلوسة لأنه يمنح النموذج مصدرًا حقيقيًا، لكنه لا يعيد ضبطه. إذا أحضرت الجزء الخطأ أو تركت النموذج "حرية ملء الفجوة"، فيمكن للنظام المزود بـ RAG أن يناسبه أيضًا.
نوع من الهلوسة
أعراض
السبب الجذري
طبقة الحل
ناشئة عن الاسترجاع
الإجابة الصحيحة موجودة في الوثيقة لكنها لم تصل
تم تسليم جزء خاطئ/مفقود
التقطيع والهجين وإعادة الترتيب (الوحدة 3-4)
مصدر الجيل
وصل الجزء الصحيح ولكن الإجابة خاطئة/يجب إضافته
النموذج ملأ الفجوة بالتنبؤ
التأريض، إذن "لا أعرف"، انخفاض الإبداع
مصدر الاقتباس
الجواب صحيح لكن المصدر خطأ
النموذج المشار إليه في جزء خاطئ
التحقق من الاستشهاد (انظر الوحدة 8)
ملحوظة: قسم الهلوسة إلى قسمين. المصدر من الاسترجاع: وصول جزء خاطئ/مفقود (الحل: تحسين الاسترجاع). مصدر التوليد: وصل الجزء الصحيح، لكن النموذج قرأه/أضافه بشكل غير صحيح (الحل: المطالبة والتأريض). لا يمكنك إصلاحه إلا إذا كنت تعرف أي واحد هو.
التأريض: تسمير الجواب في السياق
التأريض هو الاسم الذي يطلق على جميع تقنيات إخبار النموذج "اعتمد فقط على النص الذي أقدمه لك، ولا تتجاوزه". أسلوبه الأساسي والأكثر فعالية: منح النموذج الإذن بشكل صريح بقول "لا أعرف". النموذج، مثل الإنسان، يتردد في قول "لا أعرف"؛ يجب أن تمنحه إذنًا صريحًا للقيام بذلك.
الإجابة فقط بناءً على السياق أدناه. إذا لم تكن الإجابة واضحة في السياق، فاكتب بالضبط هذا: "لم أتمكن من العثور على معلومات كافية عن هذا في الوثائق." لا تقم بتضمين أي أرقام أو تواريخ أو أسماء ليست في السياق. لا تخمن.
تقنيات التأريض الإضافية:
- متطلبات عرض الأسعار: قبل كل مطالبة، اقتبس السياق حرفيًا ("تقول الوثيقة: '...'"). يعد إنتاج عروض الأسعار الملفقة أكثر صعوبة بالنسبة للنموذج.
- درجة حرارة منخفضة: يجب أن تكون درجة الحرارة (درجة الحرارة والإبداع/الإعداد العشوائي) منخفضة. ملاحظة: في بعض النماذج الحالية تمت إزالة هذه المعلمة؛ في نفوسهم، يمكنك توفير التأريض مع موجه. الإبداع العالي هو عدو نزاهة الشركات.
- حد النطاق: "الرد فقط على مشكلات سياسة الموافقة، ورفض إلغاء الاشتراك بأدب."
الاقتباس
أقوى دفاع نظامي ضد الهلوسة هو جعل الإجابة قابلة للتحقق. إذا تمكن المستخدم من معرفة المستند الذي تستند إليه الإجابة: (1) يمكنه اكتشاف الخطأ بنفسه، (2) يصبح التدقيق ممكنًا، (3) تزداد الثقة، و (4) ينتج النموذج بحذر أكبر مع إدراك "سأحتاج إلى الاستشهاد بالمصدر".
نهجان شائعان:
الإسناد المضمّن: علامة المصدر بجوار كل مطالبة. "الإجازة السنوية 14 يومًا [1]." وفيما يلي التوثيق الكامل [1].
المخرجات المنظمة: مطالبة النموذج بإنتاج الإجابة وقائمة المصادر في حقول منفصلة؛ إظهار الموارد كروابط قابلة للنقر في الواجهة.
# إنتاج إجابة منظمة بناءً على النموذج (المفاهيمي) أعط إجابتك بالبنية التالية:- الإجابة: <إجابة مستندة إلى السياق>- المصادر: [{"part_no": 1, "file": "..."، "section": "..."}]- Trust: <high|medium|low> # ما مدى وضوح دعم السياق لها؟ إذا كان السياق لا يدعم الإجابة، فاكتب "لم يتم العثور على معلومات" في حقل الإجابة واترك المصادر فارغة.
لكي يعمل الاقتباس حقًا، من الضروري التحقق من صحة الإسناد. قد يعطي النموذج في بعض الأحيان الإجابة الصحيحة ولكنه يعطي المصدر الخاطئ. تتحقق الأنظمة المتقدمة تلقائيًا من أن كل مطالبة يتم تقديمها مدعومة فعليًا في القطعة التي تشير إليها (قياس "الإخلاص" في الوحدة التالية).
ضعيف/قوي: موجه ضد الهلوسة
ضعيف (دعوة لملء الفراغ):
أجب عن السؤال بأفضل ما يمكنك بالمعلومات المتوفرة لديك: {context} السؤال: {question}# "بأفضل ما تستطيع" تعني "خمن إذا كنت لا تعرف" للنموذج.
قوي (التأريض + عدم معرفة الإذن + المصدر + الثقة):
فقط اعتمد على السياق. بخلاف ذلك، قل "لم أتمكن من العثور على أي معلومات"؛ رقم التعويض/التاريخ/الاسم. أضف [n] رقم المصدر لكل مطالبة. حدد مستوى الثقة الذي يدعمه السياق. السياق: [1]... [2]... السؤال: {سؤال}
ثلاث حالات صغيرة
الحالة 1 - رقم العنصر المكوّن. قام أحد المساعدين القانونيين بتأليف بيان "المادة 17/ب" الذي كان خارج السياق وقدم معلومات كاذبة للموظف. عند إضافة التعليمات "لا تعطي رقم مقال غير موجود في السياق، وإلا قل لا أعرف" + تم إضافة الالتزام بالاقتباس، انخفضت حالات المقالات الملفقة من 11 إلى 0 في 40 مثال.
الحالة 2 - الإجابة الصحيحة، مصدر خاطئ. ذكر أحد مساعدي الدعم فترة الإرجاع الصحيحة ولكنه استشهد بالمقالة الخاطئة؛ عندما نقر العميل على الرابط، تم فتح صفحة غير ذات صلة. عند إضافة التحقق من الاقتباس (التحقق مما إذا كان الادعاء يظهر في القطعة المستشهد بها)، انخفض معدل الاستشهاد الكاذب من 23% إلى 2%.
الحالة 3 - لم يتم منح إذن "لا أعرف". قام أحد مساعدي الموارد البشرية بتكوين إجابة معقولة ولكنها غير صحيحة لسؤال غير موجود في المستند. عندما تمت إضافة الموافقة الصريحة "لا أعرف" والنص الكامل ("لم أتمكن من العثور على معلومات حول هذا في الوثائق") إلى المطالبة، ارتفع معدل الرفض الصادق للأسئلة التي ليس لها إجابة، بدلاً من التلفيق، من 8% إلى 95%.
الأخطاء الشائعة
- عدم السماح بـ "لا أعرف": النموذج يملأ الفجوة بالتلفيق.
- الحفاظ على مستوى عالٍ من الإبداع: العشوائية تضر بنزاهة الشركة.
- الثقة بالمصدر دون التحقق منه: قد يرفق النموذج المصدر الخاطئ بالإجابة الصحيحة.
- عدم التمييز بين نوعي الهلوسة: تقوم بتصحيح المكان الخطأ دون معرفة ما إذا كان سببه استرجاع أم توليد.
- الخلط بين الاقتباس ومستحضرات التجميل: يعتبر الاقتباس من المصدر بمثابة تأكيد ورادع؛ خذ الأمر على محمل الجد.
تنبيه: "يبدو النموذج واثقًا جدًا" ليس مثل "النموذج صحيح". الهلوسة بشكل عام هي الجمل الأكثر طلاقة وثقة. اقرأ الثقة من المصدر الذي دلت عليه، وليس من لهجة الجملة.
في ملخص
- الهلوسة هي عندما يملأ النموذج فجوة المعلومات بنص معقول ولكنه خاطئ؛ يقلل RAG ولكن لا تتم إعادة ضبطه.
- قد يكون سبب الهلوسة استرجاع (جزء خاطئ) أو توليد (قراءة خاطئة)؛ تحديد أي واحد أولا.
- أقوى أسلوب في Grounding هو منح النموذج إذنًا صريحًا "لا أعرف" ؛ أيضا متطلبات الاقتباس وانخفاض الإبداع.
- الاقتباس يجعل الإجابة قابلة للتحقق. كلاهما يمنح الثقة ويدفع النموذج إلى الإنتاج بحذر.
- ويجب أيضًا التحقق من دقة الاقتباس؛ قد يتم إرفاق المصدر الخاطئ بالإجابة الصحيحة.
مهمة التطبيق
(1) قم بإعداد 4 أسئلة لطرحها على مساعدك، وإجاباتها غير موجودة في المستندات (أسئلة الفخ). اختبر كل واحد باستخدام الموجه الضعيف والقوي وحدد ما إذا كان النموذج مناسبًا أم لا. (2) بالنسبة للأسئلة الأربعة التي توجد إجاباتها في المستند، اطلب من النموذج إنشاء رقم اللحام والتحقق يدويًا مما إذا كان اللحام الذي يظهره هو الجزء الصحيح بالفعل. (3) تحقق مما إذا كان النموذج يعطي "إجابة صحيحة، مصدر خاطئ" في حالة واحدة على الأقل واكتب في جملة واحدة كيف يمكنك اكتشاف ذلك تلقائيًا.
قائمة مرجعية
- [ ] أستطيع أن أعرف سبب حدوث الهلوسة وأن RAG يقللها ولكن لا يعيد ضبطها.
- [ ] أستطيع التمييز بين الهلوسة الاسترجاعية والهلوسة الناتجة عن التوليد وتصحيح المكان الصحيح.
- [ ] أقوم بإضافة إذن صريح "لا أعرف" وقواعد أساسية إلى الموجه.
- [ ] أقوم بإضافة مصدر (استشهاد) يمكن التحقق منه إلى الإجابة.
- [ ] أدرك الحاجة إلى مزيد من التحقق من دقة الإسناد.