سود:
- علل توهم و نقش زمینه سازی را توضیح دهید
- استفاده از تکنیکهایی که مدل را وادار میکند «نمیدانم» را در صورتی که در متن نباشد، بگوید
- اطمینان از اعتماد و قابلیت حسابرسی با افزودن منابع / استنادهای قابل تأیید به پاسخ ها
خطرناک ترین رفتار یک مدل زبان این است که چیزی را که نمی داند با لحنی مطمئن و متقاعدکننده بسازد. این توهم نامیده می شود. توهم در یک دستیار شرکتی فقط آزاردهنده نیست، بلکه کاملاً خطرناک است: روز مرخصی اشتباه، قیمت اشتباه، ماده قانونی اشتباه در واقع می تواند یک کارمند یا مشتری را در معرض آسیب قرار دهد. در این بخش، دلیل رخ دادن توهم، چگونگی کاهش آن در RAG و چگونگی قابل تایید کردن پاسخ را توضیح می دهیم.
چه چیزی باعث توهم می شود؟
این مدل برای تولید محتمل ترین کلمه بعدی آموزش داده شده است. نه «راستش را بگو»، بلکه «متن روان و معقول تولید کن». اگر اطلاعات از دست رفته باشد، می تواند شکاف را با چیزی که از نظر آماری قابل قبول است اما از نظر واقعی نادرست است پر کند. سه محرک معمولی:
- هیچ پاسخی در زمینه وجود ندارد، اما مدل به هر حال مجبور است چیزی بگوید.
- زمینه متناقض یا ناکافی است. مدل با پیش بینی شکاف را می بندد.
- سوال فراتر از زمینه است. مدل به دانش عمومی (و احتمالاً منسوخ) خود باز می گردد.
RAG توهم را کاهش می دهد زیرا به مدل یک منبع واقعی می دهد - اما آن را تنظیم مجدد نمی کند. اگر قطعه اشتباهی را بیاورید یا مدل "آزادی برای پر کردن شکاف" را رها کنید، سیستم با RAG نیز می تواند آن را جا دهد.
نوع توهم
علامت
علت اصلی
لایه محلول
نشات گرفته از بازیابی
پاسخ صحیح در سند موجود است اما نیامده است
قسمت اشتباه/مفقود تحویل داده شد
تقسیم بندی، ترکیبی، رتبه بندی مجدد (واحد 3-4)
نسل منبع
قسمت صحیح رسید اما پاسخ اشتباه است/باید اضافه شود
مدل شکاف را با پیش بینی پر کرد
زمینه سازی، مجوز "نمی دانم"، خلاقیت کم
منبع نقل قول
پاسخ صحیح است اما منبع اشتباه است
مدل به قسمت اشتباه ارجاع داده شده است
تأیید استناد (به واحد 8 مراجعه کنید)
نکته: توهم را به دو قسمت تقسیم کنید. منبع از بازیابی: قسمت اشتباه/مفقود رسید (راه حل: بهبود بازیابی). منبع نسل: قسمت صحیح رسید، اما مدل آن را اشتباه خوانده/اضافه کرده است (راه حل: سریع و زمین). شما نمی توانید آن را تعمیر کنید مگر اینکه بدانید کدام یک است.
زمینه سازی: میخ زدن به پاسخ در زمینه
Grounding نامی است که به تمام تکنیکهای گفتن مدل داده میشود: «فقط به متنی که به شما میدهم تکیه کنید، از آن فراتر نروید». ابتدایی ترین و موثرترین تکنیک او: به صراحت به مدل اجازه گفتن "نمی دانم". مدل، مانند انسان، در گفتن «نمیدانم» مردد است. برای انجام این کار باید به او اجازه صریح بدهید.
فقط بر اساس متن زیر پاسخ دهید. اگر پاسخ به وضوح در متن نیست، دقیقاً این را بنویسید: "من نتوانستم اطلاعات کافی در این مورد در اسناد پیدا کنم." هیچ شماره، تاریخ یا نامی را که در متن نیست درج نکنید. حدس نزن
تکنیک های زمینی اضافی:
- شرط نقل قول: قبل از هر ادعا، متن را کلمه به کلمه نقل قول کنید ("سند می گوید: "..."). تولید مظنه های ساخته شده برای مدل دشوارتر است.
- دمای پایین: دما (دما، خلاقیت/تنظیم تصادفی) باید پایین باشد. توجه: در برخی از مدل های فعلی این پارامتر حذف شده است. در آنها، شما زمین را با یک اعلان فراهم می کنید. خلاقیت بالا دشمن یکپارچگی شرکت است.
- محدودیت دامنه: "فقط به مسائل مربوط به سیاست رضایت پاسخ دهید؛ مودبانه از انصراف خودداری کنید."
نقل قول
قوی ترین دفاع سیستمیک در برابر توهم این است که پاسخ را قابل تایید کنیم. اگر کاربر بتواند ببیند که پاسخ بر اساس کدام سند است: (1) او میتواند اشتباه را خودش تشخیص دهد، (2) ممیزی ممکن میشود، (3) اعتماد افزایش مییابد، و (4) مدل با احتیاط بیشتری تولید میکند با آگاهی از اینکه "من باید منبع را ذکر کنم".
دو رویکرد رایج:
انتساب درون خطی: برچسب منبع در کنار هر ادعا. مرخصی سالانه 14 روز است [1]. در زیر مستندات کامل [1] آمده است.
خروجی ساختاریافته: درخواست از مدل برای تولید پاسخ و فهرست منبع در فیلدهای جداگانه. نمایش منابع به عنوان پیوندهای قابل کلیک در رابط.
# تولید یک پاسخ ساختاریافته بر اساس مدل (مفهومی) پاسخ خود را در ساختار زیر ارائه دهید:- پاسخ: <context-based answer>- منابع: [{"part_no": 1، "پرونده": "..."، "بخش": "..."}]- اعتماد: <بالا|متوسط|کم> # تا چه حد به وضوح زمینه آن را پشتیبانی می کند؟ اگر متن پاسخ را پشتیبانی نمی کند، در قسمت پاسخ بنویسید «هیچ اطلاعاتی یافت نشد» و منابع را خالی بگذارید.
برای اینکه Citation واقعاً کار کند، تأیید صحت انتساب ضروری است. مدل ممکن است گاهی اوقات پاسخ صحیح را بدهد اما منبع اشتباه را ارائه دهد. سیستمهای پیشرفته بهطور خودکار بررسی میکنند که هر ادعای تولید شده واقعاً در قطعهای که به آن اشاره میکند پشتیبانی میشود (اندازهگیری «وفاداری» در واحد بعدی).
ضعیف/قوی: سریع در برابر توهم
ضعیف (دعوت برای پر کردن جای خالی):
با اطلاعاتی که دارید به بهترین شکل ممکن به سوال پاسخ دهید: {context} سوال: {question}# "As best you can" برای مدل به معنای "حدس بزنید اگر نمی دانید" است.
قوی (زمینه + عدم اطلاع از مجوز + منبع + اعتماد):
فقط به CONTEXT تکیه کنید. در غیر این صورت، بگویید "من هیچ اطلاعاتی پیدا نکردم"؛ شماره/تاریخ/نام را تشکیل دهید.به هر ادعا شماره منبع [n] اضافه کنید. سطح اعتماد پشتیبانی شده توسط زمینه را مشخص کنید.CONTEXT: [1]... [2]... QUESTION: {question}
سه کیف کوچک
مورد 1 - شماره مورد ساخته شده. یک وکیل دادگستری یک بیانیه "ماده 17/ب" را ساخت که خارج از متن بود و اطلاعات نادرستی به کارمند داد. وقتی دستورالعمل «شماره مقاله ندهید که در متن نیست وگرنه بگویید نمی دانم» + الزام به نقل قول اضافه شد، موارد مقالات ساختگی از 11 به 0 در 40 نمونه کاهش یافت.
مورد 2 - پاسخ صحیح، منبع اشتباه. یک دستیار پشتیبانی دوره بازگشت صحیح را بیان کرد اما مقاله اشتباه را ذکر کرد. وقتی مشتری روی لینک کلیک کرد، یک صفحه نامربوط باز شد. هنگامی که تأیید استناد (بررسی اینکه آیا ادعا در قطعه ذکر شده وجود دارد) اضافه شد، نرخ استناد نادرست از 23٪ به 2٪ کاهش یافت.
مورد 3 - اجازه "نمی دانم" داده نشد. یک دستیار منابع انسانی پاسخی قابل قبول اما نادرست به سوالی که در سند نبود داده بود. وقتی رضایت صریح «نمیدانم» و متن کامل («اطلاعاتی در این مورد در مستندات پیدا نکردم») به درخواست اضافه شد، نرخ رد صادقانه برای سؤالات بدون پاسخ، به جای ساختگی، از 8 درصد به 95 درصد افزایش یافت.
اشتباهات رایج
- اجازه ندادن به «نمی دانم»: مدل شکاف را با ساختگی پر می کند.
- بالا نگه داشتن خلاقیت: تصادفی بودن برای یکپارچگی شرکت مضر است.
- اعتماد به منبع بدون تایید آن: مدل ممکن است منبع اشتباهی را به پاسخ صحیح متصل کند.
- عدم تمایز بین دو نوع توهم: شما مکان اشتباه را تصحیح می کنید بدون اینکه بدانید که آیا این توهم ناشی از بازیابی است یا تولید.
- نقل قول اشتباه برای لوازم آرایشی: ذکر منبع هم تاییدیه و هم بازدارنده است. آن را جدی بگیرید
احتیاط: "مدل بسیار مطمئن به نظر می رسد" با "مدل صحیح است" یکی نیست. توهمات عموما روان ترین و مطمئن ترین جملات هستند. اعتماد را از منبعی که نشان می دهد بخوانید، نه از روی لحن جمله.
به طور خلاصه
- توهم زمانی است که مدل شکاف اطلاعاتی را با متن قابل قبول اما نادرست پر می کند. RAG کاهش می یابد اما تنظیم مجدد نمی شود.
- توهم ممکن است در اثر بازیابی (بخش اشتباه) یا تولید (خواندن اشتباه) ایجاد شود. اول مشخص کنید کدام یک
- قدرتمندترین تکنیک Grounding دادن مجوز صریح "نمی دانم" به مدل است. همچنین نیاز به استناد و خلاقیت کم.
- استناد پاسخ را قابل تأیید می کند. هم اعتماد به نفس می دهد و هم باعث می شود مدل با احتیاط تولید شود.
- صحت استناد نیز باید بررسی شود. ممکن است منبع اشتباهی به پاسخ صحیح پیوست شده باشد.
وظیفه کاربردی
(1) 4 سوال را برای پرسیدن از دستیار خود آماده کنید که پاسخ آنها در اسناد موجود نیست (سوالات دام). هر کدام را با دستور ضعیف و قوی تست کنید و علامت بزنید که آیا مدل مناسب است یا خیر. (2) برای 4 سوالی که پاسخ آنها در سند موجود است، از مدل بخواهید شماره جوش را ایجاد کند و به صورت دستی بررسی کنید که آیا جوشی که نشان می دهد واقعاً قطعه صحیح است یا خیر. (3) بررسی کنید که آیا مدل حداقل در یک مورد "پاسخ درست، منبع اشتباه" را می دهد یا خیر و در یک جمله بنویسید که چگونه می توانید این را به طور خودکار دریافت کنید.
چک لیست
- [ ] می توانم بگویم که چرا توهم اتفاق می افتد و RAG آن را کاهش می دهد اما آن را بازنشانی نمی کند.
- [ ] من می توانم بین توهمات بازیابی و القای نسل تمایز قائل شوم و مکان صحیح را تصحیح کنم.
- [ ] من مجوز صریح "نمی دانم" و قوانین پایه را به دستور اضافه می کنم.
- [ ] من یک منبع قابل تایید (نقل) به پاسخ اضافه می کنم.
- [ ] من نیاز به بررسی بیشتر صحت انتساب را درک می کنم.