Daromadlar:
- Gallyutsinatsiyaning sabablarini va topraklama rolini tushuntiring
- Model kontekstda bo'lmasa, "bilmayman" deyishiga yordam beradigan usullarni qo'llash
- Javoblarga tekshiriladigan manbalar/iqtiboslar qo'shish orqali ishonch va auditorlikni ta'minlash
Til modelining eng xavfli xatti-harakati - o'zi bilmagan narsani ishonchli va ishonarli ohangda to'ldirishdir. Bu gallyutsinatsiya deb ataladi. Korporativ yordamchida gallyutsinatsiya qilish nafaqat zerikarli, balki juda xavflidir: noto'g'ri dam olish kuni, noto'g'ri narx, noto'g'ri qonuniy modda aslida xodim yoki mijozga zarar etkazishi mumkin. Ushbu bo'limda biz gallyutsinatsiyalar nima uchun paydo bo'lishini, RAGda ularni qanday kamaytirishni va javobni qanday tekshirish mumkinligini ko'rib chiqamiz.
Gallyutsinatsiyalarga nima sabab bo'ladi?
Model keyingi eng ehtimol so'zni ishlab chiqarishga o'rgatilgan; "Haqiqatni ayt" emas, balki "ravon va oqilona matn yarating". Agar ma'lumot etishmayotgan bo'lsa, u bo'shliqni statistik jihatdan ishonchli, ammo haqiqatan ham noto'g'ri narsa bilan to'ldirishi mumkin. Uchta odatiy trigger:
- Kontekstda javob yo'q, lekin model baribir nimadir deyishga majbur.
- Kontekst ziddiyatli yoki etarli emas; Model bashorat qilish bilan bo'shliqni yopadi.
- Savol kontekstdan tashqariga chiqadi; model o'zining umumiy (va ehtimol eskirgan) bilimlariga qaytadi.
RAG gallyutsinatsiyalarni kamaytiradi, chunki u modelga haqiqiy manba beradi, lekin uni qayta tiklamaydi. Agar siz noto'g'ri qismni olib kelsangiz yoki modelni "bo'shliqni to'ldirish erkinligi" ni qoldirsangiz, RAG bilan tizim ham mos kelishi mumkin.
gallyutsinatsiya turi
simptom
ildiz sababi
eritma qatlami
olishdan kelib chiqadi
To'g'ri javob hujjatda, lekin u kelmadi
Noto'g'ri/etishmayotgan qism yetkazib berildi
Chiqarish, gibrid, qayta tartiblash (3-4 birlik)
Avlod manbalari
To'g'ri qism keldi, lekin javob noto'g'ri/qo'shilishi kerak
Model bo'shliqni bashorat bilan to'ldirdi
Topraklama, "bilmayman" ruxsati, past ijodkorlik
Iqtibos manbasi
Javob to'g'ri, lekin manba noto'g'ri
Model noto'g'ri qismga ishora qildi
Iqtiboslarni tekshirish (8-bo'limga qarang)
Maslahat: gallyutsinatsiyani ikki qismga bo'ling. Qidiruvdan olingan: noto'g'ri/etishmayotgan qism keldi (yechim: qidirishni yaxshilash). Avlod manbai: To'g'ri qism keldi, lekin model uni noto'g'ri o'qidi/qo'shdi (yechim: tezkor va topraklama). Qaysi biri ekanligini bilmaguningizcha, uni tuzata olmaysiz.
Topraklama: Javobni kontekstda aniqlash
Topraklama - bu modelga "men bergan matnga ishoning, undan tashqariga chiqmang" deb aytishning barcha usullariga berilgan nom. Uning eng asosiy va eng samarali texnikasi: modelga "bilmayman" deyishga aniq ruxsat berish. Model, xuddi inson kabi, "bilmayman" deyishga ikkilanadi; Buning uchun unga aniq ruxsat berishingiz kerak.
Javob faqat quyidagi CONTEXT asosida. Agar javob kontekstda ANIQ bo'lmasa, aynan shunday yozing: "Men hujjatlarda bu haqda yetarlicha ma'lumot topa olmadim." Kontekstda bo'lmagan raqamlar, sanalar yoki nomlarni kiritmang. Taxmin qilmang.
Qo'shimcha topraklama texnikasi:
- Kotirovka talabi: Har bir da'vodan oldin kontekstni so'zma-so'z keltiring (“Hujjatda shunday deyilgan: “...”). Soxta tirnoqlarni ishlab chiqarish model uchun qiyinroq.
- Past harorat: harorat (harorat, ijodkorlik / tasodifiy sozlash) past bo'lishi kerak. Eslatma: ba'zi joriy modellarda bu parametr olib tashlangan; Ularda siz ko'rsatma bilan topraklama bilan ta'minlaysiz. Yuqori ijodkorlik korporativ yaxlitlikning dushmanidir.
- Qo'llash doirasi chegarasi: "Faqat rozilik siyosati masalalariga javob bering; muloyimlik bilan rad etishni rad eting."
Iqtibos
Gallyutsinatsiyaga qarshi eng kuchli tizimli himoya bu javobni tekshirilishi mumkin qilishdir. Agar foydalanuvchi javob qaysi hujjatga asoslanganligini ko'rsa: (1) u xatoni o'zi qo'lga kiritishi mumkin, (2) audit mumkin bo'ladi, (3) ishonch kuchayadi va (4) model "manbani keltirishim kerak bo'ladi" degan tushuncha bilan yanada ehtiyotkorlik bilan ishlab chiqaradi.
Ikkita umumiy yondashuv:
Inline atribut: Har bir daʼvo yonidagi manba yorligʻi. "Yillik ta'til 14 kun [1]." Quyida [1] ning toʻliq hujjatlari keltirilgan.
Strukturaviy chiqish: Modeldan javob va manbalar ro'yxatini alohida maydonlarda ishlab chiqarishni so'rash; Resurslarni interfeysda bosiladigan havolalar sifatida ko'rsatish.
# Model asosida tuzilgan javobni ishlab chiqish (kontseptual) Javobingizni quyidagi tuzilmada bering:- javob: <kontekstga asoslangan javob>- manbalar: [{"qism_no": 1, "fayl": "...", "bo'lim": "..."}]- ishonch: <yuqori|o'rta|past> # Kontekst uni qanchalik aniq qo'llab-quvvatlaydi? Agar kontekst javobni qo'llab-quvvatlamasa, javob maydoniga "ma'lumot topilmadi" deb yozing va manbalarni bo'sh qoldiring.
Citation haqiqatan ham ishlashi uchun atributning to'g'riligini tekshirish kerak. Model ba'zan to'g'ri javob berishi mumkin, lekin noto'g'ri manba ko'rsatadi. Murakkab tizimlar ishlab chiqarilgan har bir da'vo haqiqatda u ko'rsatgan qismda qo'llab-quvvatlanganligini avtomatik ravishda tekshiradi (keyingi birlikdagi "sodiqlik" o'lchovi).
Zaif/kuchli: gallyutsinatsiyaga qarshi tezkor
Zaif (bo'sh joyni to'ldirish uchun taklif):
Savolga qo'lingizdan kelganicha javob bering: {kontekst} Savol: {question}# "Iloji boricha" bu model uchun "agar bilmasangiz, taxmin qiling" degan ma'noni anglatadi.
Kuchli (topraklama + ruxsatni bilmayman + manba + ishonch):
Faqat CONTEXT ga ishoning. Aks holda, "Men hech qanday ma'lumot topa olmadim" deb ayting; raqam/sana/ismni tuzing. Har bir da'voga [n] manba raqamini qo'shing. Kontekst tomonidan qo‘llab-quvvatlanadigan ishonch darajasini belgilang. MONTAJ: [1]... [2]... SAVOL: {question}
Uchta mini korpus
1-holat - tuzilgan element raqami. Paralegal kontekstdan tashqarida bo'lgan va xodimga yolg'on ma'lumot bergan "17/B-modda" bayonotini tuzdi. “Kontekstda bo‘lmagan maqola raqamini bermang, aks holda bilmayman deng” ko‘rsatmasi + iqtibos keltirish majburiyati qo‘shilganda, 40 ta misolda soxta maqola holatlari 11 tadan 0 tagacha kamaydi.
2-holat - To'g'ri javob, noto'g'ri manba. Yordamchi yordamchi to'g'ri qaytish muddatini aytdi, lekin noto'g'ri maqolani keltirdi; Xaridor havolani bosganida, ahamiyatsiz sahifa ochildi. Iqtibosni tekshirish (da'voning keltirilgan qismda mavjudligini tekshirish) qo'shilganda, yolg'on iqtiboslar darajasi 23% dan 2% gacha kamaydi.
3-holat - “Bilmayman” ruxsati berilmadi. HR yordamchisi hujjatda bo'lmagan savolga ishonchli, ammo noto'g'ri javob bergan. Aniq “bilmayman” roziligi va toʻliq matn (“Hujjatlarda bu haqda maʼlumot topa olmadim”) qoʻshilganda, uydirma emas, balki javobsiz savollarga halol rad etish darajasi 8 foizdan 95 foizga oshdi.
Umumiy xatolar
- "Bilmayman" ga ruxsat bermaslik: Model bo'shliqni uydirma bilan to'ldiradi.
- Ijodkorlikni yuqori darajada saqlash: Tasodifiylik korporativ yaxlitlikka zarar keltiradi.
- Manbaga uni tasdiqlamasdan ishonish: Model to'g'ri javobga noto'g'ri manbani biriktirishi mumkin.
- Ikki turdagi gallyutsinatsiyalarni ajratmaslik: Siz noto'g'ri joyni qayta tiklash yoki avloddan kelib chiqqanligini bilmasdan tuzatasiz.
- Kosmetika uchun iqtibos keltirish: manbadan iqtibos keltirish ham tasdiqlovchi, ham to'xtatuvchidir; jiddiy qabul qiling.
E'tibor bering: "Model juda ishonchli ko'rinadi" "model to'g'ri" bilan bir xil emas. Gallyutsinatsiyalar odatda eng ravon va ishonchli jumlalardir. Ishonchni gapning ohangidan emas, u ko'rsatgan manbadan o'qing.
qisqa bayoni; yakunida
- Gallyutsinatsiya - bu model ma'lumot bo'shlig'ini ishonchli, ammo yolg'on matn bilan to'ldirishi; RAG kamayadi, lekin qayta tiklanmaydi.
- Gallyutsinatsiyani qayta tiklash (noto'g'ri qism) yoki avlod (noto'g'ri o'qish) sabab bo'lishi mumkin; Qaysi biri birinchi bo'lishini aniqlang.
- Topraklamaning eng kuchli texnikasi modelga aniq "bilmayman" ruxsatini berishdir; shuningdek, iqtibos talabi va past ijodkorlik.
- Iqtibos javobni tekshirishga imkon beradi; Bu ham ishonch beradi, ham modelni ehtiyotkorlik bilan ishlab chiqarishga undaydi.
- Iqtibosning to'g'riligi ham tekshirilishi kerak; To'g'ri javobga noto'g'ri manba ilova qilingan bo'lishi mumkin.
Ilova vazifasi
(1) Yordamchingizga 4 ta savol tayyorlang, ularning javoblari hujjatlarda yo'q (tuzoq savollari). Har birini zaif va kuchli taklif bilan sinab ko'ring va model mos keladimi yoki yo'qligini belgilang. (2) Hujjatdagi javoblari bo'lgan 4 ta savol uchun modeldan payvand raqamini yarating va u ko'rsatgan payvand haqiqatda to'g'ri qism ekanligini qo'lda tekshiring. (3) Model kamida bitta holatda "to'g'ri javob, noto'g'ri manba" bergan yoki yo'qligini tekshiring va buni qanday qilib avtomatik ravishda qo'lga olishingiz mumkinligini bitta jumlada yozing.
nazorat ro'yxati
- [ ] Men gallyutsinatsiya nima uchun sodir bo'layotganini va RAG uni kamaytiradi, lekin uni qayta tiklamaydi, deb ayta olaman.
- [ ] Men olish va avloddan kelib chiqadigan gallyutsinatsiyalarni ajrata olaman va to'g'ri joyni to'g'rilay olaman.
- [ ] Men taklifga aniq "Bilmayman" ruxsati va asoslash qoidalarini qo'shyapman.
- [ ] Javobga tekshiriladigan manba (iqtibos) qo'shyapman.
- [ ] Atributning toʻgʻriligini qoʻshimcha tekshirish zarurligini tushunaman.