Qazanclar:
- Halüsinasiyanın səbəblərini və əsaslandırmanın rolunu izah edin
- Modelin kontekstdə olmadığı halda “bilmirəm” deməsinə səbəb olan texnikaların tətbiqi
- Cavablara yoxlanıla bilən mənbələr/sitatlar əlavə etməklə etimad və auditin təmin edilməsi
Dil modelinin ən təhlükəli davranışı bilmədiyi bir şeyi inamlı və inandırıcı tonda uydurmasıdır. Buna hallüsinasiya deyilir. Korporativ köməkçidə halüsinasiyalar sadəcə zəhlətökən deyil, tamamilə risklidir: yanlış istirahət günü, yanlış qiymət, yanlış qanuni maddə əslində işçini və ya müştərini zərərli vəziyyətə sala bilər. Bu bölmədə biz halüsinasiyaların niyə baş verdiyini, RAG-da onları necə azaltmağı və cavabın yoxlanıla bilən olmasını əhatə edirik.
Halüsinasiyalara nə səbəb olur?
Model növbəti ən çox ehtimal olunan sözü istehsal etmək üçün öyrədilir; “Düzünü deyin” yox, “səlis və əsaslı mətn hazırlayın”. Əgər məlumat çatışmırsa, o, boşluğu statistik cəhətdən inandırıcı, lakin faktiki olaraq yanlış bir şeylə doldura bilər. Üç tipik tetikleyici:
- Kontekstdə heç bir cavab yoxdur, amma model hər halda nəsə demək məcburiyyətində hiss edir.
- Kontekst ziddiyyətlidir və ya qeyri-adekvatdır; Model proqnozla boşluğu bağlayır.
- Sual kontekstdən kənara çıxır; model öz ümumi (və bəlkə də köhnəlmiş) biliklərinə qayıdır.
RAG halüsinasiyanı azaldır, çünki o, modelə real mənbə verir, lakin onu sıfırlamır. Yanlış hissəni gətirsəniz və ya modeli "boşluğu doldurmaq azadlığı" buraxsanız, RAG ilə sistem də ona uyğun ola bilər.
halüsinasiya növü
simptom
kök səbəb
məhlul təbəqəsi
axtarışından qaynaqlanır
Düzgün cavab sənəddə var amma gəlməyib
Yanlış/çatışmayan hissə çatdırıldı
Parçalanma, hibrid, yenidən sıralama (Vahid 3-4)
Nəsil qaynağı
Düzgün hissə gəldi, lakin cavab səhvdir/əlavə edilməlidir
Model proqnozla boşluğu doldurdu
Yerləşdirmə, "bilmirəm" icazəsi, aşağı yaradıcılıq
Sitat mənbəyidir
Cavab doğrudur, amma mənbə səhvdir
Model səhv hissəyə istinad etdi
Sitatların yoxlanılması (Vahid 8-ə baxın)
İpucu: Halüsinasiyanı iki hissəyə bölün. Axtarışdan qaynaqlandı: səhv/çatışmayan hissə gəldi (həlli: axtarışı yaxşılaşdırın). Nəsil mənbəyi: Düzgün hissə gəldi, lakin model onu səhv oxudu/əlavə etdi (həll: operativ və torpaqlama). Hansı olduğunu bilməsəniz, onu düzəldə bilməzsiniz.
Əsaslandırma: Cavabın kontekstdə tapılması
Topraklama, modelə “sadəcə verdiyim mətnə güvən, ondan kənara çıxma” deməyin bütün üsullarına verilən addır. Onun ən əsas və ən təsirli texnikası: modelə açıq şəkildə “bilmirəm” deməyə icazə vermək. Model də insan kimi “bilmirəm” deməkdən çəkinir; Bunu etmək üçün ona açıq icazə verməlisiniz.
Yalnız aşağıdakı CONTEXT əsasında cavab verin. Cavab kontekstdə AÇIQ deyilsə, tam olaraq bunu yazın: "Sənədlərdə bu barədə kifayət qədər məlumat tapa bilmədim." Kontekstdə olmayan rəqəmlər, tarixlər və ya adlar daxil etməyin. Təxmin etmə.
Əlavə torpaqlama üsulları:
- Kotirovka tələbi: Hər iddiadan əvvəl kontekstdən sitat gətirin (“Sənəddə deyilir: “...'”). Uydurma sitatlar hazırlamaq model üçün daha çətindir.
- Aşağı temperatur: Temperatur (temperatur, yaradıcılıq/təsadüfi parametr) aşağı olmalıdır. Qeyd: bəzi cari modellərdə bu parametr silinmişdir; Onlarda bir sorğu ilə əsaslandırma təmin edirsiniz. Yüksək yaradıcılıq korporativ dürüstlüyün düşmənidir.
- Əhatə dairəsi limiti: "Yalnız razılıq siyasəti ilə bağlı məsələlərə cavab verin; nəzakətlə imtina etməkdən imtina edin."
Sitat
Halüsinasiyaya qarşı ən güclü sistemli müdafiə cavabı yoxlanıla bilən etməkdir. Əgər istifadəçi cavabın hansı sənədə əsaslandığını görə bilirsə: (1) səhvi özü tuta bilər, (2) audit mümkün olur, (3) etibar artır və (4) “mənbəyə istinad etməliyəm” şüuru ilə model daha ehtiyatlı istehsal edir.
İki ümumi yanaşma:
Daxili atribusiya: Hər bir iddianın yanında mənbə etiketi. "İllik məzuniyyət 14 gündür [1]." Aşağıda [1] tam sənədləri verilmişdir.
Strukturlaşdırılmış çıxış: Modeldən cavabı və mənbə siyahısını ayrı-ayrı sahələrdə hazırlamağı xahiş etmək; Resursların interfeysdə kliklənən keçidlər kimi göstərilməsi.
# Model əsasında strukturlaşdırılmış cavabın hazırlanması (konseptual) Cavabınızı aşağıdakı strukturda verin:- cavab: <kontekst əsaslı cavab>- mənbələr: [{"hissə_no": 1, "fayl": "...", "bölmə": "..."}]- güvən: <yüksək|orta|aşağı> # Kontekst bunu nə dərəcədə aydın şəkildə dəstəkləyir? Kontekst cavabı dəstəkləmirsə, cavab sahəsinə "heç bir məlumat tapılmadı" yazın və mənbələri boş buraxın.
Sitatın həqiqətən işləməsi üçün atributun düzgün olduğunu yoxlamaq lazımdır. Model bəzən düzgün cavab verə bilər, lakin səhv mənbə verə bilər. Qabaqcıl sistemlər avtomatik olaraq hər bir iddianın göstərdiyi hissədə dəstəkləndiyini yoxlayır (növbəti vahiddə “sadiqlik” ölçülməsi).
Zəif / Güclü: Halüsinasiyaya Qarşı Müvəffəqiyyət
Zəif (boşluğu doldurmaq üçün dəvət):
Sizdə olan məlumatla suala bacardığınız qədər cavab verin: {kontekst} Sual: {question}# "Bacardığınız qədər" model üçün "bilmirsinizsə təxmin edin" deməkdir.
Güclü (topraklama + icazəni bilmirəm + mənbə + etibar):
Sadəcə CONTEXT-ə etibar edin. Əks halda, "Heç bir məlumat tapa bilmədim" deyin; nömrə/tarix/ad tərtib edin. Hər iddiaya [n] mənbə nömrəsi əlavə edin. Kontekst tərəfindən dəstəklənən etimad səviyyəsini göstərin. CONTEXT: [1]... [2]... SUAL: {sual}
Üç mini qutu
1-ci hal - Hazırlanmış əşya nömrəsi. Paralegal kontekstdən kənar "Maddə 17/B" ifadəsi hazırladı və işçiyə yalan məlumat verdi. “Kontekstində olmayan məqalə nömrəsini verməyin, əks halda bilmirəm deyin” + sitat gətirmək məcburiyyəti əlavə edildikdə, 40 misalda uydurma məqalə halları 11-dən 0-a enmişdir.
2-ci hal - Düzgün cavab, səhv mənbə. Dəstək köməkçisi düzgün qayıtma müddətini qeyd etdi, lakin səhv məqaləyə istinad etdi; Müştəri linkə kliklədikdə, aidiyyəti olmayan səhifə açıldı. Sitatların yoxlanılması (iddianın istinad edilən hissədə olub-olmadığını yoxlamaq) əlavə edildikdə, yalançı sitat nisbəti 23%-dən 2%-ə düşüb.
3-cü hal — “Bilmirəm” icazəsi verilmədi. HR köməkçisi sənəddə olmayan suala inandırıcı, lakin səhv cavab uydurmuşdu. Açıq-aydın “bilmirəm” razılığı və tam mətn (“Sənədlərdə bu barədə məlumat tapa bilmədim”) sorğuya əlavə edildikdə, uydurma yox, cavabı olmayan suallara vicdanla rədd cavabı 8%-dən 95%-ə yüksəldi.
Ümumi səhvlər
- “Bilmirəm”ə icazə verməmək: Model boşluqları uydurma ilə doldurur.
- Yaradıcılığı yüksək saxlamaq: Təsadüfilik korporativ dürüstlüyə zərər verir.
- Təsdiq etmədən mənbəyə etibar etmək: Model düzgün cavaba yanlış mənbə əlavə edə bilər.
- Halüsinasiyaların iki növü arasında fərq qoymamaq: Alma və ya nəsildən qaynaqlandığını bilmədən səhv yeri düzəldirsiniz.
- Kosmetika üçün sitatın səhv salınması: Mənbəyə istinad həm təsdiq, həm də çəkindiricidir; ciddi qəbul edin.
Diqqət: "Model çox əmin görünür" ilə "model düzgündür" eyni deyil. Halüsinasiyalar ümumiyyətlə ən axıcı və özünə güvənən cümlələrdir. Etibarı cümlənin tonundan deyil, göstərdiyi mənbədən oxuyun.
Xülasə
- Halüsinasiya modelin məlumat boşluğunu inandırıcı, lakin yalan mətnlə doldurmasıdır; RAG azalır, lakin sıfırlanmır.
- Halüsinasiya axtarış (yanlış hissə) və ya nəsil (yanlış oxu) nəticəsində yarana bilər; Hansının birinci olduğunu müəyyənləşdirin.
- Topraklamanın ən güclü texnikası modelə açıq şəkildə “bilmirəm” icazəsi verməkdir; həmçinin sitat tələbi və aşağı yaradıcılıq.
- Sitat cavabı yoxlanıla bilən edir; Bu həm özünə inam verir, həm də modeli ehtiyatlı istehsal etməyə sövq edir.
- Sitatın düzgünlüyü də yoxlanılmalıdır; Düzgün cavaba yanlış mənbə əlavə oluna bilər.
Tətbiq tapşırığı
(1) Köməkçinizə vermək üçün 4 sual hazırlayın, cavabları sənədlərdə olmayan (tələ suallar). Zəif və güclü əmrlə hər birini sınayın və modelin uyğun olub-olmadığını qeyd edin. (2) Cavabları sənəddə olan 4 sual üçün modeldən qaynaq nömrəsini yaratmasını və göstərdiyi qaynağın əslində düzgün hissə olub-olmadığını əl ilə yoxlamasını xahiş edin. (3) Modelin ən azı bir halda "düzgün cavab, səhv mənbə" verib-vermədiyini yoxlayın və bunu avtomatik olaraq necə tuta biləcəyinizi bir cümlə ilə yazın.
yoxlama siyahısı
- [ ] Mən halüsinasiyanın niyə baş verdiyini və RAG-nin onu azaltdığını, lakin onu sıfırlamadığını deyə bilərəm.
- [ ] Mən axtarış və nəsildən qaynaqlanan hallüsinasiyaları ayırd edə və düzgün yeri düzəldə bilirəm.
- [ ] Mən sorğuya açıq "bilmirəm" icazəsi və əsaslandırma qaydaları əlavə edirəm.
- [ ] Cavaba yoxlanıla bilən mənbə (sitat) əlavə edirəm.
- [ ] Mən atributun düzgünlüyünü daha da yoxlamağa ehtiyac olduğunu başa düşürəm.