Qazanclar:
- Biliyə əsaslanan nəslin (RAG) məntiqini və onun halüsinasiyalar niyə azaldığını anlamaq
- Modelin yalnız təqdim olunan mənbə sənədlərinə əsaslanaraq sitatla cavab verməsi imkanı
- Mənbədə olmayan sualları sual yaratmadan təhlükəsiz şəkildə köçürməklə idarə etmək bacarığı
Dil modeli çox şey "bilir", lakin bu gün şirkətinizin qaytarma siyasətini, cari qiymət siyahınızı və ya dünən dəyişmiş göndərmə müqavilənizi bilmir. Daha da pisi, bilmədiyi zaman tez-tez uydurur və son dərəcə əmin tonda yazır. Bu, müştəri xidmətində ölümcül çatışmazlıqdır: modeldə "Geri qaytarmalar 30 gün ərzində verilir" deyir, siyasətiniz isə 14 gün ola bilər. Bu boşluğu aradan qaldıran yanaşma RAG: Retrieval-Augmented Generation, yəni “retrieval-augmented production” adlanır.
İdeya sadədir: Model suala yaddaşdan deyil, həmin an qarşısında qoyulmuş düzgün mənbə sənədlərindən cavab verir. Birincisi, suala uyğun olan düzgün sənəd parçası "alma"dır, sonra model yalnız həmin parça əsasında cavabı "yaratır". Bu bölmədə siz RAG-ın məntiqini başa düşəcəksiniz və modeli yalnız təqdim etdiyiniz təsdiqlənmiş mənbəyə yapışması üçün necə idarə etməyi öyrənəcəksiniz.
Qeyd: Bu bölmə RAG-nin iş məntiqini və operativ tərəfini öyrədir. Müəssisə miqyaslı avtomatik sənəd axtarış sistemləri (vektor verilənlər bazası və s.) texniki quraşdırma tələb edir; Buradakı nizam-intizam o sistemin düzgün cavab verməsi üçün əsasdır.
RAG niyə hallüsinasiyaları azaldır?
Halüsinasiya, modelin realmış kimi qeyri-real məlumat çıxarmasıdır. Model boşluq gördükdə “mümkün” görünən bir cavab vermək üçün proqramlaşdırılmışdır; Doğrudur ya yox bilmirəm. RAG bu boşluğu doldurur: siz modelə sualla birlikdə faktiki müvafiq mətni verirsiniz və “yalnız buradan cavab verin” deyirsiniz. Bu şəkildə modelin uyğunlaşmasına "lazım deyil".
Üç komponent var:
- Bilik bazası: Tez-tez verilən suallar, siyasət sənədləri, məhsul təlimatları, qiymət siyahıları kimi etibarlı mətnlər.
- Axtarış: Sualın cavabını ehtiva edən sənəd parçasının tapılması və modelə verilməsi.
- Məhdud buraxılış: Model yalnız təchiz edilmiş hissəyə əsaslanaraq təkliflə cavab verir.
Addım-addım: Mənbəyə Sadiq Cavab
- Mənbə hazırlayın. Cavabın əsaslanacağı mətni (siyasət, FAQ) aydın və aktual formatda tapın.
- Mənbəni sorğuya yerləşdirin. Mətni <mənbə> kimi etiketə qoyun.
- Sadiqlik qaydasını yazın. "Yalnız mənbədəki məlumatlardan istifadə edin; mənbədən yayınmayın."
- Sitat tələb olunsun. Cavabın hansı bölməyə əsaslandığını göstərsin.
- Resurs olmayan davranışı müəyyənləşdirin. Cavab mənbədə yoxdursa, “məndə bu məlumat yoxdur” desin, ötürsün.
- Doğrulayın. Cavabı onun əsaslandığı mənbə cümlə ilə müqayisə edərək təsdiq edin.
Kopyalana bilən göstərişlər
Əsas mənbəyə əsaslanan cavab sorğusu:
Rol: Siz müştəri dəstəyi köməkçisisiniz. Suala YALNIZ aşağıdakı <mənbə>blokundakı məlumata əsaslanaraq cavab verin. Mənbədə olmayan heç bir məlumat əlavə etməyin, təxmin edin və ya ümumi məlumatınızdan cavab verməyin. Cavabınızın sonuna etibar etdiyiniz bölməni "[Mənbə: ...]" formatında əlavə edin. Cavab mənbədə deyilsə, aşağıdakıları yazın: "Mənim bu mövzuda qəti məlumatım yoxdur, sizi düzgün cavab verə biləcək məmura ötürürəm."<source>{{ policy_or_faq_text }}</source>Sual: {{ customer_question }}
Çoxmənbəli olduqda, onun hansı sənədə əsaslandığını göstərmək təklifi:
Aşağıda nömrələnmiş bir çox resurs var. Suala cavab verərkən istifadə etdiyiniz mənbənin nömrəsini qeyd edin, məsələn, [Mənbə 2]. Əgər birdən çox mənbə sizinlə ziddiyyət təşkil edirsə, bunu açıq şəkildə söyləyin və hansının daha müasir olduğunu soruşmalısınız.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Sual: {{ customer_question }}
Qeyri-mənbə sualını təhlükəsiz idarə edən sorğu:
Əgər sualın cavabı mənbədə QISMAN varsa: yalnız mənbənin əhatə etdiyi hissəyə cavab verin, qalan hissəyə isə “bu detal mənbədə deyil” deyin. Çatışmayan hissəni heç vaxt təxmin etməklə doldurmayın.
Cavabı müştəri dilinə tərcümə edən, lakin mənbəyə sadiq qalan sorğu:
Mənbədəki rəsmi/texniki ifadəni müştərinin başa düşəcəyi sadə dilə tərcümə edin, lakin məna və ədədi dəyərləri (gün, məbləğ, məzənnə) DƏYİŞMƏYİN. Məsələn, "14 təqvim günü"nün "təxminən iki həftə"yə yuvarlaqlaşdırılması; tam dəyəri saxlamaq.
Zəif Tələb / Güclü Tələb
Zəif çağırış
Güclü tez
"Geri qaytarma siyasətimiz haqqında bizə məlumat verin"
Mənbə + "yalnız burada cavab verin" + sitat tələb edir
Modelin yaddaşından cavab (bəlkə də səhvdir)
Cari sənədinizdən cavab
Mənbədə yoxdursa, uydurur
“Məndə bu məlumat yoxdur” deyir və ötürür.
Rəqəmləri yuvarlaqlaşdıra və təhrif edə bilər
Gün/məbləğ/dərəcəni dəqiq saxlayır
Fərq ondadır ki, güclü sorğu modelə lövbər (mənbə mətn) və qadağa (mənbədən kənara çıxma) verir. Model artıq yaddaşdan deyil, qarşısındakı reallıqdan danışır.
Üç mini qutu
Məsələn 1 - Köhnə siyasət tələsi. Bir mağazanın botu kreditsiz işləyərkən "Qaydalar 30 gün ərzində qəbul edilir" dedi; Lakin şirkət bu müddəti 14 günə qədər azaldıb. Yenilənmiş siyasət mətni RAG quraşdırmasındakı mənbəyə əlavə edildikdə, bot indi "14 təqvim günü [Mənbə: Qaytarma Siyasəti, maddə 2]" cavabını verir. Yalan vədlərdən yaranan geri qaytarma mübahisələri sıfırlandı.
2-ci hal - Ziddiyyətin tutulması. Bir müştəri göndərmə xərclərini soruşdu. Mənbə kimi həm köhnə, həm də yeni qiymət cədvəlləri sistemə daxil edilib. Çox mənbəli sorğu sayəsində model, "İki mənbə fərqli qiymətlər verir (49 TL və 59 TL; İndikini təsdiq etməliyəm" dedi və məsələni insana çatdırdı. Müştəriyə səhv məbləğ demək əvəzinə, qeyri-müəyyənliyi vicdanla çatdırdı.
3-cü vəziyyət - Qismən cavab intizamı. “Siz məhsulu xaricə göndərirsiniz və gömrük rüsumunu kim ödəyir?” Sualda mənbə yalnız göndərişin edildiyini bildirib, vergini kimin ödədiyi barədə heç nə yoxdur. Model "Bəli, göndərmə xaricə aparılır [Mənbə: Karqo FAQ]. Lakin bu sənəddə gömrük rüsumunu kimin ödədiyi qeyd olunmayıb, bunu dəqiqləşdirmək üçün sizi məmura ötürürəm" dedi. Yarı doğru, yarı uydurma cavab əvəzinə, dürüst və inamlı bir nəticə verdi.
İpucu: Bilik bazanızın ən aktual və yeganə həqiqət versiyasını saxlayın. Üç ayrı sənəddə fərqli yazılmış eyni məlumatın (məsələn, qaytarma müddəti) olması RAG-ın ən böyük düşmənidir; Model hansına baxdığından asılı olaraq fərqli cavab verir. Əvvəlcə sənədlərinizi təkmilləşdirin, sonra onları avtomatlaşdırın.
Doğrulama: Mənbənin mövcud olduğu üçün rahatlamayın
RAG hallüsinasiyanı əhəmiyyətli dərəcədə azaldır, lakin onu sıfırlamır. Model bəzən mənbəni səhv şərh edə, iki cümləni qarışdıra və ya mənbədə olmayan “nəticə” çıxara bilər. Buna görə də sitat tələbi kritikdir: cavabın əsaslandığını iddia etdiyi bölməni açın və bunun həqiqətən belə olub olmadığını yoxlayın. Bu nəzarət, xüsusən rəqəmlər (gün, məbləğ, dərəcə) və şərtlər (istisna, şərt) olan cavablarda müzakirə olunmur.
Diqqət: Mənbənin özü səhvdirsə və ya köhnəlmişsə, RAG bu səhvi sədaqətlə təkrarlayır. “Model mənbədən danışır” demək “model düzgün danışır” demək deyil; Mənbənizin valyutasına və düzgünlüyünə görə məsuliyyət daşıyırsınız.
Bilik Bazasının Cavab üçün Hazır Saxlanması
RAG-ın keyfiyyəti əsasən mənbə mətnin necə yazıldığından asılıdır. Model yaxşı qurulmuş, başlıqlı, tək mövzulu mətnlərdən daha dəqiq cavab qaytarır. Praktik məsləhət: siyasətlərinizi uzun, iç-içə paraqraflar deyil, qısa, başlıqlı bölmələrlə yazın; Hər bölmə tək bir suala cavab versin (“Geri qaytarma müddəti neçə gündür?”, “Hansı məhsullar geri qaytarıla bilməz?”). Tez-tez verilən sualları (FAQ) sual-cavab formatında saxlamaq modelin düzgün hissəni tapmasını asanlaşdırır. Tarix, məbləğ və məzənnə kimi dəyərləri mətn daxilində aydın və bir yerdə göstərin; Eyni rəqəmin müxtəlif bölmələrə fərqli yazılması modeli çaşdırır.
Digər mühüm vərdiş bilik bazasını canlı saxlamaqdır. Siyasətlər, qiymətlər və promosyonlar dəyişir; Mənbə yenilənməsə, model köhnə həqiqəti etibarlı şəkildə təkrarlamağa davam edir. Hər bir siyasət dəyişikliyi ilə mənbəni yeniləyin və modelin düzgün cavab verdiyini təsdiqləmək üçün dəyişdirilmiş mövzu ilə bağlı bir neçə test sualını yenidən verin. Bu kiçik, lakin müntəzəm texniki qulluq RAG sisteminin zamanla "səssizcə səhv getməsinin" qarşısını alır.
Ümumi səhvlər
- Mənbəni basdırmadan, modelin əzbərliyinə güvənərək “siyasətimizi izah edin” demək.
- "Yalnız mənbədən cavab" sərhədini və qeyri-mənbə davranışını müəyyən etməmək.
- Sitat/mənbə arayışı tələb etməmək və cavabı yoxlanılmamaq.
- Bilik bazasında bir çox sənədlərdə eyni məlumatın ziddiyyətli versiyalarının saxlanması.
- Modelə ədədi dəyərləri yuvarlaqlaşdırmağa/şərh etməyə imkan verir.
- Mənbəni yeniləməyi unutmaq, modelin köhnə məlumatları sədaqətlə təkrarlamasına səbəb olur.
Xülasə
- RAG o deməkdir ki, model öz cavabını yaddaşdan deyil, cari mənbə sənədindən verir.
- Halüsinasiyanı azaltmağın ən praktik yolu: mənbəni basdırın, "yalnız burada cavab verin" deyin, sitat istəyin.
- Cavab mənbədə deyilsə, modelə uyğun gəlməməlidir; “Məndə yoxdur” deyib təhvil verməlidir.
- Modeli ziddiyyətli mənbələrdən xəbərdar edin; Rəqəmsal dəyərləri dəqiq saxladınız.
- RAG dəqiqliyi mənbənizin vaxtında olmasından asılıdır; Həmişə sitatı təsdiqləyin.
Tətbiq tapşırığı
Öz biznesinizdən faktiki siyasət mətnini (qaytarma, göndərmə və ya üzvlük) götürün və onu yuxarıdakı əsas RAG sorğusuna mənbə kimi daxil edin. Sonra üç sual verin: (1) cavabı mənbədə aydın olan sual, (2) cavabı mənbədə ümumiyyətlə olmayan sual, (3) cavabı mənbədə yalnız natamam olan sual. Modelin düzgün cavab verdiyini yoxlayın, “Məndə yoxdur” deyir və müvafiq olaraq qismən cavabı və əskik olanı vicdanla qeyd edir. Sürətdə loyallıq və qeyri-resurs qaydalarını gücləndirməklə deviant davranışı düzəldin.
yoxlama siyahısı
- [ ] Cavabın əsaslanacağı cari mənbəni sorğuya daxil etdim.
- [ ] Mən "Yalnız mənbədən cavab verin, kənara çıxmayın" qaydasını əlavə etdim.
- [ ] Mənbəyə istinad / sitat tələbi qoymuşam.
- [ ] Mənbədə cavab yoxdursa, mən nümayəndə heyətinin davranışını müəyyən etdim.
- [ ] Mən ədədi dəyərlərin tam olaraq saxlanmasını tələb etdim.
- [ ] Cavabı əsaslandığı mənbə cümlədən təsdiqlədim.