Qazanclar:
- RAG (parçalanma, giriş, resursdan asılı nəsil) necə işlədiyini və halüsinasiyanı necə azaldacağını anlayın.
- Cari, aydın, münaqişəsiz və vahid düzgün mənbəyə malik olan bilik bazası yaratmaqla cavabların keyfiyyətini artırmaq bacarığı.
- Modelə 'mənbədə yoxdursa, bilmədiyini söylə' təlimatı vermək və cavab verə bilmədiyi sualları bilik bazasının təkmilləşdirilməsinə çevirmək bacarığı.
Bot və ya agent köməkçisinin verdiyi cavab yalnız onun əsaslandığı məlumat qədər yaxşıdır. Müştəri “Kampaniya davam edirmi?” deyə soruşduqda düzgün cavab modelin yaddaşında deyil, qurumun mövcud məlumat bazasındadır. Buna görə də, zəng mərkəzinin süni intellektinin ürəyi bilik bazasıdır (KB): məhsullar, siyasətlər, tez-tez verilən suallar, prosedurlar və qaydaların yazılı şəkildə saxlanıldığı müasir resurs. Və bu bilik bazasını süni intellektə etibarlı şəkildə bağlayan metod RAG adlanır: Axtarış-Genişləndirilmiş Nəsil — cavabı öz yaddaşından düzəltmək əvəzinə, model əvvəlcə mənbədən müvafiq məlumat hissələrini alır (axtarır) və sonra yalnız bu parçalara (nəsil) əsaslanaraq cavab yaradır.
RAG hallüsinasiyanın qarşısını almağın ən güclü üsuludur. Model “kredit faizi nə qədərdir?” sualı üçün beynində nömrə yaratmır. O, cari maraq mətnini bilik bazasından götürür və ona əsasən cavab verir. Bu bölmədə biz bilik bazasının necə qurulacağını, RAG-nin necə işlədiyini və yaxşı bilik bazasının cavabların keyfiyyətini necə müəyyən etdiyini görəcəyik.
RAG necə işləyir: dörd addım
RAG-ı bir kitabxanaçı kimi düşünün. Müştəri suallar verir; Sistem əvvəlcə kitabxananın sağ rəfindən müvafiq səhifələri tapır, sonra həmin səhifələri oxuyur və cavabı yazır. Texniki addımlar aşağıdakılardır:
- Ziddiyyət: Bilik bazasındakı uzun sənədlər kiçik, mənalı parçalara bölünür (məsələn, hər bir FAQ bir parçadır). Çünki model əlaqəli kiçik hissələrlə suala daha dəqiq cavab verir.
- Yerləşdirmə və indeksləşdirmə: Hər bir parça onun mənasını ifadə edən ədədi formaya çevrilir (yerləşdirmə — mətnin mənasını ifadə edən rəqəmlər ardıcıllığı) və axtarış edilə bilən verilənlər bazasına yerləşdirilir. Beləliklə, o, “söz uyğunluğu” deyil, “məna uyğunluğu”dur; Müştəri “pulum nə vaxt yatırılacaq?” deyə soruşsa belə, “geri qaytarma müddəti” hissəsi tapıla bilər.
- Axtarış: Müştərinin sualına məna baxımından ən yaxın hissələr götürülür (məsələn, ən yaxın 3-5 hissə).
- Nəsil: Model cavabı YALNIZ çəkilmiş hissələrə əsasən yazır və mümkünsə mənbəni göstərir.
Kritik məqam 4-cü addımdadır: modelə "sadəcə verilmiş parçalara güvənmək və ya bilmədiyinizi söyləmək" tapşırılır. Bu təlimat olmadan RAG modelin uyğunlaşmasına mane olmur.
İpucu: RAG-ın qızıl qaydası: “Mənbədə yoxdursa, cavab yoxdur”. Yaxşı bir RAG sistemi bilik bazasında olmayan bir suala "Mən bu barədə dəqiq bilmirəm" deyəcək; boşluğu heç vaxt təxminlərlə doldurmur. Botun “bilmirəm” demə qabiliyyəti zəiflik deyil, təhlükəsizlik xüsusiyyətidir.
Yaxşı bilik bazası: cavab keyfiyyətinin əsl mənbəyi
RAG nə qədər yaxşı olsa da, bilik bazası pisdirsə, cavab pisdir. Bilik bazasının keyfiyyəti aşağıdakılarla ölçülür:
xüsusiyyət
pis bilik bazası
Yaxşı bilik bazası
Carilik
Aylardır yenilənmir
Dəyişdirildikdə dərhal yenilənir
Aydınlıq
Uzun, bükülmüş mətn
Qısa, tək mövzulu məqalələr
strukturu
Qarışıq pdf yığını
Etiketli parçalana bilən maddələr
Ardıcıllıq
İki ziddiyyətli cavab
Həqiqətin tək mənbəyi
Əhatə dairəsi
Çox boşluqlar var
Tez-tez verilən sualları əhatə edir
mülkiyyət
Heç kim məsuliyyət daşımır
Hər mövzunun sahibi var
Çağrı mərkəzi kontekstində ən təhlükəli problem ziddiyyətdir: əgər biliklər bazasında iki fərqli qaytarma müddəti yazılıbsa, RAG hansını götürsə deyəcək və müştəriyə uyğun olmayan cavab göndəriləcək. Buna görə də "həqiqətin vahid mənbəyi" prinsipi kritikdir: məlumat bir yerdə yenilənir; Həmin mənbəyə istinadlar nüsxələrdən deyil, istifadə olunur.
Addım-addım: RAG tərəfindən dəstəklənən cavab sisteminin qurulması
- Bilik bazasını təmizləyin: Köhnəlmiş, ziddiyyətli, dublikat məqalələri silin. Hər bir məqaləni qısa və tək mövzulu edin.
- Onu parçalayın və etiketləyin: Hər məqaləyə mövzu etiketi və son yeniləmə tarixi əlavə edin.
- Giriş yaradın: Müvafiq hissələri soruşduqda çəkən mexanizmi birləşdirin (müəssisə RAG alətləri bunu təmin edir).
- Ciddi bir göstəriş yazın: Modelə "yalnız təqdim olunan hissələrə etibar edin, mənbəyə istinad edin və ya bilmədiyinizi söyləyin" deyin.
- Mənbəyə istinad edin: Cavabın əsaslandığı məqaləni göstərin; Bu həm güvən verir, həm də yoxlamanı asanlaşdırır.
- Boşluqlara diqqət yetirin: Botun "bilmirəm" dediyi sualları toplayın; Bunlar bilik bazasındakı çatışmazlıqları göstərir, oradan qidalandırır.
Dörd kopyalana bilən şablon
1) Ciddi RAG cavab sorğusu:
Aşağıdakı [MƏNBƏB] hissələrə ƏSASLANIB cavab verin. Qaydalar: (1) yalnız mənbədəki məlumatdan istifadə edin, (2) mənbədə yoxdursa, “Bu barədə dəqiq məlumatım yoxdur, sizi nümayəndəyə bağlayım” deyin, (3) onun hansı məqaləyə əsaslandığını [Mənbə: maddə-no] kimi qeyd edin, (4) məbləği/müddəti/şərtini mənbədən tam olaraq sitat gətirin, yuvarlaqlaşdırmayın/tuzdurmayın. [MƏNBƏ]: <<çəkilən hissələr>>Sual: "<<müştəri sualı>>"
2) Bilik bazası məqaləsinin yazılması:
Aşağıdakı səpələnmiş siyasət mətnini RAG üçün uyğun FAQ məqaləsinə çevirin. Format: Sual (müştəri dilində) / Qısa cavab (2-3 cümlə) / Şərtlər (bənd) / Son yeniləmə tarixi / Mövzu etiketi. Hər hansı birmənalı olmayan məqamları "aydınlaşdırılmalı" kimi qeyd edin, inandırın. Xam mətn: <<text>>
3) ziddiyyətlərin və boşluqların skan edilməsi:
Aşağıdakı bilik bazası məqalələrini nəzərdən keçirin. (1) Bir-biri ilə ziddiyyət təşkil edən məqalə cütlərini qeyd edin (məsələn, fərqli qaytarma müddəti). (2) Tez-tez soruşulacaq, lakin cavabı YOX olan mövzuları təxmin edin. Yalnız verilmiş məqalələrə baxın; yeni siyasətin hazırlanması. Məqalələr: <<siyahı>>
4) "Bilmirəm" jurnalından təkmilləşdirmə:
Aşağıda botun cavab verə bilmədiyi (mənbə tapa bilmədiyi) suallar verilmişdir. Onları mövzular üzrə qruplaşdırın və hər bir qrup üçün bilik bazasına əlavə edilməli olan məqalənin başlığını təklif edin. Cavabın məzmununu uydurmayın, hansı elementin çatışmadığını deyin. Suallar: <<siyahı>>
Zəif məlumat / Güclü göstəriş
Zəif çağırış:
Müştərinin geri qaytarma sualına cavab verin.
Mənbə yoxdur; Model yaddaşdan uyğun ola bilər, məbləğ/müddət səhv ola bilər, onu yoxlamaq mümkün deyil.
Güclü göstəriş:
Yalnız aşağıdakı geri qaytarma siyasəti bəndinə əsasən cavab verin. Mənbədə yoxdursa, “mən dəqiq bilmirəm” deyin. Dövr və şərti sözlə qeyd edin, [Mənbə: GERİ DÖNÜŞ-03] şəklində arayış verin.[MƏNBƏ: RETURN-03]: "İstifadə olunmamış məhsul 14 gün ərzində geri qaytarıla bilər. Fərdi məhsullar geri qaytarılma çərçivəsində deyil." Sual: "20 gün əvvəl aldığım fərdi məhsulu qaytara bilərəmmi?"
Fərq: mənbədən asılıdır, istinad məcburidir, uydurma qadağa aydındır; model mənbədən düzgün cavabı ("14 gün keçmiş və fərdiləşdirilmiş, geri qaytarılmır") yaradır.
üç mini qutu
1-ci hal - Halüsinasiyaya son qoyulması. Telekom botunun kampaniya suallarına cavab dəqiqliyi qeyri-RAG quraşdırmada 71% təşkil edirdi; Model bəzən köhnə kampaniyalar da uydururdu. Hazırkı kampaniya səhifələri RAG-a qoşulduqda və “mənbədə yoxdursa demə” qaydası əlavə edildikdə, dəqiqlik 96%-ə yüksəldi və “yanlış kampaniya sözləri” ilə bağlı şikayətlər demək olar ki, bitdi.
2-ci hal - ziddiyyətin qiyməti. Bir e-ticarət şirkətinin məlumat bazasında iki səhifədə iki fərqli göndərmə xərcləri yazılmışdı (biri cari, biri köhnə unudulmuş səhifə). Bot təsadüfi olaraq kimisə çəkir və bəzi müştərilərə yanlış qiymət deyirdi. Köhnə səhifə vahid düzgün mənbə prinsipi ilə arxivləşdirildikdə, uyğunsuzluq aradan qalxdı. Dərs: RAG ziddiyyəti həll etmir, ziddiyyəti olduğu kimi təbliğ edir.
3-cü vəziyyət — “Bilmirəm” jurnalının dəyəri. Bir bankda bot ayda ~4000 suala "Mən dəqiq bilmirəm" deyirdi. Bu suallar qruplaşdırıldıqda 40%-nin “beynəlxalq kart istifadəsi” ilə bağlı olduğu görüldü; Bu haqda heç bir məqalə yox idi. Müvafiq maddələr əlavə olunduqda bu suallar öz həllini tapıb və həmin mövzu üzrə insanlara dövriyyə 55% azalıb. Botun bilmədiyini söyləməsi təkmilləşdirmə üçün yol xəritəsi oldu.
Ümumi səhvlər
- Mənbəyə istinad etmədən cavab verir. RAG olmadan model konkret məlumatlara uyğun gəlir; İstənilən konkret cavab mənbədən asılı olmalıdır.
- "Bilmirəm" seçimini söndürmək. Modeli hər suala cavab verməyə məcbur etmək uyğunluğu təmin edir.
- Ziddiyyətli/köhnə məlumatların silinməməsi. RAG ziddiyyət yayır; Tək düzgün mənbə vacibdir.
- Parçalamağa məhəl qoymamaq. Böyük PDF sənədlərini olduğu kimi ixrac etmək dəqiq girişi pozur; Qısa, tək mövzulu məqalələrdən istifadə edin.
- Mənbənin gizlədilməsi. Cavabın nəyə əsaslandığını göstərməmək yoxlama və etibarı zəiflədir.
Diqqət: RAG dəqiqliyi artırır, lakin 100% zəmanət vermir. Model bəzən tutulan hissəni səhv şərh edə bilər. Buna görə də, maliyyə, hüquqi və təhlükəsizlik məsələləri mənbə göstərilsə belə, insanların razılığını tələb edir; RAG hallüsinasiyanı azaldır, lakin məsuliyyəti aradan qaldırmır.
Xülasə
Bilik bazası və RAG zəng mərkəzi AI-nin dəqiqliyinin əsasını təşkil edir. RAG, modelin yaddaşdan cavabı uyğunlaşdırmasının qarşısını alaraq və yalnız cari mənbəyə güvənərək halüsinasiyanın qarşısını alır. Lakin RAG yalnız bilik bazası qədər yaxşıdır: müasir, aydın, strukturlaşdırılmış, münaqişəsiz və vahid həqiqət mənbəyinə malik olan bilik bazası vacibdir. Modelə "mənbədə yoxdursa, bilmədiyini söylə" deyin, mənbəni göstərin və bilik bazasını təkmilləşdirmək üçün botun cavab verə bilmədiyi suallardan istifadə edin. Yüksək riskli məsələlərdə mənbəyə baxmayaraq insan razılığını qoruyun.
Tətbiq tapşırığı
Sənayenizdən 8 real/real müştəri sualı və müvafiq 8 qısa məlumat bazası məqaləsi (hər məqalə: sual, qısa cavab, şərtlər, tarix, etiket) yazın. Daha sonra “1) Sıx RAG cavab sorğusu” modelindən istifadə edərək və onlardan biri bilik bazasında olmayan sual verməklə modelin “bilmirəm” deyə bildiyini yoxlayın. Nəhayət, məqalələrinizi "3) Ziddiyyət və boşluq taraması" ilə yoxlayın.
yoxlama siyahısı
- [ ] Bot/köməkçi tərəfindən verilən hər bir konkret cavab cari bilik bazasından asılıdır (RAG vasitəsilə).
- [ ] Modelə "mənbədə yoxdursa, bilmədiyini söylə" təlimatını verdim və sınaqdan keçirdim.
- [ ] Mənim bilik bazam müasir, aydın, tək mövzulu məqalələrdən ibarətdir.
- [ ] Mən ziddiyyətli və köhnə məqalələri sildim; Bütün məlumatlar üçün yalnız bir düzgün mənbə var.
- [ ] Cavablar onun hansı məqaləyə əsaslandığını göstərir (mənbə).
- [ ] Mən "bilmirəm" suallarını toplayıram və bilik bazasını qidalandırıram.