Qazanclar:
- Cavabı qurumun faktiki sənədləri ilə əlaqələndirərək və onlara istinad etməklə və təmiz sənəd bazasının əhəmiyyətini tətbiq etməklə RAG-nin hallüsinasiyanı necə azaldacağını anlayın.
- RAG çıxışının mənbəyini, tarixini və valyutasını yoxlamaq və ziddiyyətli versiyaları ayırd etmək bacarığı
- Giriş nəzarəti ilə icazəsiz sənədlərdən cavabların qarşısını almaqla korporativ məxfiliyi qorumaq bacarığı
Təşkilatın yaddaşı minlərlə səpələnmiş sənədlərdə yaşayır: hesabatlar, təlimatlar, protokollar, prosedurlar, elektron məktublar. İşçi sadə bir suala (“bu prosedur necə işləyir?”) cavab vermək üçün sənədləri saatlarla axtara bilər. Bilik menecerinin arzusu bu yaddaşın suallara birbaşa, lakin mənbəyə əsaslanan cavablar verməsidir. RAG-ın vəd etdiyi şey budur. Bu bölmədə siz RAG-nin nə olduğunu, ondan müəssisə məlumatlarının idarə edilməsində necə istifadə olunacağını və dəqiqlik, məxfilik və vaxtında təmin edilməsi baxımından öyrənəcəksiniz.
Konsepsiyanı müəyyən edək. RAG (Götürmə-Genişləndirilmiş Nəsil) süni intellektin əvvəlcə təşkilatın öz sənədlərindən müvafiq hissələri tapmaq (almaq) və sonra yalnız bu parçalar əsasında cavab yaratmaqla suala cavab verməsidir. Bu, yaddaşdan cavab yaradan ümumi süni intellektdən əsaslı şəkildə fərqlənir: RAG cavabı real, izlənilə bilən sənədlərlə əlaqələndirir və mənbələrdən alır. Beləliklə, hallüsinasiya çox azalır, çünki AI "başından" deyil, qurumun sənədindən danışır.
Addım-addım: müəssisənin RAG sistemini başa düşmək
1. Sənəd bazasını hazırlayın. Təşkilatın etibarlı, aktual sənədləri toplanır, təmizlənir və hissələrə bölünür (sənədin mənalı kiçik bölmələri). Əgər sistemə pis, köhnəlmiş və ya ziddiyyətli sənədlər daxil olarsa, cavablar pis olacaq: “zibil daxil, zibil çölə”.
2. Yerləşdirin və indeksləşdirin. Hər bir parça onun mənasını ifadə edən vektora (yerləşdirməyə) çevrilir və axtarış edilə bilən indeksə salınır. Sual yarandıqda sistem mənaca ən yaxın olan hissələri tapır.
3. Müvafiq hissələri gətirin. Sual verildikdə, sistem sənəd bazasından ən uyğun hissələrin bir neçəsini çıxarır. Bu addım kritikdir: səhv parça gətirilərsə, cavab da səhv olacaq.
4. Mənbəyə əsaslanan cavab yaradın. AI yalnız gətirilən fraqmentlərə əsaslanan cavab yaradır və hansı sənəddən götürdüyünü göstərir. Mənbəyə istinad etməyən cavab RAG-ın məqsədinə ziddir.
5. Yoxlayın və geri hesabat verin. İstifadəçi göstərilən mənbəyə getməli və cavabı təsdiqləməlidir. Səhv və ya natamam cavablar sənədləşmə bazasını təkmilləşdirmək üçün rəyə çevrilir.
İpucu: RAG-nin keyfiyyəti əsasən sənəd bazasının keyfiyyətindən asılıdır. Sənədləri yeniləyin, ziddiyyətli/köhnəlmiş versiyaları çıxarın və sistemə daxil etməzdən əvvəl hər bir sənədə tarix və mənşə məlumatı əlavə edin. 500 yaxşı təşkil edilmiş sənəd 5000 dağınıq sənəddən daha yaxşı cavab verir.
RAG-ın sərhədləri və təhlükəsizlik məntəqələri
RAG hallüsinasiyanı azaldır, lakin onu sıfırlamır. Sistem səhv parçanı qaytararsa, süni intellekt həmin səhv parçaya "sadiq" qalmaqla yenə də səhv cavab verə bilər. Bundan əlavə, süni intellekt alınmış parçaları səhv şərh edə bilər və ya bir neçə parçanı ziddiyyətli şəkildə birləşdirə bilər. Buna görə də, RAG çıxışı, xüsusən də kritik qərarlar üçün mənbəyə gedərək yoxlanılmalıdır.
Məxfilik korporativ RAG-da mərkəzi məsələdir. Sənəd bazasında həssas məlumatlar ola bilər (kadrlar, müqavilələr, strategiya). Sistem istifadəçi tərəfindən icazə verilməyən sənədlərdən cavablar yaratmamalıdır; Giriş nəzarəti (hansı sənədi görə bilər) RAG-a da tətbiq edilməlidir. Əks halda, işçi RAG vasitəsilə görə bilmədiyi məlumatları əldə edə bilər.
Diqqət: Sənəddən sitat gətirərkən belə, RAG həmin sənədin aktual və dəqiq olmasına zəmanət vermir. Sistem üç il əvvəlki köhnə prosedur sənədindən cavab verə bilər. Mənbə sənədin tarixini və etibarlılığını yoxlamaq istifadəçinin və məlumat menecerinin məsuliyyətidir.
üç mini qutu
Case 1 - Prosedur sualları sürətləndirildi. Bir təşkilat 1200 səhifəlik daxili prosedur təlimatları üçün RAG sistemi qurdu. İşçilərin “bunu necə etməli” sualları mənbə göstərilməklə saniyələr ərzində həll olundu; Zəngin orta müddəti 25 dəqiqədən 2 dəqiqəyə enib. Hər bir cavab onun əsaslandığı sənədləşdirmə bölməsi ilə əlaqəli olduğundan, işçilər onu yoxlaya bildilər.
Case 2 - Köhnə sənəd ələ keçirilib. RAG sistemi 2021-ci il tarixli köhnə sənəddən icazə proseduru sualına cavab verdi; Bununla belə, 2024-cü ildə yenilənmiş versiya çıxdı.Mənbə linkini açan işçi tarixin köhnəldiyini görüb və yenilənmiş sənədi tapıb. Məlumat meneceri köhnə versiyanı sənəd bazasından çıxardı.
3-cü hal - İcazəsiz girişin qarşısı alındı. İlkin quraşdırmada RAG bütün sənədləri açıq şəkildə skan etdi; işçi görməməli olduğu əmək haqqı sənədindən cavab aldı. Komanda RAG-a giriş nəzarəti əlavə etdi: sistem indi yalnız istifadəçinin icazə verdiyi sənədlərdən cavablar yaradır.
Qiymətləndirmə, rəy və davamlı təkmilləşdirmə
RAG sistemi bir dəfə quraşdırılıb unudulmuş alət deyil; Davamlı qiymətləndirmə və təkmilləşdirmə tələb edir. Bunun əsası sistemin real suallara cavablarının müntəzəm ölçülməsidir. İki sual vacibdir: sistem düzgün sənəd hissələrini (giriş keyfiyyəti) alırmı və alınan parçalardan düzgün cavab verirmi (istehsal keyfiyyəti)? Bu iki təbəqəni ayrıca qiymətləndirmək lazımdır; Çünki düzgün sənədin gətirilməsi ilə onu yanlış şərh etmək və səhv sənəd gətirib sədaqətlə köçürmək ayrı problemlərdir və fərqli həll yolları tələb edir. Yaxşı təcrübə məlum düzgün cavabları olan bir sıra "test sualları" saxlamaq və hər yeniləmədə sistemi bu dəstlə sınaqdan keçirməkdir. Bundan əlavə, istifadəçilərin "bu cavab faydalı oldu / mənbə dəqiq idi" rəyi həm sənəd bazasındakı boşluqları, həm də səhv alınmış hissələri aşkar edir. Süni intellekt bu rəyi birləşdirməyə və tez-tez uğursuz olan sualların növlərini ümumiləşdirməyə kömək edə bilər; Ancaq hansı sənədin əlavə ediləcəyi, yenilənməsi və ya silinməsi barədə qərar məlumat menecerinə məxsusdur. Sistem canlı orqanizm kimi qayğı tələb edir; Vaxt keçdikcə köhnəlmiş sənədlər səbəbindən laqeyd bir RAG getdikcə daha çox yanıltıcı olur.
İpucu: RAG sistemini quran kimi 20-30 real sualdan və məlum düzgün cavablardan ibarət kiçik bir test toplusu hazırlayın. Bu dəsti hər bir sənəd yeniləməsi ilə işə salmaq, dəyişikliyin sistemi təkmilləşdirdiyini və ya pozduğunu dərhal göstərir.
Dörd kopyalana bilən şablon
1) Mənbəyə əsaslanan cavab sorğusu:
Rolunuz: korporativ məlumat köməkçisi. Aşağıda sualla bağlı qaldırılan sənədlərin parçaları verilmişdir. Cavabı YALNIZ bu parçalara əsaslanaraq verin və hər bir məlumat parçasının hansı sənəddən/parçadan olduğunu bildirin. Əgər hissələrdə cavab yoxdursa, "bu məlumat təqdim olunan sənədlərə daxil deyil" deyin, təxmin etməyin. Sual: [burada] / Hissələr: [burada]
2) ziddiyyət və valyuta nəzarəti:
Aşağıdakı parçalar arasında hər hansı ziddiyyət və ya fərqli tarixli versiyalar varmı? Əgər belədirsə, onu qeyd edin və hansının daha müasir olduğunu göstərin. Hissələr (tarixlərlə): [burada]
3) Sənəd bazasının təmizlənməsi auditi:
Aşağıdakı sənədlər siyahısında RAG sisteminə daxil edilməzdən əvvəl çeşidlənməsi lazım olan köhnəlmiş, ziddiyyətli və ya qeyri-müəyyən mənşəli sənədlər varmı? Səbəbini işarələyin və yazın. Siyahı (tarix/mənbə ilə): [burada]
4) Məxfilik və girişə əvvəlcədən nəzarət:
Aşağıdakı sənəd fraqmentlərində həssas məlumatlar varmı (şəxsi məlumatlar, məxfi razılaşma, strategiya)? Hər birini "ictimai/məhdud giriş" kimi təsnif edin və əsaslandırın. Treklər: [burada]
Zəif məlumat / Güclü göstəriş
Zəif çağırış:
Qurumumuzun icazə prosedurunu izah edin.
Heç bir sənəd verilmədiyi təqdirdə, AI ümumi yaddaşından və ya digər qurumların həyata keçirilməsindən hazırlanmış bir prosedur istehsal edir; Bu, qurumun faktiki qaydasına aidiyyatı olmaya bilər.
Güclü göstəriş:
Rolunuz: korporativ məlumat köməkçisi. Aşağıda qurumun icazə proseduru ilə bağlı sənədlər (tarixləri ilə) verilmişdir. Hər addımda mənbə sənədinə və tarixinə istinad edərək suala yalnız bu hissələrə əsaslanaraq cavab verin. Parçalar ziddiyyət təşkil edərsə, ən aktual olanı istifadə edin və bunu deyin. Sənəddə yoxdursa, "məlumat yoxdur" deyin. Sual: [burada] / Hissələr: [burada]
Güclü tez; cavabı faktiki qurum sənədləri ilə əlaqələndirir, mənbələri və tarixləri soruşur və ziddiyyət və boşluqları vicdanla həll edir.
RAG komponenti və risk cədvəli
komponent
Funksiya
Əsas risk
Təminat
Sənəd bazası
Cavab mənbəyi
Köhnəlmiş/ziddiyyətli sənəd
Təmizlik, tarix, mənşə
Axtarış
Müvafiq hissəni tapın
səhv parça
Keyfiyyət testi, rəy
İstehsal
Cavab verin
səhv şərh
Mənbəyə istinad, yoxlama
Giriş nəzarəti
Səlahiyyət yoxlaması
icazəsiz açıqlama
İstifadəçi əsaslı məhdudiyyət
Ümumi səhvlər
- Çirkli sənəd bazasının yaradılması. Köhnəlmiş/ziddiyyətli sənəd pis cavab verir.
- Mənbəyə istinad etmədən cavabı qəbul etmək. RAG-ın məqsədi izlənilməkdir.
- Sənədin tarixi yoxlanılmır. Yenilənəcəyi düşünülən cavab köhnə versiyadan gəlir.
- Giriş nəzarətindən yan keçmək. İcazəsiz şəxs həssas məlumatlara daxil olur.
- RAG-ın hallüsinasiyaya qarşı tamamilə immun olduğunu düşünmək. Səhv parça hələ də yanlış cavab verir.
Xülasə
RAG təşkilati yaddaşı resurs əsaslı cavab verən sistemə çevirməklə biliklərin idarə edilməsində böyük dəyər yaradır; Ümumi süni intellektdən fərqli olaraq, o, cavabı təşkilatın faktiki sənədləri ilə əlaqələndirir və qaynaqlayır, beləliklə, hallüsinasiyaları əhəmiyyətli dərəcədə azaldır. Lakin müvəffəqiyyət təmiz və aktual sənədləşdirmə bazasından, dəqiq izləmə girişindən, mənbə atributundan, tarix/cariliyin yoxlanılmasından və girişə nəzarətdən asılıdır. RAG hallüsinasiyanı bərpa etmir; Tənqidi cavablar mənbəyə getməklə yoxlanılır və məxfiliyə əvvəldən riayət edilir.
Tətbiq tapşırığı
Kiçik sənədlər toplusunu hazırlayın (5-8 faktiki və ya nümunə agentlik sənədləri, tarixləri ilə); Şüurlu olaraq bir köhnə və bir cari ziddiyyətli versiya qoyun. “Mənbəyə əsaslanan cavab sorğusu” şablonu ilə sual verin və AI-nin mənbəyə istinad edib-etmədiyini yoxlayın. Sonra AI-nin münaqişəni və cari versiyanı "Münaqişə və cari versiya yoxlaması" şablonu ilə düzgün aşkar edib-etmədiyini qiymətləndirin.
yoxlama siyahısı
- [ ] Sənəd bazasını yenilədim, köhnə/ziddiyyətli sənədləri sildim.
- [ ] Mən əmin etdim ki, hər bir cavab mənbə sənədinə işarə edir.
- [ ] Mən mənbə sənədlərin tarixini və etibarlılığını yoxladım.
- [ ] Giriş nəzarəti ilə icazəsiz sənədlərdən cavabların yaradılmasının qarşısını aldım.
- [ ] Mən orijinal sənədə keçməklə tənqidi cavabları yoxladım.