Daromadlar:
- Javobni muassasaning haqiqiy hujjatlariga bog'lash va havola qilish va toza hujjat bazasining ahamiyatini qo'llash orqali RAG gallyutsinatsiyani qanday kamaytirishini tushuning.
- RAG chiqishining manbasini, sanasini va valyutasini tekshirish va qarama-qarshi versiyalarni ajratish qobiliyati
- Kirish nazorati bilan ruxsatsiz hujjatlarning javoblarini oldini olish orqali korporativ maxfiylikni himoya qilish qobiliyati
Tashkilot xotirasi minglab tarqoq hujjatlarda yashaydi: hisobotlar, qo'llanmalar, protokollar, protseduralar, elektron pochta. Xodim oddiy savolga javob berish uchun hujjatlarni soatlab qidirishi mumkin ("ushbu protsedura qanday ishlaydi?"). Bilim menejerining orzusi bu xotira savollarga to'g'ridan-to'g'ri, ammo manbaga asoslangan javoblarni taqdim etishdir. RAG aynan shu narsani va'da qilmoqda. Ushbu bo'limda siz RAG nima ekanligini, uni korxona ma'lumotlarini boshqarishda qanday qo'llashni va uni aniqlik, maxfiylik va o'z vaqtida himoya qilishni o'rganasiz.
Keling, kontseptsiyani aniqlaylik. RAG (Qidiruv-kengaytirilgan avlod) - bu AI birinchi navbatda tashkilotning o'z hujjatlaridan tegishli bo'laklarni topib (qo'lga kiritib) va keyin faqat shu qismlarga asoslangan javobni ishlab chiqarish orqali savolga javob beradi. Bu xotiradan javob ishlab chiqaradigan umumiy AIdan tubdan farq qiladi: RAG javobni haqiqiy, kuzatilishi mumkin bo'lgan hujjatlarga havola qiladi va manbalar qiladi. Shunday qilib, gallyutsinatsiya sezilarli darajada kamayadi, chunki AI "boshidan" emas, balki muassasa hujjatidan gapiradi.
Bosqichma-bosqich: korxona RAG tizimini tushunish
1. Hujjat bazasini tayyorlang. Tashkilotning ishonchli, dolzarb hujjatlari to'planadi, tozalanadi va bo'laklarga bo'linadi (hujjatning mazmunli kichik bo'limlari). Agar yomon, eskirgan yoki ziddiyatli hujjatlar tizimga kirsa, javoblar yomon bo'ladi: "axlat ichkariga, chiqindiga".
2. O'rnatish va indekslash. Har bir bo'lak uning ma'nosini ifodalovchi vektorga (ko'milish) aylantiriladi va qidirish mumkin bo'lgan indeksga kiritiladi. Savol tug'ilganda, tizim ma'no jihatidan eng yaqin bo'lgan qismlarni topadi.
3. Tegishli qismlarni olib keling. Savol berilganda, tizim hujjatlar bazasidan bir nechta eng tegishli qismlarni tortib oladi. Bu qadam juda muhim: agar noto'g'ri bo'lak keltirilsa, javob ham noto'g'ri bo'ladi.
4. Manbaga asoslangan javobni yaratish. AI faqat olingan fragmentlar asosida javob ishlab chiqaradi va qaysi hujjatdan olinganligini ko'rsatadi. Manba keltirilmagan javob RAG maqsadiga ziddir.
5. Tekshiring va hisobot bering. Foydalanuvchi ko'rsatilgan manbaga borib, javobni tasdiqlashi kerak. Noto'g'ri yoki to'liq bo'lmagan javoblar hujjatlar bazasini yaxshilash uchun qayta aloqaga aylanadi.
Maslahat: RAG sifati ko'p jihatdan hujjat bazasining sifatiga bog'liq. Hujjatlarni yangilang, ziddiyatli/eskirgan versiyalarni chiqarib tashlang va tizimga qo'yishdan oldin har bir hujjatga sana va kelib chiqish ma'lumotlarini qo'shing. 500 ta yaxshi tashkil etilgan hujjatlar 5000 ta tarqoq hujjatlarga qaraganda yaxshiroq javob beradi.
RAG chegaralari va xavfsizlik nuqtalari
RAG gallyutsinatsiyani kamaytiradi, lekin uni qayta tiklamaydi. Agar tizim noto'g'ri bo'lakni qaytarsa, AI bu noto'g'ri qismga "sodiq" qolib, noto'g'ri javob berishi mumkin. Bundan tashqari, AI olingan qismlarni noto'g'ri talqin qilishi yoki bir nechta qismlarni qarama-qarshi usullarda birlashtirishi mumkin. Shuning uchun, RAG chiqishi, ayniqsa, muhim qarorlar uchun manbaga borish orqali tekshirilishi kerak.
Maxfiylik korporativ RAGda asosiy masala hisoblanadi. Hujjatlar bazasida nozik ma'lumotlar (xodimlar, shartnomalar, strategiya) bo'lishi mumkin. Tizim foydalanuvchi tomonidan ruxsat etilmagan hujjatlardan javoblarni yaratmasligi kerak; RAGga kirishni boshqarish (qaysi hujjatni ko'rishi mumkin) ham qo'llanilishi kerak. Aks holda, xodim RAG orqali ko'ra olmaydigan ma'lumotlarga kirishi mumkin.
Diqqat: Hujjatdan iqtibos keltirganda ham, RAG ushbu hujjatning dolzarb va aniqligiga kafolat bermaydi. Tizim uch yil oldingi eski protsedura hujjatidan javob berishi mumkin. Dastlabki hujjatning sanasi va amal qilish muddatini tekshirish foydalanuvchi va axborot boshqaruvchisi zimmasida.
uchta mini holat
1-holat - protsessual savollar tezlashtirildi. Bir tashkilot o'zining 1200 betlik ichki protsedura qo'llanmalari uchun RAG tizimini yaratdi. Xodimlarning "buni qanday qilish kerak" savollari bir necha soniya ichida manba ko'rsatilgan javoblar bilan hal qilindi; Qo'ng'iroqning o'rtacha davomiyligi 25 daqiqadan 2 daqiqaga qisqardi. Har bir javob u asos bo'lgan hujjatlar bo'limiga bog'langanligi sababli, xodimlar buni tekshirishlari mumkin edi.
2-holat - eski hujjat olingan. RAG tizimi 2021 yildagi eski hujjatning ruxsat berish tartibi haqidagi savoliga javob berdi; Biroq, yangilangan versiyasi 2024 yilda chiqdi. Manba havolasini ochgan xodim sana eskirganligini payqab, yangilangan hujjatni topdi. Axborot menejeri eski versiyani hujjat bazasidan olib tashladi.
3-holat - Ruxsatsiz kirishning oldini olish. Dastlabki sozlashda RAG barcha hujjatlarni ommaviy ravishda skanerladi; xodim ko'rishi kerak bo'lmagan ish haqi hujjatidan javob oldi. Jamoa RAG-ga kirish nazoratini qo'shdi: tizim endi faqat foydalanuvchi ruxsat bergan hujjatlardan javoblarni ishlab chiqaradi.
Baholash, fikr bildirish va doimiy takomillashtirish
RAG tizimi bir marta o'rnatilishi va unutilishi kerak bo'lgan vosita emas; Bu doimiy baholash va takomillashtirishni talab qiladi. Buning asosi tizimning haqiqiy savollarga javoblarini muntazam ravishda o'lchashdir. Ikkita savol juda muhim: tizim to'g'ri hujjat qismlarini oladimi (kirish sifati) va olingan qismlardan to'g'ri javob beradimi (ishlab chiqarish sifati)? Bu ikki qatlamni alohida baholash kerak; Chunki to'g'ri hujjat olib kelish va uni noto'g'ri talqin qilish va noto'g'ri hujjat olib kelish va uni sodiqlik bilan topshirish har xil muammolar va turli yechimlarni talab qiladi. Ma'lum to'g'ri javoblar bilan "test savollari" to'plamini saqlash va har bir yangilanishda tizimni ushbu to'plam bilan sinab ko'rish yaxshi amaliyotdir. Bundan tashqari, foydalanuvchilarning “bu javob foydali boʻldimi/manba aniq boʻldi” degan fikr-mulohazasi hujjat bazasidagi boʻshliqlarni ham, notoʻgʻri olingan qismlarni ham koʻrsatadi. AI bu fikr-mulohazalarni umumlashtirishga va tez-tez bajarilmaydigan savollar turlarini umumlashtirishga yordam beradi; Ammo qaysi hujjatni qo'shish, yangilash yoki o'chirish to'g'risida qaror axborot menejeriga tegishli. Tizim tirik organizm kabi g'amxo'rlik qilishni talab qiladi; Vaqt o'tishi bilan eskirgan hujjatlar tufayli e'tibordan chetda qolgan RAG tobora noto'g'ri bo'lib bormoqda.
Maslahat: RAG tizimini o'rnatishingiz bilanoq, 20-30 ta haqiqiy savollar va ma'lum to'g'ri javoblardan iborat kichik test to'plamini tayyorlang. Ushbu to'plamni har bir hujjat yangilanishi bilan ishga tushirish, o'zgartirish tizimni yaxshilash yoki buzishini darhol ko'rsatadi.
To'rt nusxa ko'chirish shablonlari
1) Manbaga asoslangan javob so'rovi:
Sizning rolingiz: korporativ ma'lumot yordamchisi. Quyida savol bo'yicha keltirilgan hujjatlar bo'laklari keltirilgan. Javobni FAQAT ushbu qismlarga asoslanib bering va har bir ma'lumot uchun qaysi hujjat/hujjatdan ekanligini ko'rsating. Qismlarda javob bo'lmasa, "bu ma'lumot taqdim etilgan hujjatlarga kiritilmagan" deb ayting, taxmin qilmang. Savol: [bu yerda] / Qismlar: [bu yerda]
2) Qarama-qarshilik va valyuta nazorati:
Quyidagi qismlar orasida qarama-qarshiliklar yoki turli sanali versiyalar bormi? Agar shunday bo'lsa, uni belgilang va qaysi biri dolzarbroq ekanligini ko'rsating. Qismlar (sana bilan): [bu yerda]
3) Hujjatlar bazasini tozalash auditi:
Quyidagi hujjatlar ro'yxatida RAG tizimiga kiritishdan oldin saralanishi kerak bo'lgan eskirgan, ziddiyatli yoki kelib chiqishi noaniq hujjatlar bormi? Belgilang va sababini yozing. Ro'yxat (sana/manba bilan): [bu erda]
4) Maxfiylik va kirishni oldindan nazorat qilish:
Quyidagi hujjat bo'laklarida maxfiy ma'lumotlar (shaxsiy ma'lumotlar, maxfiy kelishuv, strategiya) mavjudmi? Har birini "ommaviy/cheklangan kirish" deb tasniflang va asoslang. Treklar: [bu yerda]
Zaif taklif / Kuchli taklif
Zaif taklif:
Bizning muassasamizning ruxsat berish tartibini tushuntiring.
Agar hujjatlar taqdim etilmasa, AI o'zining umumiy xotirasidan yoki boshqa institutlarning amalga oshirilishidan tuzilgan tartibni ishlab chiqaradi; Bu muassasaning amaldagi qoidasiga ahamiyatsiz bo'lishi mumkin.
Kuchli so'rov:
Sizning rolingiz: korporativ ma'lumot yordamchisi. Quyida muassasaning ruxsat berish tartibiga oid hujjatlar (ularning sanalari bilan) qismlari keltirilgan. Har bir qadamda manba hujjati va sanasini keltirib, faqat shu qismlarga asoslanib savolga javob bering. Agar qismlar bir-biriga zid bo'lsa, eng dolzarbidan foydalaning va shunday deb ayting. Agar u hujjatda bo'lmasa, "ma'lumot yo'q" deb ayting. Savol: [bu yerda] / Qismlar: [bu yerda]
Kuchli tezkor; javobni haqiqiy muassasa hujjatlari bilan bog'laydi, manbalar va sanalarni so'raydi va ziddiyat va bo'shliqni halollik bilan hal qiladi.
RAG komponenti va xavflar jadvali
komponent
Funktsiya
Asosiy xavf
Kafolat
Hujjatlar bazasi
Javob manbai
Eskirgan/ziddiyatli hujjat
Tozalik, tarix, kelib chiqishi
Qidiruv
Tegishli qismni toping
noto'g'ri parcha
Sifat sinovi, fikr-mulohaza
Ishlab chiqarish
Javob bering
noto'g'ri izoh
Manbaga iqtibos keltirish, tekshirish
Kirish nazorati
Vakolat tekshiruvi
ruxsatsiz oshkor qilish
Foydalanuvchiga asoslangan cheklov
Umumiy xatolar
- Nopok hujjatlar bazasini yaratish. Eskirgan/ziddiyatli hujjat yomon javob beradi.
- Manbani ko'rsatmasdan javobni qabul qilish. RAGning maqsadi - kuzatuvchanlik.
- Hujjat sanasi tekshirilmaydi. Yangilanishi kerak bo'lgan javob eski versiyadan keladi.
- Kirish nazoratini chetlab o'tish. Ruxsatsiz shaxs maxfiy ma'lumotlarga kirishadi.
- RAG gallyutsinatsiyaga to'liq immunitetga ega deb o'ylash. Noto'g'ri bo'lak hali ham noto'g'ri javob beradi.
qisqa bayoni; yakunida
RAG tashkilot xotirasini resurslarga asoslangan javob beruvchi tizimga aylantirish orqali bilimlarni boshqarishda katta ahamiyatga ega; Umumiy sun'iy intellektdan farqli o'laroq, u javobni tashkilotning haqiqiy hujjatlariga bog'laydi va manba qiladi, shu bilan gallyutsinatsiyalarni sezilarli darajada kamaytiradi. Ammo muvaffaqiyat toza va dolzarb hujjatlar bazasiga, aniq trekka kirishga, manba atributiga, sana/joriylikni tekshirishga va kirishni boshqarishga bog'liq. RAG gallyutsinatsiyani tiklamaydi; Tanqidiy javoblar manbaga kirish orqali tekshiriladi va maxfiylik boshidanoq hurmat qilinadi.
Ilova vazifasi
Kichik hujjatlar to'plamini tayyorlang (5-8 ta haqiqiy yoki namunaviy agentlik hujjatlari, sana bilan); Ongli ravishda bitta eski va bitta hozirgi ziddiyatli versiyani qo'ying. "Manbaga asoslangan javob so'rovi" shablonida savol bering va AI manbaga iqtibos keltirganligini tekshiring. Keyin AI ziddiyatni va joriy versiyani to'g'ri aniqladimi yoki yo'qligini "Mojaro va joriy versiyani tekshirish" shablonini baholang.
nazorat ro'yxati
- [ ] Hujjatlar bazasini yangiladim, eski/ziddiyatli hujjatlarni olib tashladim.
- [ ] Men har bir javob manba hujjatga ishora qilishiga ishonch hosil qildim.
- [ ] Manba hujjatlarining sanasi va amal qilish muddatini tekshirdim.
- [ ] Kirish nazorati bilan ruxsatsiz hujjatlardan javoblar yaratishni oldini oldim.
- [ ] Asl hujjatga oʻtish orqali tanqidiy javoblarni tasdiqladim.