Табыстар:
- RAG (фрагментация, қол жеткізу, ресурсқа тәуелді генерация) қалай жұмыс істейтінін және галлюцинацияны қалай азайтатынын түсініңіз.
- Ағымдағы, анық, конфликтісіз және бір дұрыс дереккөзге ие білім қорын құру арқылы жауаптардың сапасын арттыру мүмкіндігі.
- Модельге «егер ол дереккөзде болмаса, білмеймін деп айт» деп нұсқау беру және ол жауап бере алмайтын сұрақтарды білім қорын жақсартуға айналдыру мүмкіндігі
Бот немесе агент көмекшісі беретін жауап ол негізделген ақпарат сияқты жақсы. Тұтынушы «Науқан жалғасып жатыр ма?» деп сұрағанда, дұрыс жауап үлгі жадында емес, мекеменің қазіргі білім қорында. Сол себепті байланыс орталығының жасанды интеллектінің жүрегі білім қоры (КБ) болып табылады: өнімдер, саясаттар, жиі қойылатын сұрақтар, процедуралар мен ережелер жазбаша түрде сақталатын жаңартылған ресурс. Бұл білім қорын жасанды интеллектпен қауіпсіз байланыстыратын әдіс RAG деп аталады: Retrieval-Augmented Generation — жауапты өз жадынан құрастырудың орнына, модель алдымен дереккөзден ақпараттың сәйкес бөліктерін алады (шығару), содан кейін тек сол бөліктерге негізделген жауапты жасайды (генерация).
RAG галлюцинацияның алдын алудың ең күшті әдісі болып табылады. Модель «несие пайызының мөлшерлемесі қандай?» деген сұраққа өз басына сан келтірмейді. Ол білім қорынан ағымдағы қызығушылық мәтінін шығарып алады және соған негізделген жауап береді. Бұл бөлімде біз білім қорын қалай құру керектігін, RAG қалай жұмыс істейтінін және жақсы білім базасы жауаптардың сапасын қалай анықтайтынын көреміз.
RAG қалай жұмыс істейді: төрт қадам
RAG-ны кітапханашы сияқты елестетіп көріңіз. Тұтынушы сұрақтар қояды; Жүйе алдымен кітапхананың оң жақ сөресінен тиісті беттерді табады, содан кейін сол беттерді оқып, жауабын жазады. Техникалық қадамдар келесідей:
- Қиындық: білім қорындағы ұзын құжаттар шағын, мағыналы бөліктерге бөлінген (мысалы, әрбір ЖҚС – бұл бөлік). Өйткені модель сұраққа қатысты шағын бөліктермен дәлірек жауап береді.
- Енгізу және индекстеу: Әрбір бөлік оның мағынасын білдіретін сандық пішінге аударылады (енгізу — мәтіннің мағынасын білдіретін сандар тізбегі) және іздеуге болатын дерекқорға орналастырылады. Демек, бұл «сөз сәйкестігі» емес, «мағына сәйкестігі»; Клиент «ақшам қашан салынады?» деп сұраса да, «қайтару мерзімі» бөлігі табылуы мүмкін.
- Қайта алу: Тұтынушының сұрағына мағынасы жағынан жақын бөліктер шығарылады (мысалы, ең жақын 3-5 бөлік).
- Генерация: Модель жауапты ТЕК сызылған бөліктерге негізделген жазады және мүмкін болса, көзді көрсетеді.
Сыни нүкте 4-қадамда: үлгіге «тек берілген бөліктерге сену немесе білмеймін деп айту» тапсырылады. Бұл нұсқаусыз RAG модельді орнатуға кедергі жасамайды.
Нұсқау: RAG алтын ережесі: «Егер ол дереккөзде болмаса, жауап жоқ». Жақсы RAG жүйесі білім базасында жоқ сұраққа «Мен бұл туралы нақты білмеймін» деп жауап береді; ешқашан болжаммен олқылықты толтырмайды. Боттың «білмеймін» деп айту қабілеті әлсіздік емес, қауіпсіздік мүмкіндігі болып табылады.
Жақсы білім базасы: жауап сапасының нақты көзі
RAG қаншалықты жақсы болса да, білім қоры нашар болса, жауап жаман. Білім қорының сапасы мыналармен өлшенеді:
ерекшелігі
нашар білім базасы
Жақсы білім базасы
Ағымдық
Айлар бойы жаңартылмайды
Өзгерткен кезде бірден жаңартылады
Айқындық
Ұзын, бұрмаланған мәтін
Қысқа, бір тақырыпты мақалалар
құрылымы
Қатаң PDF жинағы
Белгіленген ыдырайтын заттар
Жүйелілік
Екі қарама-қайшы жауап
Шындықтың жалғыз көзі
Қолдану аясы
Көптеген олқылықтар бар
Жиі қойылатын сұрақтарды қамтиды
меншік
Ешкім жауапты емес
Әр тақырыптың иесі бар
Байланыс орталығының контекстіндегі ең қауіпті мәселе - қайшылық: егер білім базасында екі түрлі қайтару кезеңі жазылса, RAG қайсысын алатындығын айтады және тұтынушыға сәйкес келмейтін жауап жіберіледі. Сондықтан да «ақиқаттың бір көзі» қағидасы өте маңызды: ақпарат бір жерде жаңартылып отырады; Көшірмелер емес, сол дереккөзге сілтемелер пайдаланылады.
Қадамдық: RAG қолдайтын жауап беру жүйесін құру
- Білім қорын тазалау: ескірген, қайшылықты, қайталанатын мақалаларды жойыңыз. Әр мақаланы қысқаша және бір тақырыптан тұратын етіп жасаңыз.
- Оны бөлшектеп, белгілеңіз: Әрбір мақалаға тақырып тегін және соңғы жаңарту күнін қосыңыз.
- Қолжетімділікті орнату: сұралған кезде тиісті бөліктерді тартатын механизмді қосыңыз (орындық RAG құралдары мұны қамтамасыз етеді).
- Қатаң нұсқауды жазыңыз: Үлгіге «тек берілген бөліктерге сеніңіз, дереккөзді көрсетіңіз немесе білмейсіз деңіз» деп айтыңыз.
- Дереккөзді көрсетіңіз: Жауапқа негізделген мақаланы көрсетіңіз; Бұл сенімділік береді және тексеруді жеңілдетеді.
- Бос орындарды қадағалаңыз: бот «білмеймін» деген сұрақтарды жинаңыз; Бұл білім қорындағы кемшіліктерді көрсетеді, сол жерден қоректенеді.
Көшірілетін төрт үлгі
1) Қатаң RAG жауап шақыруы:
Жауап келесі [SOURCE] бөліктеріне НЕГІЗГЕН. Ережелер: (1) дереккөздегі ақпаратты ғана пайдаланыңыз, (2) дереккөзде жоқ болса, «Менде бұл туралы нақты ақпарат жоқ, сізді өкілге қосуға рұқсат етіңіз» деңіз, (3) қай мақалаға негізделгенін [Дереккөз: тармақ-жоқ] деп көрсетіңіз, (4) дереккөзден алынған соманы/ұзақтығын/шартын дәл келтіріңіз, дөңгелетпеңіз/жасамбаңыз. [КӨЗ]: << тартылған бөліктер>>Сұрақ: "<<тұтынушы сұрағы>>"
2) Білім қоры туралы мақала жазу:
Келесі шашыраңқы саясат мәтінін RAG үшін қолайлы ЖҚС мақаласына түрлендіріңіз. Формат: Сұрақ (тұтынушы тілінде) / Қысқа жауап (2-3 сөйлем) / Шарттар (тармақ) / Соңғы жаңарту күні / Тақырып тегі. Кез келген түсініксіз нүктелерді «анықталу керек» деп белгілеңіз. Шикі мәтін: <<мәтін>>
3) Қайшылықтар мен олқылықтарды іздеу:
Келесі білім қоры мақалаларын қарастырыңыз. (1) Бір-бірімен ҚАЙШЫЛЫҒАН мақалалар жұбын белгілеңіз (мысалы, қайтару мерзімі әртүрлі). (2) Жиі сұралатын, бірақ жауаптары ЖОҚ тақырыптарды тап. Тек берілген мақалаларды қараңыз; жаңа саясатты жасау. Мақалалар: <<тізім>>
4) «Мен білмеймін» журналын жақсарту:
Төменде бот жауап бере алмаған сұрақтар (көзді таба алмады). Оларды тақырыптар бойынша топтаңыз және әр топтың білім қорына қосылуы керек мақаланың тақырыбын ұсыныңыз. Жауаптың мазмұнын құрастырмаңыз, маған қай элемент жетіспейтінін айтыңыз. Сұрақтар: <<тізім>>
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Клиенттің қайтару сұрағына жауап беріңіз.
Дереккөз жоқ; Модель жадтан сәйкес келуі мүмкін, сома/ұзақтық қате болуы мүмкін, оны тексеру мүмкін емес.
Күшті шақыру:
Төмендегі қайтару саясатының тармағы негізінде ғана жауап беріңіз. Егер ол дереккөзде жоқ болса, «нақты білмеймін» деп айтыңыз. Мерзімді және шартты сөзбе-сөз келтіріңіз, [Дереккөз: ҚАЙТАРУ-03] түрінде сілтеме жасаңыз.[КӨЗ: ҚАЙТАРУ-03]: "Пайдаланбаған өнімді 14 күн ішінде қайтаруға болады. Жекеленген өнімдер қайтару аясына жатпайды." Сұрақ: «Мен 20 күн бұрын сатып алған жеке өнімді қайтара аламын ба?»
Айырмашылық: дереккөзге тәуелді, міндетті сілтеме, құрастыруға тыйым салу анық; үлгі көзден дұрыс жауапты ("14 күн өткен және жекелендірілген, қайтарылмайды") жасайды.
үш шағын іс
1-жағдай - Галлюцинацияны тоқтату. Телекоммуникациялық боттың науқан сұрақтарына жауап дәлдігі RAG жоқ орнату кезінде 71% құрады; Модель кейде ескі науқандарды құрады. Ағымдағы науқан беттері RAG-ға қосылғанда және «ол дереккөзде жоқ болса, айтпа» ережесі қосылғанда, дәлдік 96%-ға дейін өсті және «науқанға қатысты қате сөздер» туралы шағымдар дерлік аяқталды.
2-жағдай – Қайшылықтың бағасы. Электрондық коммерция компаниясының білім қорында екі бетте екі түрлі тасымалдау құны жазылған (бір ағымдағы, бір ескі ұмытылған бет). Бот кездейсоқ біреуді тартып алып, кейбір тұтынушыларға дұрыс емес бағаны айтты. Ескі бет бір дұрыс дереккөз принципімен мұрағатталған кезде сәйкессіздік жойылды. Сабақ: РАГ қайшылықты шешпейді, қайшылықты сол қалпында таратады.
3-жағдай — «Мен білмеймін» журналының мәні. Бір банкте бот айына ~ 4000 сұраққа «Мен нақты білмеймін» деп жауап берді. Бұл сұрақтар топтастырылған кезде, 40%-ы «халықаралық картаны пайдалану» туралы; Бұл туралы мақала болған жоқ. Тиісті тармақтар қосылғанда бұл мәселелер шешіліп, сол тақырып бойынша адамдарға тауар айналымы 55 пайызға төмендеген. Боттың білмеймін деп айтуы жақсартудың жол картасы болды.
Жалпы қателер
- Дереккөзге сілтемесіз жауап беру. RAG жоқ, модель нақты ақпаратқа сәйкес келеді; Кез келген нақты жауап көзге байланысты болуы керек.
- «Мен білмеймін» опциясын өшіру. Модельді әрбір сұраққа жауап беруге мәжбүрлеу сәйкестігін қамтамасыз етеді.
- Қайшылықты/ескі ақпаратты өшірмеу. RAG қайшылықты таратады; Бір дұрыс дереккөз маңызды.
- Ұсақтауды елемеу. Үлкен PDF файлдарын экспорттау дәл қол жеткізуді бұзады; Қысқа, бір тақырыпты мақалаларды пайдаланыңыз.
- Дереккөзді жасыру. Жауаптың неге негізделгенін көрсетпеу тексеру мен сенімді әлсіретеді.
Абайлаңыз: RAG дәлдікті жақсартады, бірақ 100% кепілдік бермейді. Модель кейде түсірілген бөлікті қате түсіндіруі мүмкін. Сондықтан, қаржылық, заңдық және қауіпсіздік мәселелері, тіпті дереккөзге сілтеме жасалса да, адамның рұқсатын талап етеді; RAG галлюцинацияны азайтады, бірақ жауапкершілікті жоймайды.
Қысқаша
Білім базасы және RAG байланыс орталығының AI дәлдігінің негізі болып табылады. RAG модельдің жадтағы жауапқа сәйкес келуіне және тек ағымдағы көзге сүйене отырып, галлюцинацияның алдын алады. Бірақ RAG өзінің білім қорымен ғана жақсы: жаңартылған, анық, құрылымды, қақтығыссыз және ақиқаттың жалғыз көзі бар білім базасы маңызды. Модельге «егер ол дереккөзде болмаса, білмеймін деп айт», дереккөзді көрсетіңіз және білім қорын жақсарту үшін бот жауап бере алмайтын сұрақтарды пайдаланыңыз. Маңызды мәселелердегі дереккөзге қарамастан адамның келісімін сақтаңыз.
Қолданбалы тапсырма
Сіздің салаңыздан 8 нақты/нақты тұтынушы сұрағын және сәйкес 8 қысқаша білім қоры мақаласын (әр мақала: сұрақ, қысқа жауап, шарттар, күн, тег) жазыңыз. Содан кейін үлгінің «білмеймін» деп айта алатынын «1) Tight RAG жауап сұрауы» үлгісін пайдаланып, сонымен қатар, біреуі білім қорында жоқ сұрақ қою арқылы тексеріңіз. Соңында, мақалаларыңызды «3) Қарама-қайшылық пен бос орындарды сканерлеу» арқылы тексеріңіз.
бақылау парағы
- [ ] Бот/көмекші берген әрбір нақты жауап ағымдағы білім базасына байланысты (RAG арқылы).
- [ ] Модельге «егер ол дереккөзде болмаса, білмегеніңді айт» деп нұсқау беріп, оны сынап көрдім.
- [ ] Менің білім қорым өзекті, түсінікті, бір тақырыпты мақалалардан тұрады.
- [ ] Мен қайшылықты және ескі мақалаларды өшірдім; Барлық ақпараттың бір ғана дұрыс көзі бар.
- [ ] Жауаптар оның қай мақалаға негізделгенін көрсетеді (көзі).
- [ ] Мен «білмеймін» сұрақтарын жинап, білім қорын қоректендіремін.