Печалби:
- Разберете как работи RAG (фрагментиране, достъп, зависимо от ресурси генериране) и как намалява халюцинациите
- Възможност за повишаване на качеството на отговорите чрез създаване на база от знания, която е актуална, ясна, без конфликти и има единствен правилен източник.
- Възможност за инструктиране на модела „ако не е в източника, кажете ми, че не знаете“ и превръщане на въпросите, на които не може да отговори, в подобряване на базата от знания
Отговорът, който дава бот или асистент на агент, е толкова добър, колкото и информацията, на която се основава. Когато клиентът попита „Продължава ли кампанията?“, верният отговор не е в паметта на модела, а в текущата база от знания на институцията. Ето защо сърцето на изкуствения интелект на кол центъра е базата от знания (KB): актуален ресурс, където продуктите, политиките, често задаваните въпроси, процедурите и правилата се съхраняват в писмен вид. А методът, който сигурно свързва тази база знания с изкуствения интелект, се нарича RAG: Retrieval-Augmented Generation — вместо да измисля отговора от собствената си памет, моделът първо извлича съответните части от информация от източника (извличане) и след това генерира отговора въз основа само на тези части (генериране).
RAG е най-мощният метод за предотвратяване на халюцинации. Моделът не генерира число в главата си за въпроса "каква е лихвеният процент по кредита?" Той извлича текущия интересен текст от базата знания и отговаря въз основа на него. В този раздел ще видим как да настроим базата от знания, как работи RAG и как добрата база от знания определя качеството на отговорите.
Как работи RAG: четири стъпки
Мислете за RAG като за библиотекар. Клиентът задава въпроси; Системата първо намира съответните страници от десния рафт на библиотеката, след това ги прочита и записва отговора. Техническите стъпки са както следва:
- Разделяне на части: Дългите документи в базата знания са разделени на малки, смислени части (напр. всеки ЧЗВ е част). Тъй като моделът отговаря на въпрос по-точно със свързани малки части.
- Вграждане и индексиране: Всяка част се превежда в цифрова форма, представяща нейното значение (вграждане – поредица от числа, представящи значението на текста) и се поставя в база данни с възможност за търсене. По този начин това не е „съвпадение на думи“, а „съвпадение на значение“; Дори ако клиентът попита „кога ще бъдат депозирани парите ми?“, може да се намери частта „период на възстановяване“.
- Извличане: Извличат се частите, които са най-близки по смисъл до въпроса на клиента (напр. най-близките 3-5 части).
- Генериране: Моделът пише отговора въз основа САМО на нарисуваните части и посочва източника, ако е възможно.
Критичната точка е в стъпка 4: моделът е инструктиран „просто да разчита на дадените части или да каже, че не знае“. Без тази инструкция RAG не пречи на модела да се монтира.
Съвет: Златното правило на RAG: „Ако не е в източника, няма отговор.“ Една добра RAG система ще каже "Не знам със сигурност за това" на въпрос, който не е в базата знания; никога не запълва празнината с догадки. Способността на бота да казва „не знам“ е функция за сигурност, а не слабост.
Добра база от знания: истинският източник на качество на отговорите
Без значение колко добър е RAG, ако базата от знания е лоша, отговорът е лош. Качеството на базата от знания се измерва чрез:
функция
лоша база от знания
Добра база от знания
Актуалност
Не се актуализира от месеци
Актуализира се незабавно при промяна
Яснота
Дълъг, сложен текст
Кратки, еднотематични статии
структура
Разхвърляна PDF купчина
Етикетирани разградими вещества
Последователност
Два противоречиви отговора
Единствен източник на истина
Обхват
Има много пропуски
Обхваща често задавани въпроси
собственост
Никой не носи отговорност
Всяка тема си има собственик
Най-опасният проблем в контекста на кол центъра е противоречието: ако в базата знания са записани два различни периода на връщане, RAG ще каже кой от тях вземе и на клиента ще бъде изпратен непоследователен отговор. Ето защо принципът на „единния източник на истина“ е критичен: информацията се поддържа актуална на едно място; Използват се препратки към този източник, а не копия.
Стъпка по стъпка: изграждане на система за реагиране, поддържана от RAG
- Почистете базата от знания: Премахнете остарели, противоречиви, дублирани статии. Направете всяка статия кратка и с една тема.
- Разбийте го и го маркирайте: Добавете етикет за тема и дата на последна актуализация към всяка статия.
- Установете достъп: Свържете механизъм, който изтегля съответните части при поискване (корпоративните RAG инструменти предоставят това).
- Напишете строга подкана: Кажете на модела „разчитайте само на предоставените части, цитирайте източника или кажете, че не знаете“.
- Цитирайте източника: Покажете статията, на която се базира отговорът; Това едновременно дава увереност и улеснява проверката.
- Следете за пропуски: Събирайте въпроси, където ботът казва „Не знам“; Те показват недостатъците в базата от знания, които се захранват оттам.
Четири копируеми шаблона
1) Подкана за строг отговор на RAG:
Отговорете ВЪЗ ОСНОВА на следните части [ИЗТОЧНИК]. Правила: (1) използвайте само информацията в източника, (2) ако не е в източника, кажете „Нямам категорична информация за това, позволете ми да ви свържа с представителя“, (3) посочете на коя статия се основава като [Източник: артикул-но], (4) цитирайте сумата/продължителността/условието точно от източника, не закръгляйте/компенсирайте. [ИЗТОЧНИК]: <<изтеглени части>>Въпрос: "<<въпрос на клиента>>"
2) Писане на статия в базата знания:
Преобразувайте следния разпръснат текст на правилата в статия с ЧЗВ, подходяща за RAG. Формат: Въпрос (на езика на клиента) / Кратък отговор (2-3 изречения) / Условия (клауза) / Дата на последна актуализация / Етикет на темата. Маркирайте всички двусмислени точки като „за изясняване“, измислете. Суров текст: <<текст>>
3) Сканиране за противоречия и пропуски:
Разгледайте следните статии в базата знания. (1) Маркирайте двойките артикули, които са в КОНФЛИКТ помежду си (напр. различен период на връщане). (2) Познайте темите, които ще бъдат често задавани, но нямат отговори. Вижте само дадените статии; създаване на нова политика.Статии: <<списък>>
4) Подобрение от дневника „Не знам“:
По-долу има въпроси, на които ботът не можа да отговори (не можа да намери източник). Групирайте ги в теми и предложете заглавието на статията, която трябва да се добави към базата знания за всяка група. Не измисляйте съдържанието на отговора, просто ми кажете кой елемент липсва. Въпроси: <<списък>>
Слаба подкана / Силна подкана
Слаба подкана:
Отговорете на въпроса за връщане на клиента.
Няма източник; Моделът може да пасне по памет, количеството/продължителността може да е грешна, не може да се провери.
Мощна подкана:
Отговорете само въз основа на клаузата за правила за връщане по-долу. Ако не е наличен в източника, кажете „Не знам със сигурност“. Цитирайте периода и състоянието дословно, дайте справка под формата на [Източник: RETURN-03].[ИЗТОЧНИК: RETURN-03]: „Неизползван продукт може да бъде върнат в рамките на 14 дни. Персонализираните продукти не са в обхвата на връщане.“ Въпрос: „Мога ли да върна персонализирания продукт, който купих преди 20 дни?“
Разлика: зависи от източника, задължителна справка, ясна забрана за производство; моделът генерира правилния отговор („минали 14 дни и персонализиран, не подлежи на възстановяване“) от източника.
три мини калъфа
Случай 1 — Прекратяване на халюцинацията. Точността на отговорите на телекомуникационен бот на въпроси от кампанията беше 71% при настройка без RAG; Моделът понякога измисляше стари кампании. Когато текущите страници на кампанията бяха свързани с RAG и беше добавено правилото „не го казвайте, ако не е в източника“, точността се увеличи до 96% и оплакванията за „грешни думи на кампанията“ почти приключиха.
Случай 2 — Цената на противоречието. В базата знания на компания за електронна търговия две различни разходи за доставка са написани на две страници (една текуща, една стара забравена страница). Ботът произволно дърпаше някого и казваше на някои от клиентите грешната цена. Когато старата страница беше архивирана на принципа на един правилен източник, несъответствието изчезна. Урок: RAG не разрешава противоречието, то разпространява противоречието такова, каквото е.
Случай 3 — Стойността на дневника „Не знам“. В една банка ботът казваше „Не знам със сигурност“ на ~4000 въпроса на месец. Когато тези въпроси бяха групирани, се видя, че 40% са за „използване на международни карти“; Нямаше статия за това. Когато бяха добавени съответните артикули, тези въпроси бяха решени и текучеството към хора по тази тема намаля с 55%. Фактът, че ботът каза, че не знае, се превърна в пътна карта за подобрение.
Често срещани грешки
- Отговор без връзка към източника. Без RAG, моделът отговаря на конкретна информация; Всеки конкретен отговор трябва да зависи от източника.
- Изключване на опцията "Не знам". Принуждаването на модела да отговаря на всеки въпрос гарантира напасване.
- Без изчистване на противоречива/стара информация. RAG разпространява противоречия; Един единствен правилен източник е от съществено значение.
- Пренебрегване на раздробяването. Експортирането на големи PDF файлове във вида, в който са, нарушава точния достъп; Използвайте кратки статии с една тема.
- Скриване на източника. Непосочването на какво се основава отговорът отслабва проверката и доверието.
Внимание: RAG подобрява точността, но не предоставя 100% гаранция. Понякога моделът може да изтълкува погрешно заснетата част. Следователно финансовите, правните въпроси и проблемите със сигурността изискват човешко одобрение, дори ако източникът е цитиран; RAG намалява халюцинациите, но не премахва отговорността.
В обобщение
Базата от знания и RAG са в основата на точността на AI в кол център. RAG до голяма степен предотвратява халюцинациите, като не позволява на модела да монтира отговора от паметта и да разчита единствено на текущия източник. Но RAG е толкова добър, колкото и неговата база от знания: база от знания, която е актуална, ясна, структурирана, без конфликти и има един източник на истина, е от съществено значение. Кажете на модела „ако не е в източника, кажете ми, че не знаете“, посочете източника и използвайте въпросите, на които ботът не може да отговори, за да подобрите своята база от знания. Поддържайте човешкото съгласие въпреки източника по въпроси с високи залози.
Задача за приложение
Напишете 8 реални/реалистични клиентски въпроса от вашата индустрия и 8 съответни кратки статии в базата знания (всяка статия: въпрос, кратък отговор, условия, дата, етикет). След това тествайте дали моделът може да каже „Не знам“, като използвате модела „1) Подкана за отговор на Tight RAG“ и също така задайте въпрос, един от които не е в базата знания. И накрая, проверете статиите си с „3) Сканиране на противоречия и пропуски“.
контролен списък
- [ ] Всеки конкретен отговор, даден от бота/асистента, зависи от текущата база от знания (чрез RAG).
- [ ] Инструктирах модела „ако го няма в източника, кажи ми, че не знаеш“ и го тествах.
- [ ] Моята база от знания се състои от актуални, ясни статии с една тема.
- [ ] Изчистих противоречивите и стари статии; Има само един правилен източник за цялата информация.
- [ ] Отговорите показват на коя статия се основава (източник).
- [ ] Събирам въпроси „Не знам“ и захранвам базата от знания.