Добивки:
- Разберете како функционира RAG (фрагментација, пристап, генерација зависна од ресурси) и како ја намалува халуцинацијата
- Способност да се зголеми квалитетот на одговорите преку воспоставување база на знаење која е актуелна, јасна, без конфликти и има единствен точен извор.
- Способност да се поучи моделот „ако не е во изворот, кажи ми дека не знаеш“ и да ги претвориш прашањата на кои не може да одговори во подобрување на базата на знаење
Одговорот што го дава ботот или асистентот на агентот е исто толку добар како и информациите на кои се базира. Кога клиентот ќе праша „Дали кампањата продолжува?“, точниот одговор не е во меморијата на моделот, туку во моменталната база на знаење на институцијата. Затоа срцето на вештачката интелигенција на центарот за повици е базата на знаење (KB): ажуриран ресурс каде производите, политиките, ЧПП, процедурите и правилата се чуваат во писмена форма. И методот што безбедно ја поврзува оваа база на знаење со вештачката интелигенција се нарекува RAG: Retrieval-Augmented Generation - наместо да го изготвува одговорот од сопствената меморија, моделот прво ги вади релевантните делови од информации од изворот (преземање), а потоа го генерира одговорот само врз основа на тие делови (генерација).
RAG е најмоќниот метод за спречување на халуцинации. Моделот не генерира бројка во главата за прашањето „која е каматната стапка на заемот? Го вади текстот на тековниот интерес од базата на знаење и одговара врз основа на него. Во оваа единица ќе видиме како да се постави базата на знаење, како функционира RAG и како добрата база на знаење го одредува квалитетот на одговорите.
Како функционира RAG: четири чекори
Замислете RAG како библиотекар. Клиентот поставува прашања; Системот прво ги наоѓа соодветните страници од десната полица на библиотеката, потоа ги чита тие страници и го пишува одговорот. Техничките чекори се како што следува:
- Делење: Долгите документи во базата на знаење се поделени на мали, значајни делови (на пр., секое ЧПП е парче). Бидејќи моделот попрецизно одговара на прашање со поврзани мали делови.
- Вградување и индексирање: секое парче е преведено во нумеричка форма што го претставува неговото значење (вградување — низа од броеви што го претставуваат значењето на текстот) и се става во база на податоци што може да се пребарува. Така, тоа не е „совпаѓање на зборови“ туку „совпаѓање на значење“; Дури и ако клиентот праша „кога ќе се депонираат моите пари?“, може да се најде делот „период за рефундирање“.
- Преземање: Се преземаат деловите што се најблиски по значење до прашањето на клиентот (на пр. најблиските 3-5 делови).
- Генерација: Моделот го пишува одговорот САМО врз основа на нацртаните делови и го наведува изворот ако е можно.
Критичната точка е во чекор 4: на моделот му е наложено „само да се потпре на дадените парчиња или да каже дека не знаеш“. Без оваа инструкција, RAG не го спречува монтирањето на моделот.
Совет: Златното правило на RAG: „Ако не е во изворот, нема одговор“. Добар RAG систем ќе каже „Не знам сигурно за ова“ на прашање што не е во базата на знаење; никогаш не ја пополнува празнината со нагаѓања. Способноста на бот да каже „не знам“ е безбедносна карактеристика, а не слабост.
Добра база на знаење: вистински извор на квалитет на одговорот
Без разлика колку е добар RAG, ако базата на знаење е лоша, одговорот е лош. Квалитетот на базата на знаење се мери со:
карактеристика
лоша база на знаење
Добра база на знаење
Актуелност
Не се ажурира со месеци
Веднаш се ажурира кога ќе се смени
Јасност
Долг, згрчен текст
Кратки статии со една тема
структура
Неуреден куп PDF
Означени разградливи супстанции
Конзистентност
Два спротивставени одговори
Единствен извор на вистината
Опсег
Има многу празнини
Опфаќа често поставувани прашања
сопственоста
Никој не е одговорен
Секоја тема има свој сопственик
Најопасниот проблем во контекстот на центарот за повици е контрадикторноста: ако два различни периоди за враќање се напишани во базата на знаење, RAG ќе каже кој и да е потребен и неконзистентен одговор ќе биде испратен до клиентот. Затоа принципот „единствен извор на вистината“ е критичен: информациите се ажурираат на едно место; Се користат референци за тој извор, а не копии.
Чекор по чекор: изградба на систем за одговор поддржан од RAG
- Исчистете ја базата на знаење: отстранете ги застарените, конфликтни, дупликат написи. Направете ја секоја статија кратка и единствена тема.
- Разложете го и означете го: Додајте ознака за тема и датум на последно ажурирање на секоја статија.
- Воспоставете пристап: поврзете механизам што ги влече релевантните делови кога ќе биде побарано (претпријатието RAG алатки го обезбедуваат ова).
- Напишете строго предупредување: кажете му на моделот „потпирајте се само на дадените делови, наведете го изворот или кажете дека не знаете“.
- Наведете го изворот: Покажете ја статијата на која се заснова одговорот; Тоа и дава доверба и ја олеснува верификацијата.
- Внимавајте на празнините: Соберете прашања каде ботот вели „Не знам“; Овие ги покажуваат недостатоците во базата на знаење, се хранат од таму.
Четири шаблони за копирање
1) Строг одговор на RAG:
Одговорете ЗАСНОВАНО на следните [ИЗВОР] делови. Правила: (1) користете ги само информациите во изворот, (2) ако ги нема во изворот, кажете „Немам дефинитивни информации за ова, дозволете ми да ве поврзам со претставникот“, (3) наведете на кој напис се заснова како [Извор: ставка-бр], (4) цитирајте ја количината/времетраењето/состојбата точно од изворот, не заокружувајте/надополнувајте. [ИЗВОР]: <<повлечени делови>>Прашање: „<<прашање на клиентите>>“
2) Пишување написи со база на знаење:
Претворете го следниов расфрлан текст на политиката во статија за ЧПП погодна за RAG. Формат: Прашање (на јазикот на клиентот) / Краток одговор (2-3 реченици) / Услови (клаузула) / Датум на последно ажурирање / Ознака на тема. Обележете ги сите двосмислени точки како „да се разјаснат“, измислувајте. Суров текст: <<текст>>
3) Скенирање за противречности и празнини:
Испитајте ги следните статии од базата на знаење. (1) Означете ги паровите на написите што се во конфликт меѓу себе (на пр. различен период на враќање). (2) Погодете ги темите што ќе бидат често поставувани, но НЕМААТ одговори. Погледнете ги само дадените статии; производство на нова политика.Статии: <<листа>>
4) Подобрување од дневникот „Не знам“:
Подолу се дадени прашања на кои ботот не можеше да одговори (не можеше да најде извор). Групирајте ги во теми и предложете го насловот на статијата што треба да се додаде во базата на знаење за секоја група. Не измислувајте ја содржината на одговорите, само кажете ми која ставка недостасува. Прашања: <<листа>>
Слаб промпт / Силен промпт
Слаба навестување:
Одговорете на прашањето за враќање на клиентот.
Нема извор; Моделот може да одговара од меморијата, износот/времетраењето може да е погрешен, не може да се потврди.
Моќен потсетник:
Одговорете само врз основа на клаузулата за политика за враќање подолу. Ако не е достапно во изворот, кажете „Не знам сигурно“. Наведете го периодот и условот дословно, наведете референца во форма на [Извор: RETURN-03].[ИЗВОР: RETURN-03]: "Неискористениот производ може да се врати во рок од 14 дена. Персонализираните производи не се во опсегот на враќање." Прашање: Дали можам да го вратам персонализираниот производ што го купив пред 20 дена?
Разлика: зависна од изворот, задолжителна референца, јасна забрана за изработка; моделот го генерира точниот одговор („Изминати 14 дена и персонализиран, неповратен“) од изворот.
три мини футроли
Случај 1 - ставање крај на халуцинацијата. Точноста на одговорите на телеком бот на прашања за кампањата беше 71% при поставување без RAG; Моделот понекогаш измислуваше стари кампањи. Кога тековните страници на кампањата беа поврзани со RAG и беше додадено правилото „не кажувај ако не е во изворот“, прецизноста се зголеми на 96%, а поплаките за „погрешни зборови за кампањата“ речиси завршија.
Случај 2 - Цената на противречноста. Во базата на знаење на компанија за е-трговија, две различни трошоци за испорака беа напишани на две страници (една тековна, една стара заборавена страница). Ботот по случаен избор влечеше некого и на некои од клиентите им кажуваше погрешна цена. Кога старата страница беше архивирана со принципот на единствен точен извор, недоследноста исчезна. Поука: RAG не ја разрешува противречноста, ја пропагира противречноста каква што е.
Случај 3 - Вредноста на дневникот „Не знам“. Во една банка, ботот кажуваше „не знам сигурно“ на ~ 4.000 прашања месечно. Кога овие прашања беа групирани, се виде дека 40% се однесуваат на „меѓународната употреба на картички“; Немаше статија за тоа. Кога беа додадени соодветните ставки, овие прашања беа решени и прометот на луѓето на таа тема се намали за 55%. Фактот што ботот рече дека не знае стана патоказ за подобрување.
Вообичаени грешки
- Одговарање без линк до изворот. Без RAG, моделот одговара на конкретни информации; Секој конкретен одговор мора да зависи од изворот.
- Исклучување на опцијата „Не знам“. Присилувањето на моделот да одговори на секое прашање обезбедува соодветност.
- Не се брише конфликтни/стари информации. RAG шири контрадикторност; Неопходен е единствен точен извор.
- Занемарување да се распарчи. Извезувањето големи PDF-датотеки како што е го нарушува точниот пристап; Користете кратки статии со една тема.
- Сокривање на изворот. Непокажувањето на што се заснова одговорот ја слабее верификацијата и довербата.
Внимание: RAG ја подобрува точноста, но не обезбедува 100% гаранција. Моделот понекогаш може погрешно да го протолкува доловениот дел. Затоа, финансиските, правните и безбедносните прашања бараат човечко одобрување дури и ако е наведен изворот; RAG ја намалува халуцинацијата, но не ја отстранува одговорноста.
Сумирано
Базата на знаење и RAG се основата на точноста на ВИ-центарот за повици. RAG во голема мера ја спречува халуцинацијата со тоа што го спречува моделот да го собере одговорот од меморијата и да се потпира исклучиво на тековниот извор. Но, RAG е добар само како и неговата база на знаење: од суштинско значење е базата на знаење што е ажурирана, јасна, структурирана, без конфликти и има единствен извор на вистина. Кажете му на моделот „ако не е во изворот, кажи ми дека не знаеш“, посочете го изворот и искористете ги прашањата на кои ботот не може да одговори за да ја подобри својата база на знаење. Одржувајте човечка согласност и покрај изворот за прашања со високи влогови.
Задача за апликација
Напишете 8 реални/реални прашања на клиентите од вашата индустрија и 8 соодветни написи за кратки бази на знаење (секоја статија: прашање, краток одговор, услови, датум, ознака). Потоа тестирајте дали моделот може да каже „не знам“ со користење на шемата „1) Tight RAG одговор за одговор“ и исто така поставувајќи прашање, од кое едно не е во базата на знаење. Конечно, проверете ги вашите написи со „3) Скенирање на контрадикторности и празнини.
листа за проверка
- [ ] Секој конкретен одговор даден од ботот/асистентот зависи од моменталната база на знаење (преку RAG).
- [ ] Му дадов инструкции на моделот „ако го нема во изворот, кажи ми дека не знаеш“ и го тестирав.
- [ ] Мојата база на знаење се состои од ажурирани, јасни статии со една тема.
- [ ] Ги исчистив конфликтните и стари написи; Има само еден точен извор за сите информации.
- [ ] Одговорите покажуваат на која статија се заснова (извор).
- [ ] Собирам прашања „Не знам“ и ја хранам базата на знаење.