Добици:
- Схватите како функционише РАГ (фрагментација, приступ, генерисање зависно од ресурса) и како смањује халуцинације
- Способност повећања квалитета одговора успостављањем базе знања која је актуелна, јасна, без конфликта и која има један тачан извор.
- Способност да се модел упути „ако га нема у извору, реци ми да не знаш“ и претвори питања на која не може да одговори у побољшање базе знања
Одговор који даје бот или помоћник агента је добар онолико колико су добре информације на којима се заснива. Када купац пита „Да ли се кампања наставља?“, тачан одговор није у сећању модела, већ у тренутној бази знања институције. Зато је срце вештачке интелигенције позивног центра база знања (КБ): ажурни ресурс где се производи, политике, често постављана питања, процедуре и правила чувају у писаној форми. А метод који безбедно повезује ову базу знања са вештачком интелигенцијом назива се РАГ: Ретриевал-Аугментед Генератион — уместо да прави одговор из сопствене меморије, модел прво преузима релевантне делове информација из извора (преузимање), а затим генерише одговор само на основу тих делова (генерација).
РАГ је најмоћнији метод превенције халуцинација. Модел не генерише број у глави за питање "која је каматна стопа на кредит?" Он преузима актуелни текст од интереса из базе знања и одговара на основу њега. У овој јединици ћемо видети како да се постави база знања, како РАГ функционише и како добра база знања одређује квалитет одговора.
Како РАГ функционише: четири корака
Размишљајте о РАГ-у као о библиотекару. Купац поставља питања; Систем прво проналази релевантне странице са десне полице библиотеке, затим чита те странице и уписује одговор. Технички кораци су следећи:
- Сецкање: Дуги документи у бази знања су подељени на мале, смислене делове (нпр., свако често постављано питање је комад). Зато што модел прецизније одговара на питање са повезаним малим деловима.
- Уграђивање и индексирање: Сваки комад се преводи у нумерички облик који представља његово значење (уграђивање — низ бројева који представља значење текста) и ставља се у базу података за претраживање. Дакле, то није „подударање речи“ већ „подударање значења“; Чак и ако купац пита "када ће мој новац бити депонован?", може се наћи део "период поврата".
- Преузимање: Преузети су делови који су по значењу најближи питању купца (нпр. најближих 3-5 делова).
- Генерисање: Модел пише одговор на основу САМО нацртаних делова и указује на извор ако је могуће.
Критична тачка је у кораку 4: моделу је наложено да се „само ослони на дате делове или каже да не знаш“. Без овог упутства, РАГ не спречава модел да се уклопи.
Савет: Златно правило РАГ-а: "Ако није у извору, нема одговора." Добар РАГ систем ће рећи „Не знам сигурно за ово“ на питање које није у бази знања; никада не попуњава празнину нагађањима. Ботова способност да каже „не знам“ је безбедносна карактеристика, а не слабост.
Добра база знања: прави извор квалитета одговора
Без обзира колико је РАГ добар, ако је база знања лоша, одговор је лош. Квалитет базе знања мери се:
карактеристика
лоша база знања
Добра база знања
Актуелност
Није ажурирано месецима
Ажурирано одмах када се промени
Јасноћа
Дугачак, замршен текст
Кратки чланци са једном темом
структура
Неуредна ПДФ гомила
Обележене разградиве супстанце
Доследност
Два опречна одговора
Једини извор истине
Обим
Постоје многе празнине
Покрива често постављана питања
власништво
Нико није одговоран
Свака тема има власника
Најопаснији проблем у контексту кол центра је контрадикција: ако су у бази знања уписана два различита периода враћања, РАГ ће рећи који год треба и кориснику ће бити послат недоследан одговор. Зато је принцип „један извор истине“ кључан: информације се ажурирају на једном месту; Користе се референце на тај извор, а не копије.
Корак по корак: изградња система одговора који подржава РАГ
- Очистите базу знања: Уклоните застареле, конфликтне, дуплиране чланке. Нека сваки чланак буде кратак и са једном темом.
- Раставите га и означите: додајте ознаку теме и датум последњег ажурирања сваком чланку.
- Успоставите приступ: Повежите механизам који вуче релевантне делове када се то од вас затражи (ово обезбеђују пословни РАГ алати).
- Напишите стриктно упутство: Реците моделу „ослоните се само на делове које сте добили, наведите извор или реците да не знате“.
- Наведите извор: Покажите чланак на коме се заснива одговор; То истовремено даје самопоуздање и олакшава верификацију.
- Пазите на празнине: Прикупите питања где бот каже „Не знам“; Они показују недостатке у бази знања, храни се одатле.
Четири шаблона за копирање
1) Строги РАГ одговор:
Одговорите на основу следећих [ИЗВОР] делова. Правила: (1) користите само информације у извору, (2) ако их нема у извору, реците „Немам дефинитивне информације о овоме, да вас повежем са представником“, (3) наведите на ком чланку се заснива као [Извор: артикл-бр], (4) цитирајте количину/трајање/услов тачно из извора, немојте заокружити/надокнадити. [ИЗВОР]: <<извучени делови>>Питање: "<<питање клијента>>"
2) Писање чланака из базе знања:
Претворите следећи разбацани текст политике у чланак са честим питањима који је прикладан за РАГ. Формат: Питање (на језику корисника) / Кратак одговор (2-3 реченице) / Услови (клаузула) / Датум последњег ажурирања / Ознака теме. Означите све двосмислене тачке као "треба разјаснити", измишљене. Необрађени текст: <<текст>>
3) Скенирање за контрадикције и празнине:
Прегледајте следеће чланке базе знања. (1) Означите парове артикала који се међусобно сукобљавају (нпр. различити период враћања). (2) Погоди теме које ће се често постављати, али НЕМА одговора. Погледајте само дате чланке; производњу нове политике.Чланци: <<лист>>
4) Побољшање из дневника „Не знам“:
Испод су питања на која бот није могао да одговори (није могао да пронађе извор). Групишите их у теме и предложите наслов чланка који треба додати бази знања за сваку групу. Не измишљајте садржај одговора, само ми реците која ставка недостаје. Питања: <<лист>>
Слаби промпт / Јаки промпт
Слабо обавештење:
Одговорите на купчево питање о поврату.
Нема извора; Модел може стати из меморије, количина/трајање може бити погрешно, не може се проверити.
Снажан упит:
Одговорите само на основу клаузуле о политици враћања у наставку. Ако није доступан у извору, реците „Не знам сигурно“. Дословно наведите период и стање, наведите референцу у облику [Извор: ПОВРАТАК-03].[ИЗВОР: ПОВРАТАК-03]: „Неискоришћени производ се може вратити у року од 14 дана. Персонализовани производи нису у оквиру обима враћања.“ Питање: „Могу ли да вратим персонализовани производ који сам купио пре 20 дана?“
Разлика: зависи од извора, референца је обавезна, забрана производње јасна; модел генерише тачан одговор („претходних 14 дана и персонализовано, без рефундирања“) из извора.
три мини кофера
Случај 1 — Престанак халуцинације. Тачност одговора телеком бота на питања кампање била је 71% у подешавању без РАГ-а; Модел је понекад измишљао старе кампање. Када су тренутне странице кампање повезане са РАГ-ом и додато правило „немој рећи ако није у извору“, прецизност је порасла на 96% и жалбе на „погрешне речи кампање“ су скоро престале.
Случај 2 — Цена контрадикције. У бази знања компаније за е-трговину, на две странице су исписане две различите цене доставе (једна актуелна, једна стара заборављена страница). Бот је насумично вукао некога и неким купцима рекао погрешну цену. Када је стара страница архивирана по принципу једног исправног извора, недоследност је нестала. Поука: РАГ не решава контрадикцију, она пропагира контрадикцију онакву каква јесте.
Случај 3 — Вредност дневника „Не знам“. У једној банци, бот је говорио „не знам сигурно“ на око 4.000 питања месечно. Када су ова питања груписана, видело се да се 40% односило на „међународно коришћење картица“; Није било чланка о томе. Када су додане релевантне ставке, ова питања су решена и промет људима на ту тему смањен је за 55%. Чињеница да је бот рекао да не зна постала је мапа пута за побољшање.
Уобичајене грешке
- Одговарање без повезивања са извором. Без РАГ-а, модел одговара конкретним информацијама; Сваки конкретан одговор мора зависити од извора.
- Искључивање опције „Не знам“. Присиљавање модела да одговори на свако питање осигурава уклапање.
- Не брише конфликтне/старе информације. РАГ шири контрадикторност; Један тачан извор је неопходан.
- Занемаривање сецкања. Извоз великих ПДФ-ова какав јесте омета тачан приступ; Користите кратке чланке са једном темом.
- Сакривање извора. Неназначавање на чему се заснива одговор слаби верификацију и поверење.
Опрез: РАГ побољшава тачност, али не даје 100% гаранцију. Модел понекад може погрешно протумачити снимљени део. Стога, финансијска, правна и безбедносна питања захтевају људско одобрење чак и ако је извор цитиран; РАГ смањује халуцинације, али не уклања одговорност.
Укратко
База знања и РАГ су темељ тачности цалл центра АИ. РАГ у великој мери спречава халуцинације тако што спречава модел да уклопи одговор из меморије и ослања се искључиво на тренутни извор. Али РАГ је добар онолико колико је добра његова база знања: неопходна је база знања која је ажурна, јасна, структурирана, без сукоба и која има један извор истине. Реците моделу „ако није у извору, реците ми да не знате“, покажите на извор и употребите питања на која бот не може да одговори да бисте побољшали своју базу знања. Одржавајте људски пристанак упркос извору о питањима са високим улозима.
Задатак апликације
Напишите 8 стварних/реалних питања купаца из ваше индустрије и 8 одговарајућих кратких чланака у бази знања (сваки чланак: питање, кратак одговор, услови, датум, ознака). Затим тестирајте да ли модел може да каже „Не знам“ користећи образац „1) Тигхт РАГ одговор на упит“ и такође поставите питање, од којих једно није у бази знања. На крају, проверите своје чланке са „3) Скенирање контрадикција и празнина“.
контролна листа
- [ ] Сваки конкретан одговор који даје бот/помоћник зависи од тренутне базе знања (преко РАГ-а).
- [ ] Дао сам инструкције моделу „ако га нема у извору, реци ми да не знаш“ и тестирао га.
- [ ] Моја база знања се састоји од ажурираних, јасних чланака са једном темом.
- [ ] Очистио сам конфликтне и старе чланке; Постоји само један тачан извор за све информације.
- [ ] Одговори показују на ком се чланку заснива (извор).
- [ ] Сакупљам питања „не знам“ и храним базу знања.