Добици:
- Разумевање логике генерације засноване на знању (РАГ) и зашто смањује халуцинације
- Могућност да модел одговори цитирањем, само на основу достављених изворних докумената
- Способност управљања питањима која нису у извору тако што ћете их безбедно пренети, без измишљања питања
Језички модел „зна“ много, али не зна данашњу политику враћања ваше компаније, ваш тренутни ценовник или уговор о отпреми који се јуче променио. Још горе, када не зна, често измишља и пише крајње самоувереним тоном. Ово је фатална грешка у корисничкој служби: модел каже „Повраћај средстава се врши у року од 30 дана“, док ваша политика може бити 14 дана. Приступ који затвара ову празнину назива се РАГ: Ретриевал-Аугментед Генератион, односно „производња са проширеним проналажењем“.
Идеја је једноставна: модел одговара на питање не по сећању, већ из тачних изворних докумената који се налазе испред њега у том тренутку. Прво, тачан део документа релевантан за питање је „преузимање“, затим модел „генерише“ одговор само на основу тог дела. У овој јединици ћете разумети логику РАГ-а и научити како да обуздате модел тако да се држи само провереног извора који наведете.
Напомена: Ова јединица подучава радну логику и брзу страну РАГ-а. Системи за аутоматско проналажење докумената на нивоу предузећа (векторска база података, итд.) захтевају техничку инсталацију; Дисциплина је овде основа да тај систем правилно реагује.
Зашто РАГ смањује халуцинације?
Халуцинација је када модел производи нестварне информације као да су стварне. Модел је програмиран да произведе одговор који се чини „могућим“ када види празнину; Не зна да ли је истина или не. РАГ попуњава ову празнину: дате моделу стварни релевантни текст заједно са питањем и кажете „одговор само одавде“. На овај начин модел не "треба" да стане.
Постоје три компоненте:
- База знања: Поуздани текстови као што су често постављана питања, документи о политици, приручници за производе, ценовники.
- Преузимање: Проналажење дела документа који садржи одговор на питање и давање га моделу.
- Ограничено издање: Модел одговара цитатом, само на основу испорученог дела.
Корак по корак: веран одговор на извор
- Припремите извор. Пронађите текст на коме ће се заснивати одговор (смерница, често постављана питања) у јасном и ажурном формату.
- Уградите извор у одзивник. Ставите текст у ознаку као што је <извор>.
- Напишите правило лојалности. „Користите само информације из извора; не удаљујте се од извора.“
- Учините цитирање обавезним. Нека он/она назначи на ком делу се заснива одговор.
- Идентификујте понашање без ресурса. Ако одговор није у извору, нека каже „немам ову информацију“ и проследи даље.
- Верифи. Потврдите одговор тако што ћете га упоредити са изворном реченицом на којој се заснива.
Копирајућа упутства
Упит за одговор на основу основног извора:
Улога: Ви сте помоћник корисничке подршке. Одговорите на питање САМО на основу информација у <соурце>блоку испод. Немојте додавати ниједну информацију која није у извору, нагађајте или одговор на основу вашег општег знања. Додајте одељак на који се ослањате на крају свог одговора у формату „[Извор: ...]“. Ако одговор није у извору, напишите следеће: „Немам коначне информације о овој теми, пребацујем вас на званичника који може дати тачан одговор.“<соурце>{{ полици_ор_фак_тект }}</соурце>Питање: {{ цустомер_куестион }}
У случају више извора, упит да се покаже на ком документу се заснива:
Постоји више ресурса побројаних испод. Када одговарате на питање, наведите број извора који сте користили, као што је [Извор 2]. Ако вам је више од једног извора у супротности, реците то јасно и наведите да би требало да питате који је ажурнији.<извори>1) {{ извор_1 }}2) {{ извор_2 }}3) {{ извор_3 }}</соурцес>Питање: {{ цустомер_куестион }}
Промпт који безбедно управља питањем које није извор:
Ако је одговор на питање ДЕЛИМИЧНО пронађен у извору: одговорите само на део обухваћен извором, а за преостали део реците „овај детаљ није у извору“. Никада не попуњавајте део који недостаје погађањем.
Промпт који преводи одговор на језик клијента, али остаје веран извору:
Преведите званични/технички израз у извору на једноставан језик који купац може да разуме, али НЕ мењајте значење и нумеричке вредности (дан, износ, стопа). На пример, заокруживање „14 календарских дана“ на „око две недеље“; задржати пуну вредност.
Слаба порука / јака промпт
Слабо обавештење
Моћни промпт
„Реците нам о нашој политици повратка“
Уграђује извор + „одговори само овде“ + захтева цитат
Одговор по сећању модела (можда погрешан)
Одговор из вашег тренутног документа
Ако то није у извору, он то измишља
Он каже „Немам ове информације“ и преноси их даље.
Може заокружити и изобличити бројеве
Тачно одржава дан/износ/стопу
Разлика је у томе што јаки промпт даје моделу сидро (изворни текст) и забрану (излазак из извора). Модел више не говори из сећања, већ из стварности која је пред њим.
Три мини кућишта
Случај 1 — Замка старе политике. „Поврат се прихвата у року од 30 дана“, рекао је бот једне продавнице док је радио без кредита; Међутим, компанија је смањила период на 14 дана. Када се ажурирани текст политике дода извору у РАГ инсталацији, бот сада одговара „14 календарских дана [Извор: Политика враћања, члан 2]“. Спорови о повраћају новца који произилазе из лажних обећања су поништени.
Случај 2 — Ухватити контрадикцију. Купац је питао о трошковима доставе. Као извори у систем су унети и стари и нови ценовники. Захваљујући промпту са више извора, модел је рекао: „Два извора дају различите цене (49 ТЛ и 59 ТЛ); морам да потврдим тренутни” и пренео проблем човеку. Уместо да купцу каже нетачан износ, он је искрено саопштио неизвесност.
Случај 3 — Дисциплина делимичног одговора. „Да ли шаљете производ у иностранство и ко плаћа царину?“ У питању је извор само рекао да је пошиљка направљена, да нема ништа о томе ко је платио порез. Модел је рекао: „Да, испорука се врши у иностранству [Извор: Царго ФАК]. Међутим, у овом документу није наведено ко плаћа царину; Пребацујем вас службенику да то разјасните.“ Уместо полуистинитог, полуизмишљеног одговора, произвео је поштен и сигуран резултат.
Савет: Задржите најновију верзију своје базе знања са једним извором истине. Имати исте информације (нпр. период повратка) другачије написане у три одвојена документа највећи је непријатељ РАГ-а; Модел реагује различито у зависности од тога који модел гледа. Прво уклоните дупликате докумената, а затим их аутоматизујте.
Провера: Не опуштајте се само зато што извор постоји
РАГ у великој мери смањује халуцинацију, али је не ресетује. Модел понекад може погрешно протумачити извор, помешати две реченице или извући „закључак“ који није у извору. Због тога је услов цитирања критичан: отворите одељак на коме се одговор тврди да се заснива и проверите да ли тако пише. О овој контроли се не може преговарати, посебно у одговорима који садрже бројеве (дан, износ, стопа) и услове (изузетак, услов).
Опрез: Ако је сам извор погрешан или застарео, РАГ верно понавља ту грешку. Рећи „модел говори из извора“ не значи „модел говори исправно“; Ви сте одговорни за валуту и тачност вашег извора.
Одржавање базе знања спремном за одговор
Квалитет РАГ-а у великој мери зависи од тога како је написан изворни текст. Модел даје много тачнији одговор од добро структурираних, насловљених текстова са једном темом. Практични савети: напишите своје смернице у кратким, насловљеним одељцима, а не дугим, угнежђеним параграфима; Нека сваки одељак одговори на једно питање („Колико дана је рок за враћање?“, „Који производи се не могу вратити?“). Одржавање често постављаних питања (ФАК) у формату питања и одговора олакшава моделу да пронађе прави део. Наведите вредности као што су датум, износ и цена јасно и на једном месту у тексту; Различито писање истог броја у различитим деловима збуњује модел.
Још једна важна навика је одржавање базе знања живом. Политика, цене и промоције варирају; Ако се извор не ажурира, модел наставља безбедно да понавља стару истину. Са сваком променом политике, ажурирајте извор и поново поставите моделу неколико тест питања о промењеној теми да бисте потврдили да даје тачан одговор. Ово мало, али редовно одржавање спречава да РАГ систем „тихо пође по злу“ током времена.
Уобичајене грешке
- Рећи „објасните нашу политику“ без закопавања извора и ослањајући се на памћење модела.
- Не дефинисање границе „одговор само из извора“ и понашање које није извор.
- Не захтевајући цитат/референцу извора и остављајући одговор непроверљивим.
- Чување конфликтних верзија истих информација у више докумената у бази знања.
- Омогућавање моделу да заокружи/тумачи нумеричке вредности.
- Заборављање ажурирања извора, узрокујући да модел верно понавља старе информације.
Укратко
- РАГ значи да модел производи свој одговор из тренутног изворног документа, а не из меморије.
- Најпрактичнији начин да се смањи халуцинација: закопајте извор, реците „само одговори овде“, затражите цитат.
- Ако одговор није у извору, не треба одговарати моделу; Требало би да каже "немам" и преда.
- Учините модел свестан конфликтних извора; Тачно сте сачували нумеричке вредности.
- РАГ тачност зависи од правовремености вашег извора; Увек потврдите цитат.
Задатак апликације
Узмите стварни текст политике (повратак, испорука или чланство) из сопственог предузећа и уградите га као извор у основни РАГ упит изнад. Затим поставите три питања: (1) питање чији је одговор јасан у извору, (2) питање чији одговор уопште није у извору, (3) питање чији је одговор само непотпун у извору. Проверите да ли модел одговара тачно, каже „Немам га“ и искрено означава делимичан одговор и одговор који недостаје. Исправите девијантно понашање јачањем правила лојалности и не-ресурса у промпту.
контролна листа
- [ ] У промпт сам уградио тренутни извор на коме ће се заснивати одговор.
- [ ] Додао сам правило „Само одговор од извора, не иди даље“.
- [ ] Поставио сам референцу на извор / захтев за цитирање.
- [ ] Дефинисао сам понашање делегирања ако одговор није доступан у извору.
- [ ] Захтевао сам да се нумеричке вредности тачно сачувају.
- [ ] Потврдио сам одговор из изворне реченице на којој се заснива.