Генерирање одговори од базата на знаење (Вовед во RAG)

Добивки:

• Разбирање на логиката на генерирање базирано на знаење (RAG) и зошто ги намалува халуцинациите
• Способност моделот да одговори со цитирање, само врз основа на дадените изворни документи
• Способност за управување со прашања кои не се во изворот со нивно безбедно пренесување, без да се поставуваат прашања

Јазичниот модел „знае“ многу, но не ја знае политиката за враќање на вашата компанија денес, вашиот тековен ценовник или вашиот договор за испорака што се промени вчера. Уште полошо, кога не знае, често измислува и пишува со крајно самоуверен тон. Ова е фатален недостаток во услугите на клиентите: моделот вели „Враќањата се издаваат во рок од 30 дена“, додека вашата политика може да биде 14 дена. Пристапот што ја затвора оваа празнина се нарекува RAG: Retrieval-Augmented Generation, односно „производство зголемено со пребарување“.

Идејата е едноставна: моделот одговара на прашањето не од меморија, туку од точните изворни документи поставени пред него во тој момент. Прво, точниот дел од документот релевантен за прашањето е „пронаоѓање“, потоа моделот „генерира“ одговор само врз основа на тоа парче. Во оваа единица, ќе ја разберете логиката на RAG и ќе научите како да го зауздате моделот за да се држи само до проверениот извор што го давате.

Забелешка: Оваа единица ја учи работната логика и промптната страна на RAG. Системите за автоматско пронаоѓање документи (векторска база на податоци итн.) бараат техничка инсталација; Дисциплината овде е основа за тој систем да реагира правилно.

Зошто RAG ги намалува халуцинациите?

Халуцинација е кога моделот произведува нереални информации како да се реални. Моделот е програмиран да произведе одговор што изгледа „можно“ кога ќе види празнина; Не знам дали е вистина или не. RAG ја пополнува оваа празнина: му го давате на моделот вистинскиот релевантен текст заедно со прашањето и велите „одговор само од тука“. На овој начин моделот не „треба“ да се вклопува.

Постојат три компоненти:

• База на знаење: веродостојни текстови како што се ЧПП, документи за политики, прирачници за производи, ценовници.
• Пронаоѓање: Пронаоѓање на делот од документот што го содржи одговорот на прашањето и давање на моделот.
• Ограничено издание: Моделот одговара со цитат, само врз основа на доставениот дел.

Чекор по чекор: верен одговор на изворот

1. Подгответе го изворот. Најдете го текстот на кој ќе се заснова одговорот (политика, ЧПП) во јасен и ажуриран формат.
2. Вметнете го изворот во промптот. Ставете го текстот во ознака како <извор>.
3. Напишете го правилото за лојалност. „Користете ги само информациите од изворот; не скршнувајте од изворот“.
4. Потребно е цитирање. Нека укаже на кој дел се заснова одговорот.
5. Идентификувајте однесување без ресурси. Ако одговорот го нема во изворот, нека каже „Јас ги немам овие информации“ и нека пренесе.
6. Потврди. Потврдете го одговорот споредувајќи го со изворната реченица на која се заснова.

Потсетници за копирање

Прашање за одговор врз основа на основниот извор:

Улога: Вие сте помошник за поддршка на клиентите. Одговорете на прашањето САМО врз основа на информациите во блокот <source> подолу. Не додавајте никакви информации што ги нема во изворот, погодувајте или одговорете од вашето општо знаење. Додајте го делот на кој се потпирате на крајот од вашиот одговор во формат „[Извор: ...]“. Доколку одговорот не е во изворот, напишете го следново: „Немам дефинитивни информации за оваа тема, ве префрлам на службено лице кое може да го даде точниот одговор.“<source>{{ policy_or_faq_text }}</source>Прашање: {{ customer_question }}

Во случај на повеќе извори, барањето да се покаже на кој документ се базира:

Постојат повеќе ресурси нумерирани подолу. Кога одговарате на прашањето, наведете го бројот на изворот што сте го користеле, како на пример [Извор 2]. Ако повеќе од еден извор ви противречи, кажете го толку јасно и наведете дека треба да прашате кој е поажурен.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Прашање: {{ customer_question }}

Промотор што безбедно управува со прашањето што не е извор:

Ако одговорот на прашањето ДЕЛУМНО се најде во изворот: одговорете само на делот опфатен со изворот, а за останатиот дел кажете „овој детал не е во изворот“. Никогаш не пополнувајте го делот што недостасува со погодување.

Промпт кој го преведува одговорот на јазикот на клиентот, но останува верен на изворот:

Преведете го официјалниот/техничкиот израз во изворот на едноставен јазик што клиентот може да го разбере, но НЕ менувајте го значењето и нумеричките вредности (ден, износ, стапка). На пример, заокружување на „14 календарски денови“ на „околу две недели“; задржи целосна вредност.

Слаба навестување / Силен навестување

Слаба навестување

Моќен потсетник

„Кажете ни за нашата политика за враќање“

Вградува извор + „одговор само овде“ + понуда за барање

Одговор од сеќавање на моделот (можеби погрешен)

Одговор од вашиот тековен документ

Ако не е во изворот, тој измислува

Тој вели „Јас ги немам овие информации“ и ги пренесува.

Може да заокружи и искривува броеви

Точно го одржува денот / износот / стапката

Разликата е во тоа што силната промпт му дава на моделот сидро (изворен текст) и забрана (излегување од извор). Манекенката повеќе не зборува од памет, туку од реалноста пред себе.

Три мини футроли

Случај 1 - Старата стапица на политиката. „Враќањата се прифаќаат во рок од 30 дена“, рече ботот на една продавница додека работи без кредит; Сепак, компанијата го намали периодот на 14 дена. Кога ажурираниот текст на политиката ќе се додаде на изворот во инсталацијата RAG, ботот сега одговара „14 календарски дена [Извор: Политика за враќање, член 2]“. Споровите за враќање на парите што произлегуваат од лажни ветувања се ресетирани.

Случај 2 - Фаќање на контрадикторноста. Еден клиент праша за трошоците за испорака. Како извори во системот беа внесени и стариот и новиот ценовник. Благодарение на известувањето со повеќе извори, моделот рече: „Два извори даваат различни цени (49 TL и 59 TL); Треба да ја потврдам сегашната“ и го пренесе проблемот на човекот. Наместо да му каже на клиентот неточна сума, тој искрено ја соопштил неизвесноста.

Случај 3 - Дисциплина на делумен одговор. „Дали го испраќате производот во странство и кој ја плаќа царината? Во прашањето изворот само кажа дека пратката е направена, нема ништо кој го платил данокот. Моделот рече: „Да, превозот се врши во странство [Извор: ЧПП за карго]. Сепак, во овој документ не е наведено кој ја плаќа царината; ве пренесувам кај службеникот за да го разјасниме ова“. Наместо полуточен, полу-фабрикуван одговор, тој даде искрен и сигурен резултат.

Совет: чувајте ја најактуелната и единствена верзија на вистинитоста од вашата база на знаење. Да се ​​имаат исти информации (на пр. период на враќање) напишани различно во три посебни документи е најголемиот непријател на RAG; Моделот реагира различно во зависност од тоа во кој поглед гледа. Прво дедупликирајте ги вашите документи, а потоа автоматизирајте ги.

Потврда: Не се опуштајте само затоа што изворот постои

RAG во голема мера ја намалува халуцинацијата, но не ја ресетира. Моделот понекогаш може погрешно да го протолкува изворот, да измеша две реченици или да извлече „заклучок“ што не е во изворот. Затоа условот за цитирање е критичен: отворете го делот на кој се тврди дека се заснова одговорот и проверете дали навистина го кажува тоа. Оваа контрола не може да се преговара, особено во одговорите што содржат бројки (ден, износ, стапка) и услови (исклучок, услов).

Внимание: Ако самиот извор е погрешен или застарен, RAG верно ја повторува таа грешка. Да се ​​каже „моделот зборува од изворот“ не значи „моделот зборува правилно“; Вие сте одговорни за валутата и точноста на вашиот извор.

Одржување на базата на знаење подготвена за одговор

Квалитетот на RAG во голема мера зависи од тоа како е напишан изворниот текст. Моделот дава многу попрецизен одговор отколку добро структурирани, насловени текстови со една тема. Практичен совет: напишете ги вашите политики во кратки, насловени делови наместо долги, вгнездени параграфи; Секој дел нека одговори на едно прашање („Колку дена е периодот на враќање?“, „Кои производи не можат да се вратат?“). Чувањето на често поставуваните прашања (ЧПП) во формат на прашање и одговор му олеснува на моделот да го најде вистинскиот дел. Наведете ги вредностите како датум, износ и стапка јасно и на едно место во текстот; Пишувањето на ист број различно во различни делови го збунува моделот.

Друга важна навика е да се одржува жива базата на знаење. Политиките, цените и промоциите се разликуваат; Ако изворот не се ажурира, моделот продолжува безбедно да ја повторува старата вистина. Со секоја промена на политиката, ажурирајте го изворот и повторно поставете му на моделот неколку тест прашања за променетата тема за да потврдите дека го дава точниот одговор. Ова мало, но редовно одржување го спречува системот RAG „тивко да тргне наопаку“ со текот на времето.

Вообичаени грешки

• Велејќи „објаснете ја нашата политика“ без да го закопате изворот и да се потпрете на меморирањето на моделот.
• Не дефинирање на границата „одговор само од извор“ и однесување без извор.
• Не барајќи референца за цитат/извор и оставајќи го одговорот непроверлив.
• Чување на конфликтни верзии на истите информации во повеќе документи во базата на знаење.
• Дозволување на моделот да заокружи/интерпретира нумерички вредности.
• Заборавајќи да го ажурирате изворот, предизвикувајќи моделот верно да ги повторува старите информации.

Сумирано

• RAG значи дека моделот го произведува својот одговор од тековниот изворен документ, наместо од меморијата.
• Најпрактичен начин да се намали халуцинацијата: закопајте го изворот, кажете „само одговорете овде“, побарајте цитирање.
• Ако одговорот не е во изворот, не треба да одговара на модел; Треба да каже „немам“ и да го предаде.
• Направете го моделот свесен за конфликтните извори; Точно ги зачувавте нумеричките вредности.
• Точноста на RAG зависи од навременоста на вашиот извор; Секогаш потврдувајте го цитатот.

Задача за апликација

Земете вистински текст на политиката (враќање, испорака или членство) од вашиот сопствен бизнис и вметнете го како извор во основната порака RAG погоре. Потоа поставете три прашања: (1) прашање чиј одговор е јасен во изворот, (2) прашање чиј одговор воопшто не е во изворот, (3) прашање чиј одговор е само нецелосен во изворот. Проверете дали моделот одговара точно, вели „Немам“ и искрено го означува делумниот одговор и оној што недостасува, соодветно. Поправете го девијантното однесување со зајакнување на правилата за лојалност и нересурси во промптот.

листа за проверка

• [ ] Го вградив тековниот извор на кој ќе се заснова одговорот во промптот.
• [ ] Го додадов правилото „Одговори само од изворот, не оди подалеку“.
• [ ] Поставив барање за повикување на извор/цитирање.
• [ ] Го дефинирав однесувањето на делегирање ако одговорот не е достапен во изворот.
• [ ] Барав точно да се зачуваат нумеричките вредности.
• [ ] Одговорот го потврдив од изворната реченица на која се заснова.