Печалби:
- Разбиране на логиката на генерирането на базата на знания (RAG) и защо то намалява халюцинациите
- Възможност моделът да отговори с цитиране, базирано само на предоставените изходни документи
- Възможност за управление на въпроси, които не са в източника, като ги прехвърля безопасно, без да измисля въпроси
Един езиков модел „знае“ много, но не знае днешната политика за връщане на вашата компания, текущата ви ценова листа или вашето споразумение за доставка, което се е променило вчера. По-лошото е, че когато не знае, често си измисля и пише с изключително уверен тон. Това е фатален недостатък в обслужването на клиенти: моделът казва „Възстановяванията се извършват в рамките на 30 дни“, докато вашата полица може да е 14 дни. Подходът, който затваря тази празнина, се нарича RAG: Retrieval-Augmented Generation, т.е. „производство с разширено извличане“.
Идеята е проста: Моделът отговаря на въпроса не по памет, а от правилните изходни документи, поставени пред него в този момент. Първо, правилната част от документа, свързана с въпроса, е „извличане“, след което моделът „генерира“ отговора въз основа само на тази част. В този урок ще разберете логиката на RAG и ще научите как да контролирате модела, така че да се придържа само към проверения източник, който предоставяте.
Забележка: Този модул учи работната логика и страната на подканите на RAG. Системите за автоматично извличане на документи в мащаб на предприятието (векторна база данни и т.н.) изискват техническа инсталация; Дисциплината тук е основата на тази система да реагира правилно.
Защо RAG намалява халюцинациите?
Халюцинация е, когато моделът произвежда нереална информация, сякаш е истинска. Моделът е програмиран да произвежда отговор, който изглежда „възможен“, когато види пропуск; Не знае дали е вярно или не. RAG запълва тази празнина: вие давате на модела действителния уместен текст заедно с въпроса и казвате „само отговор от тук“. По този начин моделът няма нужда да пасва.
Има три компонента:
- База от знания: Надеждни текстове като често задавани въпроси, документи за политики, ръководства за продукти, ценови листи.
- Извличане: Намиране на част от документа, съдържащ отговора на въпроса, и предоставянето му на модела.
- Ограничено издание: Моделът отговаря с оферта, базирана само на доставената част.
Стъпка по стъпка: верен отговор на източника
- Подгответе източника. Намерете текста, на който ще се основава отговорът (политика, ЧЗВ) в ясен и актуален формат.
- Вградете източника в подканата. Поставете текста в етикет като <source>.
- Напишете правилото за лоялност. "Използвайте само информацията от източника; не се отклонявайте от източника."
- Направете цитиране задължително. Нека той/тя посочи на кой раздел се базира отговорът.
- Идентифицирайте нересурсно поведение. Ако отговорът не е в източника, нека каже "нямам тази информация" и го предаде.
- Проверете. Потвърдете отговора, като го сравните с изходното изречение, на което се основава.
Подкани за копиране
Подкана за отговор въз основа на основния източник:
Роля: Вие сте асистент за поддръжка на клиенти. Отговорете на въпроса САМО въз основа на информацията в блока <source> по-долу. Не добавяйте никаква информация, която не е в източника, предположение или отговор от вашите общи познания. Добавете раздела, на който разчитате, в края на отговора си във формат „[Източник: ...]“. Ако отговорът не е в източника, напишете следното: „Нямам окончателна информация по този въпрос, прехвърлям ви към служител, който може да даде правилния отговор.“<source>{{ policy_or_faq_text }}</source>Въпрос: {{ customer_question }}
В случай на множество източници, подканата да се покаже на кой документ е базиран:
Има множество ресурси, номерирани по-долу. Когато отговаряте на въпроса, посочете номера на източника, който сте използвали, например [Източник 2]. Ако повече от един източник ви противоречи, кажете го ясно и заявете, че трябва да попитате кой е по-актуален.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Въпрос: {{ customer_question }}
Подкана, която безопасно управлява въпроса, който не е източник:
Ако отговорът на въпроса се намира ЧАСТИЧНО в източника: отговорете само на частта, покрита от източника, и кажете „този детайл не е в източника“ за останалата част. Никога не попълвайте липсващата част с познания.
Подкана, която превежда отговора на езика на клиента, но остава вярна на източника:
Преведете официалния/технически израз в източника на ясен език, който клиентът може да разбере, но НЕ променяйте значението и числовите стойности (ден, сума, курс). Например закръгляване на "14 календарни дни" до "около две седмици"; запази пълна стойност.
Слаба подкана / Силна подкана
Слаба подкана
Мощна подкана
„Разкажете ни за нашата политика за връщане“
Вгражда източник + „отговорете само тук“ + заявки за оферта
Отговор по памет на модела (може и грешен)
Отговор от текущия ви документ
Ако не е в източника, той си го измисля
Казва "нямам тази информация" и я предава.
Може да закръгля и изкривява числата
Поддържа ден/сума/ставка точно
Разликата е, че силната подкана дава на модела котва (изходен текст) и забрана (излизане от източника). Моделът вече не говори по памет, а от реалността пред себе си.
Три мини калъфа
Случай 1 — Старият капан на политиката. „Връщания се приемат в рамките на 30 дни“, каза бот на един магазин, докато работи без кредит; Компанията обаче намали срока до 14 дни. Когато актуализираният текст на правилата се добави към източника в RAG инсталацията, ботът вече отговаря „14 календарни дни [Източник: Правила за връщане, статия 2]“. Споровете за възстановяване на средства, произтичащи от фалшиви обещания, бяха нулирани.
Случай 2 — Улавяне на противоречието. Клиент попита за разходите за доставка. В системата бяха въведени като източници както старите, така и новите ценови листи. Благодарение на подканата с множество източници, моделът каза: „Два източника дават различни цени (49 TL и 59 TL); трябва да потвърдя текущата“ и предаде проблема на човека. Вместо да каже на клиента невярна сума, той съобщи несигурността честно.
Случай 3 — Частична дисциплина при реагиране. „Изпращате ли продукта в чужбина и кой плаща митото?“ Във въпроса източникът каза само, че пратката е извършена, нямаше нищо за това кой е платил данъка. Моделът каза: „Да, изпращането се извършва в чужбина [Източник: Cargo FAQ]. В този документ обаче не е посочено кой плаща митото; прехвърлям ви към длъжностното лице, за да изясним това.“ Вместо полуверен, полуизмислен отговор, той даде честен и уверен резултат.
Съвет: Съхранявайте най-актуалната и единствен източник на истина версия на вашата база знания. Наличието на една и съща информация (напр. период на връщане), написана по различен начин в три отделни документа, е най-големият враг на RAG; Моделът реагира по различен начин в зависимост от това кой гледа. Първо дедупликирайте вашите документи, след това ги автоматизирайте.
Проверка: Не се отпускайте само защото източникът съществува
RAG значително намалява халюцинациите, но не ги нулира. Понякога моделът може да тълкува погрешно източника, като смесва две изречения или прави „заключение“, което не е в източника. Ето защо изискването за цитиране е критично: отворете раздела, на който се твърди, че се основава отговорът, и проверете дали наистина го казва. Този контрол не подлежи на обсъждане, особено в отговорите, съдържащи числа (ден, сума, процент) и условия (изключение, условие).
Внимание: Ако самият източник е грешен или остарял, RAG вярно повтаря тази грешка. Казването "моделът говори от източника" не означава "моделът говори правилно"; Вие носите отговорност за актуалността и точността на вашия източник.
Поддържане на базата знания в готовност за реакция
Качеството на RAG зависи до голяма степен от това как е написан изходният текст. Моделът връща много по-точен отговор от добре структурирани, озаглавени текстове с една тема. Практически съвет: напишете политиките си в кратки, озаглавени раздели, а не в дълги, вложени параграфи; Нека всеки раздел отговаря на един въпрос („Колко дни е срокът за връщане?“, „Кои продукти не могат да бъдат върнати?“). Поддържането на често задавани въпроси (ЧЗВ) във формат въпроси и отговори улеснява модела да намери правилната част. Посочете стойности като дата, сума и курс ясно и на едно място в текста; Изписването на едно и също число по различен начин в различни секции обърква модела.
Друг важен навик е да поддържате базата от знания жива. Политиките, цените и промоциите варират; Ако източникът не се актуализира, моделът продължава безопасно да повтаря старата истина. При всяка промяна на правилата актуализирайте източника и задавайте отново на модела няколко тестови въпроса относно променената тема, за да потвърдите, че дава правилния отговор. Тази малка, но редовна поддръжка предпазва системата RAG от „безшумно объркване“ с течение на времето.
Често срещани грешки
- Казвайки „обяснете нашата политика“, без да погребвате източника и да разчитате на запаметяването на модела.
- Недефиниране на границата „отговор само от източник“ и поведение без източник.
- Без искане на цитат/препратка към източник и оставяне на отговора непотвърден.
- Поддържане на противоречиви версии на една и съща информация в множество документи в базата знания.
- Позволяване на модела да закръгля/интерпретира числови стойности.
- Забравяйки да актуализирате източника, карайки модела да повтаря вярно старата информация.
В обобщение
- RAG означава, че моделът произвежда своя отговор от текущия изходен документ, а не от паметта.
- Най-практичният начин за намаляване на халюцинациите: погребете източника, кажете „отговорете само тук“, поискайте цитат.
- Ако отговорът не е в източника, човек не трябва да пасва на модел; Трябва да каже „нямам“ и да го предаде.
- Осведомете модела за противоречиви източници; Вие запазихте точно числените стойности.
- Точността на RAG зависи от навременността на вашия източник; Винаги потвърждавайте офертата.
Задача за приложение
Вземете текст на действителна политика (връщане, доставка или членство) от собствения си бизнес и го вградете като източник в основния RAG подкана по-горе. След това задайте три въпроса: (1) въпрос, чийто отговор е ясен в източника, (2) въпрос, чийто отговор изобщо не е в източника, (3) въпрос, чийто отговор е само непълен в източника. Проверете дали моделът отговаря правилно, казва „Нямам го“ и честно маркира съответно частичния отговор и липсващия. Коригирайте девиантното поведение чрез укрепване на правилата за лоялност и нересурсите в подканата.
контролен списък
- [ ] В подканата вградих текущия източник, на който ще се основава отговорът.
- [ ] Добавих правилото „Отговаряйте само от източника, не надхвърляйте“.
- [] Поставих изискване за препратка към източник/цитиране.
- [ ] Дефинирах поведение на делегиране, ако отговорът не е наличен в източника.
- [ ] Изисках цифровите стойности да бъдат запазени точно.
- [ ] Потвърдих отговора от изходното изречение, на което се основава.