Печалби:
- Обяснете причините за халюцинациите и ролята на заземяването
- Прилагане на техники, които карат модела да каже „не знам“, ако не е в контекста
- Гарантиране на доверие и възможност за проверка чрез добавяне на проверими източници/цитати към отговорите
Най-опасното поведение на един езиков модел е да измисля нещо, което не знае, с уверен и убедителен тон. Това се нарича халюцинация. Да халюцинираш в корпоративен асистент е не само досадно, но и направо рисковано: грешен почивен ден, грешна цена, грешно правно съдържание всъщност могат да изложат служител или клиент на опасност. В тази част ние разглеждаме защо възникват халюцинации, как да ги намалим в RAG и как да направим отговора проверим.
Какво причинява халюцинации?
Моделът е обучен да произвежда следващата най-вероятна дума; Не „кажете истината“, а „създайте гладък и разумен текст“. Ако информацията липсва, тя може да запълни празнината с нещо статистически правдоподобно, но фактически невярно. Три типични тригера:
- Няма отговор в контекста, но моделът все пак се чувства длъжен да каже нещо.
- Контекстът е противоречив или неадекватен; Моделът затваря празнината с прогнозиране.
- Въпросът надхвърля контекста; моделът се връща към собствените си общи (и вероятно остарели) знания.
RAG намалява халюцинациите, защото дава на модела реален източник — но не го нулира. Ако донесете грешна част или оставите на модела "свобода за запълване на празнината", системата с RAG също може да се побере.
вид халюцинация
симптом
първопричина
слой разтвор
произхождащи от извличане
Верният отговор е в документа, но не е пристигнал
Доставена е грешна/липсваща част
Разделяне, хибрид, прекласиране (Единица 3-4)
Произход от поколение
Пристигна правилната част, но отговорът е грешен/трябва да се добави
Моделът запълни празнината с прогнози
Заземяване, разрешение „не знам“, ниска креативност
Източник на цитиране
Отговорът е правилен, но източникът е грешен
Моделът се отнася до грешна част
Проверка на цитиране (вижте Раздел 8)
Съвет: Разделете халюцинацията на две части. Произхожда от извличане: пристигна грешна/липсваща част (решение: подобряване на извличането). Източник на генериране: Пристигна правилната част, но моделът я прочете/добави неправилно (решение: подкана и заземяване). Не можете да го поправите, освен ако не знаете кой е той.
Заземяване: Заковаване на отговора в контекста
Заземяването е името, дадено на всички техники за казване на модела „просто разчитайте на текста, който ви давам, не го надхвърляйте“. Неговата най-основна и най-ефективна техника: изрично даване на разрешение на модела да каже „не знам“. Моделът, подобно на човека, се колебае да каже "не знам"; Трябва да му дадете изрично разрешение за това.
Отговорете само въз основа на КОНТЕКСТА по-долу. Ако отговорът не е ЯСЕН в контекста, напишете точно това: „Не можах да намеря достатъчно информация за това в документацията.“ Не включвайте числа, дати или имена, които не са в контекста. Не гадайте.
Допълнителни техники за заземяване:
- Изискване за цитиране: Преди всяко твърдение, цитирайте контекста дословно („Документът казва:...'”). Произвеждането на изфабрикувани цитати е по-трудно за модела.
- Ниска температура: Температурата (температура, креативност/произволна настройка) трябва да е ниска. Забележка: в някои текущи модели този параметър е премахнат; В тях осигурявате заземяване с подкана. Високата креативност е враг на корпоративната почтеност.
- Ограничение на обхвата: „Отговаряйте само на проблеми с правилата за съгласие; учтиво откажете да се откажете.“
Цитиране
Най-силната системна защита срещу халюцинациите е отговорът да бъде проверим. Ако потребителят може да види на кой документ се основава отговорът: (1) той може сам да хване грешката, (2) одитът става възможен, (3) доверието се увеличава и (4) моделът работи по-внимателно със съзнанието, че „ще трябва да цитирам източника“.
Два често срещани подхода:
Вградено приписване: Маркер за източник до всяко твърдение. „Годишният отпуск е 14 дни [1].“ По-долу е пълната документация на [1].
Структуриран изход: Искане на модела да създаде отговора и списъка с източници в отделни полета; Показване на ресурси като връзки с възможност за кликване в интерфейса.
# Създаване на структуриран отговор въз основа на модела (концептуален) Дайте своя отговор в следната структура:- отговор: <отговор, базиран на контекст>- източници: [{"part_no": 1, "file": "...", "section": "..."}]- доверие: <високо|средно|ниско> # Колко ясно го поддържа контекстът? Ако контекстът не поддържа отговора, напишете „няма намерена информация“ в полето за отговор и оставете източниците празни.
За да работи Citation наистина, е необходимо да се провери дали приписването е правилно. Понякога моделът може да даде правилния отговор, но да даде грешен източник. Усъвършенстваните системи автоматично проверяват дали всяка произведена претенция действително се поддържа в частта, към която сочи (измерването на „вярност“ в следващата единица).
Слаб/Силен: Подсказване срещу халюцинации
Слаб (покана за попълване на празното):
Отговорете на въпроса възможно най-добре с информацията, която имате: {context} Въпрос: {question}# „Доколкото можете“ означава „познайте, ако не знаете“ за модела.
Силен (заземяване + не знам разрешение + източник + доверие):
Просто разчитайте на КОНТЕКСТ. В противен случай кажете „Не успях да намеря информация“; съставен номер/дата/име. Добавете [n] номер на източник към всяка претенция. Посочете нивото на доверие, поддържано от контекста. КОНТЕКСТ: [1]... [2]... ВЪПРОС: {въпрос}
Три мини калъфа
Случай 1 — Измислен номер на артикул. Помощник-юрист измисли изявление по „член 17/Б“, което беше извън контекста и даде невярна информация на служителя. Когато беше добавена инструкцията „Не давай номер на статия, която не е в контекста, иначе кажи не знам“ + задължението за цитиране, случаите на измислени статии намаляха от 11 на 0 в 40 примера.
Случай 2 — Правилен отговор, грешен източник. Асистент по поддръжката посочи правилния период за връщане, но цитира грешната статия; Когато клиентът кликне върху връзката, се отваря неподходяща страница. Когато беше добавена проверка на цитиране (проверка дали твърдението се появява в цитираната част), процентът на фалшивите цитати спадна от 23% на 2%.
Случай 3 — Не е дадено разрешение „Не знам“. Асистент по човешки ресурси беше измислил правдоподобен, но неправилен отговор на въпрос, който не беше в документа. Когато изричното съгласие „Не знам“ и пълният текст („Не можах да намеря информация за това в документацията“) бяха добавени към подканата, честният процент на отхвърляне на въпроси без отговор, а не измислици, се увеличи от 8% на 95%.
Често срещани грешки
- Недопускане на „не знам“: Моделът запълва празнината с измислица.
- Поддържане на висока креативност: Случайността е в ущърб на корпоративната почтеност.
- Доверяване на източника, без да го проверявате: Моделът може да прикачи грешен източник към правилния отговор.
- Не се прави разлика между двата вида халюцинации: Поправяте грешното място, без да знаете дали е причинено от извличане или генериране.
- Погрешно цитиране за козметика: Цитирането на източника е едновременно потвърждение и възпиращо средство; вземете го на сериозно.
Внимание: „Моделът изглежда много уверен“ не е същото като „моделът е правилен“. Халюцинациите обикновено са най-плавните и уверени изречения. Прочетете доверието от източника, който посочва, а не от тона на изречението.
В обобщение
- Халюцинация е, когато моделът запълва информационната празнина с правдоподобен, но неверен текст; RAG намалява, но не нулира.
- Халюцинацията може да бъде причинена от извличане (грешна част) или генериране (грешно четене); Първо определете кой.
- Най-мощната техника на заземяването е да даде на модела изрично разрешение „не знам“; също изискване за цитиране и ниска креативност.
- Цитирането прави отговора проверим; Това едновременно дава увереност и кара модела да се произвежда предпазливо.
- Трябва да се провери и точността на цитирането; Грешен източник може да бъде прикачен към верния отговор.
Задача за приложение
(1) Подгответе 4 въпроса, които да зададете на вашия асистент, отговорите на които не са в документите (въпроси-капан). Тествайте всеки един със слабата и силната подкана и маркирайте дали моделът пасва или не. (2) За 4-те въпроса, чиито отговори са в документа, накарайте модела да генерира номера на заваръчния шев и ръчно да провери дали заваръчният шев, който показва, всъщност е правилната част. (3) Проверете дали моделът дава "правилен отговор, грешен източник" в поне един случай и напишете в едно изречение как можете да уловите това автоматично.
контролен списък
- [ ] Мога да кажа защо се случва халюцинацията и че RAG я намалява, но не я нулира.
- [ ] Мога да правя разлика между халюцинациите, предизвикани от извличане и генериране, и да коригирам правилното място.
- [] Добавям изрично разрешение „Не знам“ и правила за заземяване към подканата.
- [ ] Добавям проверим източник (цитат) към отговора.
- [ ] Разбирам необходимостта от допълнителна проверка на точността на приписването.