Прибыль:
- Объяснить причины галлюцинаций и роль заземления.
- Применение методов, которые заставляют модель говорить «Я не знаю», если это не в контексте.
- Обеспечение доверия и возможности проверки путем добавления к ответам проверяемых источников/цитатов.
Самое опасное поведение языковой модели — уверенно и убедительно выдумывать то, чего он не знает. Это называется галлюцинация. Галлюцинации в корпоративном помощнике не просто раздражают, это просто рискованно: неправильный выходной, неправильная цена, неправильная юридическая основа могут реально нанести вред сотруднику или клиенту. В этом разделе мы рассмотрим, почему возникают галлюцинации, как уменьшить их при РАГ и как сделать ответ поддающимся проверке.
Что вызывает галлюцинации?
Модель обучена выдавать следующее наиболее вероятное слово; Не «говорить правду», а «составлять беглый и разумный текст». Если информация отсутствует, она может заполнить пробел чем-то статистически правдоподобным, но фактически неверным. Три типичных триггера:
- В контексте нет ответа, но модель все равно чувствует себя обязанной что-то сказать.
- Контекст противоречив или неадекватен; Модель устраняет разрыв с прогнозированием.
- Вопрос выходит за рамки контекста; модель возвращается к своим собственным общим (и, возможно, устаревшим) знаниям.
RAG уменьшает галлюцинации, поскольку дает модели реальный источник, но не сбрасывает его. Если вы привезете не ту деталь или оставите модели «свободу заполнения пробелов», система с RAG тоже подойдет.
тип галлюцинации
симптом
первопричина
слой раствора
происходящий из поиска
Правильный ответ есть в документе, но он не пришел.
Доставлена не та/отсутствующая деталь
Дробление, гибрид, переранжирование (Блок 3-4)
Генерация получена
Пришла правильная деталь, но ответ неправильный/нужно добавить
Модель заполнила пробел в прогнозировании
Заземление, разрешение «Я не знаю», низкий уровень креативности.
Источник цитирования
Ответ правильный, но источник неправильный
Модель относится к неправильной детали
Проверка цитирования (см. Модуль 8)
Подсказка: разделите галлюцинацию на две части. Получено из поиска: прибыла неправильная/отсутствующая деталь (решение: улучшить поиск). Источник генерации: Пришла правильная деталь, но модель прочитала/добавила ее неправильно (решение: подсказка и заземление). Вы не сможете это исправить, если не знаете, какой именно.
Заземление: определение ответа в контексте
Заземление — это название всех техник, говорящих модели: «Просто полагайтесь на текст, который я вам даю, не выходите за его рамки». Его самая простая и самая эффективная техника: открыто дать модели разрешение сказать: «Я не знаю». Модель, как и человек, не решается сказать «Я не знаю»; Вы должны дать ему на это прямое разрешение.
Отвечайте только на основе КОНТЕКСТА, приведенного ниже. Если ответ НЕ ЯСНО по контексту, напишите именно так: «Я не смог найти достаточно информации по этому поводу в документации». Не включайте никаких чисел, дат или имен, которые не находятся в контексте. Не угадывайте.
Дополнительные приемы заземления:
- Требование к цитированию: перед каждым утверждением дословно цитируйте контекст («В документе сказано: «...»»). Для модели сложнее создавать сфабрикованные котировки.
- Низкая температура: Температура (температура, креативность/произвольная настройка) должна быть низкой. Примечание: в некоторых текущих моделях этот параметр удален; В них вы обеспечиваете заземление с подсказкой. Высокая креативность — враг корпоративной честности.
- Ограничение объема: «Отвечайте только на вопросы политики согласия; вежливо откажитесь от участия».
Цитирование
Самая сильная системная защита от галлюцинаций — сделать ответ поддающимся проверке. Если пользователь может видеть, на каком документе основан ответ: (1) он может сам уловить ошибку, (2) аудит становится возможным, (3) доверие возрастает и (4) модель работает более осторожно с осознанием того, что «мне нужно будет указать источник».
Два распространенных подхода:
Встроенная атрибуция: тег источника рядом с каждой заявкой. «Ежегодный отпуск составляет 14 дней[1]». Ниже приведена полная документация [1].
Структурированный вывод: попросите модель представить ответ и список источников в отдельных полях; Отображение ресурсов в виде кликабельных ссылок в интерфейсе.
# Создание структурированного ответа на основе модели (концептуальный) Дайте ответ в следующей структуре:- ответ: <контекстный ответ>- источники: [{"part_no": 1, "file": "...", "section": "..."}]- доверие: <высокий|средний|низкий> # Насколько явно контекст подтверждает это? Если контекст не поддерживает ответ, в поле ответа напишите «информация не найдена» и источники оставьте пустыми.
Чтобы Цитирование действительно работало, необходимо убедиться в правильности атрибуции. Иногда модель может дать правильный ответ, но указать неверный источник. Передовые системы автоматически проверяют, что каждое выдвинутое утверждение действительно поддерживается в той части, на которую оно указывает (измерение «правдивости» в следующем блоке).
Слабое/сильное: защита от галлюцинаций.
Слабое (предложение заполнить пробел):
Ответьте на вопрос как можно лучше, используя имеющуюся у вас информацию: {context} Вопрос: {question}# «Как можно лучше» означает «угадай, если не знаешь» для модели.
Сильная (заземление + разрешение «не знаю» + источник + доверие):
Просто полагайтесь на КОНТЕКСТ. В противном случае скажите: «Мне не удалось найти никакой информации»; составить номер/дату/имя.Добавьте [n] номер источника к каждой претензии. Укажите уровень доверия, поддерживаемый контекстом. КОНТЕКСТ: [1]... [2]... ВОПРОС: {вопрос}
Три мини-кейса
Случай 1 — Номер выдуманной позиции. Помощник юриста составил заявление «по статье 17/B», вырванное из контекста, и дал сотруднику ложную информацию. При добавлении указания «Не давать номер статьи, не входящей в контекст, иначе скажите не знаю» + обязательство цитировать, случаи сфабрикованных статей уменьшились с 11 до 0 в 40 примерах.
Случай 2 — Правильный ответ, неправильный источник. Сотрудник службы поддержки указал правильный период возврата, но процитировал не ту статью; Когда клиент нажал на ссылку, открылась нерелевантная страница. Когда была добавлена проверка цитирования (проверка наличия утверждения в цитируемом материале), уровень ложного цитирования снизился с 23% до 2%.
Случай 3 — разрешение «не знаю» не получено. Сотрудник отдела кадров дал правдоподобный, но неверный ответ на вопрос, которого не было в документе. Когда к подсказке добавлялось явное согласие «Я не знаю» и полный текст («Я не смог найти информацию об этом в документации»), процент честных отказов на вопросы без ответа, а не на выдумку, увеличился с 8% до 95%.
Распространенные ошибки
- Не допускать «я не знаю»: модель заполняет пробел выдумкой.
- Поддержание креативности на высоком уровне: случайность вредна для корпоративной целостности.
- Доверие источнику без его проверки: модель может привязать неправильный источник к правильному ответу.
- Не различать два типа галлюцинаций: вы исправляете неправильное место, не зная, вызвано ли это воспроизведением или генерацией.
- Принятие цитирования за косметику: цитирование источника является одновременно подтверждением и сдерживающим фактором; отнеситесь к этому серьезно.
Внимание: «Модель выглядит очень уверенно» — это не то же самое, что «Модель правильная». Галлюцинации, как правило, являются наиболее беглыми и уверенными предложениями. Прочтите доверие из источника, на который оно указывает, а не из тона предложения.
В итоге
- Галлюцинация — это когда модель заполняет информационный пробел правдоподобным, но ложным текстом; RAG уменьшает, но не сбрасывает.
- Галлюцинация может быть вызвана воспроизведением (неправильная часть) или генерированием (неправильное прочтение); Определите, какой из них будет первым.
- Самый мощный метод заземления — дать модели явное разрешение «Я не знаю»; также требование цитирования и низкий уровень креативности.
- Цитирование делает ответ проверяемым; Это одновременно вселяет уверенность и подталкивает к осторожному производству модели.
- Также следует проверить точность цитирования; К правильному ответу может быть прикреплен неправильный источник.
Задача приложения
(1) Подготовьте 4 вопроса для вашего помощника, ответы на которые отсутствуют в документах (вопросы-ловушки). Проверьте каждый из них, используя слабую и сильную подсказку, и отметьте, подходит модель или нет. (2) На 4 вопроса, ответы на которые содержатся в документе, попросите модель сгенерировать номер сварного шва и вручную проверить, действительно ли показанный сварной шов является правильной деталью. (3) Проверьте, дает ли модель «правильный ответ, неправильный источник» хотя бы в одном случае, и напишите в одном предложении, как вы можете это уловить автоматически.
контрольный список
- [ ] Я могу сказать, почему возникают галлюцинации и что ТРЯП уменьшает их, но не сбрасывает.
- [ ] Я могу отличить галлюцинации, вызванные воспроизведением и генерацией, и исправить правильное место.
- [ ] Я добавляю в приглашение явные правила разрешения и обоснования типа «Я не знаю».
- [ ] Я добавляю к ответу поддающийся проверке источник (цитата).
- [ ] Я понимаю необходимость дальнейшей проверки точности атрибуции.