Прибуток:
- Поясніть причини галюцинації та роль заземлення
- Застосування прийомів, які змушують модель говорити «Я не знаю», якщо це не в контексті
- Забезпечення довіри та можливості перевірки шляхом додавання перевірених джерел/цитат до відповідей
Найнебезпечніша поведінка мовної моделі – вигадувати щось, чого він не знає, впевненим і переконливим тоном. Це називається галюцинацією. Галюцинації в корпоративного помічника не просто дратують, це й відверто ризиковано: неправильно обраний вихідний, неправильна ціна, неправильна юридична основа можуть фактично поставити працівника чи клієнта у небезпеку. У цьому розділі ми пояснюємо, чому виникають галюцинації, як зменшити їх у RAG і як зробити відповідь доступною для перевірки.
Що викликає галюцинації?
Модель навчена створювати наступне найбільш імовірне слово; Не «говорити правду», а «створювати вільний і розумний текст». Якщо інформація відсутня, вона може заповнити прогалину чимось статистично правдоподібним, але фактично неправильним. Три типові тригери:
- У контексті немає відповіді, але модель все одно відчуває потребу щось сказати.
- Контекст суперечливий або неадекватний; Модель усуває розрив за допомогою передбачення.
- Питання виходить за межі контексту; модель повертається до своїх власних загальних (і, можливо, застарілих) знань.
RAG зменшує галюцинації, оскільки дає моделі реальне джерело, але не скидає його. Якщо ви привезете не ту деталь або залишите модель «свобода для заповнення прогалини», система з RAG також може підійти до неї.
вид галюцинації
симптом
першопричина
шар розчину
що походить від пошуку
Правильна відповідь є в документі, але він не надійшов
Доставлено неправильну/відсутню частину
Розбиття, гібрид, переранжування (розділ 3-4)
Джерело покоління
Надійшла правильна частина, але відповідь неправильна/треба додати
Модель заповнила прогалину прогнозуванням
Заземлення, дозвіл «не знаю», низька креативність
Джерело цитування
Відповідь правильна, але джерело неправильне
Модель вказано на неправильну частину
Перевірка цитування (див. Розділ 8)
Підказка: розділіть галюцинацію на дві частини. Отримано з пошуку: надійшла неправильна/відсутня частина (рішення: покращити пошук). Джерело генерації: надійшла правильна деталь, але модель прочитала/додала її неправильно (рішення: підказка та заземлення). Ви не зможете виправити це, якщо не знаєте, яке це.
Обґрунтування: пошук відповіді в контексті
Заземлення - це назва, дана всім прийомам говорити моделі "просто покладайтеся на текст, який я вам даю, не виходьте за його межі". Його найосновніша та найефективніша техніка: явний дозвіл моделі сказати «Я не знаю». Модель, як і людина, не наважується сказати «Я не знаю»; Ви повинні дати йому чіткий дозвіл на це.
Відповідайте лише на основі КОНТЕКСТУ нижче. Якщо відповідь не ЧІТКО в контексті, напишіть саме так: "Я не міг знайти достатньо інформації про це в документації". Не включайте номери, дати чи імена, які не відповідають контексту. Не гадай.
Додаткові методи заземлення:
- Вимоги до цитування: перед кожним твердженням дослівно цитуйте контекст («У документі сказано:...'»). Моделі складніше створювати сфабриковані цитати.
- Низька температура: температура (температура, креативність/довільне налаштування) має бути низькою. Примітка: у деяких поточних моделях цей параметр видалено; У них ви забезпечуєте заземлення з підказкою. Висока креативність є ворогом корпоративної цілісності.
- Обмеження обсягу: «Відповідайте лише на питання щодо політики згоди; ввічливо відмовляйтеся від відмови».
Цитування
Найсильніший системний захист від галюцинацій — зробити відповідь доступною для перевірки. Якщо користувач бачить, на якому документі ґрунтується відповідь: (1) він може сам виявити помилку, (2) аудит стає можливим, (3) довіра зростає, і (4) модель працює обережніше, усвідомлюючи, що «мені потрібно буде цитувати джерело».
Два поширених підходи:
Вбудоване посилання: тег джерела поруч із кожною претензією. «Щорічна відпустка становить 14 днів [1]». Нижче наведено повну документацію [1].
Структурований вихід: запит моделі створити відповідь і список джерел в окремих полях; Відображення ресурсів у вигляді посилань, які можна натиснути в інтерфейсі.
# Створення структурованої відповіді на основі моделі (концептуальної) Надайте свою відповідь у такій структурі:- відповідь: <контекстна відповідь>- джерела: [{"part_no": 1, "file": "...", "section": "..."}]- довіра: <висока|середня|низька> # Наскільки чітко це підтримує контекст? Якщо контекст не підтримує відповідь, напишіть «інформації не знайдено» у полі відповіді та залиште джерела порожніми.
Щоб Citation дійсно працював, необхідно перевірити правильність атрибуції. Іноді модель може дати правильну відповідь, але вказати неправильне джерело. Удосконалені системи автоматично перевіряють, що кожна створена претензія фактично підтверджується тією частиною, на яку вона вказує (вимірювання «вірності» в наступній одиниці).
Слабкий/Сильний: Підказка проти галюцинацій
Слабкий (запрошення заповнити пропуск):
Дайте відповідь на запитання якнайкраще, використовуючи наявну у вас інформацію: {context} Question: {question}# «Якнайкраще, що можете» означає «вгадайте, якщо ви не знаєте» для моделі.
Сильний (заземлення + невідомий дозвіл + джерело + довіра):
Просто покладайтеся на КОНТЕКСТ. В іншому випадку скажіть «Я не зміг знайти жодної інформації»; скласти номер/дату/назву. Додайте [n] номер джерела до кожної претензії. Укажіть рівень довіри, який підтримується контекстом. КОНТЕКСТ: [1]... [2]... ПИТАННЯ: {питання}
Три міні-чохли
Випадок 1 — Складений номер позиції. Помічник юриста склав заяву "Стаття 17/B", яка вирвалась з контексту, і надав неправдиву інформацію працівнику. Коли додали вказівку «Не вказувати номер статті, яка не відповідає контексту, інакше скажи, що не знаю» + обов’язковість цитування, випадків сфабрикованих статей зменшилося з 11 до 0 у 40 прикладах.
Випадок 2 — Правильна відповідь, неправильне джерело. Помічник служби підтримки вказав правильний період повернення, але процитував не ту статтю; Коли клієнт натиснув посилання, відкрилася невідповідна сторінка. Коли було додано перевірку цитування (перевірка того, чи з’являється твердження у цитованому матеріалі), рівень помилкових цитувань знизився з 23% до 2%.
Випадок 3 — «Я не знаю» дозвіл не надано. Помічник відділу кадрів вигадав правдоподібну, але неправильну відповідь на запитання, якого не було в документі. Коли до підказки було додано явну згоду «Я не знаю» та повний текст («Я не міг знайти інформацію про це в документації»), відсоток чесних відхилень для запитань без відповіді, а не вигадок, збільшився з 8% до 95%.
Поширені помилки
- Не допускаючи «я не знаю»: модель заповнює прогалину вигадкою.
- Підтримуйте креативність на високому рівні: випадковість шкодить корпоративній цілісності.
- Довіряти джерелу без перевірки: модель може додати неправильне джерело до правильної відповіді.
- Не розрізнення між двома типами галюцинацій: ви виправляєте неправильне місце, не знаючи, чи це викликано пошуком чи генерацією.
- Помилкове цитування косметики: посилання на джерело є одночасно підтвердженням і стримуванням; сприйміть це серйозно.
Застереження: «модель виглядає дуже впевнено» не те саме, що «модель правильна». Галюцинації, як правило, є найбільш плавними та впевненими реченнями. Читайте довіру з джерела, яке воно вказує, а не з тону речення.
Підсумовуючи
- Галюцинація – це коли модель заповнює інформаційну прогалину правдоподібним, але неправдивим текстом; RAG зменшує, але не скидає.
- Галюцинація може бути викликана пошуком (неправильна частина) або генерацією (неправильне читання); Спочатку визначте, який.
- Найпотужнішим прийомом заземлення є надання моделі явного дозволу «Я не знаю»; також вимоги до цитування та низька креативність.
- Цитування робить відповідь доступною для перевірки; Це додає впевненості та спонукає до обережного виробництва моделі.
- Слід також перевірити точність цитування; До правильної відповіді може бути додано неправильне джерело.
Аплікаційне завдання
(1) Підготуйте 4 запитання для свого помічника, відповіді на які відсутні в документах (питання-пастки). Перевірте кожну з них за допомогою слабкої та сильної підказок і позначте, підходить модель чи ні. (2) Для 4 запитань, відповіді на які містяться в документі, нехай модель згенерує номер зварного шва та вручну перевірить, чи зварний шов, який вона показує, справді є правильною частиною. (3) Перевірте, чи модель дає «правильну відповідь, неправильне джерело» принаймні в одному випадку та напишіть одним реченням, як ви можете це автоматично вловити.
контрольний список
- [ ] Я можу сказати, чому виникають галюцинації, і що RAG зменшує їх, але не скидає.
- [ ] Я можу розрізнити галюцинації, викликані поверненням, і галюцинації, викликані породженням, і виправити правильне місце.
- [ ] Я додаю явний дозвіл "Я не знаю" та правила заземлення до підказки.
- [ ] До відповіді я додаю перевірене джерело (цитату).
- [ ] Я розумію необхідність подальшої перевірки точності авторства.