Добивки:
- Објаснете ги причините за халуцинацијата и улогата на заземјувањето
- Примената на техники кои го тераат моделот да каже „не знам“ ако не е во контекст
- Обезбедување доверба и ревизија со додавање на проверливи извори/цитати на одговорите
Најопасното однесување на јазичниот модел е да измисли нешто што не го знае со сигурен и убедлив тон. Ова се нарекува халуцинација. Халуцинирањето кај корпоративниот асистент не е само досадно, туку е сосема ризично: погрешниот слободен ден, погрешната цена, погрешната законска супстанција всушност може да го наруши вработен или клиент. Во оваа единица, покриваме зошто се појавуваат халуцинации, како да се намалат во RAG и како одговорот да се потврди.
Што предизвикува халуцинации?
Моделот е обучен да го произведе следниот најверојатен збор; Не „кажи ја вистината“, туку „продуцирај течен и разумен текст“. Доколку недостасуваат информации, тие може да ја пополнат празнината со нешто статистички веродостојно, но фактички неточно. Три типични предизвикувачи:
- Нема одговор во контекстот, но манекенката сепак се чувствува обврзана да каже нешто.
- Контекстот е конфликтен или несоодветен; Моделот ја затвора празнината со предвидување.
- Прашањето оди подалеку од контекстот; моделот се враќа на сопственото општо (а можеби и застарено) знаење.
RAG ја намалува халуцинацијата бидејќи му дава на моделот вистински извор - но не го ресетира. Ако донесете погрешен дел или му оставите на моделот „слобода да ја пополни празнината“, системот со RAG исто така може да го собере.
тип на халуцинација
симптом
основната причина
слој на раствор
кои потекнуваат од пронаоѓање
Точниот одговор е во документот, но тој не пристигна
Доставен е погрешен/недостасува дел
Делење, хибридно, повторно рангирање (Единица 3-4)
Генерација извор
Пристигна точниот дел, но одговорот е погрешен/мора да се додаде
Моделот ја пополни празнината со предвидување
Заземјување, дозвола „не знам“, ниска креативност
Наведен извор
Одговорот е точен, но изворот е погрешен
Моделот се однесува на погрешен дел
Потврда на цитат (види Единица 8)
Совет: Поделете ја халуцинацијата на два дела. Извор од пронаоѓање: пристигна погрешен/пропуштен дел (решение: подобрување на пронаоѓањето). Извор на генерација: Пристигна точниот дел, но моделот погрешно го прочита/додаде (решение: промпт и заземјување). Не можете да го поправите ако не знаете кој е.
Заземјување: Приковување на одговорот во контекст
Заземјување е името дадено на сите техники да му се каже на моделот „само потпирај се на текстот што ти го давам, не оди подалеку од него“. Неговата најосновна и најефективна техника: експлицитно давање дозвола на моделот да каже „не знам“. Моделот, како и човекот, се двоуми да каже „не знам“; Мора да му дадете изречна дозвола да го стори тоа.
Одговорете само врз основа на КОНТЕКСТОТ подолу. Ако одговорот не е ЈАСНО во контекстот, напишете го токму ова: „Не можев да најдам доволно информации за ова во документацијата“. Не вклучувајте броеви, датуми или имиња што не се во контекстот. Не погодувајте.
Дополнителни техники за заземјување:
- Барање за цитат: Пред секое тврдење, цитирајте го контекстот дословно („Документот вели: „...“). Производството на фабрикувани цитати е потешко за моделот.
- Ниска температура: Температурата (температура, креативност/случајно поставување) треба да биде ниска. Забелешка: во некои актуелни модели овој параметар е отстранет; Во нив обезбедувате заземјување со промпт. Високата креативност е непријател на корпоративниот интегритет.
- Ограничување на опсегот: „Одговарајте само на прашања од политиката за согласност; учтиво одбијте да се откажете“.
Цитирање
Најсилната системска одбрана од халуцинации е да се направи одговорот проверлив. Ако корисникот може да види на кој документ се заснова одговорот: (1) тој самиот може да ја сфати грешката, (2) ревизијата станува возможна, (3) се зголемува довербата и (4) моделот произведува повнимателно со свесноста дека „ќе треба да го наведам изворот“.
Два заеднички пристапи:
Вградена атрибуција: изворна ознака до секое тврдење. „Годишниот одмор е 14 дена [1]. Подолу е целосната документација на [1].
Структурен излез: Барање од моделот да го произведе одговорот и листата на извори во посебни полиња; Прикажани се ресурсите како врски со кликање во интерфејсот.
# Изработка на структуриран одговор врз основа на моделот (концептуален) Дајте го вашиот одговор во следната структура:- одговор: <context-based answer>- извори: [{"дел_бр": 1, "датотека": "...", "секција": "..."}]- доверба: <високо|средно|ниско> # Колку јасно го поддржува контекстот? Ако контекстот не го поддржува одговорот, напишете „не се најдени информации“ во полето за одговор и оставете ги изворите празни.
За цитирањето навистина да функционира, неопходно е да се потврди дека атрибуцијата е точна. Моделот понекогаш може да даде точен одговор, но да даде погрешен извор. Напредните системи автоматски проверуваат дали секое изнесено тврдење е навистина поддржано во делот на кој укажува (мерењето „верност“ во следната единица).
Слаб/Силен: Брза против халуцинација
Слаб (покана за пополнување на празното):
Одговорете на прашањето најдобро што можете со информациите што ги имате: {context} Прашање: {question}# „Како што можеш“ значи „погоди ако не знаеш“ за моделот.
Силно (заземјување + не знам дозвола + извор + доверба):
Само потпирајте се на КОНТЕКСТ. Во спротивно, кажете „Не можев да најдам никакви информации“; направете број/датум/име. Додајте [n] изворен број на секое тврдење. Наведете го нивото на доверба поддржано од контекстот. КОНТЕКСТ: [1]... [2]... ПРАШАЊЕ: {прашање}
Три мини футроли
Случај 1 - Составен број на ставка. Параправник составил изјава „член 17/Б“ која била надвор од контекст и дала лажни податоци на вработениот. Кога се додаде упатството „Не давај број на статија што не е во контекст, инаку кажи не знам“ + обврската за цитирање, случаите на фабрикувани написи се намалија од 11 на 0 во 40 примери.
Случај 2 - Точен одговор, погрешен извор. Асистентот за поддршка го наведе точниот период на враќање, но наведе погрешна статија; Кога клиентот кликнал на врската, се отворила неважна страница. Кога беше додадена верификацијата на цитат (проверка дали тврдењето се појавува во наведеното парче), стапката на лажни цитати падна од 23% на 2%.
Случај 3 - „Не знам“ не беше дадена дозвола. Асистентот за човечки ресурси измисли веродостоен, но неточен одговор на прашање што не беше во документот. Кога експлицитната согласност „Не знам“ и целосниот текст („Не можев да најдам информации за ова во документацијата“) беа додадени на промптот, стапката на искрено отфрлање за прашања без одговор, наместо измислено, се зголеми од 8% на 95%.
Вообичаени грешки
- Не дозволувајќи „не знам“: Моделот ја пополнува празнината со измислица.
- Одржување на креативноста на високо ниво: Случајноста е штетна за корпоративниот интегритет.
- Да му верувате на изворот без да го потврдите: Моделот може да прикачи погрешен извор на точниот одговор.
- Не прави разлика помеѓу двата типа на халуцинации: го поправате погрешното место без да знаете дали тоа е предизвикано од пронаоѓање или генерирање.
- Погрешна цитат за козметика: цитирањето на изворот е и потврда и одвраќање; сфатете го сериозно.
Внимание: „Моделот изгледа многу самоуверено“ не е исто што и „моделот е точен“. Халуцинациите се генерално најтечните и најсигурни реченици. Прочитајте ја довербата од изворот што го наведува, а не од тонот на реченицата.
Сумирано
- Халуцинација е кога моделот ја пополнува информациската празнина со веродостоен, но лажен текст; RAG се намалува, но не се ресетира.
- Халуцинацијата може да биде предизвикана од пронаоѓање (погрешен дел) или генерирање (погрешно читање); Одреди кој прв.
- Најмоќната техника на заземјувањето е да му даде на моделот експлицитна дозвола „не знам“; исто така, барање за цитирање и ниска креативност.
- Цитирањето го прави одговорот проверлив; Тоа истовремено дава доверба и го турка моделот да се произведува внимателно.
- Треба да се провери и точноста на цитатот; Погрешен извор може да биде прикачен на точниот одговор.
Задача за апликација
(1) Подгответе 4 прашања кои ќе ги поставите на вашиот асистент, чии одговори ги нема во документите (прашања за стапица). Тестирајте го секој со слабата и силната порака и означете дали моделот одговара или не. (2) За 4-те прашања чии одговори се во документот, нека моделот го генерира бројот на заварот и рачно проверете дали заварот што го покажува е всушност точниот дел. (3) Проверете дали моделот дава „точен одговор, погрешен извор“ во барем еден случај и напишете во една реченица како можете да го фатите ова автоматски.
листа за проверка
- [ ] Можам да кажам зошто се случува халуцинацијата и дека RAG ја намалува, но не ја ресетира.
- [ ] Можам да разликувам помеѓу пронаоѓање и халуцинации предизвикани од генерација и да го поправам точното место.
- [ ] Додавам експлицитни „не знам“ дозвола и правила за заземјување на промптот.
- [ ] Додавам проверлив извор (цитат) на одговорот.
- [ ] Ја разбирам потребата дополнително да се провери точноста на припишувањето.