Добици:
- Објасните узроке халуцинација и улогу уземљења
- Примена техника које чине да модел каже 'Не знам' ако није у контексту
- Обезбеђивање поверења и могућности ревизије додавањем проверљивих извора/цитата у одговоре
Најопасније понашање језичког модела је да самоувереним и убедљивим тоном измисли нешто што не зна. Ово се зове халуцинација. Халуцинације код корпоративног асистента нису само досадне, већ су и потпуно ризичне: погрешан слободан дан, погрешна цена, погрешна правна супстанца заправо могу довести запосленог или купца у опасност. У овој јединици обрађујемо зашто се халуцинације јављају, како их смањити у РАГ-у и како учинити одговор проверљивим.
Шта узрокује халуцинације?
Модел је обучен да произведе следећу највероватнију реч; Не „говорити истину“, већ „произвести течан и разуман текст“. Ако информација недостаје, она може попунити празнину нечим статистички уверљивим, али чињенично нетачним. Три типична покретача:
- Нема одговора у контексту, али се модел ипак осећа принуђеним да нешто каже.
- Контекст је конфликтан или неадекватан; Модел затвара јаз са предвиђањем.
- Питање превазилази контекст; модел се враћа свом општем (и можда застарелом) знању.
РАГ смањује халуцинације јер моделу даје прави извор — али га не ресетује. Ако понесете погрешан део или оставите моделу „слободу да попуни празнину“, може се уклопити и систем са РАГ-ом.
врста халуцинације
симптом
основни узрок
слој раствора
пореклом из извлачења
Тачан одговор је у документу, али није стигао
Испоручен је погрешан/недостајући део
Сецкање, хибрид, прерангирање (Јединица 3-4)
Генератион соурцед
Тачан део је стигао, али је одговор погрешан/мора се додати
Модел је попунио празнину предвиђањем
Приземљење, дозвола „не знам“, ниска креативност
Извор цитата
Одговор је тачан, али извор је погрешан
Модел се односи на погрешан део
Провера цитираности (видети јединицу 8)
Савет: Халуцинацију поделите на два дела. Извор из преузимања: стигао је погрешан/недостајући део (решење: побољшати проналажење). Извор генерисања: Тачан део је стигао, али га је модел погрешно прочитао/додао (решење: брз и уземљење). Не можете га поправити ако не знате који је.
Утемељење: проналажење одговора у контексту
Уземљење је име које се даје свим техникама говорења моделу „само се ослоните на текст који вам дајем, не идите даље од њега“. Његова најосновнија и најефикаснија техника: експлицитно давање дозволе моделу да каже „не знам“. Модел, као и човек, оклева да каже „не знам“; Морате му дати изричиту дозволу да то уради.
Одговорите само на основу КОНТЕКСТА у наставку. Ако одговор није ЈАСНО у контексту, напишите тачно ово: „Нисам могао да пронађем довољно информација о овоме у документацији.“ Немојте укључивати бројеве, датуме или имена који нису у контексту. Не погађај.
Додатне технике уземљења:
- Услов за цитирање: Пре сваке тврдње, дословно цитирајте контекст („У документу пише: „...“). Израда фабрикованих цитата је тежа за модел.
- Ниска температура: Температура (температура, креативност/насумично подешавање) треба да буде ниска. Напомена: у неким тренутним моделима овај параметар је уклоњен; У њима обезбеђујете уземљење уз помоћ. Висока креативност је непријатељ корпоративног интегритета.
- Ограничење опсега: „Одговарајте само на питања политике сагласности; љубазно одбијте да их онемогућите.“
Цитирање
Најјача системска одбрана од халуцинација је да се одговор учини проверљивим. Ако корисник може да види на ком документу се заснива одговор: (1) може сам да ухвати грешку, (2) ревизија постаје могућа, (3) поверење се повећава и (4) модел производи опрезније са свешћу да „треба да наведем извор“.
Два уобичајена приступа:
Уграђено приписивање: Ознака извора поред сваког потраживања. „Годишњи одмор је 14 дана [1].“ Испод је комплетна документација [1].
Структурирани излаз: Тражење од модела да произведе одговор и листу извора у одвојеним пољима; Приказ ресурса као веза на које се може кликнути у интерфејсу.
# Израда структурираног одговора заснованог на моделу (концептуално) Дајте свој одговор у следећој структури:- одговор: <одговор заснован на контексту>- извори: [{"парт_но": 1, "филе": "...", "сецтион": "..."}]- поверење: <високо|средње|ниско> # Колико јасно контекст то подржава? Ако контекст не подржава одговор, напишите „нису пронађене информације“ у пољу за одговор и оставите изворе празним.
Да би Цитирање заиста функционисало, потребно је да проверите да ли је атрибуција тачна. Модел понекад може дати тачан одговор, али дати погрешан извор. Напредни системи аутоматски проверавају да ли је свака произведена тврдња заиста подржана у делу на који указује (мера „верности“ у следећој јединици).
Слаб/Јако: Промпт против халуцинација
Слабо (позив за попуњавање празнине):
Одговорите на питање најбоље што можете са информацијама које имате: {цонтект} Питање: {куестион}# „Како најбоље можете“ значи „погоди ако не знаш“ за модел.
Јака (уземљење + не знам дозвола + извор + поверење):
Само се ослоните на КОНТЕКСТ. У супротном, реците „Нисам могао да пронађем никакве информације“; допунити број/датум/име. Сваком захтеву додати [н] изворни број. Наведите ниво поверења који подржава контекст. КОНТЕКСТ: [1]... [2]... ПИТАЊЕ: {питање}
Три мини кућишта
Случај 1 — Израђен број артикла. Помоћник правника је направио изјаву „члан 17/Б“ која је била ван контекста и дала је лажне информације запосленом. Када је додата инструкција „Не дај број артикла који није у контексту, иначе реци не знам“ + обавеза цитирања, случајеви измишљених артикала су смањени са 11 на 0 у 40 примера.
Случај 2 — Тачан одговор, погрешан извор. Помоћник за подршку је навео тачан период враћања, али је цитирао погрешан чланак; Када је купац кликнуо на линк, отворила се небитна страница. Када је додата верификација цитата (провера да ли се тврдња појављује у цитираном делу), стопа лажних цитата је пала са 23% на 2%.
Случај 3 — „Не знам“ дозвола није дата. Помоћник за људске ресурсе је смислио уверљив, али нетачан одговор на питање које није било у документу. Када су упиту додани изричити пристанак „Не знам“ и пун текст („Нисам могао да пронађем информације о овоме у документацији“), стопа поштеног одбијања за питања без одговора, а не за измишљотине, порасла је са 8% на 95%.
Уобичајене грешке
- Не дозвољавајући „не знам“: модел попуњава празнину измишљотином.
- Одржавање креативности на високом нивоу: случајност је штетна за корпоративни интегритет.
- Веровати извору без провере: модел може приложити погрешан извор тачном одговору.
- Не правите разлику између две врсте халуцинација: исправљате погрешно место, а да не знате да ли је оно изазвано проналажењем или генерисањем.
- Погрешан цитат за козметику: Цитирање извора је и потврда и одвраћање; схватите то озбиљно.
Опрез: „Модел изгледа веома самоуверено“ није исто што и „модел је исправан“. Халуцинације су генерално најтечније и најпоузданије реченице. Читајте поверење из извора на које указује, а не из тона реченице.
Укратко
- Халуцинација је када модел попуњава празнину у информацијама уверљивим, али лажним текстом; РАГ смањује, али се не ресетује.
- Халуцинација може бити узрокована извлачењем (погрешан део) или генерисањем (погрешно читање); Одредите који први.
- Најмоћнија техника Гроундинга је да моделу дате експлицитну дозволу „не знам“; такође захтев за цитирање и ниска креативност.
- Цитирање чини одговор проверљивим; То истовремено даје самопоуздање и гура модел да се производи опрезно.
- Такође треба проверити тачност цитирања; Погрешан извор може бити приложен тачном одговору.
Задатак апликације
(1) Припремите 4 питања која ћете поставити свом асистенту, чији одговори нису у документима (питања за замку). Тестирајте сваки са слабим и јаким упитом и означите да ли модел одговара или не. (2) За 4 питања чији се одговори налазе у документу, нека модел генерише број завара и ручно провери да ли је завар који приказује заправо тачан део. (3) Проверите да ли модел даје „тачан одговор, погрешан извор“ у најмање једном случају и напишите у једној реченици како то можете аутоматски да ухватите.
контролна листа
- [ ] Могу да кажем зашто се халуцинација дешава и да је РАГ смањује, али је не ресетује.
- [ ] Могу да направим разлику између халуцинација које изазивају проналажење и халуцинација изазваних генерацијом и да исправим тачно место.
- [ ] У промпт додајем експлицитну дозволу „Не знам“ и правила уземљења.
- [ ] Одговору додајем проверљив извор (цитат).
- [ ] Разумем потребу да додатно проверим тачност приписивања.