Табыстар:
- Галлюцинацияның себептерін және жерге қосудың рөлін түсіндіріңіз
- Модель контексте болмаса, «білмеймін» дейтін әдістерді қолдану
- Жауаптарға тексерілетін көздерді/дәйексөздерді қосу арқылы сенімділік пен аудитті қамтамасыз ету
Тілдік модельдің ең қауіпті мінез-құлқы – ол білмейтін нәрсені сенімді және нанымды реңкпен жасау. Бұл галлюцинация деп аталады. Корпоративтік көмекшіде галлюцинациялау жай ғана тітіркендіргіш емес, бұл өте қауіпті: дұрыс емес демалыс күні, дұрыс емес баға, дұрыс емес заңдық субстанция қызметкерге немесе тұтынушыға зиян келтіруі мүмкін. Бұл бөлімде біз галлюцинацияның неліктен пайда болуын, оларды RAG-да қалай азайтуға болатынын және жауапты тексеруге болатынын қарастырамыз.
Галлюцинацияның себебі неде?
Модель келесі ықтимал сөзді шығаруға үйретіледі; «Шындықты айт» емес, «еркін әрі парасатты мәтін шығару». Егер ақпарат жетіспесе, ол олқылықты статистикалық тұрғыдан негізделген, бірақ іс жүзінде дұрыс емес нәрсемен толтыруы мүмкін. Үш типтік триггерлер:
- Контекстте жауап жоқ, бірақ модель бәрібір бірдеңе айтуға мәжбүр болады.
- Контекст қарама-қайшы немесе адекватты емес; Модель болжау арқылы алшақтықты жояды.
- Сұрақ контекстен тыс; модель өзінің жалпы (және, мүмкін, ескірген) біліміне оралады.
RAG галлюцинацияны азайтады, себебі ол модельге нақты көз береді, бірақ ол оны қалпына келтірмейді. Егер сіз дұрыс емес бөлікті әкелсеңіз немесе үлгіні қалдырсаңыз, «саңылауларды толтыру еркіндігі» RAG жүйесі де оған сәйкес келеді.
галлюцинация түрі
симптом
түпкі себеп
ерітінді қабаты
алудан туындайды
Дұрыс жауап құжатта, бірақ ол келмеді
Қате/жетілмеген бөлік жеткізілді
Топтастыру, гибридті, қайта бағалау (3-4 бірлік)
Ұрпақ көзі
Дұрыс бөлік келді, бірақ жауап қате/қосу керек
Модель олқылықты болжаммен толтырды
Негіздеу, «білмеймін» рұқсаты, шығармашылық деңгейі төмен
Дәйексөз алынды
Жауап дұрыс, бірақ дереккөз қате
Үлгі қате бөлікке сілтеме жасады
Дәйексөзді тексеру (8 бөлімді қараңыз)
Нұсқау: Галлюцинацияны екі бөлікке бөліңіз. Қайта алудан алынған: қате/жетілмеген бөлік келді (шешім: іздеуді жақсарту). Генерация көзі: дұрыс бөлік келді, бірақ үлгі оны қате оқыды/қосты (шешім: жедел және жерге қосу). Оның қайсысы екенін білмейінше, оны түзете алмайсыз.
Негіздеу: Жауапты контекстте бекіту
Жерлендіру - бұл модельге «тек мен беретін мәтінге сен, одан асып кетпе» деп айтудың барлық әдістеріне берілген атау. Оның ең негізгі және ең тиімді әдісі: үлгіге «білмеймін» деуге нақты рұқсат беру. Модель адам сияқты «білмеймін» деп екіленеді; Сіз оған мұны істеуге нақты рұқсат беруіңіз керек.
Төмендегі КОНТЕКСТ негізінде ғана жауап беріңіз. Егер жауап контексте АНЫҚ болмаса, дәл мынаны жазыңыз: «Мен бұл туралы құжаттамада жеткілікті ақпаратты таба алмадым». Мәтінмәнге кірмейтін сандарды, күндерді немесе атауларды қоспаңыз. Болжамаңыз.
Жерге қосудың қосымша әдістері:
- Дәйексөзге қойылатын талап: Әрбір шағымның алдында мәтінмәнді сөзбе-сөз келтіріңіз («Құжатта былай делінген: «...»). Модель үшін ойдан шығарылған тырнақшаларды жасау қиынырақ.
- Төмен температура: Температура (температура, шығармашылық/кездейсоқ параметр) төмен болуы керек. Ескерту: кейбір ағымдағы үлгілерде бұл параметр жойылған; Оларда сіз шақыру арқылы жерлендіруді қамтамасыз етесіз. Жоғары креативтілік – корпоративтік тұтастықтың жауы.
- Қолдану шегі: "Тек келісім саясаты мәселелеріне жауап беріңіз; бас тартудан сыпайы түрде бас тартыңыз."
Дәйексөз
Галлюцинацияға қарсы ең күшті жүйелі қорғаныс - бұл жауапты тексеруге болатын ету. Егер пайдаланушы жауап қай құжатқа негізделгенін көре алса: (1) ол қатені өзі анықтай алады, (2) аудит мүмкін болады, (3) сенім артады және (4) модель «Мен дереккөзге сілтеме жасауым керек» деген түсінікпен абайлап шығарады.
Екі жалпы тәсіл:
Кірістірілген атрибуция: әрбір шағымның жанындағы бастапқы белгі. «Жыл сайынғы еңбек демалысы 14 күнді құрайды [1]». Төменде [1] толық құжаттамасы берілген.
Құрылымдық нәтиже: үлгіден жауапты және жеке өрістерде бастапқы тізімді шығаруды сұрау; Ресурстарды интерфейсте басылатын сілтемелер ретінде көрсету.
# Модельге негізделген құрылымдық жауапты шығару (концептуалды) Жауабыңызды келесі құрылымда беріңіз:- жауап: <контекстке негізделген жауап>- дереккөздер: [{"бөлік_жоқ": 1, "файл": "...", "бөлім": "..."}]- сенім: <жоғары|орташа|төмен> # Мәтінмән оны қаншалықты анық қолдайды? Егер мәтінмән жауапты қолдамаса, жауап өрісіне «ақпарат табылмады» деп жазып, дереккөздерді бос қалдырыңыз.
Citation шынымен жұмыс істеуі үшін атрибуцияның дұрыстығын тексеру қажет. Модель кейде дұрыс жауапты бере алады, бірақ дұрыс емес дереккөзді береді. Жетілдірілген жүйелер әрбір шығарылған шағымға ол көрсететін бөлікте шын мәнінде қолдау көрсетілетінін автоматты түрде тексереді (келесі бірліктегі «адалдық» өлшемі).
Әлсіз/күшті: галлюцинацияға қарсы
Әлсіз (бос орынды толтыруға шақыру):
Сұраққа қолыңызда бар ақпарат арқылы мүмкіндігінше жауап беріңіз: {контекст} Сұрақ: {question}# «Қолыңыздан келгенше» үлгі үшін «білмейтін болсаңыз, болжаңыз» дегенді білдіреді.
Күшті (жерге қосу + рұқсатты білмеу + дереккөз + сенім):
Тек CONTEXT-ге сеніңіз. Әйтпесе, «Мен ешқандай ақпарат таба алмадым» деңіз; нөмірді/күнді/атын жасаңыз. Әр шағымға [n] бастапқы нөмірді қосыңыз. Мәтінмән қолдайтын сенім деңгейін көрсетіңіз.КОНТЕКСТ: [1]... [2]... СҰРАҚ: {question}
Үш шағын корпус
1-жағдай — Жасалған зат нөмірі. Құқық қорғау қызметкері контекстен тыс «17/В-бап» мәлімдемесін жасап, қызметкерге жалған ақпарат берді. «Контексте жоқ мақала нөмірін бермеңіз, әйтпесе білмеймін деп айтыңыз» + дәйексөз келтіру міндеттемесі қосылғанда, қолдан жасалған мақалалардың жағдайлары 40 мысалда 11-ден 0-ге дейін азайды.
2 жағдай - дұрыс жауап, қате дереккөз. Қолдау көрсетуші дұрыс қайтару мерзімін айтты, бірақ қате мақалаға сілтеме жасады; Тұтынушы сілтемені басқанда, маңызды емес бет ашылды. Дәйексөзді тексеру (өтініштің келтірілген бөлімде бар-жоғын тексеру) қосылғанда, жалған дәйексөз беру деңгейі 23%-дан 2%-ға дейін төмендеді.
3-жағдай — «Білмеймін» рұқсаты берілмеді. Кадрлар бөлімінің көмекшісі құжатта жоқ сұраққа дәлелді, бірақ дұрыс емес жауап берді. Нұсқауға нақты «білмеймін» келісімі мен толық мәтіні («Мен бұл туралы құжаттамадан ақпаратты таба алмадым») қосылғанда, ойдан шығарылған емес, жауапсыз сұрақтарға шынайы бас тарту көрсеткіші 8%-дан 95%-ға дейін өсті.
Жалпы қателер
- «Мен білмеймін» дегенге жол бермеу: Модель олқылықты жасанды түрде толтырады.
- Шығармашылықты жоғары ұстау: Кездейсоқтық корпоративтік тұтастыққа зиян тигізеді.
- Дереккөзді тексермей сену: Модель дұрыс жауапқа қате дереккөзді қосуы мүмкін.
- Галлюцинацияның екі түрін ажыратпау: Сіз дұрыс емес жерді қалпына келтіру немесе генерациядан туындағанын білмей түзетесіз.
- Косметиканы қателесу: Дереккөзге сілтеме жасау растау және тосқауыл болып табылады; байыппен қабылдаңыз.
Абайлаңыз: «Модель өте сенімді көрінеді» деген «модель дұрыс» деген сөз емес. Галлюцинациялар әдетте ең еркін және сенімді сөйлемдер болып табылады. Сенімді сөйлемнің үнінен емес, ол көрсеткен көзден оқыңыз.
Қысқаша
- Галлюцинация - бұл модель ақпараттық бос орынды сенімді, бірақ жалған мәтінмен толтырады; RAG төмендейді, бірақ қалпына келтірілмейді.
- Галлюцинация іздеу (дұрыс емес бөлік) немесе генерация (қате оқу) нәтижесінде туындауы мүмкін; Қайсысы бірінші екенін анықтаңыз.
- Жерге қосудың ең күшті әдісі - үлгіге "мен білмеймін" рұқсатын беру; сонымен қатар дәйексөзге қойылатын талап және төмен шығармашылық.
- Дәйексөз жауапты тексеруге мүмкіндік береді; Ол сенімділік береді және модельді абайлап шығаруға итермелейді.
- Дәйексөздің дұрыстығын да тексеру керек; Дұрыс жауапқа қате дереккөз қосылуы мүмкін.
Қолданбалы тапсырма
(1) Жауаптары құжаттарда жоқ көмекшіге 4 сұрақ дайындаңыз (тұзақ сұрақтары). Әлсіз және күшті нұсқау арқылы әрқайсысын сынап көріңіз және үлгінің сәйкес келетінін немесе сәйкес келмейтінін белгілеңіз. (2) Жауаптары құжатта берілген 4 сұрақ үшін үлгіден дәнекерлеу жігінің нөмірін жасап, ол көрсеткен дәнекерлеудің шын мәнінде дұрыс бөлік екенін қолмен тексеруін сұраңыз. (3) Модель кем дегенде бір жағдайда «дұрыс жауап, қате дереккөз» беретінін тексеріңіз және оны автоматты түрде қалай ұстауға болатынын бір сөйлеммен жазыңыз.
бақылау парағы
- [ ] Мен галлюцинацияның неліктен болып жатқанын және RAG оны азайтатынын, бірақ оны қалпына келтірмейтінін айта аламын.
- [ ] Мен іздеу және ұрпақтан туындаған галлюцинацияларды ажырата аламын және дұрыс орынды түзете аламын.
- [ ] Мен сұрауға нақты "білмеймін" рұқсатын және жерге қосу ережелерін қосып жатырмын.
- [ ] Мен жауапқа тексерілетін дереккөзді (дәйексөз) қосамын.
- [ ] Мен атрибуцияның дұрыстығын қосымша тексеру қажеттігін түсінемін.