Dobički:
- Pojasnite vzroke za halucinacije in vlogo ozemljitve
- Uporaba tehnik, zaradi katerih model reče "ne vem", če ni v kontekstu
- Zagotavljanje zaupanja in revizijske sposobnosti z dodajanjem preverljivih virov/navedb odgovorom
Najbolj nevarno vedenje jezikovnega modela je, da si v samozavestnem in prepričljivem tonu izmisli nekaj, česar ne pozna. To se imenuje halucinacija. Haluciniranje v poslovnem pomočniku ni samo nadležno, je naravnost tvegano: napačen prost dan, napačna cena, napačna pravna vsebina lahko dejansko ogrozijo zaposlenega ali stranko. V tej enoti obravnavamo, zakaj pride do halucinacij, kako jih zmanjšati v RAG in kako narediti odgovor preverljiv.
Kaj povzroča halucinacije?
Model je usposobljen za ustvarjanje naslednje najverjetnejše besede; Ne "povejte resnico", ampak "pripravite tekoče in razumno besedilo". Če informacije manjkajo, lahko zapolnijo vrzel z nečim statistično verjetnim, a dejansko napačnim. Trije tipični sprožilci:
- V kontekstu ni odgovora, vendar se model kljub temu počuti prisiljeno nekaj povedati.
- Kontekst je nasprotujoč ali neustrezen; Model zapolnjuje vrzel z napovedjo.
- Vprašanje presega kontekst; model se vrne k lastnemu splošnemu (in morda zastarelemu) znanju.
RAG zmanjša halucinacije, ker daje modelu pravi vir — vendar ga ne ponastavi. Če prinesete napačen del ali pustite modelu "svobodo za zapolnitev vrzeli", ga lahko prilega tudi sistem z RAG.
vrsta halucinacije
simptom
glavni vzrok
plast raztopine
ki izvira iz pridobivanja
Pravilen odgovor je v dokumentu, vendar ni prispel
Dostavljen napačen/manjkajoči del
Razdelitev, hibrid, ponovno razvrščanje (enota 3-4)
Izvor generacije
Prišel je pravilen del, vendar je odgovor napačen/treba ga je dodati
Model je zapolnil vrzel z napovedjo
Prizemljitev, dovoljenje "ne vem", nizka ustvarjalnost
Vir citiranja
Odgovor je pravilen, vendar je vir napačen
Model se nanaša na napačen del
Preverjanje citatov (glej 8. enoto)
Namig: Halucinacijo razdelite na dva dela. Izvira iz pridobivanja: prispel je napačen/manjkajoči del (rešitev: izboljšajte iskanje). Vir generiranja: prispel je pravi del, vendar ga je model napačno prebral/dodal (rešitev: poziv in ozemljitev). Ne morete ga popraviti, če ne veste, kateri je.
Ozemljitev: iskanje odgovora v kontekstu
Prizemljitev je ime za vse tehnike pripovedovanja modela "samo zanašaj se na besedilo, ki ti ga dam, ne prekorači ga." Njegova najosnovnejša in najučinkovitejša tehnika: izrecno dovoljenje modela, da reče "ne vem". Model, tako kot človek, okleva reči "ne vem"; Za to mu morate dati izrecno dovoljenje.
Odgovorite le na podlagi spodnjega KONTEKSTA. Če odgovor ni JASEN v kontekstu, napišite točno to: "V dokumentaciji nisem našel dovolj informacij o tem." Ne vključujte nobenih številk, datumov ali imen, ki niso v kontekstu. Ne ugibajte.
Dodatne tehnike ozemljitve:
- Zahteva za citiranje: Pred vsako trditvijo dobesedno citiraj kontekst (»V dokumentu piše:...'«). Izdelava izmišljenih ponudb je za manekenko težje.
- Nizka temperatura: temperatura (temperatura, ustvarjalnost/naključna nastavitev) mora biti nizka. Opomba: v nekaterih trenutnih modelih je bil ta parameter odstranjen; V njih zagotovite ozemljitev s pozivom. Visoka ustvarjalnost je sovražnik korporativne integritete.
- Omejitev obsega: "Odgovarjajte samo na težave s pravilnikom o privolitvi; vljudno zavrnite zavrnitev."
Citiranje
Najmočnejša sistemska obramba pred halucinacijami je, da je odgovor preverljiv. Če lahko uporabnik vidi, na katerem dokumentu temelji odgovor: (1) lahko sam odkrije napako, (2) revizija postane mogoča, (3) poveča se zaupanje in (4) model producira bolj previdno z zavedanjem, da "moram navesti vir".
Dva pogosta pristopa:
Vgrajeno pripisovanje: oznaka vira poleg vsake trditve. "Letni dopust je 14 dni [1]." Spodaj je celotna dokumentacija [1].
Strukturiran izhod: zahteva od modela, da pripravi odgovor in seznam virov v ločenih poljih; Prikaz virov kot povezav, ki jih je mogoče klikniti v vmesniku.
# Izdelava strukturiranega odgovora, ki temelji na modelu (konceptualno) Podajte svoj odgovor v naslednji strukturi:- odgovor: <odgovor, ki temelji na kontekstu>- viri: [{"part_no": 1, "file": "...", "section": "..."}]- zaupanje: <visoko|srednje|nizko> # Kako jasno kontekst to podpira? Če kontekst ne podpira odgovora, v polje za odgovor napišite "ni informacij" in pustite vire prazne.
Da Citation res deluje, je treba preveriti, ali je pripis pravilen. Model lahko včasih da pravilen odgovor, vendar poda napačen vir. Napredni sistemi samodejno preverijo, ali je vsak proizveden zahtevek dejansko podprt v delu, na katerega kaže (meritev "zvestobe" v naslednji enoti).
Šibko/močno: Poziv proti halucinacijam
Slab (vabilo, da izpolnite prazno):
Odgovorite na vprašanje čim bolje z informacijami, ki jih imate: {context} Vprašanje: {question}# "Čim bolje lahko" pomeni "ugani, če ne veš" za model.
Močno (ozemljitev + dovoljenje ne vem + vir + zaupanje):
Samo zanašajte se na KONTEKST. V nasprotnem primeru recite "Nisem našel nobenih informacij"; dopolnite številko/datum/ime. Vsakemu zahtevku dodajte [n] številko vira. Določite stopnjo zaupanja, ki jo podpira kontekst. KONTEKST: [1]... [2]... VPRAŠANJE: {vprašanje}
Trije mini kovčki
Primer 1 – Izdelana številka artikla. Parapravnik si je izmislil izjavo o "členu 17/B", ki je bila izven konteksta in je zaposlenemu dal napačne podatke. Ko je bilo dodano navodilo »Ne navajaj številke članka, ki ni v kontekstu, sicer reci ne vem« + obveznost citiranja, se je število izmišljenih člankov zmanjšalo z 11 na 0 v 40 primerih.
Primer 2 – Pravilen odgovor, napačen vir. Pomočnik podpore je navedel pravilno obdobje vračila, vendar je citiral napačen članek; Ko je stranka kliknila na povezavo, se je odprla nepomembna stran. Ko je bilo dodano preverjanje citiranja (preverjanje, ali se trditev pojavi v citiranem delu), se je stopnja lažnih citatov znižala s 23 % na 2 %.
Primer 3 — dovoljenje »ne vem« ni bilo odobreno. Kadrovski pomočnik si je izmislil verjeten, a napačen odgovor na vprašanje, ki ga ni bilo v dokumentu. Ko sta bila pozivu dodana izrecna privolitev »ne vem« in celotno besedilo (»informacij o tem nisem našel v dokumentaciji«), se je poštena stopnja zavrnitve za vprašanja brez odgovora namesto izmišljotin povečala z 8 % na 95 %.
Pogoste napake
- Ne dovoljuje "ne vem": model zapolnjuje vrzel z izmišljotino.
- Ohranjanje ustvarjalnosti na visoki ravni: naključnost škoduje integriteti podjetja.
- Zaupanje viru, ne da bi ga preverili: model lahko pravilnemu odgovoru priloži napačen vir.
- Nerazločevanje med obema vrstama halucinacij: popravite napačno mesto, ne da bi vedeli, ali je to posledica priklica ali generiranja.
- Napačno navajanje za kozmetiko: navajanje vira je hkrati potrditev in odvračilo; vzemi resno.
Pozor: "Model je videti zelo samozavesten" ni isto kot "model je pravi". Halucinacije so na splošno najbolj tekoči in samozavestni stavki. Preberite zaupanje iz vira, ki ga navaja, ne iz tona stavka.
Če povzamem
- Halucinacija je, ko model zapolni informacijsko vrzel z verjetnim, a lažnim besedilom; RAG zmanjša, vendar se ne ponastavi.
- Halucinacije so lahko posledica priklica (napačen del) ali generiranja (napačno branje); Najprej določite katero.
- Najmočnejša tehnika ozemljitve je dati modelu izrecno dovoljenje "ne vem"; tudi zahteva po citiranju in nizka ustvarjalnost.
- Citiranje naredi odgovor preverljiv; Vliva samozavest in spodbuja, da je model izdelan previdno.
- Preveriti je treba tudi točnost navedbe; Pravilnemu odgovoru je lahko priložen napačen vir.
Aplikacijska naloga
(1) Pripravite 4 vprašanja, ki jih boste postavili svojemu pomočniku in katerih odgovorov ni v dokumentih (trap vprašanja). Vsakega preizkusite s šibkim in močnim pozivom in označite, ali model ustreza ali ne. (2) Za 4 vprašanja, katerih odgovori so v dokumentu, naj model ustvari številko zvara in ročno preveri, ali je zvar, ki ga prikazuje, dejansko pravi del. (3) Preverite, ali model daje "pravi odgovor, napačen vir" v vsaj enem primeru in v enem stavku napišite, kako lahko to samodejno ujamete.
kontrolni seznam
- [ ] Lahko povem, zakaj se halucinacija dogaja in da jo RAG zmanjša, vendar je ne ponastavi.
- [ ] Znam razlikovati med halucinacijami, povzročenimi z nastankom, in popraviti pravo mesto.
- [ ] Pozivu dodajam izrecna pravila za dovoljenje in ozemljitev »ne vem«.
- [ ] Odgovoru dodajam preverljiv vir (citat).
- [ ] Razumem potrebo po nadaljnjem preverjanju točnosti pripisa.