Dobici:
- Objasnite uzroke halucinacija i ulogu uzemljenja
- Primjena tehnika koje čine da model kaže 'Ne znam' ako nije u kontekstu
- Osiguravanje povjerenja i mogućnosti revizije dodavanjem provjerljivih izvora/citata u odgovore
Najopasnije ponašanje jezičkog modela je da samouverenim i ubedljivim tonom izmisli nešto što ne zna. Ovo se zove halucinacija. Halucinacija kod korporativnog asistenta nije samo neugodna, već je i potpuno rizična: pogrešan slobodan dan, pogrešna cijena, pogrešna pravna supstanca zapravo mogu dovesti zaposlenog ili kupca u opasnost. U ovoj cjelini obrađujemo zašto se halucinacije javljaju, kako ih smanjiti u RAG-u i kako učiniti odgovor provjerljivim.
Šta uzrokuje halucinacije?
Model je obučen da proizvede sljedeću najvjerovatniju riječ; Ne "govoriti istinu", već "proizvesti tečan i razuman tekst". Ako informacija nedostaje, ona može popuniti prazninu nečim statistički uvjerljivim, ali činjenično netačnim. Tri tipična okidača:
- Nema odgovora u kontekstu, ali se model ipak osjeća primoran da nešto kaže.
- Kontekst je konfliktan ili neadekvatan; Model zatvara jaz sa predviđanjem.
- Pitanje nadilazi kontekst; model se vraća svom opštem (i možda zastarelom) znanju.
RAG smanjuje halucinacije jer modelu daje pravi izvor - ali ga ne resetuje. Ako donesete pogrešan dio ili ostavite modelu "slobodu da popuni prazninu", može se uklopiti i sistem sa RAG-om.
vrsta halucinacije
simptom
osnovni uzrok
sloj rastvora
koji potiču iz izvlačenja
Tačan odgovor je u dokumentu, ali nije stigao
Isporučen pogrešan/nedostajući dio
Sjeckanje, hibridno, ponovno rangiranje (Jedinica 3-4)
Generation sourced
Tačan dio je stigao, ali je odgovor pogrešan/mora se dodati
Model je popunio prazninu predviđanjem
Utemeljenje, "ne znam" dozvola, niska kreativnost
Izvor citata
Odgovor je tačan, ali izvor je pogrešan
Model se odnosi na pogrešan dio
Provjera citata (vidi 8. jedinicu)
Savjet: Podijelite halucinaciju na dva dijela. Izvor iz preuzimanja: stigao je pogrešan/nedostajući dio (rješenje: poboljšati pronalaženje). Izvor generisanja: Ispravan deo je stigao, ali ga je model pogrešno pročitao/dodao (rešenje: prompt i uzemljenje). Ne možete ga popraviti ako ne znate koji je.
Utemeljenje: Zakucavanje odgovora u kontekstu
Utemeljenje je naziv koji se daje svim tehnikama govorenja modelu "samo se oslonite na tekst koji vam dajem, ne idite dalje od njega." Njegova najosnovnija i najefikasnija tehnika: eksplicitno davanje dozvole modelu da kaže 'Ne znam'. Model, kao i čovek, okleva da kaže "ne znam"; Morate mu dati izričitu dozvolu da to uradi.
Odgovorite samo na osnovu KONTEKSTA u nastavku. Ako odgovor nije JASNO u kontekstu, napišite upravo ovo: "Nisam mogao pronaći dovoljno informacija o ovome u dokumentaciji." Nemojte uključivati brojeve, datume ili imena koji nisu u kontekstu. Ne pogađaj.
Dodatne tehnike uzemljenja:
- Zahtjev za citiranje: Prije svake tvrdnje, citirajte kontekst doslovno (“U dokumentu piše:...'”). Izrada fabrikovanih citata je teža za model.
- Niska temperatura: Temperatura (temperatura, kreativnost/nasumična postavka) treba da bude niska. Napomena: u nekim trenutnim modelima ovaj parametar je uklonjen; U njima dajete uzemljenje uz pomoć. Visoka kreativnost je neprijatelj korporativnog integriteta.
- Ograničenje opsega: "Odgovarajte samo na pitanja politike pristanka; ljubazno odbijte da se odjavite."
Citiranje
Najjača sistemska odbrana od halucinacija je učiniti odgovor provjerljivim. Ako korisnik može vidjeti na kojem dokumentu se zasniva odgovor: (1) može sam uhvatiti grešku, (2) revizija postaje moguća, (3) povjerenje se povećava i (4) model proizvodi opreznije sa svjesnošću da ću "morati da navedem izvor".
Dva uobičajena pristupa:
Inline atribucija: Oznaka izvora pored svakog zahtjeva. "Godišnji odmor je 14 dana [1]." Ispod je kompletna dokumentacija [1].
Strukturirani izlaz: Traženje od modela da proizvede odgovor i listu izvora u odvojenim poljima; Prikaz resursa kao veza na koje se može kliknuti u interfejsu.
# Izrada strukturiranog odgovora zasnovanog na modelu (konceptualno) Dajte svoj odgovor u sljedećoj strukturi:- odgovor: <odgovor zasnovan na kontekstu>- izvori: [{"part_no": 1, "file": "...", "section": "..."}]- povjerenje: <visoko|srednje|nisko> # Koliko jasno kontekst to podržava? Ako kontekst ne podržava odgovor, u polje za odgovor upišite "nisu pronađene informacije" i ostavite izvore praznim.
Da bi Citiranje zaista funkcioniralo, potrebno je provjeriti je li atribucija tačna. Model ponekad može dati tačan odgovor, ali dati pogrešan izvor. Napredni sistemi automatski provjeravaju da li je svaka proizvedena tvrdnja zaista podržana u komadu na koji ukazuje (mjera "vjernosti" u sljedećoj jedinici).
Slabo/jako: Prompt protiv halucinacija
Slabo (poziv za popunjavanje praznine):
Odgovorite na pitanje najbolje što možete sa informacijama koje imate: {context} Pitanje: {question}# "Najbolje što možete" znači "pogodi ako ne znaš" za model.
Jaka (uzemljenje + ne znam dozvola + izvor + povjerenje):
Samo se oslonite na KONTEKST. U suprotnom, recite "Nisam mogao pronaći nikakve informacije"; dopuniti broj/datum/ime. Dodajte [n] izvorni broj svakom zahtjevu. Navedite nivo povjerenja koji podržava kontekst. KONTEKST: [1]... [2]... PITANJE: {pitanje}
Tri mini futrole
Slučaj 1 — Izrađen broj stavke. Pomoćnik pravnika je sastavio izjavu "član 17/B" koja je bila van konteksta i dala je lažne informacije zaposleniku. Kada je dodata instrukcija "Ne daj broj artikla koji nije u kontekstu, inače reci ne znam" + obaveza citiranja, slučajevi fabrikovanih artikala su smanjeni sa 11 na 0 u 40 primjera.
Slučaj 2 — Tačan odgovor, pogrešan izvor. Pomoćnik za podršku naveo je tačan period povratka, ali je citirao pogrešan članak; Kada je kupac kliknuo na link, otvorila se nebitna stranica. Kada je dodata provjera citata (provjera da li se tvrdnja pojavljuje u citiranom tekstu), stopa lažnih citata je pala sa 23% na 2%.
Slučaj 3 — „Ne znam“ dozvola nije data. Pomoćnik za ljudske resurse je smislio uvjerljiv, ali netačan odgovor na pitanje koje nije bilo u dokumentu. Kada su upitu dodani izričiti pristanak „Ne znam“ i puni tekst („Nisam mogao pronaći informacije o ovome u dokumentaciji“), stopa poštenog odbijanja za pitanja bez odgovora, umjesto izmišljotina, porasla je sa 8% na 95%.
Uobičajene greške
- Ne dozvoljavajući "ne znam": model popunjava prazninu izmišljotinom.
- Održavanje kreativnosti na visokom nivou: slučajnost je štetna za korporativni integritet.
- Vjerovati izvoru bez njegove provjere: model može priložiti pogrešan izvor tačnom odgovoru.
- Ne pravite razliku između dvije vrste halucinacija: ispravljate pogrešno mjesto bez da znate da li je ono uzrokovano pronalaženjem ili generiranjem.
- Pogrešan citat za kozmetiku: Citiranje izvora je i potvrda i odvraćanje; shvati to ozbiljno.
Oprez: "Model izgleda vrlo samouvjereno" nije isto što i "model je ispravan". Halucinacije su generalno najtečnije i najpouzdanije rečenice. Čitajte povjerenje iz izvora na koji ukazuje, a ne iz tona rečenice.
Ukratko
- Halucinacija je kada model popunjava informacijsku prazninu uvjerljivim, ali lažnim tekstom; RAG smanjuje, ali se ne resetuje.
- Halucinacija može biti uzrokovana izvlačenjem (pogrešan dio) ili generiranjem (pogrešno čitanje); Odredite koji prvi.
- Najmoćnija tehnika Groundinga je da se modelu da eksplicitna dozvola "ne znam"; također zahtjev za citiranjem i niska kreativnost.
- Citiranje čini odgovor provjerljivim; To istovremeno daje samopouzdanje i gura model da se proizvodi oprezno.
- Takođe treba provjeriti tačnost citata; Pogrešan izvor može biti vezan uz tačan odgovor.
Zadatak aplikacije
(1) Pripremite 4 pitanja koja ćete postaviti svom asistentu, a odgovora nema u dokumentima (trap pitanja). Testirajte svaki sa slabim i jakim upitom i označite odgovara li model ili ne. (2) Za 4 pitanja čiji se odgovori nalaze u dokumentu, neka model generiše broj zavara i ručno provjeri da li je zavar koji prikazuje zapravo ispravan dio. (3) Provjerite da li model daje "tačan odgovor, pogrešan izvor" barem u jednom slučaju i napišite u jednoj rečenici kako to možete automatski uhvatiti.
kontrolna lista
- [ ] Mogu reći zašto se halucinacija dešava i da je RAG smanjuje, ali je ne resetuje.
- [ ] Mogu da razlikujem halucinacije izazvane vraćanjem i halucinacije izazvane generacijom i ispravim tačno mesto.
- [ ] U prompt dodajem eksplicitnu dozvolu "Ne znam" i pravila uzemljenja.
- [ ] Odgovoru dodajem provjerljiv izvor (citat).
- [ ] Razumijem potrebu da se dodatno provjeri tačnost atribucije.