Dobici:
- Objasniti uzroke halucinacija i ulogu uzemljenja
- Primjena tehnika koje tjeraju model da kaže 'ne znam' ako nije u kontekstu
- Osiguravanje povjerenja i mogućnosti provjere dodavanjem provjerljivih izvora/citata odgovorima
Najopasnije ponašanje jezičnog modela je da samouvjerenim i uvjerljivim tonom izmišlja nešto što ne zna. To se zove halucinacija. Halucinirati u korporativnom pomoćniku nije samo neugodno, već je i rizično: pogrešan slobodan dan, pogrešna cijena, pogrešna pravna supstanca zapravo mogu ugroziti zaposlenika ili kupca. U ovoj jedinici pokrivamo zašto se javljaju halucinacije, kako ih smanjiti u RAG-u i kako odgovor učiniti provjerljivim.
Što uzrokuje halucinacije?
Model je osposobljen za stvaranje sljedeće najvjerojatnije riječi; Ne "govoriti istinu", već "proizvesti tečan i razuman tekst". Ako informacija nedostaje, prazninu može popuniti nečim statistički vjerojatnim, ali činjenično netočnim. Tri tipična okidača:
- U kontekstu nema odgovora, ali model se svejedno osjeća prisiljenim nešto reći.
- Kontekst je proturječan ili neadekvatan; Model zatvara jaz s predviđanjem.
- Pitanje nadilazi kontekst; model se vraća vlastitom općem (i moguće zastarjelom) znanju.
RAG smanjuje halucinacije jer daje modelu pravi izvor — ali ga ne resetira. Ako donesete pogrešan dio ili ostavite modelu "slobodu za popunjavanje praznine", sustav s RAG-om također može odgovarati.
vrsta halucinacije
simptom
temeljni uzrok
sloj otopine
podrijetlom iz preuzimanja
Točan odgovor je u dokumentu ali nije stigao
Isporučen pogrešan dio/dio koji nedostaje
Usitnjavanje, hibrid, ponovno rangiranje (jedinica 3-4)
Izvor generacije
Stigao je točan dio, ali odgovor je pogrešan/mora se dodati
Model je ispunio prazninu predviđanjem
Prizemljenje, dopuštenje "ne znam", niska kreativnost
Izvor citata
Odgovor je točan, ali je izvor pogrešan
Model je upućen na krivi dio
Provjera citata (vidi jedinicu 8)
Savjet: Podijelite halucinaciju na dva dijela. Izvorno iz dohvaćanja: stigao je pogrešan/dio koji nedostaje (rješenje: poboljšati dohvaćanje). Izvor generiranja: Stigao je ispravan dio, ali ga je model pogrešno pročitao/dodao (rješenje: brzo i uzemljenje). Ne možete ga popraviti ako ne znate koji je.
Uzemljenje: pronalaženje odgovora u kontekstu
Uzemljenje je naziv za sve tehnike govorenja modelu "samo se osloni na tekst koji ti dam, nemoj ići dalje od njega." Njegova najosnovnija i najučinkovitija tehnika: eksplicitno davanje dopuštenja modelu da kaže 'ne znam'. Model, kao i čovjek, oklijeva reći "ne znam"; Morate mu dati izričito dopuštenje da to učini.
Odgovorite samo na temelju KONTEKSTA u nastavku. Ako odgovor nije JASAN u kontekstu, napišite točno ovo: "Nisam mogao pronaći dovoljno informacija o tome u dokumentaciji." Nemojte uključivati brojeve, datume ili imena koji nisu u kontekstu. Ne pogađaj.
Dodatne tehnike uzemljenja:
- Zahtjevi za citiranje: Prije svake tvrdnje doslovce citirajte kontekst (“Dokument kaže: '...'”). Izrada izmišljenih citata je teža za modela.
- Niska temperatura: Temperatura (temperatura, kreativnost/nasumična postavka) treba biti niska. Napomena: u nekim trenutnim modelima ovaj je parametar uklonjen; U njima dajete uzemljenje s promptom. Visoka kreativnost je neprijatelj korporativnog integriteta.
- Ograničenje opsega: "Odgovarajte samo na pitanja pravila o pristanku; pristojno odbijte isključivanje."
Citiranje
Najjača sustavna obrana od halucinacija je učiniti odgovor provjerljivim. Ako korisnik može vidjeti na kojem se dokumentu temelji odgovor: (1) može sam otkriti pogrešku, (2) revizija postaje moguća, (3) povjerenje se povećava i (4) model radi opreznije sa sviješću da "morat ću navesti izvor".
Dva uobičajena pristupa:
Inline atribucija: oznaka izvora pored svake tvrdnje. "Godišnji odmor je 14 dana [1]." Ispod je potpuna dokumentacija [1].
Strukturirani izlaz: Traženje od modela da proizvede odgovor i popis izvora u odvojenim poljima; Prikaz resursa kao veza na koje se može kliknuti u sučelju.
# Izrada strukturiranog odgovora na temelju modela (konceptualnog) Dajte svoj odgovor u sljedećoj strukturi:- odgovor: <odgovor temeljen na kontekstu>- izvori: [{"part_no": 1, "file": "...", "section": "..."}]- povjerenje: <visoko|srednje|nisko> # Koliko jasno to podržava kontekst? Ako kontekst ne podržava odgovor, napišite "nisu pronađene informacije" u polje za odgovor i ostavite izvore prazne.
Da bi Citation stvarno funkcionirao, potrebno je provjeriti je li atribucija točna. Model ponekad može dati točan odgovor, ali dati krivi izvor. Napredni sustavi automatski provjeravaju je li svaka proizvedena tvrdnja stvarno podržana u dijelu na koji ukazuje (mjera "vjernosti" u sljedećoj jedinici).
Slabo/jako: Brzo protiv halucinacija
Slab (poziv za popunjavanje praznine):
Odgovorite na pitanje najbolje što možete s informacijama koje imate: {context} Pitanje: {question}# "Najbolji što možete" znači "pogodite ako ne znate" za model.
Jaka (uzemljenje + ne znam dopuštenje + izvor + povjerenje):
Oslonite se samo na KONTEKST. U suprotnom, recite "Nisam mogao pronaći nikakve informacije"; sastavni broj/datum/ime. Dodajte [n] broj izvora svakoj tvrdnji. Navedite razinu povjerenja koju podržava kontekst. KONTEKST: [1]... [2]... PITANJE: {pitanje}
Tri mini kućišta
Slučaj 1 — Izmišljeni broj stavke. Pomoćni pravnik izmislio je izjavu "članak 17/B" koja je bila izvan konteksta i dao je lažne podatke zaposleniku. Kada je dodana uputa "Ne navodi broj članka koji nije u kontekstu, inače reci ne znam" + obveza citiranja, slučajevi izmišljenih članaka smanjili su se s 11 na 0 u 40 primjera.
Slučaj 2 — Točan odgovor, pogrešan izvor. Pomoćnik podrške naveo je točan rok povrata, ali je citirao pogrešan članak; Kada je korisnik kliknuo na poveznicu, otvorila se nerelevantna stranica. Kada je dodana provjera citata (provjera pojavljuje li se tvrdnja u citiranom članku), stopa lažnih citata pala je s 23% na 2%.
Slučaj 3 — „Ne znam” dopuštenje nije odobreno. Pomoćnik za ljudske resurse izmislio je uvjerljiv, ali netočan odgovor na pitanje koje nije bilo u dokumentu. Kad su upitu dodani eksplicitni pristanak "Ne znam" i puni tekst ("Nisam mogao pronaći informacije o tome u dokumentaciji"), stopa iskrenog odbijanja pitanja bez odgovora, umjesto izmišljotina, porasla je s 8% na 95%.
Uobičajene greške
- Ne dopuštajući "ne znam": Model popunjava prazninu izmišljotinom.
- Održavanje visoke kreativnosti: slučajnost je štetna za korporativni integritet.
- Vjerovanje izvoru bez provjere: Model može priložiti pogrešan izvor točnom odgovoru.
- Ne razlikujući dvije vrste halucinacija: Ispravljate krivo mjesto ne znajući je li to uzrokovano vraćanjem ili stvaranjem.
- Zamjena citata za kozmetiku: navođenje izvora je i potvrda i odvraća; shvati to ozbiljno.
Oprez: "Model izgleda vrlo samouvjereno" nije isto što i "model je ispravan". Halucinacije su općenito najtečnije i najpouzdanije rečenice. Čitajte povjerenje iz izvora na koji ukazuje, a ne iz tona rečenice.
Ukratko
- Halucinacija je kada model ispunjava informacijsku prazninu uvjerljivim, ali lažnim tekstom; RAG smanjuje, ali se ne resetira.
- Halucinacija može biti uzrokovana vraćanjem (pogrešan dio) ili stvaranjem (pogrešno čitanje); Prvo odredite koji.
- Najmoćnija tehnika uzemljenja je dati modelu eksplicitno dopuštenje "ne znam"; također zahtjev za citiranost i nisku kreativnost.
- Citiranje čini odgovor provjerljivim; To ujedno daje povjerenje i tjera model da se proizvodi oprezno.
- Treba provjeriti i točnost navoda; Uz točan odgovor može biti priložen krivi izvor.
Zadatak aplikacije
(1) Pripremite 4 pitanja koja ćete postaviti svom pomoćniku, a čiji odgovori nisu u dokumentima (pitanja zamke). Testirajte svaki od njih slabim i jakim upitom i označite odgovara li model ili ne. (2) Za 4 pitanja čiji su odgovori u dokumentu, neka model generira broj zavara i ručno provjeri je li zavar koji prikazuje zapravo ispravan dio. (3) Provjerite da li model barem u jednom slučaju daje "točan odgovor, krivi izvor" i u jednoj rečenici napišite kako to možete automatski uhvatiti.
popis za provjeru
- [ ] Mogu reći zašto se halucinacija događa i da je RAG smanjuje, ali ne resetira.
- [ ] Mogu razlikovati halucinacije izazvane vraćanjem i halucinacije izazvane generacijom i ispraviti točno mjesto.
- [ ] U upitu dodajem eksplicitna dopuštenja "ne znam" i pravila uzemljenja.
- [ ] Odgovoru dodajem provjerljiv izvor (navod).
- [ ] Razumijem potrebu za dodatnom provjerom točnosti pripisivanja.