Vinster:
- Förklara orsakerna till hallucinationer och vilken roll jordning spelar
- Att tillämpa tekniker som får modellen att säga 'jag vet inte' om det inte är i sitt sammanhang
- Säkerställa förtroende och granskningsbarhet genom att lägga till verifierbara källor/citat till svar
Det farligaste beteendet hos en språkmodell är att hitta på något han inte kan i en säker och övertygande ton. Detta kallas hallucinationer. Att hallucinera i en företagsassistent är inte bara irriterande, det är rent ut sagt riskabelt: fel ledig dag, fel pris, fel juridisk substans kan faktiskt sätta en anställd eller kund i fara. I denna enhet tar vi upp varför hallucinationer uppstår, hur man minskar dem i RAG och hur man gör svaret verifierbart.
Vad orsakar hallucinationer?
Modellen är tränad att producera nästa mest sannolika ord; Inte "berätta sanningen", utan "producera flytande och rimlig text". Om information saknas kan det fylla tomrummet med något statistiskt troligt men faktiskt felaktigt. Tre typiska triggers:
- Det finns inget svar i sammanhanget, men modellen känner sig tvungen att säga något ändå.
- Kontexten är motstridig eller otillräcklig; Modellen stänger gapet med förutsägelse.
- Frågan går bortom sammanhanget; modellen återgår till sin egen allmänna (och möjligen föråldrade) kunskap.
RAG minskar hallucinationer eftersom det ger modellen en verklig källa - men den återställer den inte. Om du tar med fel del eller lämnar modellen "frihet att fylla luckan" kan systemet med RAG också passa den.
typ av hallucination
symptom
grundorsaken
lösningsskikt
härrör från hämtning
Rätt svar finns i dokumentet men det kom inte fram
Fel/saknad del levererad
Chunking, hybrid, omrangering (enhet 3-4)
Generation hämtad
Rätt del kom men svaret är fel/måste läggas till
Modellen fyllde luckan med förutsägelser
Jordning, "jag vet inte"-tillstånd, låg kreativitet
Citat hämtat
Svaret är korrekt men källan är fel
Modellen hänvisade till fel del
Citeringsverifiering (se enhet 8)
Tips: Dela hallucinationen i två delar. Hämtat från hämtning: fel/saknad del anlände (lösning: förbättra hämtning). Generationskälla: Rätt del kom, men modellen läste/lägg till den felaktigt (lösning: snabb och jordning). Du kan inte fixa det om du inte vet vilken det är.
Jordning: Spika svaret i sammanhanget
Jordning är namnet på alla tekniker för att säga till modellen "lita bara på texten jag ger dig, gå inte utöver den." Hans mest grundläggande och mest effektiva teknik: att uttryckligen ge modellen tillåtelse att säga "jag vet inte". Modellen är liksom människan tveksam till att säga "jag vet inte"; Du måste ge honom uttryckligt tillstånd att göra detta.
Svara endast baserat på KONTEXT nedan. Om svaret inte TYDLIGT finns i sammanhanget, skriv exakt detta: "Jag kunde inte hitta tillräckligt med information om detta i dokumentationen." Inkludera inga siffror, datum eller namn som inte ingår i sammanhanget. Gissar inte.
Ytterligare jordningstekniker:
- Offertkrav: Före varje påstående, citera sammanhanget ordagrant ("dokumentet säger: '...'"). Att producera påhittade offerter är svårare för modellen.
- Låg temperatur: Temperaturen (temperatur, kreativitet/slumpmässig inställning) ska vara låg. Obs: i vissa nuvarande modeller har denna parameter tagits bort; I dem ger du jordning med en uppmaning. Hög kreativitet är företagets integritets fiende.
- Omfattningsgräns: "Svara bara på frågor om samtyckespolicy; avböja artigt att välja bort."
Citation
Det starkaste systemiska försvaret mot hallucinationer är att göra svaret verifierbart. Om användaren kan se vilket dokument svaret är baserat på: (1) han kan fånga felet själv, (2) revision blir möjlig, (3) förtroendet ökar och (4) modellen producerar mer försiktigt med medvetenheten om att "jag kommer att behöva citera källan".
Två vanliga tillvägagångssätt:
Inline attribution: Källtagg bredvid varje anspråk. "Årlig ledighet är 14 dagar [1]." Nedan finns den fullständiga dokumentationen för [1].
Strukturerad utdata: Att be modellen producera svaret och källlistan i separata fält; Visar resurser som klickbara länkar i gränssnittet.
# Ta fram ett strukturerat svar baserat på modellen (konceptuellt) Ge ditt svar i följande struktur:- svar: <kontextbaserat svar>- källor: [{"part_no": 1, "file": "...", "section": "..."}]- trust: <high|medium|low> # Hur tydligt stödjer sammanhanget det? Om sammanhanget inte stödjer svaret, skriv "ingen information hittades" i svarsfältet och lämna källorna tomma.
För att Citation verkligen ska fungera är det nödvändigt att verifiera att tillskrivningen är korrekt. Modellen kan ibland ge rätt svar men ge fel källa. Avancerade system kontrollerar automatiskt att varje påstående som produceras faktiskt stöds i den del den pekar på (mätningen "trohet" i nästa enhet).
Svag/stark: Uppmaning mot hallucinationer
Svag (inbjudan att fylla i tomrummet):
Svara på frågan så gott du kan med den information du har: {context} Fråga: {question}# "Så gott du kan" betyder "gissa om du inte vet" för modellen.
Stark (jordad + vet inte behörighet + källa + förtroende):
Lita bara på KONTEXT. Annars, säg "Jag kunde inte hitta någon information"; sminka nummer/datum/namn. Lägg till [n] källnummer till varje påstående. Ange nivån av förtroende som stöds av sammanhanget. KONTEXT: [1]... [2]... FRÅGA: {fråga}
Tre minifodral
Fall 1 — Tillverkat artikelnummer. En paralegal gjorde ett "Artikel 17/B" uttalande som var ur sitt sammanhang och gav falsk information till den anställde. När instruktionen "Ge inte ett artikelnummer som inte finns i sammanhanget, annars säg att jag inte vet" + citatplikten tillkom minskade fallen av tillverkade artiklar från 11 till 0 i 40 exempel.
Fall 2 — Rätt svar, fel källa. En supportassistent angav rätt returperiod men citerade fel artikel; När kunden klickade på länken öppnades en irrelevant sida. När citeringsverifiering (kontrollera om påståendet förekommer i det citerade stycket) lades till, sjönk andelen falska hänvisningar från 23 % till 2 %.
Fall 3 – ”Jag vet inte”-tillstånd beviljades inte. En HR-assistent hade hittat på ett rimligt men felaktigt svar på en fråga som inte fanns i dokumentet. När uttryckligt "Jag vet inte" samtycke och fulltext ("Jag kunde inte hitta information om detta i dokumentationen") lades till i prompten, ökade den ärliga avslagsfrekvensen för frågor utan svar, snarare än påhitt, från 8 % till 95 %.
Vanliga misstag
- Att inte tillåta "jag vet inte": Modellen fyller tomrummet med tillverkning.
- Att hålla kreativiteten hög: Slumpmässighet är skadligt för företagets integritet.
- Att lita på källan utan att verifiera den: Modellen kan koppla fel källa till rätt svar.
- Att inte skilja mellan de två typerna av hallucinationer: Du korrigerar fel ställe utan att veta om det orsakas av hämtning eller generering.
- Mistaking Citation for kosmetika: Källhänvisning är både bekräftelse och avskräckande; ta det på allvar.
Varning: "Modellen ser väldigt självsäker ut" är inte detsamma som "modellen är korrekt". Hallucinationer är i allmänhet de mest flytande och säkra meningarna. Läs förtroendet från källan det anger, inte från meningen i meningen.
Sammanfattningsvis
- Hallucination är när modellen fyller informationsluckan med rimlig men falsk text; RAG minskar men återställs inte.
- Hallucinationen kan orsakas av hämtning (fel del) eller generering (felläsning); Bestäm vilken först.
- Groundings mest kraftfulla teknik är att ge modellen explicit "jag vet inte"-tillstånd; även citeringskrav och låg kreativitet.
- Citering gör svaret verifierbart; Det både ger självförtroende och driver modellen att tillverkas försiktigt.
- Riktningen av citatet bör också kontrolleras; Fel källa kan bifogas rätt svar.
Applikationsuppgift
(1) Förbered 4 frågor att ställa din assistent, vars svar inte finns i dokumenten (fällfrågor). Testa var och en med den svaga och starka prompten och markera om modellen passar eller inte. (2) För de 4 frågorna vars svar finns i dokumentet, låt modellen generera svetsnumret och manuellt verifiera om svetsen den visar verkligen är den korrekta delen. (3) Kontrollera om modellen ger "rätt svar, fel källa" i minst ett fall och skriv i en mening hur du kan fånga detta automatiskt.
checklista
- [ ] Jag kan berätta varför hallucinationen sker och att RAG minskar den men inte återställer den.
- [ ] Jag kan skilja mellan hämtning och generationsinducerade hallucinationer och korrigera den korrekta platsen.
- [ ] Jag lägger till uttrycklig "Jag vet inte"-tillstånd och grundregler till prompten.
- [ ] Jag lägger till en verifierbar källa (citat) till svaret.
- [ ] Jag förstår behovet av att ytterligare kontrollera tillskrivningens riktighet.