Gevinster:
- Forklar årsagerne til hallucinationer og jordens rolle
- Anvendelse af teknikker, der får modellen til at sige 'Jeg ved det ikke', hvis det ikke er i kontekst
- Sikring af tillid og auditabilitet ved at tilføje verificerbare kilder/citater til svar
En sprogmodels farligste adfærd er at finde på noget, han ikke kender, i en selvsikker og overbevisende tone. Dette kaldes hallucination. At hallucinere i en virksomhedsassistent er ikke bare irriterende, det er direkte risikabelt: Den forkerte fridag, den forkerte pris, det forkerte juridiske stof kan faktisk bringe en medarbejder eller kunde i fare. I denne enhed dækker vi, hvorfor hallucinationer opstår, hvordan man reducerer dem i RAG, og hvordan man gør svaret verificerbart.
Hvad forårsager hallucinationer?
Modellen er trænet til at producere det næstmest sandsynlige ord; Ikke "fortæl sandheden", men "fremstil flydende og fornuftig tekst". Hvis information mangler, kan det fylde hullet med noget statistisk plausibelt, men faktuelt forkert. Tre typiske udløsere:
- Der er ikke noget svar i sammenhængen, men modellen føler sig nødsaget til at sige noget alligevel.
- Konteksten er modstridende eller utilstrækkelig; Modellen lukker hullet med forudsigelse.
- Spørgsmålet går ud over kontekst; modellen vender tilbage til sin egen generelle (og muligvis forældede) viden.
RAG reducerer hallucination, fordi det giver modellen en reel kilde - men den nulstiller den ikke. Hvis du medbringer den forkerte del eller efterlader modellen "frihed til at udfylde hullet", kan systemet med RAG også passe til det.
form for hallucination
symptom
grundlæggende årsag
opløsningslag
stammer fra hentning
Det rigtige svar er i dokumentet, men det kom ikke
Forkert/manglende del leveret
Chunking, hybrid, omrangering (enhed 3-4)
Generation hentet
Den rigtige del ankom, men svaret er forkert/skal tilføjes
Modellen udfyldte hullet med forudsigelse
Jording, "Jeg ved det ikke" tilladelse, lav kreativitet
Citation hentet
Svaret er korrekt, men kilden er forkert
Model henvist til forkert del
Citationsbekræftelse (se enhed 8)
Tip: Del hallucinationen i to dele. Hentet fra hentning: forkert/manglende del ankommet (løsning: forbedre hentning). Generationskilde: Den korrekte del ankom, men modellen læste/tilføjede den forkert (løsning: prompt og jordforbindelse). Du kan ikke rette det, medmindre du ved, hvilken det er.
Grounding: Nailing the Answer in Context
Jording er navnet på alle teknikker til at fortælle modellen "bare stol på den tekst, jeg giver dig, gå ikke ud over det." Hans mest grundlæggende og mest effektive teknik: eksplicit at give modellen tilladelse til at sige 'Jeg ved det ikke'. Modellen er ligesom mennesket tøvende med at sige "jeg ved det ikke"; Du skal give ham udtrykkelig tilladelse til at gøre dette.
Svar kun baseret på KONTEKTEN nedenfor. Hvis svaret ikke er TYDELIGT i sammenhængen, så skriv præcis dette: "Jeg kunne ikke finde nok information om dette i dokumentationen." Medtag ikke tal, datoer eller navne, der ikke er i konteksten. Lad være med at gætte.
Yderligere jordingsteknikker:
- Citatkrav: Før hver påstand, citer konteksten ordret (“Dokumentet siger: '...'”). At producere fabrikerede citater er vanskeligere for modellen.
- Lav temperatur: Temperaturen (temperatur, kreativitet/tilfældig indstilling) skal være lav. Bemærk: I nogle nuværende modeller er denne parameter blevet fjernet; I dem giver du jordforbindelse med en prompt. Høj kreativitet er virksomhedens integritets fjende.
- Omfangsgrænse: "Reager kun på spørgsmål om samtykkepolitikken; afvis høfligt at fravælge."
Citation
Det stærkeste systemiske forsvar mod hallucination er at gøre svaret verificerbart. Hvis brugeren kan se, hvilket dokument svaret er baseret på: (1) kan han selv fange fejlen, (2) revision bliver mulig, (3) øges tilliden, og (4) modellen producerer mere forsigtigt med bevidstheden om, at "jeg bliver nødt til at citere kilden".
To almindelige tilgange:
Indlejret tilskrivning: Kildetag ved siden af hvert krav. "Årlig orlov er 14 dage [1]." Nedenfor er den fulde dokumentation af [1].
Struktureret output: Beder modellen om at producere svaret og kildelisten i separate felter; Viser ressourcer som klikbare links i grænsefladen.
# Fremstilling af et struktureret svar baseret på modellen (konceptuel) Giv dit svar i følgende struktur:- svar: <kontekstbaseret svar>- kilder: [{"part_no": 1, "file": "...", "section": "..."}]- tillid: <høj|medium|lav> # Hvor tydeligt understøtter konteksten det? Hvis konteksten ikke understøtter svaret, så skriv "ingen information fundet" i svarfeltet og lad kilderne stå tomme.
For at Citation virkelig kan fungere, er det nødvendigt at verificere, at tilskrivningen er korrekt. Modellen giver nogle gange det rigtige svar, men giver den forkerte kilde. Avancerede systemer kontrollerer automatisk, at hver påstand, der produceres, faktisk understøttes i det stykke, den peger på ("trofasthedsmålingen" i den næste enhed).
Svag/stærk: Prompt mod hallucination
Svag (invitation til at udfylde det tomme felt):
Besvar spørgsmålet så godt du kan med de oplysninger, du har: {context} Spørgsmål: {question}# "Så godt du kan" betyder "gæt om du ikke ved det" for modellen.
Stærk (jording + ved ikke-tilladelse + kilde + tillid):
Bare stol på KONTEKST. Ellers skal du sige "Jeg kunne ikke finde nogen information"; make up nummer/dato/navn. Tilføj [n] kildenummer til hver påstand. Angiv det tillidsniveau, der understøttes af konteksten. KONTEKST: [1]... [2]... SPØRGSMÅL: {spørgsmål}
Tre mini etuier
Tilfælde 1 — Sammensat varenummer. En advokatfuldmægtig udarbejdede en "Artikel 17/B"-erklæring, der var ude af kontekst og gav falske oplysninger til medarbejderen. Da instruktionen "Giv ikke et artikelnummer, der ikke er i sammenhængen, ellers sig jeg ved det ikke" + citatpligten blev tilføjet, faldt antallet af fabrikerede artikler fra 11 til 0 i 40 eksempler.
Case 2 — Korrekt svar, forkert kilde. En supportassistent angav den korrekte returperiode, men citerede den forkerte artikel; Når kunden klikkede på linket, åbnede en irrelevant side. Da citationsbekræftelse (kontrol af, om påstanden optræder i det citerede stykke) blev tilføjet, faldt antallet af falske citater fra 23 % til 2 %.
Sag 3 - "Jeg ved det ikke"-tilladelse blev ikke givet. En HR-assistent havde fundet på et plausibelt, men forkert svar på et spørgsmål, der ikke var i dokumentet. Da eksplicit "jeg ved ikke"-samtykke og fuld tekst ("Jeg kunne ikke finde information om dette i dokumentationen") blev tilføjet til prompten, steg den ærlige afvisningsprocent for spørgsmål uden svar, snarere end opspind, fra 8 % til 95 %.
Almindelige fejl
- Ikke at tillade "Jeg ved det ikke": Modellen udfylder hullet med fabrikation.
- At holde kreativiteten høj: Tilfældighed er skadelig for virksomhedens integritet.
- Tillid til kilden uden at verificere den: Modellen kan knytte den forkerte kilde til det rigtige svar.
- Der skelnes ikke mellem de to typer hallucinationer: Du retter det forkerte sted uden at vide, om det er forårsaget af genfinding eller generering.
- Mistaking Citation for kosmetik: Kildeangivelse er både bekræftende og afskrækkende; tage det alvorligt.
Forsigtig: "Modellen ser meget selvsikker ud" er ikke det samme som "modellen er korrekt". Hallucinationer er generelt de mest flydende og selvsikre sætninger. Læs tilliden fra den kilde, den angiver, ikke fra tonen i sætningen.
Sammenfattende
- Hallucination er, når modellen udfylder informationshullet med plausibel, men falsk tekst; RAG reducerer, men nulstiller ikke.
- Hallucinationen kan være forårsaget af genfinding (forkert del) eller generering (forkert læsning); Bestem hvilken først.
- Groundings mest kraftfulde teknik er at give modellen eksplicit "Jeg ved det ikke" tilladelse; også citationskrav og lav kreativitet.
- Citation gør svaret verificerbart; Det giver både selvtillid og presser modellen til at blive produceret forsigtigt.
- Nøjagtigheden af citatet bør også kontrolleres; Den forkerte kilde kan være knyttet til det rigtige svar.
Ansøgningsopgave
(1) Forbered 4 spørgsmål, du skal stille din assistent, og svarene på dem er ikke i dokumenterne (fældespørgsmål). Test hver enkelt med den svage og stærke prompt og marker, om modellen passer eller ej. (2) For de 4 spørgsmål, hvis svar er i dokumentet, skal du få modellen til at generere svejsenummeret og manuelt kontrollere, om svejsningen, den viser, faktisk er den rigtige del. (3) Tjek, om modellen giver "rigtigt svar, forkert kilde" i mindst ét tilfælde, og skriv i en sætning, hvordan du kan fange dette automatisk.
tjekliste
- [ ] Jeg kan fortælle, hvorfor hallucinationen sker, og at RAG reducerer den, men ikke nulstiller den.
- [ ] Jeg kan skelne mellem genfinding og generationsfremkaldte hallucinationer og rette det korrekte sted.
- [ ] Jeg tilføjer eksplicitte "Jeg ved det ikke"-tilladelse og grundregler til prompten.
- [ ] Jeg tilføjer en verificerbar kilde (citat) til svaret.
- [ ] Jeg forstår behovet for yderligere at kontrollere nøjagtigheden af tilskrivningen.