Gevinster:
- Forklar årsakene til hallusinasjoner og hvilken rolle jording spiller
- Å bruke teknikker som får modellen til å si "jeg vet ikke" hvis den ikke er i kontekst
- Sikre tillit og reviderbarhet ved å legge til verifiserbare kilder/siteringer til svar
Den farligste oppførselen til en språkmodell er å finne på noe han ikke kan i en selvsikker og overbevisende tone. Dette kalles hallusinasjoner. Å hallusinere i en bedriftsassistent er ikke bare irriterende, det er direkte risikabelt: feil fridag, feil pris, feil juridisk substans kan faktisk sette en ansatt eller kunde i fare. I denne enheten dekker vi hvorfor hallusinasjoner oppstår, hvordan man kan redusere dem i RAG, og hvordan man gjør svaret etterprøvbart.
Hva forårsaker hallusinasjoner?
Modellen er opplært til å produsere det nest mest sannsynlige ordet; Ikke «fortell sannheten», men «produser flytende og fornuftig tekst». Hvis informasjon mangler, kan det fylle gapet med noe statistisk plausibelt, men faktisk feil. Tre typiske utløsere:
- Det er ikke noe svar i sammenhengen, men modellen føler seg tvunget til å si noe likevel.
- Konteksten er motstridende eller utilstrekkelig; Modellen lukker gapet med prediksjon.
- Spørsmålet går utover kontekst; modellen går tilbake til sin egen generelle (og muligens utdaterte) kunnskap.
RAG reduserer hallusinasjoner fordi det gir modellen en reell kilde - men den tilbakestiller den ikke. Tar du med feil del eller lar modellen stå "frihet til å fylle gapet", kan systemet med RAG også passe den.
type hallusinasjon
symptom
rotårsak
løsningslag
stammer fra henting
Det riktige svaret er i dokumentet, men det kom ikke
Feil/manglende del levert
Chunking, hybrid, re-rangering (enhet 3-4)
Generasjon hentet
Riktig del kom, men svaret er feil/må legges til
Modellen fylte gapet med prediksjon
Jording, "jeg vet ikke" tillatelse, lav kreativitet
Sitat hentet
Svaret er riktig, men kilden er feil
Modell referert til feil del
Sitasjonsbekreftelse (se enhet 8)
Hint: Del hallusinasjonen i to deler. Hentet fra henting: feil/manglende del ankom (løsning: forbedre gjenfinningen). Generasjonskilde: Riktig del kom, men modellen leste/legge den til feil (løsning: ledetekst og jording). Du kan ikke fikse det med mindre du vet hvilken det er.
Jording: Finne svaret i kontekst
Jording er navnet som er gitt til alle teknikker for å fortelle modellen "bare stol på teksten jeg gir deg, ikke gå utover den." Hans mest grunnleggende og mest effektive teknikk: eksplisitt gi modellen tillatelse til å si "jeg vet ikke". Modellen, som mennesket, er nølende med å si «jeg vet ikke»; Du må gi ham uttrykkelig tillatelse til å gjøre dette.
Svar kun basert på KONTEKST nedenfor. Hvis svaret ikke er TYDELIG i sammenhengen, skriv akkurat dette: "Jeg fant ikke nok informasjon om dette i dokumentasjonen." Ikke ta med tall, datoer eller navn som ikke er i konteksten. Ikke gjett.
Ytterligere jordingsteknikker:
- Sitatkrav: Før hver påstand, siter konteksten ordrett ("Dokumentet sier: '...'"). Å produsere fabrikkerte sitater er vanskeligere for modellen.
- Lav temperatur: Temperaturen (temperatur, kreativitet/tilfeldig innstilling) skal være lav. Merk: i noen gjeldende modeller er denne parameteren fjernet; I dem gir du jording med en melding. Høy kreativitet er fienden til bedriftens integritet.
- Omfangsgrense: "Reager kun på spørsmål om samtykkepolitikk; avslå høflig å velge bort."
Sitering
Det sterkeste systemiske forsvaret mot hallusinasjoner er å gjøre svaret etterprøvbart. Hvis brukeren kan se hvilket dokument svaret er basert på: (1) han kan fange feilen selv, (2) revisjon blir mulig, (3) tilliten øker, og (4) modellen produserer mer forsiktig med bevisstheten om at «I will need to cite the source».
To vanlige tilnærminger:
Innebygd attribusjon: Kildetagg ved siden av hvert krav. "Årlig permisjon er 14 dager [1]." Nedenfor er den fullstendige dokumentasjonen av [1].
Strukturert utgang: Be modellen produsere svaret og kildelisten i separate felt; Viser ressurser som klikkbare lenker i grensesnittet.
# Produsere et strukturert svar basert på modellen (konseptuell) Gi svaret ditt i følgende struktur:- svar: <kontekstbasert svar>- kilder: [{"part_no": 1, "file": "...", "section": "..."}]- tillit: <høy|middels|lav> # Hvor tydelig støtter konteksten det? Hvis konteksten ikke støtter svaret, skriv "ingen informasjon funnet" i svarfeltet og la kildene stå tomme.
For at sitering virkelig skal fungere, er det nødvendig å bekrefte at attribusjonen er korrekt. Modellen kan noen ganger gi riktig svar, men gi feil kilde. Avanserte systemer sjekker automatisk at hver påstand som produseres faktisk støttes i stykket det peker på («trofasthetsmålingen» i neste enhet).
Svak/sterk: Spør mot hallusinasjoner
Svak (invitasjon til å fylle ut feltet):
Svar på spørsmålet så godt du kan med informasjonen du har: {context} Spørsmål: {question}# "Så godt du kan" betyr "gjett om du ikke vet" for modellen.
Sterk (jording + vet ikke tillatelse + kilde + tillit):
Bare stol på KONTEKST. Ellers si "Jeg fant ingen informasjon"; lag opp nummer/dato/navn.Legg til [n] kildenummer til hver påstand. Spesifiser tillitsnivået som støttes av konteksten. KONTEKST: [1]... [2]... SPØRSMÅL: {spørsmål}
Tre minivesker
Tilfelle 1 — Sammensatt varenummer. En advokatfullmektig laget en "Artikkel 17/B"-erklæring som var ute av kontekst og ga falsk informasjon til den ansatte. Da instruksen «Ikke oppgi et artikkelnummer som ikke er i sammenhengen, ellers si at jeg ikke vet» + sitatplikten ble lagt til, gikk tilfellene av fabrikkerte artikler ned fra 11 til 0 i 40 eksempler.
Sak 2 – Riktig svar, feil kilde. En støtteassistent oppga riktig returperiode, men siterte feil artikkel; Når kunden klikket på lenken, åpnet det seg en irrelevant side. Da siteringsverifisering (kontrollerer om påstanden vises i det siterte stykket) ble lagt til, falt andelen falske siteringer fra 23 % til 2 %.
Sak 3 – «Jeg vet ikke»-tillatelse ble ikke gitt. En HR-assistent hadde laget et plausibelt, men feil svar på et spørsmål som ikke var i dokumentet. Når eksplisitt «jeg vet ikke»-samtykke og fulltekst («Jeg kunne ikke finne informasjon om dette i dokumentasjonen») ble lagt til forespørselen, økte den ærlige avvisningsraten for spørsmål uten svar, snarere enn oppspinn, fra 8 % til 95 %.
Vanlige feil
- Ikke tillate «jeg vet ikke»: Modellen fyller gapet med fabrikasjon.
- Holde kreativiteten høy: Tilfeldighet er skadelig for bedriftens integritet.
- Stoler på kilden uten å verifisere den: Modellen kan knytte feil kilde til riktig svar.
- Ikke skille mellom de to typene hallusinasjoner: Du korrigerer feil sted uten å vite om det er forårsaket av gjenfinning eller generering.
- Mistaking Citation for kosmetikk: Angivelse av kilde er både bekreftelse og avskrekkende; ta det på alvor.
Forsiktig: "Modellen ser veldig selvsikker ut" er ikke det samme som "modellen er riktig". Hallusinasjoner er generelt de mest flytende og selvsikre setningene. Les tilliten fra kilden den angir, ikke fra tonen i setningen.
Oppsummert
- Hallusinasjon er når modellen fyller informasjonsgapet med plausibel, men falsk tekst; RAG reduserer, men nullstilles ikke.
- Hallusinasjonen kan være forårsaket av gjenfinning (feil del) eller generering (feil lesing); Bestem hvilken først.
- Groundings kraftigste teknikk er å gi modellen eksplisitt «jeg vet ikke»-tillatelse; også sitasjonskrav og lav kreativitet.
- Sitering gjør svaret etterprøvbart; Det både gir selvtillit og presser modellen til å produseres forsiktig.
- Nøyaktigheten av sitatet bør også kontrolleres; Feil kilde kan være knyttet til riktig svar.
Søknadsoppgave
(1) Forbered 4 spørsmål å stille assistenten din, svarene på som ikke er i dokumentene (fellespørsmål). Test hver enkelt med den svake og sterke meldingen og merk om modellen passer eller ikke. (2) For de 4 spørsmålene hvis svar er i dokumentet, la modellen generere sveisenummeret og manuelt verifisere om sveisen den viser faktisk er den riktige delen. (3) Sjekk om modellen gir "riktig svar, feil kilde" i minst ett tilfelle og skriv i én setning hvordan du kan fange opp dette automatisk.
sjekkliste
- [ ] Jeg kan fortelle hvorfor hallusinasjonen skjer og at RAG reduserer den, men ikke tilbakestiller den.
- [ ] Jeg kan skille mellom gjenfinning og generasjonsinduserte hallusinasjoner og korrigere riktig sted.
- [ ] Jeg legger til eksplisitt "jeg vet ikke"-tillatelse og jordingsregler i ledeteksten.
- [ ] Jeg legger til en verifiserbar kilde (sitering) til svaret.
- [ ] Jeg forstår behovet for å kontrollere nøyaktigheten av attribusjonen ytterligere.