Winst:
- Leg de oorzaken van hallucinaties uit en de rol van aarden
- Het toepassen van technieken die ervoor zorgen dat het model 'ik weet het niet' zegt als het niet in de context staat
- Zorgen voor vertrouwen en controleerbaarheid door verifieerbare bronnen/citaties aan de antwoorden toe te voegen
Het gevaarlijkste gedrag van een taalmodel is iets te verzinnen dat hij niet kent op een zelfverzekerde en overtuigende toon. Dit heet hallucinatie. Hallucineren bij een bedrijfsassistent is niet alleen vervelend, het is ronduit riskant: de verkeerde vrije dag, de verkeerde prijs, de verkeerde juridische inhoud kan een werknemer of klant daadwerkelijk in gevaar brengen. In dit onderdeel bespreken we waarom hallucinaties optreden, hoe je deze bij RAG kunt verminderen en hoe je het antwoord verifieerbaar kunt maken.
Wat veroorzaakt hallucinaties?
Het model is getraind om het volgende meest waarschijnlijke woord te produceren; Niet ‘de waarheid vertellen’, maar ‘vloeiende en redelijke tekst produceren’. Als er informatie ontbreekt, kan deze de leemte opvullen met iets dat statistisch plausibel maar feitelijk onjuist is. Drie typische triggers:
- Er is geen antwoord in de context, maar het model voelt zich genoodzaakt om toch iets te zeggen.
- De context is tegenstrijdig of ontoereikend; Het model dicht de kloof met voorspellingen.
- De vraag gaat verder dan de context; het model keert terug naar zijn eigen algemene (en mogelijk verouderde) kennis.
RAG vermindert hallucinaties omdat het het model een echte bron geeft, maar deze niet reset. Als u het verkeerde onderdeel meeneemt of het model "vrijheid laat om het gat op te vullen", kan het systeem met RAG daar ook op passen.
soort hallucinatie
symptoom
oorzaak
oplossing laag
afkomstig van ophalen
Het juiste antwoord staat in het document, maar het is niet aangekomen
Verkeerd/ontbrekend onderdeel geleverd
Chunking, hybride, herrangschikking (Unit 3-4)
Generatie afkomstig
Het juiste onderdeel is aangekomen, maar het antwoord is fout/moet worden toegevoegd
Het model vulde de leemte op met voorspellingen
Aarding, ‘ik weet het niet’-toestemming, lage creativiteit
Citaat afkomstig
Het antwoord is juist, maar de bron is fout
Model verwijst naar het verkeerde onderdeel
Citaatverificatie (zie Unit 8)
Tip: Verdeel de hallucinatie in twee delen. Afkomstig uit ophalen: verkeerd/ontbrekend onderdeel aangekomen (oplossing: ophalen verbeteren). Generatiebron: Het juiste onderdeel is aangekomen, maar het model heeft het verkeerd gelezen/toegevoegd (oplossing: prompt en aarding). Je kunt het niet repareren tenzij je weet welke het is.
Aarding: het antwoord in de context plaatsen
Aarden is de naam die wordt gegeven aan alle technieken om het model te vertellen: "Vertrouw gewoon op de tekst die ik je geef, ga niet verder dan die tekst." Zijn meest basale en meest effectieve techniek: het model expliciet toestemming geven om 'ik weet het niet' te zeggen. Het model aarzelt, net als de mens, om te zeggen: "Ik weet het niet"; U moet hem hiervoor uitdrukkelijk toestemming geven.
Antwoord alleen op basis van de onderstaande CONTEXT. Als het antwoord niet DUIDELIJK in de context staat, schrijf dan precies dit: "Ik kon hierover niet genoeg informatie vinden in de documentatie." Voeg geen cijfers, datums of namen toe die niet in de context staan. Raad het niet.
Aanvullende aardingstechnieken:
- Citaatvereiste: Citeer vóór elke bewering de context letterlijk (“Het document zegt: '...'”). Het maken van verzonnen offertes is moeilijker voor het model.
- Lage temperatuur: De temperatuur (temperatuur, creativiteit/willekeurige instelling) moet laag zijn. Let op: in sommige huidige modellen is deze parameter verwijderd; Daarin geef je aarding met een prompt. Hoge creativiteit is de vijand van bedrijfsintegriteit.
- Reikwijdtelimiet: "Reageer alleen op problemen met het toestemmingsbeleid; weiger beleefd om u af te melden."
Citaat
De sterkste systemische verdediging tegen hallucinaties is het verifieerbaar maken van het antwoord. Als de gebruiker kan zien op welk document het antwoord is gebaseerd: (1) kan hij de fout zelf ontdekken, (2) wordt audit mogelijk, (3) neemt het vertrouwen toe, en (4) produceert het model voorzichtiger met het besef dat ‘ik de bron zal moeten vermelden’.
Twee veel voorkomende benaderingen:
Inline attributie: brontag naast elke claim. "Het jaarlijkse verlof bedraagt 14 dagen [1]." Hieronder vindt u de volledige documentatie van [1].
Gestructureerde output: het model vragen om het antwoord en de bronnenlijst in aparte velden te produceren; Bronnen weergeven als klikbare links in de interface.
# Een gestructureerd antwoord produceren op basis van het model (conceptueel) Geef je antwoord in de volgende structuur:- antwoord: <contextgebaseerd antwoord>- bronnen: [{"part_no": 1, "file": "...", "section": "..."}]- trust: <high|medium|low> # Hoe duidelijk ondersteunt de context dit? Als de context het antwoord niet ondersteunt, schrijf dan "geen informatie gevonden" in het antwoordveld en laat de bronnen leeg.
Om Citation echt te laten werken, is het noodzakelijk om te verifiëren dat de toeschrijving correct is. Het model geeft soms het juiste antwoord, maar geeft de verkeerde bron. Geavanceerde systemen controleren automatisch of elke bewering daadwerkelijk wordt ondersteund in het stuk waarnaar deze verwijst (de maatstaf voor 'trouw' in de volgende eenheid).
Zwak/sterk: prompt tegen hallucinaties
Zwak (uitnodiging om de lege plek in te vullen):
Beantwoord de vraag zo goed als je kunt met de informatie die je hebt: {context} Vraag: {vraag}# "Zo goed als je kunt" betekent "raden als je het niet weet" voor het model.
Sterk (aarding + weet geen toestemming + bron + vertrouwen):
Vertrouw gewoon op CONTEXT. Zeg anders "Ik kon geen informatie vinden"; opmaaknummer/datum/naam. Voeg [n] bronnummer toe aan elke claim. Specificeer het vertrouwensniveau dat door de context wordt ondersteund.CONTEXT: [1]... [2]... VRAAG: {vraag}
Drie mini-hoesjes
Geval 1 — Opgemaakt artikelnummer. Een paralegal verzon een "Artikel 17/B"-verklaring die uit zijn context was en valse informatie aan de werknemer verstrekte. Toen de instructie "Geef geen artikelnummer op dat niet in de context staat, anders zeg ik het niet" + de verplichting om te citeren werd toegevoegd, daalde het aantal gevallen van verzonnen artikelen van 11 naar 0 in 40 voorbeelden.
Geval 2 – Correct antwoord, verkeerde bron. Een supportmedewerker heeft de juiste retourtermijn aangegeven, maar het verkeerde artikel aangehaald; Wanneer de klant op de link klikte, werd een irrelevante pagina geopend. Toen citatieverificatie (controleren of de claim in het geciteerde stuk voorkomt) werd toegevoegd, daalde het percentage valse citaten van 23% naar 2%.
Geval 3 – “Ik weet het niet”-toestemming werd niet verleend. Een HR-assistent had een plausibel maar onjuist antwoord bedacht op een vraag die niet in het document stond. Toen expliciete 'Ik weet het niet'-toestemming en de volledige tekst ('Ik kon hierover geen informatie vinden in de documentatie') aan de prompt werden toegevoegd, steeg het eerlijke afwijzingspercentage voor vragen zonder antwoord, in plaats van verzinsels, van 8% naar 95%.
Veel voorkomende fouten
- Het niet toestaan van ‘ik weet het niet’: het model vult de leemte op met verzinsels.
- De creativiteit hoog houden: Willekeur is schadelijk voor de bedrijfsintegriteit.
- De bron vertrouwen zonder deze te verifiëren: Het model kan de verkeerde bron aan het juiste antwoord koppelen.
- Geen onderscheid maken tussen de twee soorten hallucinaties: je corrigeert de verkeerde plaats zonder te weten of deze wordt veroorzaakt door ophalen of genereren.
- Verwarring van citaat met cosmetica: Bronvermelding is zowel bevestigend als afschrikwekkend; neem het serieus.
Let op: "Het model ziet er erg zelfverzekerd uit" is niet hetzelfde als "het model is correct". Hallucinaties zijn over het algemeen de meest vloeiende en zelfverzekerde zinnen. Lees het vertrouwen af van de bron die het aangeeft, niet van de toon van de zin.
Samengevat
- Van hallucinatie is sprake wanneer het model de informatiekloof opvult met plausibele maar valse tekst; RAG vermindert maar reset niet.
- De hallucinatie kan worden veroorzaakt door ophalen (verkeerd deel) of genereren (verkeerd lezen); Bepaal eerst welke.
- De krachtigste techniek van aarden is om het model expliciete 'ik weet het niet'-toestemming te geven; ook citatievereiste en lage creativiteit.
- Citeren maakt het antwoord verifieerbaar; Het geeft vertrouwen en stimuleert het model om voorzichtig te produceren.
- De nauwkeurigheid van het citaat moet ook worden gecontroleerd; Het kan zijn dat de verkeerde bron aan het juiste antwoord is gekoppeld.
Applicatie taak
(1) Bereid 4 vragen voor die u aan uw assistent kunt stellen, waarvan de antwoorden niet in de documenten staan (valsvragen). Test ze allemaal met de zwakke en sterke prompt en markeer of het model past of niet. (2) Laat het model voor de 4 vragen waarvan de antwoorden in het document staan het lasnummer genereren en handmatig verifiëren of de weergegeven las daadwerkelijk het juiste onderdeel is. (3) Controleer of het model in minimaal één geval ‘goed antwoord, verkeerde bron’ geeft en schrijf in één zin hoe je dit automatisch kunt opvangen.
controlelijst
- [ ] Ik kan vertellen waarom de hallucinatie optreedt en dat RAG deze vermindert, maar niet reset.
- [ ] Ik kan onderscheid maken tussen retrieval- en generatie-geïnduceerde hallucinaties en de juiste plaats corrigeren.
- [ ] Ik voeg expliciete "Ik weet het niet"-toestemmings- en aardingsregels toe aan de prompt.
- [ ] Ik voeg een verifieerbare bron (citaat) toe aan het antwoord.
- [ ] Ik begrijp de noodzaak om de juistheid van de toeschrijving verder te controleren.