Antwoorden genereren uit de kennisbank (Inleiding tot RAG)

Winst:

• Inzicht in de logica van kennisgebaseerde generatie (RAG) en waarom het hallucinaties vermindert
• Mogelijkheid om het model te laten reageren met bronvermelding, uitsluitend op basis van de aangeleverde brondocumenten
• Mogelijkheid om vragen die niet in de bron staan te beheren door ze veilig over te dragen, zonder vragen te verzinnen

Een taalmodel 'weet' veel, maar kent niet het retourbeleid van uw bedrijf van vandaag, uw huidige prijslijst of uw verzendovereenkomst die gisteren is gewijzigd. Erger nog, als hij het niet weet, verzint hij het vaak en schrijft hij op een uiterst zelfverzekerde toon. Dit is een fatale fout in de klantenservice: het model zegt: "Restituties worden binnen 30 dagen uitgevoerd", terwijl uw polis mogelijk 14 dagen bedraagt. De aanpak die deze kloof overbrugt heet RAG: Retrieval-Augmented Generation, dat wil zeggen "retrieval-augmented production".

Het idee is simpel: het model beantwoordt de vraag niet vanuit het geheugen, maar vanuit de juiste brondocumenten die er op dat moment voor staan. Ten eerste is het juiste stuk document dat relevant is voor de vraag 'ophalen', waarna het model het antwoord 'genereert' op basis van alleen dat stuk. In dit onderdeel zul je de logica van RAG begrijpen en leren hoe je het model in toom kunt houden, zodat het alleen blijft hangen bij de geverifieerde bron die je verstrekt.

Opmerking: dit apparaat leert de werkingslogica en de snelle kant van RAG. Automatische systemen voor het ophalen van documenten op ondernemingsniveau (vectordatabase, enz.) vereisen een technische installatie; Discipline is hier de basis voor het correct reageren van dat systeem.

Waarom vermindert RAG hallucinaties?

Van hallucinatie is sprake wanneer het model onwerkelijke informatie produceert alsof deze echt is. Het model is geprogrammeerd om een ​​reactie te produceren die ‘mogelijk’ lijkt als het een leemte waarneemt; Weet niet of het waar is of niet. RAG vult deze leemte op: je geeft het model de daadwerkelijk relevante tekst bij de vraag en zegt ‘alleen antwoord vanaf hier’. Zo "hoeft" het model niet te passen.

Er zijn drie componenten:

• Kennisbank: Betrouwbare teksten zoals FAQ’s, beleidsdocumenten, producthandleidingen, prijslijsten.
• Ophalen: het stuk document vinden dat het antwoord op de vraag bevat en dit aan het model geven.
• Beperkte oplage: Model reageert met offerte, uitsluitend gebaseerd op het geleverde onderdeel.

Stap voor stap: een trouw antwoord op de bron

1. Bereid de bron voor. Zoek de tekst waarop het antwoord zal worden gebaseerd (beleid, FAQ) in een duidelijk en actueel formaat.
2. Sluit de broncode in de prompt in. Plaats de tekst in een tag zoals <source>.
3. Schrijf de loyaliteitsregel op. "Gebruik alleen de informatie uit de bron; wijk niet af van de bron."
4. Maak citeren verplicht. Laat hem/haar aangeven op welk onderdeel het antwoord is gebaseerd.
5. Identificeer niet-hulpbrongedrag. Als het antwoord niet in de bron staat, laat hem dan zeggen: "Ik heb deze informatie niet" en geef het door.
6. Verifiëren. Bevestig het antwoord door het te vergelijken met de bronzin waarop het is gebaseerd.

Kopieerbare aanwijzingen

Reactieprompt op basis van de onderliggende bron:

Rol: Je bent klantondersteuningsmedewerker. Beantwoord de vraag ALLEEN op basis van de informatie in het <source>blok hieronder. Voeg geen informatie toe die niet in de bron, gok of antwoord staat op basis van uw algemene kennis. Voeg de sectie waarop u vertrouwt toe aan het einde van uw antwoord in de indeling "[Bron: ...]". Als het antwoord niet in de bron staat, schrijf dan het volgende: "Ik heb geen definitieve informatie over dit onderwerp, ik stuur u door naar een functionaris die het juiste antwoord kan geven."<bron>{{ policy_or_faq_text }}</source>Vraag: {{ customer_question }}

In het geval van meerdere bronnen, de prompt om aan te geven op welk document het is gebaseerd:

Er zijn meerdere bronnen hieronder genummerd. Vermeld bij het beantwoorden van de vraag het nummer van de bron die je hebt gebruikt, bijvoorbeeld [Bron 2]. Als meer dan één bron je tegenspreekt, zeg dat dan duidelijk en geef aan dat je moet vragen welke het meest actueel is.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Vraag: {{ customer_question }}

Prompt die de niet-bronvraag veilig beheert:

Als het antwoord op de vraag GEDEELTELIJK in de bron wordt gevonden: beantwoord alleen het deel dat door de bron wordt gedekt, en zeg "dit detail staat niet in de bron" voor het resterende deel. Vul het ontbrekende deel nooit in door te raden.

Prompt die het antwoord vertaalt naar de taal van de klant, maar trouw blijft aan de bron:

Vertaal de officiële/technische uitdrukking in de bron in duidelijke taal die de klant kan begrijpen, maar verander NIET de betekenis en numerieke waarden (dag, bedrag, tarief). Bijvoorbeeld: '14 kalenderdagen' afronden naar 'ongeveer twee weken'; volledige waarde behouden.

Zwakke prompt/sterke prompt

Zwakke prompt

Krachtige prompt

"Vertel ons over ons retourbeleid"

Sluit bron in + "antwoord hier alleen" + vraagt offerte aan

Antwoord uit het geheugen van het model (misschien verkeerd)

Antwoord uit uw huidige document

Als het niet in de bron staat, verzint hij het

Hij zegt: "Ik heb deze informatie niet" en geeft deze door.

Kan getallen afronden en vervormen

Houdt dag/bedrag/tarief exact bij

Het verschil is dat de sterke prompt het model een anker (brontekst) en een verbod (off-source) geeft. Het model spreekt niet langer uit het geheugen, maar vanuit de realiteit die voor hem ligt.

Drie mini-hoesjes

Geval 1 — De oude beleidsval. "Retourzendingen worden binnen 30 dagen geaccepteerd", zei de bot van een winkel terwijl hij zonder tegoed werkte; Het bedrijf verkortte de periode echter tot 14 dagen. Wanneer de bijgewerkte beleidstekst wordt toegevoegd aan de bron in de RAG-installatie, reageert de bot nu "14 kalenderdagen [Bron: Retourbeleid, artikel 2]". Geschillen over terugbetaling die voortkomen uit valse beloften zijn gereset.

Geval 2 – De tegenstrijdigheid onderkennen. Een klant vroeg naar de verzendkosten. Zowel de oude als de nieuwe prijslijsten werden als bron in het systeem ingevoerd. Dankzij de prompt met meerdere bronnen zei het model: "Twee bronnen geven verschillende prijzen (49 TL en 59 TL); ik moet de huidige bevestigen" en bracht het probleem aan de mens over. In plaats van de klant een verkeerd bedrag te vertellen, communiceerde hij de onzekerheid eerlijk.

Geval 3 — Gedeeltelijke responsdiscipline. “Verstuurt u het product naar het buitenland en wie betaalt de douanerechten?” In de vraag zei de bron alleen dat de zending had plaatsgevonden, er stond niets over wie de belasting had betaald. Het model zei: "Ja, er wordt naar het buitenland verzonden [Bron: Cargo FAQ]. In dit document staat echter niet wie de douanerechten betaalt; ik draag u over aan de ambtenaar om dit op te helderen." In plaats van een half waar, half verzonnen antwoord leverde het een eerlijk en zelfverzekerd resultaat op.

Tip: Bewaar de meest actuele en enige bron van waarheidsversie van uw kennisbank. Het verschillend schrijven van dezelfde informatie (bijvoorbeeld de aangifteperiode) in drie afzonderlijke documenten is de grootste vijand van RAG; Het model reageert anders, afhankelijk van waar het naar kijkt. Ontdubbel eerst uw documenten en automatiseer ze vervolgens.

Verificatie: ontspan niet alleen omdat de bron bestaat

RAG vermindert de hallucinatie aanzienlijk, maar reset deze niet. Het model kan de bron soms verkeerd interpreteren, twee zinnen door elkaar halen of een “conclusie” trekken die niet in de bron staat. Daarom is de citatievereiste van cruciaal belang: open het gedeelte waarop het antwoord beweert te zijn gebaseerd en controleer of dat ook daadwerkelijk zo staat. Over deze controle kan niet worden onderhandeld, vooral bij antwoorden die getallen (dag, bedrag, tarief) en voorwaarden (uitzondering, voorwaarde) bevatten.

Let op: als de bron zelf fout of verouderd is, herhaalt RAG die fout getrouw. Zeggen ‘het model spreekt vanuit de bron’ betekent niet dat ‘het model correct spreekt’; U bent verantwoordelijk voor de actualiteit en nauwkeurigheid van uw bron.

De kennisbank gereed houden voor respons

De kwaliteit van RAG hangt grotendeels af van de manier waarop de brontekst is geschreven. Het model retourneert een veel nauwkeuriger antwoord dan goed gestructureerde teksten met een titel en één onderwerp. Praktisch advies: schrijf uw beleid in korte secties met een titel in plaats van lange, geneste paragrafen; Laat elke sectie één vraag beantwoorden ("Hoeveel dagen is de retourtermijn?", "Welke producten kunnen niet worden geretourneerd?"). Door veelgestelde vragen (FAQ's) in een vraag-en-antwoordformaat bij te houden, kan het model gemakkelijker het juiste onderdeel vinden. Vermeld waarden als datum, bedrag en tarief duidelijk en op één plek in de tekst; Hetzelfde getal anders schrijven in verschillende secties brengt het model in verwarring.

Een andere belangrijke gewoonte is om de kennisbasis levend te houden. Beleid, prijzen en promoties variëren; Als de bron niet wordt bijgewerkt, blijft het model veilig de oude waarheid herhalen. Bij elke beleidswijziging werkt u de bron bij en stelt u het model opnieuw een paar testvragen over het gewijzigde onderwerp om te bevestigen dat dit het juiste antwoord geeft. Dit kleine, maar regelmatige onderhoud voorkomt dat het RAG-systeem na verloop van tijd "stilletjes fout gaat".

Veel voorkomende fouten

• Zeggen “leg ons beleid uit” zonder de bron te begraven en te vertrouwen op het geheugen van het model.
• Het niet definiëren van de grens 'Alleen antwoord van de bron' en niet-brongedrag.
• Niet om een ​​citaat/bronvermelding vragen en het antwoord oncontroleerbaar laten.
• Conflicterende versies van dezelfde informatie in meerdere documenten in de kennisbank bewaren.
• Hierdoor kan het model numerieke waarden afronden/interpreteren.
• Vergeten de bron bij te werken, waardoor het model oude informatie getrouw herhaalt.

Samengevat

• RAG betekent dat het model zijn antwoord uit het huidige brondocument haalt, in plaats van uit het geheugen.
• De meest praktische manier om hallucinaties te verminderen: begraaf de bron, zeg "antwoord hier alleen", vraag om bronvermelding.
• Als het antwoord niet in de bron staat, zou je niet in een model moeten passen; Hij moet zeggen: "Ik heb het niet" en het overhandigen.
• Maak het model bewust van tegenstrijdige bronnen; Je hebt de numerieke waarden precies behouden.
• De nauwkeurigheid van de RAG is afhankelijk van de actualiteit van uw bron; Bevestig altijd de offerte.

Applicatie taak

Neem een ​​daadwerkelijke beleidstekst (retour, verzending of lidmaatschap) van uw eigen bedrijf en sluit deze in als bron in de basis-RAG-prompt hierboven. Stel vervolgens drie vragen: (1) een vraag waarvan het antwoord duidelijk is in de bron, (2) een vraag waarvan het antwoord helemaal niet in de bron staat, (3) een vraag waarvan het antwoord alleen onvolledig is in de bron. Controleer of het model het juiste antwoord geeft, zegt 'Ik heb het niet', en markeer eerlijk respectievelijk het gedeeltelijke antwoord en het ontbrekende antwoord. Corrigeer afwijkend gedrag door de loyaliteits- en niet-resourceregels in de prompt te versterken.

controlelijst

• [ ] Ik heb de huidige bron waarop het antwoord zal worden gebaseerd, in de prompt ingebed.
• [ ] Ik heb de regel "Alleen antwoord van de bron, ga niet verder" toegevoegd.
• [ ] Ik heb een bronvermelding/vermeldingseis gesteld.
• [ ] Ik heb het delegatiegedrag gedefinieerd als het antwoord niet beschikbaar is in de bron.
• [ ] Ik eiste dat numerieke waarden exact behouden bleven.
• [ ] Ik bevestigde het antwoord uit de bronzin waarop het is gebaseerd.