Winst:
- Begrijp hoe RAG (fragmentatie, toegang, resource-afhankelijke generatie) werkt en hoe het hallucinaties vermindert
- Mogelijkheid om de kwaliteit van antwoorden te verhogen door een kennisbank op te zetten die actueel, duidelijk en conflictvrij is en één enkele correcte bron heeft.
- Mogelijkheid om het model te instrueren 'als het niet in de bron staat, zeg me dan dat je het niet weet' en de vragen die het niet kan beantwoorden om te zetten in verbetering van de kennisbasis
Het antwoord dat een bot of agent-assistent geeft, is slechts zo goed als de informatie waarop het is gebaseerd. Wanneer de klant vraagt: ‘Gaat de campagne door?’, staat het juiste antwoord niet in het geheugen van het model, maar in de huidige kennisbank van de instelling. Daarom is de kennisbank (KB) het hart van de kunstmatige intelligentie van callcenters: een up-to-date hulpmiddel waarin producten, beleid, veelgestelde vragen, procedures en regels schriftelijk worden bijgehouden. En de methode die deze kennisbank veilig verbindt met kunstmatige intelligentie heet RAG: Retrieval-Augmented Generation. In plaats van het antwoord uit zijn eigen geheugen te verzinnen, haalt het model eerst de relevante stukjes informatie uit de bron (retrieval) en genereert het antwoord vervolgens alleen op basis van die stukjes (generatie).
RAG is de krachtigste methode om hallucinaties te voorkomen. Het model genereert geen getal in zijn hoofd voor de vraag "wat is de rente op leningen?" Het haalt de huidige interessetekst op uit de kennisbank en geeft op basis daarvan antwoorden. In deze unit zullen we zien hoe je de kennisbank opzet, hoe RAG werkt en hoe een goede kennisbank de kwaliteit van antwoorden bepaalt.
Hoe RAG werkt: vier stappen
Zie RAG als een bibliothecaris. De klant stelt vragen; Het systeem zoekt eerst de relevante pagina's uit de rechterplank van de bibliotheek, leest vervolgens die pagina's en schrijft het antwoord. De technische stappen zijn als volgt:
- Opdelen: Lange documenten in de kennisbank worden opgedeeld in kleine, betekenisvolle stukken (elke FAQ is bijvoorbeeld een deel). Omdat het model een vraag nauwkeuriger beantwoordt met gerelateerde kleine onderdelen.
- Inbedding en indexering: Elk stuk wordt vertaald in een numerieke vorm die de betekenis ervan weergeeft (inbedding – een reeks getallen die de betekenis van de tekst vertegenwoordigt) en in een doorzoekbare database geplaatst. Het is dus geen ‘woordmatch’ maar een ‘betekenismatch’; Zelfs als de klant vraagt "wanneer wordt mijn geld gestort?", kan het gedeelte "terugbetalingsperiode" worden gevonden.
- Ophalen: De onderdelen die qua betekenis het dichtst bij de vraag van de klant liggen, worden opgehaald (bijvoorbeeld de 3-5 onderdelen die het dichtst in de buurt komen).
- Generatie: Het model schrijft het antwoord ALLEEN op basis van de getekende delen en geeft indien mogelijk de bron aan.
Het kritieke punt ligt in stap 4: het model krijgt de opdracht om "gewoon op de gegeven stukken te vertrouwen, of te zeggen dat je het niet weet." Zonder deze instructie verhindert RAG niet dat het model past.
Hint: De gouden regel van RAG: "Als het niet in de bron staat, is er geen antwoord." Een goed RAG-systeem zal zeggen: "Ik weet het niet zeker" op een vraag die niet in de kennisbank staat; vult nooit de leemte op met giswerk. Het vermogen van een bot om te zeggen: 'Ik weet het niet' is een beveiligingsfunctie en geen zwakte.
Een goede kennisbank: de echte bron van antwoordkwaliteit
Hoe goed de RAG ook is, als de kennisbasis slecht is, is het antwoord slecht. De kwaliteit van de kennisbank wordt gemeten door:
functie
slechte kennisbasis
Goede kennisbasis
Actualiteit
Al maanden niet bijgewerkt
Bij wijziging onmiddellijk bijgewerkt
Duidelijkheid
Lange, ingewikkelde tekst
Korte artikelen met één onderwerp
structuur
Rommelige PDF-stapel
Gelabelde afbreekbare stoffen
Consistentie
Twee tegenstrijdige antwoorden
Eén bron van waarheid
Reikwijdte
Er zijn veel hiaten
Bevat veelgestelde vragen
eigendom
Niemand is verantwoordelijk
Elk onderwerp heeft een eigenaar
Het gevaarlijkste probleem in de callcentercontext is de tegenstrijdigheid: als er twee verschillende retourperiodes in de kennisbank worden geschreven, zal RAG zeggen welke van de twee nodig is en zal er een inconsistent antwoord naar de klant worden gestuurd. Daarom is het principe van de ‘enige bron van de waarheid’ van cruciaal belang: informatie wordt op één plek actueel gehouden; Er wordt gebruik gemaakt van verwijzingen naar die bron, geen kopieën.
Stap voor stap: bouwen aan een RAG-ondersteund responssysteem
- Maak de kennisbank schoon: verwijder verouderde, conflicterende, dubbele artikelen. Zorg ervoor dat elk artikel kort is en uit één onderwerp bestaat.
- Splits het op en tag het: Voeg een onderwerptag en de laatste updatedatum toe aan elk artikel.
- Toegang tot stand brengen: Sluit een mechanisme aan dat relevante onderdelen ophaalt wanneer daarom wordt gevraagd (bedrijfs-RAG-tools bieden dit).
- Schrijf een strikte prompt: Vertel het model "vertrouw alleen op de geleverde onderdelen, citeer de bron of zeg dat u het niet weet."
- Citeer de bron: Toon het artikel waarop het antwoord is gebaseerd; Het geeft vertrouwen en vergemakkelijkt de verificatie.
- Let op hiaten: Verzamel vragen waarbij de bot zegt: "Ik weet het niet"; Deze laten de tekortkomingen in de kennisbasis zien en voeden van daaruit.
Vier kopieerbare sjablonen
1) Strikte RAG-antwoordprompt:
Antwoord GEBASEERD op de volgende [SOURCE]-onderdelen. Regels: (1) gebruik alleen de informatie in de bron, (2) als deze niet in de bron staat, zeg dan "Ik heb hier geen definitieve informatie over, ik zal u doorverbinden met de vertegenwoordiger", (3) vermeld op welk artikel het is gebaseerd als [Bron: item-nr], (4) citeer het bedrag/duur/staat exact uit de bron, niet afronden/opmaken. [BRON]: <<getrokken onderdelen>>Vraag: "<<vraag van klant>>"
2) Kennisbankartikel schrijven:
Converteer de volgende verspreide beleidstekst naar een FAQ-artikel dat geschikt is voor RAG. Formaat: Vraag (in de taal van de klant) / Kort antwoord (2-3 zinnen) / Voorwaarden (clausule) / Datum van de laatste update / Onderwerptag. Markeer dubbelzinnige punten als "nog te verduidelijken", schijn. Ruwe tekst: <<tekst>>
3) Scannen op tegenstrijdigheden en hiaten:
Bekijk de volgende Knowledge Base-artikelen. (1) Markeer de paren artikelen die met elkaar CONFLICTEREN (bijvoorbeeld verschillende retourperiodes). (2) Raad de onderwerpen die vaak worden gesteld, maar GEEN antwoorden hebben. Kijk alleen naar de gegeven artikelen; het opstellen van nieuw beleid.Artikelen: <<lijst>>
4) Verbetering ten opzichte van het logboek 'Ik weet het niet':
Hieronder staan vragen die de bot niet kon beantwoorden (kon geen bron vinden). Groepeer ze in onderwerpen en stel de titel voor van het artikel dat voor elke groep aan de kennisbank moet worden toegevoegd. Verzin de inhoud van het antwoord niet, maar vertel me gewoon welk item ontbreekt.Vragen: <<lijst>>
Zwakke prompt/sterke prompt
Zwakke prompt:
Beantwoord de retourvraag van de klant.
Geen bron; Het model past mogelijk uit het geheugen, de hoeveelheid/duur kan onjuist zijn en kan niet worden geverifieerd.
Krachtige prompt:
Antwoord alleen op basis van de onderstaande clausule over het retourbeleid. Als het niet beschikbaar is in de bron, zegt u 'Ik weet het niet zeker'. Vermeld de periode en de staat letterlijk en geef een referentie in de vorm van [Bron: RETURN-03].[BRON: RETURN-03]: "Ongebruikt product kan binnen 14 dagen worden geretourneerd. Gepersonaliseerde producten vallen niet binnen het bereik van retourneren." Vraag: "Kan ik het gepersonaliseerde product dat ik 20 dagen geleden heb gekocht retourneren?"
Verschil: bronafhankelijk, referentie verplicht, fabricageverbod duidelijk; het model genereert het juiste antwoord ("14 dagen voorbij en gepersonaliseerd, niet-restitueerbaar") uit de bron.
drie minikoffers
Geval 1 – Het beëindigen van de hallucinatie. De nauwkeurigheid van de antwoorden van een telecombot op campagnevragen was 71% in een opstelling zonder RAG; Het model verzon soms oude campagnes. Toen de huidige campagnepagina's werden gekoppeld aan RAG en de regel 'zeg het niet als het niet in de bron staat' werd toegevoegd, nam de nauwkeurigheid toe tot 96% en kwamen er bijna geen klachten meer over 'verkeerde campagnewoorden'.
Geval 2 — De prijs van tegenspraak. In de kennisbank van een e-commercebedrijf werden twee verschillende verzendkosten op twee pagina's geschreven (een huidige, een oude vergeten pagina). De bot trok willekeurig iemand aan en vertelde een aantal klanten de verkeerde prijs. Toen de oude pagina werd gearchiveerd met het principe van één correcte bron, verdween de inconsistentie. Les: RAG lost de tegenstrijdigheid niet op, zij propageert de tegenstrijdigheid zoals ze is.
Geval 3 — De waarde van het logboek 'Ik weet het niet'. Bij één bank zei de bot 'Ik weet het niet zeker' op ongeveer 4.000 vragen per maand. Toen deze vragen werden gegroepeerd, bleek dat 40% over "internationaal kaartgebruik" ging; Er was geen artikel over. Toen de relevante items werden toegevoegd, werden deze vragen opgelost en daalde de omzet naar mensen over dat onderwerp met 55%. Het feit dat de bot zei dat hij het niet wist, werd de routekaart voor verbetering.
Veel voorkomende fouten
- Antwoorden zonder link naar de bron. Zonder RAG past het model bij concrete informatie; Elk concreet antwoord moet afhankelijk zijn van de bron.
- Schakel de optie "Ik weet het niet" uit. Door het model te dwingen elke vraag te beantwoorden, wordt de pasvorm gegarandeerd.
- Conflicterende/oude informatie niet verwijderen. RAG verspreidt tegenspraak; Eén correcte bron is essentieel.
- Nalaten te versnipperen. Het ongewijzigd exporteren van grote PDF's verstoort de nauwkeurige toegang; Gebruik korte artikelen met één onderwerp.
- Het verbergen van de bron. Niet aangeven waar het antwoord op gebaseerd is, verzwakt de verificatie en het vertrouwen.
Let op: RAG verbetert de nauwkeurigheid, maar biedt geen 100% garantie. Het model kan het vastgelegde deel soms verkeerd interpreteren. Daarom vereisen financiële, juridische en veiligheidskwesties menselijke goedkeuring, zelfs als de bron wordt vermeld; RAG vermindert hallucinaties maar neemt de verantwoordelijkheid niet weg.
Samengevat
De kennisbank en RAG vormen de basis van de nauwkeurigheid van callcenter AI. RAG voorkomt grotendeels hallucinaties door te voorkomen dat het model het antwoord uit het geheugen past en uitsluitend op de huidige bron vertrouwt. Maar RAG is slechts zo goed als zijn kennisbasis: een kennisbasis die actueel, duidelijk, gestructureerd, conflictvrij is en één enkele bron van waarheid heeft, is essentieel. Vertel het model "als het niet in de bron staat, zeg me dan dat je het niet weet", wijs naar de bron en gebruik de vragen die de bot niet kan beantwoorden om de kennisbank te verbeteren. Handhaaf de menselijke toestemming, ondanks de bron, over zaken waar veel op het spel staat.
Applicatie taak
Schrijf 8 echte/realistische klantvragen uit uw branche en 8 bijbehorende korte kennisbankartikelen (elk artikel: vraag, kort antwoord, voorwaarden, datum, tag). Test vervolgens of het model 'Ik weet het niet' kan zeggen door het patroon '1) Strakke RAG-antwoordprompt' te gebruiken en ook een vraag te stellen, waarvan er één niet in de kennisbank staat. Controleer ten slotte uw artikelen met "3) Tegenspraak en gap-scannen".
controlelijst
- [ ] Elk concreet antwoord dat de bot/assistent geeft, is afhankelijk van de huidige kennisbank (via RAG).
- [ ] Ik heb het model geïnstrueerd "als het niet in de bron staat, zeg me dan dat je het niet weet" en heb het getest.
- [ ] Mijn kennisbank bestaat uit actuele, duidelijke artikelen met één onderwerp.
- [ ] Ik heb de tegenstrijdige en oude artikelen verwijderd; Er is maar één juiste bron voor alle informatie.
- [ ] Antwoorden laten zien op welk artikel het gebaseerd is (bron).
- [ ] Ik verzamel "ik weet het niet"-vragen en voed de kennisbank.