Vinster:
- Förstå hur RAG (fragmentering, tillgång, resursberoende generering) fungerar och hur det minskar hallucinationer
- Förmåga att höja kvaliteten på svaren genom att etablera en kunskapsbas som är aktuell, tydlig, konfliktfri och har en enda korrekt källa.
- Förmåga att instruera modellen "om den inte finns i källan, säg att du inte vet" och omvandla frågorna den inte kan svara på till förbättring av kunskapsbasen
Svaret som en bot eller agentassistent ger är bara så bra som informationen som den bygger på. När kunden frågar "Fortgår kampanjen?", finns det rätta svaret inte i modellens minne, utan i institutionens nuvarande kunskapsbas. Det är därför hjärtat i callcenters artificiell intelligens är kunskapsbas (KB): en uppdaterad resurs där produkter, policyer, vanliga frågor, förfaranden och regler skrivs. Och metoden som säkert kopplar denna kunskapsbas till artificiell intelligens kallas RAG: Retrieval-Augmented Generation — istället för att hitta på svaret från sitt eget minne, hämtar modellen först de relevanta informationsbitarna från källan (hämtning) och genererar sedan svaret endast baserat på dessa bitar (generation).
RAG är den mest kraftfulla metoden för att förhindra hallucinationer. Modellen genererar ingen siffra i huvudet för frågan "vad är låneräntan?" Den hämtar den aktuella intressetexten från kunskapsbasen och svarar utifrån den. I den här enheten ska vi se hur man lägger upp kunskapsbasen, hur RAG fungerar och hur en bra kunskapsbas avgör kvaliteten på svaren.
Hur RAG fungerar: fyra steg
Tänk på RAG som en bibliotekarie. Kunden ställer frågor; Systemet hittar först de relevanta sidorna från högra hyllan i biblioteket, läser sedan dessa sidor och skriver svaret. De tekniska stegen är följande:
- Chunking: Långa dokument i kunskapsbasen är uppdelade i små, meningsfulla bitar (t.ex. varje FAQ är en bit). Eftersom modellen besvarar en fråga mer exakt med relaterade smådelar.
- Inbäddning och indexering: Varje del översätts till en numerisk form som representerar dess betydelse (inbäddning – en sekvens av siffror som representerar textens betydelse) och placeras i en sökbar databas. Det är alltså inte en "ordmatchning" utan en "betydelsesmatchning"; Även om kunden frågar "när kommer mina pengar att sättas in?", kan "återbetalningsperioden"-delen hittas.
- Hämtning: Delarna som ligger närmast i betydelse kundens fråga hämtas (t.ex. de närmaste 3-5 delarna).
- Generation: Modellen skriver svaret ENDAST baserat på de ritade delarna och anger källan om möjligt.
Den kritiska punkten är i steg 4: modellen instrueras att "bara lita på de givna bitarna, eller säga att du inte vet." Utan denna instruktion hindrar RAG inte modellen från att passa.
Tips: RAG:s gyllene regel: "Om det inte finns i källan, finns det inget svar." Ett bra RAG-system kommer att säga "Jag vet inte säkert om detta" till en fråga som inte finns i kunskapsbasen; fyller aldrig tomrummet med gissningar. En bots förmåga att säga "jag vet inte" är en säkerhetsfunktion, inte en svaghet.
En bra kunskapsbas: den verkliga källan till svarskvalitet
Hur bra RAG än är, om kunskapsbasen är dålig är svaret dåligt. Kvaliteten på kunskapsbasen mäts genom:
funktion
dålig kunskapsbas
Bra kunskapsbas
Aktuellhet
Inte uppdaterat på månader
Uppdateras omedelbart vid ändring
Tydlighet
Lång, invecklad text
Korta artiklar med ett ämne
struktur
Smutsig PDF-hög
Märkta nedbrytbara ämnen
Konsekvens
Två motstridiga svar
Enskild källa till sanning
Omfattning
Det finns många luckor
Täcker vanliga frågor
ägande
Ingen är ansvarig
Varje ämne har en ägare
Det farligaste problemet i callcentersammanhang är motsägelse: om två olika returperioder skrivs i kunskapsbasen kommer RAG att säga vilken som krävs och ett inkonsekvent svar skickas till kunden. Det är därför principen "en enda källa till sanning" är avgörande: information hålls uppdaterad på ett ställe; Referenser till den källan används, inte kopior.
Steg för steg: bygga ett RAG-stödt svarssystem
- Rengör kunskapsbasen: Ta bort inaktuella, motstridiga, dubbletter av artiklar. Gör varje artikel kort och ett ämne.
- Dela upp det och tagga det: Lägg till en ämnestagg och senaste uppdateringsdatum för varje artikel.
- Upprätta åtkomst: Anslut en mekanism som drar relevanta delar när du tillfrågas (enterprise RAG-verktyg tillhandahåller detta).
- Skriv en strikt uppmaning: Säg till modellen "lita bara på de delar som tillhandahålls, citera källan eller säg att du inte vet."
- Ange källan: Visa artikeln som svaret bygger på; Det både ger förtroende och underlättar verifiering.
- Se upp för luckor: Samla frågor där boten säger "Jag vet inte"; Dessa visar bristerna i kunskapsbasen, mata därifrån.
Fyra kopierbara mallar
1) Strikt RAG-svar:
Svar BASERADE på följande [KÄLLA] delar. Regler: (1) använd endast informationen i källan, (2) om den inte finns i källan, säg "Jag har ingen bestämd information om detta, låt mig koppla dig till representanten", (3) ange vilken artikel den bygger på som [Källa: artikel-nr], (4) citera mängden/varaktigheten/skicket exakt från källan, runda/sminka inte. [KÄLLA]: <<dragna delar>>Fråga: "<<kundfråga>>"
2) Kunskapsbasartikelskrivande:
Konvertera följande spridda policytext till en FAQ-artikel som lämpar sig för RAG. Format: Fråga (på kundens språk) / Kort svar (2-3 meningar) / Villkor (klausul) / Datum för senaste uppdatering / Ämnetagg. Markera eventuella tvetydiga punkter som "att förtydligas", låtsas. Råtext: <<text>>
3) Skanna efter motsägelser och luckor:
Granska följande kunskapsbasartiklar. (1) Markera de artiklar som KOMFLIKERAR MED varandra (t.ex. olika returperioder). (2) Gissa de ämnen som kommer att ställas ofta men har INGA svar. Titta bara på de givna artiklarna; producerar ny policy.Artiklar: <<lista>>
4) Förbättring från loggen "Jag vet inte":
Nedan finns frågor som boten inte kunde svara på (kunde inte hitta en källa). Gruppera dem i ämnen och föreslå titeln på artikeln som bör läggas till i kunskapsbasen för varje grupp. Gör inte upp svarets innehåll, säg bara vilket objekt som saknas.Frågor: <<lista>>
Svag prompt / Stark prompt
Svag uppmaning:
Svara på kundens returfråga.
Ingen källa; Modellen kan passa från minnet, mängden/varaktigheten kan vara fel, den kan inte verifieras.
Kraftfull uppmaning:
Svara endast baserat på returpolicyklausulen nedan. Om det inte finns tillgängligt i källan, säg "Jag vet inte säkert". Ange period och skick ordagrant, ge referens i form av [Källa: RETURN-03].[KÄLLA: RETURN-03]: "Oanvänd produkt kan returneras inom 14 dagar. Personliga produkter faller inte inom returomfånget." Fråga: "Kan jag returnera den personliga produkten jag köpte för 20 dagar sedan?"
Skillnad: källaberoende, referens obligatorisk, tillverkningsförbud klart; modellen genererar det korrekta svaret ("14 dagar efter och personligt, ej återbetalningsbart") från källan.
tre minifodral
Fall 1 — Avsluta hallucinationen. En telekombots svarsnoggrannhet på kampanjfrågor var 71 % i en no-RAG-inställning; Modellen gjorde ibland upp gamla kampanjer. När de aktuella kampanjsidorna kopplades till RAG och regeln "säg det inte om det inte finns i källan" tillkom ökade träffsäkerheten till 96 % och klagomålen om "fel kampanjord" tog nästan slut.
Fall 2 — Priset för motsägelse. I ett e-handelsföretags kunskapsbas skrevs två olika fraktkostnader på två sidor (en aktuell, en gammal bortglömd sida). Boten drog slumpmässigt någon och berättade för några av kunderna fel pris. När den gamla sidan arkiverades med principen om en enda korrekt källa försvann inkonsekvensen. Lärdom: RAG löser inte motsägelsen, den sprider motsägelsen som den är.
Fall 3 — Värdet på loggen "Jag vet inte". På en bank sa boten "Jag vet inte säkert" till ~4 000 frågor i månaden. När dessa frågor grupperades såg man att 40 % handlade om "internationell kortanvändning"; Det fanns ingen artikel om det. När relevanta poster lades till löstes dessa frågor och omsättningen till personer i det ämnet minskade med 55 %. Det faktum att boten sa att den inte visste blev vägkartan för förbättring.
Vanliga misstag
- Svarar utan att länka till källan. Utan RAG passar modellen konkret information; Varje konkret svar måste bero på källan.
- Stänger av alternativet "Jag vet inte". Att tvinga modellen att svara på varje fråga säkerställer passform.
- Rensar inte motstridig/gammal information. RAG sprider motsägelse; En enda korrekt källa är nödvändig.
- Försummar att strimla. Att exportera stora PDF-filer som den är stör den korrekta åtkomsten; Använd korta artiklar med ett ämne.
- Döljer källan. Att inte ange vad svaret är baserat på försvagar verifiering och förtroende.
Varning: RAG förbättrar noggrannheten men ger ingen 100 % garanti. Modellen kan ibland misstolka den fångade delen. Därför kräver ekonomiska, juridiska och säkerhetsfrågor mänskligt godkännande även om källan citeras; RAG minskar hallucinationer men tar inte bort ansvaret.
Sammanfattningsvis
Kunskapsbasen och RAG är grunden för noggrannheten hos callcenter AI. RAG förhindrar till stor del hallucinationer genom att förhindra att modellen passar svaret från minnet och enbart förlitar sig på den aktuella källan. Men RAG är bara så bra som sin kunskapsbas: en kunskapsbas som är aktuell, tydlig, strukturerad, konfliktfri och har en enda källa till sanning är väsentlig. Säg till modellen "om den inte finns i källan, säg att du inte vet", peka på källan och använd frågorna som boten inte kan svara på för att förbättra sin kunskapsbas. Upprätthåll mänskligt samtycke trots källan i frågor med hög insats.
Applikationsuppgift
Skriv 8 verkliga/realistiska kundfrågor från din bransch och 8 motsvarande korta kunskapsbasartiklar (varje artikel: fråga, kort svar, villkor, datum, tagg). Testa sedan om modellen kan säga "Jag vet inte" genom att använda mönstret "1) Tight RAG-svarsprompt" och även ställa en fråga, varav en inte finns i kunskapsbasen. Slutligen, kontrollera dina artiklar med "3) Motsägelse och gap scanning".
checklista
- [ ] Varje konkret svar som ges av boten/assistenten beror på den aktuella kunskapsbasen (via RAG).
- [ ] Jag instruerade modellen "om den inte finns i källan, säg att du inte vet" och testade den.
- [ ] Min kunskapsbas består av uppdaterade, tydliga artiklar med ett ämne.
- [ ] Jag rensade bort de motstridiga och gamla artiklarna; Det finns bara en korrekt källa för all information.
- [ ] Svar visar vilken artikel den bygger på (källa).
- [ ] Jag samlar "jag vet inte"-frågor och matar kunskapsbasen.