Gevinster:
- Forstå hvordan RAG (fragmentering, tilgang, ressursavhengig generering) fungerer og hvordan det reduserer hallusinasjoner
- Evne til å øke kvaliteten på svarene ved å etablere en kunnskapsbase som er aktuell, oversiktlig, konfliktfri og har én riktig kilde.
- Evne til å instruere modellen "hvis den ikke er i kilden, fortell meg at du ikke vet" og gjøre spørsmålene den ikke kan svare på til forbedring av kunnskapsbasen
Svaret en bot eller agentassistent gir er bare så godt som informasjonen den er basert på. Når kunden spør «Fortsetter kampanjen?», er det riktige svaret ikke i modellens minne, men i den nåværende kunnskapsbasen til institusjonen. Det er derfor hjertet av kunstig intelligens for callsenter er kunnskapsbase (KB): en oppdatert ressurs hvor produkter, retningslinjer, vanlige spørsmål, prosedyrer og regler holdes skriftlig. Og metoden som sikkert kobler denne kunnskapsbasen til kunstig intelligens kalles RAG: Retrieval-Augmented Generation — i stedet for å gjøre opp svaret fra sitt eget minne, henter modellen først de relevante informasjonsbitene fra kilden (henting) og genererer deretter svaret kun basert på disse brikkene (generasjon).
RAG er den kraftigste metoden for å forhindre hallusinasjoner. Modellen genererer ikke et tall i hodet for spørsmålet "hva er lånerenten?" Den henter den aktuelle interesseteksten fra kunnskapsbasen og svarer ut fra den. I denne enheten skal vi se hvordan man legger opp kunnskapsgrunnlaget, hvordan RAG fungerer og hvordan et godt kunnskapsgrunnlag bestemmer kvaliteten på svarene.
Hvordan RAG fungerer: fire trinn
Tenk på RAG som en bibliotekar. Kunden stiller spørsmål; Systemet finner først de aktuelle sidene fra høyre hylle i biblioteket, leser deretter disse sidene og skriver svaret. De tekniske trinnene er som følger:
- Chunking: Lange dokumenter i kunnskapsbasen er delt opp i små, meningsfulle biter (f.eks. er hver FAQ en del). Fordi modellen svarer mer nøyaktig på et spørsmål med relaterte smådeler.
- Innebygging og indeksering: Hver del blir oversatt til en numerisk form som representerer dens betydning (innbygging – en tallsekvens som representerer betydningen av teksten) og plassert i en søkbar database. Dermed er det ikke en "ordmatch" men en "meningsmatch"; Selv om kunden spør «når vil pengene mine bli satt inn?», kan «refusjonsperioden»-delen bli funnet.
- Henting: Delene som er nærmest i mening kundens spørsmål hentes (f.eks. de nærmeste 3-5 delene).
- Generasjon: Modellen skriver svaret KUN basert på de tegnede delene og angir kilden hvis mulig.
Det kritiske punktet er i trinn 4: modellen er instruert om å "bare stole på de gitte brikkene, eller si at du ikke vet." Uten denne instruksjonen forhindrer ikke RAG modellen i å passe.
Hint: RAGs gylne regel: "Hvis det ikke er i kilden, er det ikke noe svar." Et godt RAG-system vil si "Jeg vet ikke sikkert om dette" til et spørsmål som ikke er i kunnskapsbasen; fyller aldri gapet med gjetting. En bots evne til å si "jeg vet ikke" er en sikkerhetsfunksjon, ikke en svakhet.
Et godt kunnskapsgrunnlag: den virkelige kilden til svarkvalitet
Uansett hvor god RAG er, hvis kunnskapsgrunnlaget er dårlig, er svaret dårlig. Kunnskapsbasens kvalitet måles ved:
funksjon
dårlig kunnskapsgrunnlag
Godt kunnskapsgrunnlag
Aktuellhet
Ikke oppdatert på flere måneder
Oppdateres umiddelbart ved endring
Klarhet
Lang, kronglete tekst
Korte artikler med ett emne
struktur
Rotete PDF-haug
Merkede nedbrytbare stoffer
Konsistens
To motstridende svar
Enkel kilde til sannhet
Omfang
Det er mange hull
Dekker vanlige spørsmål
eierskap
Ingen er ansvarlig
Hvert emne har en eier
Det farligste problemet i callsenter-sammenheng er selvmotsigelse: Hvis to forskjellige returperioder er skrevet i kunnskapsbasen, vil RAG si hvilken som helst, og et inkonsekvent svar vil bli sendt til kunden. Det er derfor prinsippet "enkelt kilde til sannhet" er kritisk: informasjon holdes oppdatert på ett sted; Det brukes referanser til den kilden, ikke kopier.
Trinn for trinn: bygge et RAG-støttet responssystem
- Rengjør kunnskapsbasen: Fjern utdaterte, motstridende, dupliserte artikler. Gjør hver artikkel kort og enkelt-emne.
- Bryt det ned og merk det: Legg til en emnekode og siste oppdateringsdato for hver artikkel.
- Etablere tilgang: Koble til en mekanisme som trekker relevante deler når du blir spurt (enterprise RAG-verktøy gir dette).
- Skriv en streng oppfordring: Fortell modellen "bare stol på delene som er gitt, oppgi kilden eller si at du ikke vet."
- Oppgi kilden: Vis artikkelen som svaret er basert på; Det gir både tillit og letter verifisering.
- Se etter hull: Samle spørsmål der boten sier "Jeg vet ikke"; Disse viser manglene i kunnskapsbasen, feed derfra.
Fire kopierbare maler
1) Strengt RAG-svar:
Svar BASERT på følgende [KILDE] deler. Regler: (1) bruk kun informasjonen i kilden, (2) hvis den ikke står i kilden, si "Jeg har ingen sikker informasjon om dette, la meg koble deg til representanten", (3) oppgi hvilken artikkel det er basert på som [Kilde: vare-nr], (4) oppgi beløpet/varigheten/tilstanden nøyaktig fra kilden, ikke rund/smink. [KILDE]: <<trukket deler>>Spørsmål: "<<kundespørsmål>>"
2) Kunnskapsbasert artikkelskriving:
Konverter følgende spredte policytekst til en FAQ-artikkel som passer for RAG. Format: Spørsmål (på kundens språk) / Kort svar (2-3 setninger) / Betingelser (klausul) / Dato for siste oppdatering / Emnekode. Merk eventuelle tvetydige punkter som "skal avklares", forestilt. Råtekst: <<tekst>>
3) Skanning etter motsetninger og hull:
Undersøk følgende kunnskapsbaseartikler. (1) Merk artikkelparene som KOMMER I KONFLIKT med hverandre (f.eks. ulik returperiode). (2) Gjett emnene som vil bli ofte spurt, men har INGEN svar. Se bare på de gitte artiklene; produserer ny policy.Artikler: <<liste>>
4) Forbedring fra "Jeg vet ikke"-loggen:
Nedenfor er spørsmål som boten ikke kunne svare på (kunne ikke finne en kilde). Grupper dem i emner og foreslå tittelen på artikkelen som bør legges til kunnskapsbasen for hver gruppe. Ikke lag opp svaret, bare fortell meg hvilket element som mangler. Spørsmål: <<liste>>
Svak forespørsel / Sterk forespørsel
Svak melding:
Svar på kundens returspørsmål.
Ingen kilde; Modellen kan passe fra minnet, mengden/varigheten kan være feil, den kan ikke verifiseres.
Kraftig ledetekst:
Svar kun basert på returpolicyklausulen nedenfor. Hvis det ikke er tilgjengelig i kilden, si "Jeg vet ikke sikkert". Oppgi periode og tilstand ordrett, gi referanse i form av [Kilde: RETURN-03].[KILDE: RETURN-03]: "Ubrukt produkt kan returneres innen 14 dager. Personliggjorte produkter er ikke innenfor returomfanget." Spørsmål: "Kan jeg returnere det personlige produktet jeg kjøpte for 20 dager siden?"
Forskjell: kildeavhengig, referanse obligatorisk, fabrikasjonsforbud klart; modellen genererer det riktige svaret ("14 dager tidligere og personlig, kan ikke refunderes") fra kilden.
tre minisaker
Tilfelle 1 - Slutt på hallusinasjonen. En telekomrobots svarnøyaktighet på kampanjespørsmål var 71 % i et oppsett uten RAG; Modellen laget noen ganger gamle kampanjer. Da de gjeldende kampanjesidene ble koblet til RAG og «ikke si det hvis det ikke er i kilden»-regelen ble lagt til, økte nøyaktigheten til 96 % og klager på «feil kampanjeord» tok nesten slutt.
Tilfelle 2 – Prisen på motsigelse. I kunnskapsbasen til et e-handelsselskap ble det skrevet to forskjellige fraktkostnader på to sider (en gjeldende, en gammel glemt side). Boten trakk tilfeldig noen og fortalte noen av kundene feil pris. Da den gamle siden ble arkivert med prinsippet om én korrekt kilde, forsvant inkonsekvensen. Leksjon: RAG løser ikke motsigelsen, den formidler motsigelsen slik den er.
Tilfelle 3 — Verdien av "Jeg vet ikke"-loggen. Hos en bank sa boten "Jeg vet ikke sikkert" til ~4000 spørsmål i måneden. Når disse spørsmålene ble gruppert, så man at 40 % handlet om «internasjonal kortbruk»; Det var ingen artikkel om det. Da de relevante elementene ble lagt til, ble disse spørsmålene løst og omsetningen til personer på det emnet gikk ned med 55 %. Det faktum at roboten sa at den ikke visste, ble veikartet for forbedring.
Vanlige feil
- Svarer uten å linke til kilden. Uten RAG passer modellen konkret informasjon; Ethvert konkret svar må avhenge av kilden.
- Slå av alternativet "Jeg vet ikke". Å tvinge modellen til å svare på alle spørsmål sikrer tilpasning.
- Ikke sletter motstridende/gammel informasjon. RAG sprer selvmotsigelse; En enkelt riktig kilde er viktig.
- Forsømmer å makulere. Eksport av store PDF-filer som er forstyrrer nøyaktig tilgang; Bruk korte artikler med ett enkelt emne.
- Skjuler kilden. Å ikke angi hva svaret er basert på svekker verifisering og tillit.
Forsiktig: RAG forbedrer nøyaktigheten, men gir ingen 100 % garanti. Modellen kan noen ganger feiltolke den fangede delen. Derfor krever økonomiske, juridiske og sikkerhetsmessige problemer menneskelig godkjenning selv om kilden er oppgitt; RAG reduserer hallusinasjoner, men fjerner ikke ansvaret.
Oppsummert
Kunnskapsbasen og RAG er grunnlaget for nøyaktigheten til callsenter AI. RAG forhindrer i stor grad hallusinasjoner ved å hindre modellen i å passe svaret fra minnet og kun stole på gjeldende kilde. Men RAG er bare så god som sin kunnskapsbase: en kunnskapsbase som er oppdatert, oversiktlig, strukturert, konfliktfri og har én enkelt kilde til sannhet er avgjørende. Fortell modellen "hvis den ikke er i kilden, fortell meg at du ikke vet", pek på kilden, og bruk spørsmålene roboten ikke kan svare på for å forbedre kunnskapsbasen. Oppretthold menneskelig samtykke til tross for kilden i saker som er opptatt av høy innsats.
Søknadsoppgave
Skriv 8 ekte/realistiske kundespørsmål fra din bransje og 8 tilsvarende korte kunnskapsbaseartikler (hver artikkel: spørsmål, kort svar, betingelser, dato, tag). Test deretter om modellen kan si "Jeg vet ikke" ved å bruke "1) Tight RAG-svarspørsmålet"-mønsteret og også stille et spørsmål, hvorav ett ikke er i kunnskapsbasen. Til slutt, sjekk artiklene dine med "3) Kontradiksjon og gap-skanning".
sjekkliste
- [ ] Hvert konkret svar gitt av boten/assistenten avhenger av gjeldende kunnskapsbase (via RAG).
- [ ] Jeg instruerte modellen "hvis den ikke er i kilden, fortell meg at du ikke vet" og testet den.
- [ ] Min kunnskapsbase består av oppdaterte, tydelige artikler med ett emne.
- [ ] Jeg ryddet ut de motstridende og gamle artiklene; Det er kun én riktig kilde for all informasjon.
- [ ] Svar viser hvilken artikkel det er basert på (kilde).
- [ ] Jeg samler «jeg vet ikke»-spørsmål og mater kunnskapsbasen.