Knowledge Base og RAG: Hvordan Bot og Agent finder det rigtige svar

Gevinster:

• Forstå, hvordan RAG (fragmentering, adgang, ressourceafhængig generering) virker, og hvordan det reducerer hallucinationer
• Evne til at øge kvaliteten af svarene ved at etablere en vidensbase, der er aktuel, klar, konfliktfri og har en enkelt korrekt kilde.
• Evne til at instruere modellen "hvis den ikke er i kilden, fortæl mig, at du ikke ved det" og omdanne de spørgsmål, den ikke kan besvare, til forbedring af videnbasen

Svaret, som en bot eller agentassistent giver, er kun så godt som de oplysninger, det er baseret på. Når kunden spørger "Fortsætter kampagnen?", er det rigtige svar ikke i modellens hukommelse, men i institutionens nuværende vidensbase. Det er derfor, hjertet af callcenters kunstige intelligens er vidensbase (KB): en opdateret ressource, hvor produkter, politikker, ofte stillede spørgsmål, procedurer og regler holdes skriftligt. Og metoden, der sikkert forbinder denne videnbase med kunstig intelligens, kaldes RAG: Retrieval-Augmented Generation - i stedet for at lave svaret ud fra sin egen hukommelse, henter modellen først de relevante informationer fra kilden (hentning) og genererer derefter svaret kun baseret på disse stykker (generation).

RAG er den mest kraftfulde metode til at forhindre hallucinationer. Modellen genererer ikke et tal i hovedet for spørgsmålet "hvad er lånerenten?" Den henter den aktuelle interessetekst fra videnbasen og besvarer ud fra den. I denne enhed vil vi se, hvordan man opretter vidensgrundlaget, hvordan RAG fungerer, og hvordan et godt vidensgrundlag bestemmer kvaliteten af ​​besvarelser.

Sådan fungerer RAG: fire trin

Tænk på RAG som en bibliotekar. Kunden stiller spørgsmål; Systemet finder først de relevante sider fra højre hylde i biblioteket, læser derefter disse sider og skriver svaret. De tekniske trin er som følger:

1. Chunking: Lange dokumenter i videnbasen er opdelt i små, meningsfulde stykker (f.eks. er hver FAQ en del). Fordi modellen besvarer et spørgsmål mere præcist med relaterede små dele.
2. Indlejring og indeksering: Hvert stykke oversættes til en numerisk form, der repræsenterer dets betydning (indlejring - en talsekvens, der repræsenterer tekstens betydning) og placeres i en søgbar database. Det er således ikke et "ordmatch" men et "betydningsmatch"; Selvom kunden spørger "hvornår bliver mine penge sat ind?", kan "tilbagebetalingsperioden"-delen findes.
3. Hentning: De dele, der i mening er tættest på kundens spørgsmål, hentes (f.eks. de nærmeste 3-5 dele).
4. Generation: Modellen skriver KUN svaret baseret på de tegnede dele og angiver kilden, hvis det er muligt.

Det kritiske punkt er i trin 4: modellen bliver instrueret i at "bare stole på de givne stykker, eller sige, at du ikke ved det." Uden denne instruktion forhindrer RAG ikke modellen i at passe.

Tip: RAG's gyldne regel: "Hvis det ikke er i kilden, er der intet svar." Et godt RAG-system vil sige "Jeg ved ikke med sikkerhed om dette" til et spørgsmål, der ikke er i videnbasen; udfylder aldrig hullet med gætværk. En bots evne til at sige "Jeg ved det ikke" er en sikkerhedsfunktion, ikke en svaghed.

En god videnbase: den egentlige kilde til svarkvalitet

Uanset hvor god RAG er, hvis vidensbasen er dårlig, er svaret dårligt. Kvaliteten af videnbasen måles ved:

funktion

dårlig vidensbase

Godt videngrundlag

Aktuelt

Ikke opdateret i flere måneder

Opdateres straks ved ændring

Klarhed

Lang, indviklet tekst

Korte artikler med et enkelt emne

struktur

Rodet PDF-bunke

Mærkede nedbrydelige stoffer

Konsistens

To modstridende svar

En enkelt kilde til sandhed

Omfang

Der er mange huller

Dækker ofte stillede spørgsmål

ejerskab

Ingen er ansvarlige

Hvert emne har en ejer

Det farligste problem i callcenter-sammenhæng er selvmodsigelse: Hvis der er skrevet to forskellige returperioder i videnbasen, vil RAG sige, hvad det end kræver, og et inkonsekvent svar vil blive sendt til kunden. Det er derfor princippet om "enkelt kilde til sandhed" er kritisk: information holdes opdateret ét sted; Der bruges referencer til den kilde, ikke kopier.

Trin for trin: opbygning af et RAG-understøttet responssystem

1. Rengør videnbasen: Fjern forældede, modstridende, duplikerede artikler. Gør hver artikel kort og enkelt-emne.
2. Opdel det og tag det: Tilføj et emne-tag og sidste opdateringsdato til hver artikel.
3. Etabler adgang: Tilslut en mekanisme, der trækker relevante dele, når du bliver bedt om det (enterprise RAG-værktøjer giver dette).
4. Skriv en streng prompt: Fortæl modellen "stol kun på de leverede dele, citer kilden eller sig, at du ikke ved det."
5. Angiv kilden: Vis artiklen, som svaret er baseret på; Det giver både tillid og letter verifikation.
6. Hold øje med huller: Saml spørgsmål, hvor botten siger "Jeg ved det ikke"; Disse viser manglerne i videnbasen, foder derfra.

Fire kopierbare skabeloner

1) Strenge RAG-svarprompt:

Svar BASEREDE på følgende [KILDE] dele. Regler: (1) brug kun informationen i kilden, (2) hvis den ikke er i kilden, sig "Jeg har ingen sikker information om dette, lad mig forbinde dig med repræsentanten", (3) angiv hvilken artikel den er baseret på som [Kilde: vare-nr], (4) citer mængden/varigheden/tilstanden nøjagtigt fra kilden, rund/gør ikke op. [KILDE]: <<pulled parts>>Spørgsmål: "<<kundespørgsmål>>"

2) Videnbaseret artikelskrivning:

Konverter følgende spredte politiktekst til en FAQ-artikel, der er egnet til RAG. Format: Spørgsmål (på kundens sprog) / Kort svar (2-3 sætninger) / Betingelser (klausul) / Dato for sidste opdatering / Emne-tag. Marker eventuelle tvetydige punkter som "skal afklares", forestil dig. Rå tekst: <<tekst>>

3) Scanning for modsigelser og huller:

Undersøg følgende vidensbaseartikler. (1) Marker de par af artikler, der KONFLICERER med hinanden (f.eks. forskellig returperiode). (2) Gæt de emner, der ofte bliver spurgt, men som IKKE har nogen svar. Se kun på de givne artikler; producerer ny politik.Artikler: <<liste>>

4) Forbedring fra "Jeg ved det ikke"-log:

Nedenfor er spørgsmål, som botten ikke kunne besvare (kunne ikke finde en kilde). Gruppér dem i emner og foreslå titlen på artiklen, der skal tilføjes vidensbasen for hver gruppe. Du skal ikke lave svarets indhold, bare fortæl mig, hvilket element der mangler.Spørgsmål: <<liste>>

Svag prompt / Stærk prompt

Svag prompt:

Besvar kundens returspørgsmål.

Ingen kilde; Modellen kan passe fra hukommelsen, mængden/varigheden kan være forkert, den kan ikke verificeres.

Kraftig prompt:

Svar kun baseret på nedenstående klausul om returpolitik. Hvis det ikke er tilgængeligt i kilden, så sig "Jeg ved det ikke med sikkerhed". Angiv periode og tilstand ordret, giv reference i form af [Kilde: RETURN-03].[KILDE: RETURN-03]: "Ubrugt produkt kan returneres inden for 14 dage. Personlige produkter er ikke inden for returneringsomfanget." Spørgsmål: "Kan jeg returnere det personlige produkt, jeg købte for 20 dage siden?"

Forskel: kildeafhængig, reference obligatorisk, fremstillingsforbud klart; modellen genererer det korrekte svar ("14 dage tidligere og personlig, kan ikke refunderes") fra kilden.

tre minisager

Tilfælde 1 — Afslutning af hallucinationen. En telekombots svarnøjagtighed på kampagnespørgsmål var 71 % i en no-RAG-opsætning; Modellen udgjorde nogle gange gamle kampagner. Da de nuværende kampagnesider blev koblet til RAG, og "sig det ikke, hvis det ikke er i kilden"-reglen blev tilføjet, steg nøjagtigheden til 96%, og klager over "forkerte kampagneord" sluttede næsten.

Sag 2 — Prisen for modsigelse. I en e-handelsvirksomheds vidensbase blev der skrevet to forskellige fragtomkostninger på to sider (en aktuel, en gammel glemt side). Botten trak tilfældigt nogen og fortalte nogle af kunderne den forkerte pris. Da den gamle side blev arkiveret med princippet om en enkelt korrekt kilde, forsvandt inkonsekvensen. Lektion: RAG løser ikke modsigelsen, den udbreder modsigelsen, som den er.

Tilfælde 3 — Værdien af ​​"Jeg ved det ikke"-loggen. Hos en bank sagde botten "Jeg ved det ikke med sikkerhed" til ~4.000 spørgsmål om måneden. Når disse spørgsmål blev grupperet, sås det, at 40 % handlede om "international kortbrug"; Der var ingen artikel om det. Da de relevante punkter blev tilføjet, blev disse spørgsmål løst, og omsætningen til personer om dette emne faldt med 55 %. Det faktum, at botten sagde, at den ikke vidste det, blev køreplanen for forbedring.

Almindelige fejl

• Svarer uden at linke til kilden. Uden RAG passer modellen til konkret information; Ethvert konkret svar må afhænge af kilden.
• Slå "Jeg ved det ikke" fra. At tvinge modellen til at besvare alle spørgsmål sikrer tilpasning.
• Rydder ikke modstridende/gammel information. RAG spreder selvmodsigelse; En enkelt korrekt kilde er afgørende.
• Forsømmer at makulere. Eksport af store PDF'er som den er forstyrrer den nøjagtige adgang; Brug korte artikler med et enkelt emne.
• Skjul kilden. Ikke at angive, hvad svaret er baseret på, svækker verifikation og tillid.

Forsigtig: RAG forbedrer nøjagtigheden, men giver ikke en 100 % garanti. Modellen kan nogle gange misfortolke den fangede del. Derfor kræver økonomiske, juridiske og sikkerhedsmæssige spørgsmål menneskelig godkendelse, selvom kilden er citeret; RAG reducerer hallucinationer, men fjerner ikke ansvaret.

Sammenfattende

Videnbasen og RAG er grundlaget for nøjagtigheden af ​​callcenter AI. RAG forhindrer stort set hallucinationer ved at forhindre modellen i at passe svaret fra hukommelsen og udelukkende stole på den aktuelle kilde. Men RAG er kun så god som sin vidensbase: En videnbase, der er opdateret, klar, struktureret, konfliktfri og har en enkelt kilde til sandhed er essentiel. Fortæl modellen "hvis den ikke er i kilden, så fortæl mig, at du ikke ved det", peg på kilden, og brug de spørgsmål, som botten ikke kan svare på, til at forbedre sin videnbase. Oprethold menneskeligt samtykke på trods af kilden i spørgsmål med høj indsats.

Ansøgningsopgave

Skriv 8 reelle/realistiske kundespørgsmål fra din branche og 8 tilsvarende korte vidensbase-artikler (hver artikel: spørgsmål, kort svar, betingelser, dato, tag). Test derefter, om modellen kan sige "Jeg ved det ikke" ved at bruge "1) Tight RAG-svarprompt"-mønsteret og også stille et spørgsmål, hvoraf det ene ikke er i videnbasen. Tjek endelig dine artikler med "3) Modsigelse og hulscanning".

tjekliste

• [ ] Ethvert konkret svar givet af botten/assistenten afhænger af den aktuelle videnbase (via RAG).
• [ ] Jeg instruerede modellen "hvis den ikke er i kilden, så fortæl mig, at du ikke ved det" og testede den.
• [ ] Min videnbase består af opdaterede, klare artikler med et enkelt emne.
• [ ] Jeg ryddede de modstridende og gamle artikler ud; Der er kun én korrekt kilde til al information.
• [ ] Svar viser, hvilken artikel det er baseret på (kilde).
• [ ] Jeg samler "Jeg ved ikke" spørgsmål og fodrer videnbasen.