Generer svar fra kunnskapsbasen (introduksjon til RAG)

Gevinster:

• Forstå logikken i kunnskapsbasert generasjon (RAG) og hvorfor det reduserer hallusinasjoner
• Evne til å få modellen til å svare med sitering, kun basert på kildedokumentene som er oppgitt
• Evne til å håndtere spørsmål som ikke er i kilden ved å overføre dem trygt, uten å lage spørsmål

En språkmodell "vet" mye, men den kjenner ikke bedriftens returpolicy i dag, din nåværende prisliste eller fraktavtalen din som endret seg i går. Verre, når han ikke vet, finner han ofte på det og skriver i en ekstremt selvsikker tone. Dette er en fatal feil i kundeservice: modellen sier "Refusjoner utstedes innen 30 dager", mens forsikringen din kan være på 14 dager. Tilnærmingen som tetter dette gapet kalles RAG: Retrieval-Augmented Generation, det vil si «retrieval-augmented production».

Ideen er enkel: Modellen svarer ikke på spørsmålet fra minnet, men fra de riktige kildedokumentene som er plassert foran den i det øyeblikket. Først er det riktige dokumentet som er relevant for spørsmålet "henting", deretter "genererer" modellen svaret bare basert på den delen. I denne enheten vil du forstå logikken til RAG og lære hvordan du kan tøyle modellen slik at den bare holder seg til den verifiserte kilden du oppgir.

Merk: Denne enheten lærer arbeidslogikken og ledetekstsiden til RAG. Systemer for automatisk dokumentinnhenting i bedriftsskala (vektordatabase, etc.) krever en teknisk installasjon; Disiplin her er grunnlaget for at systemet skal reagere riktig.

Hvorfor reduserer RAG hallusinasjoner?

Hallusinasjon er når modellen produserer uvirkelig informasjon som om den var ekte. The model is programmed to produce a response that seems “possible” when it sees a gap; Vet ikke om det er sant eller ikke. RAG fyller dette gapet: du gir modellen den faktiske relevante teksten sammen med spørsmålet og sier "bare svar herfra." På denne måten "trenger" ikke modellen å passe.

Det er tre komponenter:

• Kunnskapsbase: Pålitelige tekster som vanlige spørsmål, policydokumenter, produktmanualer, prislister.
• Henting: Finne dokumentet som inneholder svaret på spørsmålet og gi det til modellen.
• Begrenset opplag: Modellen svarer med tilbud, basert kun på delen som følger med.

Trinn for trinn: Et trofast svar på kilden

1. Forbered kilden. Finn teksten som svaret skal baseres på (policy, FAQ) i et tydelig og oppdatert format.
2. Bygg inn kilden i ledeteksten. Sett teksten i en tag som <kilde>.
3. Skriv lojalitetsregelen. "Bare bruk informasjonen fra kilden; ikke gå bort fra kilden."
4. Gjør henvisning nødvendig. La ham/henne angi hvilket avsnitt svaret er basert på.
5. Identifiser ikke-ressursadferd. Hvis svaret ikke er i kilden, la ham si "Jeg har ikke denne informasjonen" og gi den videre.
6. Verifisere. Bekreft svaret ved å sammenligne det med kildesetningen som det er basert på.

Kopierbare ledetekster

Svarmelding basert på den underliggende kilden:

Rolle: Du er kundestøtteassistent. Svar KUN på spørsmålet basert på informasjonen i <kilde>blokken nedenfor. Ikke legg til informasjon som ikke er i kilden, gjetningen eller svaret fra din generelle kunnskap. Legg til delen du stoler på på slutten av svaret ditt i formatet "[Kilde: ...]". Hvis svaret ikke er i kilden, skriv følgende: "Jeg har ikke definitiv informasjon om dette emnet, jeg overfører deg til en tjenestemann som kan gi det riktige svaret."<source>{{ policy_or_faq_text }}</source>Spørsmål: {{ customer_question }}

I tilfelle av flere kilder, forespørselen om å vise hvilket dokument det er basert på:

Det er flere ressurser nummerert nedenfor. Når du svarer på spørsmålet, oppgi nummeret på kilden du brukte, for eksempel [Kilde 2]. Hvis mer enn én kilde motsier deg, si det tydelig og si at du bør spørre hvilken som er mest oppdatert.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Spørsmål: {{ customer_question }}

Spørsmål som trygt håndterer ikke-kildespørsmålet:

Hvis svaret på spørsmålet DELVIS finnes i kilden: svar kun på den delen som dekkes av kilden, og si "denne detaljen er ikke i kilden" for den resterende delen. Fyll aldri ut den manglende delen ved å gjette.

Spørring som oversetter svaret til klientspråket, men som forblir tro mot kilden:

Oversett det offisielle/tekniske uttrykket i kilden til et klart språk som kunden kan forstå, men IKKE endre betydningen og tallverdiene (dag, beløp, kurs). For eksempel avrunding av "14 kalenderdager" til "omtrent to uker"; beholde full verdi.

Svak forespørsel / sterk forespørsel

Svak melding

Kraftig forespørsel

"Fortell oss om vår returpolicy"

Embeds source + "svar kun her" + ber om tilbud

Svar fra minnet om modellen (kanskje feil)

Svar fra ditt nåværende dokument

Hvis det ikke er i kilden, finner han det opp

Han sier «jeg har ikke denne informasjonen» og gir den videre.

Kan avrunde og forvrenge tall

Opprettholder dag/beløp/kurs nøyaktig

Forskjellen er at den sterke prompten gir modellen et anker (kildetekst) og et forbud (å gå av kilde). Modellen snakker ikke lenger fra hukommelsen, men fra virkeligheten foran seg.

Tre minivesker

Sak 1 - Den gamle politiske fellen. "Retur aksepteres innen 30 dager," sa en butikks bot mens han kjørte uten kreditt; Selskapet reduserte imidlertid perioden til 14 dager. Når den oppdaterte policyteksten legges til kilden i RAG-installasjonen, svarer boten nå "14 kalenderdager [Kilde: Returpolicy, artikkel 2]". Refusjonstvister som oppstår fra falske løfter er tilbakestilt.

Sak 2 – Å fange motsigelsen. En kunde spurte om fraktkostnader. Både gamle og nye prislister ble lagt inn i systemet som kilder. Takket være forespørselen om flere kilder, sa modellen: "To kilder gir forskjellige priser (49 TL og 59 TL); jeg må bekrefte den nåværende" og formidlet problemet til mennesket. I stedet for å fortelle kunden et feil beløp, kommuniserte han usikkerheten ærlig.

Tilfelle 3 — Delvis responsdisiplin. "Sender du produktet til utlandet og hvem betaler toll?" I spørsmålet sa kilden kun at forsendelsen var foretatt, det sto ingenting om hvem som betalte avgiften. Modellen sa: "Ja, frakt skjer til utlandet [Kilde: Cargo FAQ]. Det er imidlertid ikke oppgitt i dette dokumentet hvem som betaler tollavgiften; jeg overfører deg til tjenestemannen for å avklare dette." I stedet for et halvsant, halvfabrikat svar, ga det et ærlig og selvsikkert resultat.

Tips: Behold den mest oppdaterte og enkeltstående kilden til sannhetsversjonen av kunnskapsbasen din. Å ha samme informasjon (f.eks. returperiode) skrevet forskjellig i tre separate dokumenter er RAGs største fiende; Modellen reagerer forskjellig avhengig av hvilken den ser på. Først dedupliserer dokumentene dine, og automatiser dem deretter.

Bekreftelse: Ikke slapp av bare fordi kilden eksisterer

RAG reduserer hallusinasjonen betraktelig, men tilbakestiller den ikke. Modellen kan noen ganger feiltolke kilden, blande to setninger eller trekke en "konklusjon" som ikke er i kilden. Derfor er siteringskravet kritisk: åpne delen som svaret hevder å være basert på og sjekk om det faktisk står det. Denne kontrollen er ikke omsettelig, spesielt i svar som inneholder tall (dag, beløp, rate) og betingelser (unntak, betingelse).

Forsiktig: Hvis selve kilden er feil eller utdatert, gjentar RAG denne feilen trofast. Å si "modellen snakker fra kilden" betyr ikke "modellen snakker riktig"; Du er ansvarlig for valutaen og nøyaktigheten til kilden din.

Holde kunnskapsbasen klar for respons

Kvaliteten på RAG avhenger i stor grad av hvordan kildeteksten er skrevet. Modellen gir en mye mer nøyaktig respons enn velstrukturerte tekster med tittel, enkeltemne. Praktiske råd: skriv retningslinjene dine i korte avsnitt med tittel i stedet for lange, nestede avsnitt; La hver seksjon svare på ett enkelt spørsmål ("Hvor mange dager er returperioden?", "Hvilke produkter kan ikke returneres?"). Ved å holde vanlige spørsmål (FAQs) i et spørsmål-og-svar-format gjør det lettere for modellen å finne den rette delen. Oppgi verdier som dato, beløp og pris tydelig og på ett sted i teksten; Å skrive samme nummer forskjellig i forskjellige seksjoner forvirrer modellen.

En annen viktig vane er å holde kunnskapsbasen i live. Retningslinjer, priser og kampanjer varierer; Hvis kilden ikke er oppdatert, fortsetter modellen å trygt gjenta den gamle sannheten. Med hver policyendring, oppdater kilden og still modellen på nytt noen testspørsmål om det endrede emnet for å bekrefte at det gir riktig svar. Dette lille, men regelmessige vedlikeholdet forhindrer at RAG-systemet «stille går galt» over tid.

Vanlige feil

• Å si "forklar vår policy" uten å begrave kilden og stole på modellens memorering.
• Ikke definerer "svar kun fra kilde"-grensen og ikke-kildeatferd.
• Ikke ber om et tilbud/kildereferanse og lar svaret være ukontrollerbart.
• Oppbevar motstridende versjoner av den samme informasjonen i flere dokumenter i kunnskapsbasen.
• La modellen avrunde/tolke numeriske verdier.
• Glemte å oppdatere kilden, noe som får modellen til å trofast gjenta gammel informasjon.

Oppsummert

• RAG betyr at modellen produserer sitt svar fra det gjeldende kildedokumentet, i stedet for fra minnet.
• Den mest praktiske måten å redusere hallusinasjoner på: begrav kilden, si "svar bare her", be om sitering.
• Hvis svaret ikke står i kilden, skal man ikke passe en modell; Han burde si «jeg har det ikke» og overlevert det.
• Gjør modellen oppmerksom på motstridende kilder; Du bevarte de numeriske verdiene nøyaktig.
• RAG-nøyaktigheten avhenger av aktualiteten til kilden din; Bekreft alltid sitatet.

Søknadsoppgave

Ta en faktisk policytekst (retur, frakt eller medlemskap) fra din egen virksomhet og bygg den inn som en kilde i den grunnleggende RAG-forespørselen ovenfor. Still deretter tre spørsmål: (1) et spørsmål hvis svar er klart i kilden, (2) et spørsmål hvis svar ikke i det hele tatt er i kilden, (3) et spørsmål hvis svar bare er ufullstendig i kilden. Kontroller at modellen svarer riktig, sier «Jeg har det ikke», og markerer ærlig henholdsvis delsvaret og det manglende. Korriger avvikende atferd ved å styrke lojalitets- og ikke-ressursreglene i ledeteksten.

sjekkliste

• [ ] Jeg har innebygd den gjeldende kilden som svaret vil være basert på, i ledeteksten.
• [ ] Jeg la til regelen "Bare svar fra kilden, ikke gå utover".
• [ ] Jeg har satt et krav om kildehenvisning/henvisning.
• [ ] Jeg definerte delegeringsatferd hvis svaret ikke er tilgjengelig i kilden.
• [ ] Jeg krevde at numeriske verdier ble bevart nøyaktig.
• [ ] Jeg bekreftet svaret fra kildesetningen som den er basert på.