Dobički:
- Razumeti, kako deluje RAG (fragmentacija, dostop, generiranje, odvisno od virov) in kako zmanjšuje halucinacije
- Sposobnost povečanja kakovosti odgovorov z vzpostavitvijo baze znanja, ki je aktualna, jasna, brez konfliktov in ima en sam pravi vir.
- Sposobnost dajanja navodil modelu "če ga ni v viru, mi povej, da ne veš" in spreminjanje vprašanj, na katera ne more odgovoriti, v izboljšanje baze znanja
Odgovor, ki ga da bot ali pomočnik agenta, je tako dober kot informacije, na katerih temelji. Ko stranka vpraša "Ali se akcija nadaljuje?", pravilen odgovor ni v spominu modela, ampak v trenutni bazi znanja institucije. Zato je srce umetne inteligence klicnega centra baza znanja (KB): posodobljen vir, kjer so produkti, pravilniki, pogosta vprašanja, postopki in pravila v pisni obliki. Metoda, ki varno povezuje to bazo znanja z umetno inteligenco, se imenuje RAG: Retrieval-Augmented Generation — namesto da bi si odgovor izmislil iz lastnega pomnilnika, model najprej pridobi ustrezne dele informacij iz vira (priklic) in nato ustvari odgovor samo na podlagi teh delov (generacija).
RAG je najmočnejša metoda za preprečevanje halucinacij. Model v svoji glavi ne ustvari številke za vprašanje "kakšna je obrestna mera posojila?" Iz baze znanja pridobi besedilo trenutnega zanimanja in na podlagi tega odgovori. V tej enoti bomo videli, kako vzpostaviti bazo znanja, kako deluje RAG in kako dobra baza znanja določa kakovost odgovorov.
Kako deluje RAG: štirje koraki
Pomislite na RAG kot na knjižničarja. Stranka postavlja vprašanja; Sistem najprej poišče ustrezne strani na desni polici knjižnice, nato te strani prebere in zapiše odgovor. Tehnični koraki so naslednji:
- Razdelitev: Dolgi dokumenti v bazi znanja so razdeljeni na majhne, pomembne dele (npr. vsaka pogosta vprašanja so kos). Ker model natančneje odgovori na vprašanje s povezanimi majhnimi deli.
- Vdelava in indeksiranje: Vsak del je preveden v numerično obliko, ki predstavlja njegov pomen (vdelava – zaporedje številk, ki predstavlja pomen besedila) in postavljen v zbirko podatkov, po kateri je mogoče iskati. Tako ne gre za "ujemanje besed", ampak za "ujemanje pomena"; Tudi če stranka vpraša "kdaj bo moj denar nakazan?", se lahko najde del "obdobje vračila".
- Priklic: Priklicani so deli, ki so po pomenu najbližji vprašanju stranke (npr. najbližjih 3-5 delov).
- Generiranje: Model napiše odgovor SAMO na podlagi narisanih delov in navede vir, če je to mogoče.
Kritična točka je v 4. koraku: modelu je naročeno, naj se "samo zanaša na dane dele ali pa reče, da ne veš." Brez tega navodila RAG ne prepreči prileganja modela.
Namig: Zlato pravilo RAG: "Če ni v viru, ni odgovora." Dober sistem RAG bo na vprašanje, ki ni v bazi znanja, rekel "ne vem zagotovo"; nikoli ne zapolni vrzeli z ugibanjem. Sposobnost bota, da reče "ne vem", je varnostna funkcija in ne slabost.
Dobra baza znanja: pravi vir kakovosti odgovorov
Ne glede na to, kako dober je RAG, če je baza znanja slaba, je odgovor slab. Kakovost baze znanja se meri z:
funkcija
slaba baza znanja
Dobra baza znanja
Aktualnost
Ni posodobljen več mesecev
Posodobljeno takoj, ko se spremeni
Jasnost
Dolgo, zapleteno besedilo
Kratki, enotematski članki
struktura
Neurejen kup PDF
Označene razgradljive snovi
Doslednost
Dva nasprotujoča si odgovora
En sam vir resnice
Področje uporabe
Vrzeli je veliko
Zajema pogosta vprašanja
lastništvo
Nihče ni odgovoren
Vsaka tema ima lastnika
Najnevarnejša težava v kontekstu klicnega centra je protislovje: če sta v bazi znanja zapisana dva različna obdobja vračila, bo RAG povedal, katerega vzame, in stranki bo poslan nedosleden odgovor. Zato je načelo "en sam vir resnice" ključnega pomena: informacije so posodobljene na enem mestu; Uporabljena so sklicevanja na ta vir, ne kopije.
Korak za korakom: izgradnja odzivnega sistema, ki ga podpira RAG
- Očistite bazo znanja: odstranite zastarele, nasprotujoče si, podvojene članke. Naj bo vsak članek kratek in enotematski.
- Razčlenite in označite: vsakemu članku dodajte oznako teme in datum zadnje posodobitve.
- Vzpostavitev dostopa: povežite mehanizem, ki potegne ustrezne dele, ko je zahtevano (to zagotavljajo podjetja RAG orodja).
- Napišite strog poziv: povejte modelu, "zanašajte se samo na priložene dele, navedite vir ali recite, da ne veste."
- Navedi vir: Prikaži članek, na katerem temelji odgovor; Vliva zaupanje in olajša preverjanje.
- Bodite pozorni na vrzeli: Zberite vprašanja, kjer bot pravi "ne vem"; Ti kažejo na pomanjkljivosti v bazi znanja, od tam izvirajo.
Štiri predloge za kopiranje
1) Poziv za strog odgovor RAG:
Odgovorite NA TEMELJ na naslednjih delih [VIR]. Pravila: (1) uporabite samo informacije v viru, (2) če jih ni v viru, recite "Nimam gotovih informacij o tem, naj vas povežem z zastopnikom", (3) navedite, na katerem členu temelji kot [Vir: št. artikla], (4) navedite količino/trajanje/pogoj natančno iz vira, ne zaokrožujte/dopolnjujte. [VIR]: <<vlečeni deli>>Vprašanje: "<<vprašanje stranke>>"
2) Pisanje člankov v bazi znanja:
Pretvorite naslednje razpršeno besedilo pravilnika v članek s pogostimi vprašanji, primeren za RAG. Oblika: Vprašanje (v jeziku stranke) / Kratek odgovor (2-3 stavki) / Pogoji (klavzula) / Datum zadnje posodobitve / Oznaka teme. Morebitne dvoumne točke označite kot "treba razjasniti", navidez. Neobdelano besedilo: <<besedilo>>
3) Iskanje protislovij in vrzeli:
Preglejte naslednje članke zbirke znanja. (1) Označite pare artiklov, ki so med seboj NASPROTNI (npr. različno obdobje vračila). (2) Ugani teme, ki bodo pogosto zastavljene, vendar NI odgovorov. Poglejte samo dane artikle; izdelava nove politike.Članki: <<seznam>>
4) Izboljšava iz dnevnika »Ne vem«:
Spodaj so vprašanja, na katera bot ni mogel odgovoriti (ni našel vira). Združite jih v teme in predlagajte naslov članka, ki naj se doda v bazo znanja za vsako skupino. Ne izmišljujte vsebine odgovora, samo povejte mi, kateri element manjka. Vprašanja: <<seznam>>
Šibek poziv/močan poziv
Šibek poziv:
Odgovorite na strankino vprašanje za vračilo.
Brez vira; Model se morda prilega iz spomina, količina/trajanje je lahko napačno, ni ga mogoče preveriti.
Močan poziv:
Odgovor samo na podlagi spodnje klavzule o politiki vračila. Če ni na voljo v viru, recite "ne vem zagotovo". Obdobje in pogoj navedite dobesedno, navedite sklic v obliki [Vir: VRAČILO-03].[VIR: VRAČILO-03]: "Neuporabljen izdelek je mogoče vrniti v 14 dneh. Personalizirani izdelki niso v obsegu vračila." Vprašanje: "Ali lahko vrnem personaliziran izdelek, ki sem ga kupil pred 20 dnevi?"
Razlika: odvisno od vira, referenca obvezna, prepoved izdelave jasna; model iz vira ustvari pravilen odgovor ("preteklo 14 dni in prilagojeno, brez možnosti vračila denarja").
trije mini kovčki
Primer 1 – Končanje halucinacije. Natančnost odgovorov telekomunikacijskega bota na vprašanja o kampanji je bila 71-odstotna v nastavitvi brez RAG; Model si je včasih izmislil stare kampanje. Ko so bile trenutne strani oglaševalske akcije povezane z RAG in je bilo dodano pravilo »ne povej tega, če ni v viru«, se je natančnost povečala na 96 % in pritožb glede »napačnih besed oglaševalske akcije« je skoraj konec.
Primer 2 – Cena protislovja. V bazi znanja podjetja za e-trgovino sta bila na dveh straneh zapisana dva različna stroškov pošiljanja (ena aktualna, ena stara pozabljena stran). Bot je nekoga naključno vlekel in nekaterim strankam povedal napačno ceno. Ko je bila stara stran arhivirana po načelu enega pravilnega vira, je nedoslednost izginila. Lekcija: RAG ne razreši protislovja, širi protislovje takšno, kot je.
Primer 3 — Vrednost dnevnika »Ne vem«. V eni banki je bot na približno 4000 vprašanj na mesec odgovoril »ne vem zagotovo«. Ko so bila ta vprašanja združena, je bilo razvidno, da se jih 40 % nanaša na "mednarodno uporabo kartic"; O tem ni bilo nobenega članka. Ko so bili dodani relevantni artikli, so bila ta vprašanja rešena in promet ljudem na to temo se je zmanjšal za 55 %. Dejstvo, da je bot rekel, da ne ve, je postalo načrt za izboljšave.
Pogoste napake
- Odgovor brez povezave z virom. Brez RAG se model prilega konkretnim informacijam; Vsak konkreten odgovor mora biti odvisen od vira.
- Izklop možnosti "ne vem". Prisiljevanje modela, da odgovori na vsako vprašanje, zagotavlja prileganje.
- Brez brisanja nasprotujočih si/starih informacij. RAG širi protislovja; Bistven je en sam pravi vir.
- Zanemarjanje drobljenja. Izvažanje velikih datotek PDF, kot so, moti natančen dostop; Uporabljajte kratke članke z eno temo.
- Skrivanje vira. Nenavedba, na čem temelji odgovor, slabi preverjanje in zaupanje.
Pozor: RAG izboljša natančnost, vendar ne zagotavlja 100-odstotnega jamstva. Model lahko včasih napačno interpretira zajeti del. Zato finančna, pravna in varnostna vprašanja zahtevajo človeško odobritev, tudi če je vir naveden; RAG zmanjša halucinacije, vendar ne odstrani odgovornosti.
Če povzamem
Baza znanja in RAG sta temelj natančnosti AI klicnega centra. RAG v veliki meri preprečuje halucinacije tako, da prepreči, da bi model prilagodil odgovor iz spomina in se zanašal samo na trenutni vir. Toda RAG je dober le toliko, kolikor je dobra njegova baza znanja: bistvena je baza znanja, ki je posodobljena, jasna, strukturirana, brez konfliktov in ima en sam vir resnice. Recite modelu "če ga ni v viru, mi povejte, da ne veste", pokažite na vir in uporabite vprašanja, na katera bot ne zna odgovoriti, da izboljšate svojo bazo znanja. Ohranite človeško soglasje kljub viru o pomembnih zadevah.
Aplikacijska naloga
Napišite 8 resničnih/realističnih vprašanj strank iz vaše industrije in 8 ustreznih kratkih člankov o bazi znanja (vsak članek: vprašanje, kratek odgovor, pogoji, datum, oznaka). Nato preizkusite, ali lahko model reče "ne vem", tako da uporabite vzorec "1) Poziv za odgovor Tight RAG" in postavite vprašanje, od katerega enega ni v bazi znanja. Na koncu preverite svoje članke z "3) Protislovje in skeniranje vrzeli".
kontrolni seznam
- [ ] Vsak konkreten odgovor, ki ga da bot/pomočnik, je odvisen od trenutne baze znanja (prek RAG).
- [ ] Modelu sem naročil "če ga ni v viru, povej, da ne veš" in ga preizkusil.
- [ ] Moja baza znanja je sestavljena iz posodobljenih, jasnih člankov z eno samo temo.
- [ ] Počistil sem sporne in stare članke; Za vse informacije obstaja le en pravi vir.
- [ ] Odgovori pokažejo, na katerem članku temelji (vir).
- [ ] Zbiram vprašanja "ne vem" in hranim bazo znanja.