zisky:
- Pochopte, jak funguje RAG (fragmentace, přístup, generování závislé na zdrojích) a jak snižuje halucinace
- Schopnost zvýšit kvalitu odpovědí vytvořením znalostní báze, která je aktuální, jasná, nekonfliktní a má jediný správný zdroj.
- Schopnost instruovat model „pokud není ve zdroji, řekni mi, že nevíš“ a přeměnit otázky, na které nemůže odpovědět, na vylepšení znalostní báze
Odpověď robota nebo asistenta agenta je pouze tak dobrá jako informace, na kterých je založena. Když se zákazník zeptá „Kampaň pokračuje?“, správná odpověď není v paměti modelky, ale v aktuální znalostní bázi instituce. Proto je srdcem umělé inteligence call centra znalostní báze (KB): aktuální zdroj, kde jsou produkty, zásady, často kladené otázky, postupy a pravidla uchovávány v písemné podobě. A metoda, která bezpečně propojuje tuto znalostní bázi s umělou inteligencí, se nazývá RAG: Retrieval-Augmented Generation — namísto toho, aby si model vytvářel odpověď z vlastní paměti, nejprve získá příslušné informace ze zdroje (vyhledání) a poté vygeneruje odpověď pouze na základě těchto částí (generace).
RAG je nejúčinnější metodou prevence halucinací. Model negeneruje v hlavě číslo na otázku "jaká je úroková sazba úvěru?" Získává aktuální zájmový text ze znalostní báze a na jeho základě odpovídá. V této části uvidíme, jak nastavit znalostní bázi, jak RAG funguje a jak dobrá znalostní báze určuje kvalitu odpovědí.
Jak RAG funguje: čtyři kroky
Myslete na RAG jako na knihovníka. Zákazník klade otázky; Systém nejprve najde příslušné stránky z pravé police knihovny, poté tyto stránky přečte a zapíše odpověď. Technické kroky jsou následující:
- Chunking: Dlouhé dokumenty ve znalostní bázi jsou rozděleny na malé, smysluplné části (např. každý FAQ je blok). Protože model odpovídá na otázku přesněji pomocí souvisejících malých částí.
- Vkládání a indexování: Každý kus je přeložen do číselné podoby představující jeho význam (vložení – posloupnost čísel představující význam textu) a umístěn do prohledávatelné databáze. Nejde tedy o „shodu slov“, ale o „shodu významu“; I když se zákazník zeptá "kdy budou moje peníze uloženy?", část "období vrácení peněz" může být nalezena.
- Vyhledání: Vyhledají se díly, které jsou významově nejblíže dotazu zákazníka (např. 3-5 nejbližších dílů).
- Generování: Model zapíše odpověď POUZE na základě nakreslených částí a pokud je to možné, uvede zdroj.
Kritický bod je v kroku 4: model je instruován, aby se „spoléhal pouze na dané kousky, nebo řekl, že nevíš“. Bez tohoto pokynu RAG nebrání osazení modelu.
Tip: Zlaté pravidlo RAG: "Pokud to není ve zdroji, neexistuje žádná odpověď." Dobrý RAG systém řekne "o tom nevím jistě" na otázku, která není ve znalostní bázi; nikdy nezaplní mezeru dohady. Schopnost robota říct „nevím“ je bezpečnostní prvek, nikoli slabost.
Dobrá znalostní báze: skutečný zdroj kvality odpovědí
Bez ohledu na to, jak dobrý je RAG, pokud je znalostní báze špatná, odpověď je špatná. Kvalita znalostní báze se měří:
funkce
špatná znalostní základna
Dobrá znalostní základna
Aktuálnost
Neaktualizováno měsíce
Aktualizováno ihned po změně
Jasnost
Dlouhý, spletitý text
Krátké články s jedním tématem
struktura
Nepořádná hromada PDF
Označené rozložitelné látky
Důslednost
Dvě protichůdné odpovědi
Jediný zdroj pravdy
Rozsah
Existuje mnoho mezer
Pokrývá často kladené otázky
vlastnictví
Nikdo není zodpovědný
Každé téma má svého vlastníka
Nejnebezpečnějším problémem v kontextu call centra je rozpor: jsou-li ve znalostní bázi zapsány dvě různé lhůty pro vrácení, RAG řekne, která z nich bude trvat, a zákazníkovi bude zaslána nekonzistentní odpověď. Proto je zásada „jediného zdroje pravdy“ zásadní: informace jsou udržovány aktuální na jednom místě; Jsou použity odkazy na tento zdroj, nikoli kopie.
Krok za krokem: vytvoření systému odezvy podporovaného RAG
- Vyčistěte databázi znalostí: Odstraňte zastaralé, konfliktní a duplicitní články. Udělejte každý článek krátký a jedno téma.
- Rozdělte to a označte: Ke každému článku přidejte značku tématu a datum poslední aktualizace.
- Zřídit přístup: Připojte mechanismus, který na požádání přitáhne příslušné díly (toto umožňují podnikové nástroje RAG).
- Napište striktní výzvu: Řekněte modelu „spoléhejte se pouze na dodané díly, uveďte zdroj nebo řekněte, že nevíte“.
- Uveďte zdroj: Ukažte článek, na kterém je odpověď založena; Dává to jistotu a usnadňuje ověřování.
- Sledujte mezery: Sbírejte otázky, kde robot říká „nevím“; Ty ukazují nedostatky ve znalostní bázi, odtud pocházejí.
Čtyři kopírovatelné šablony
1) Přísná výzva k odpovědi RAG:
Odpověď NA ZÁKLADĚ následujících částí [ZDROJ]. Pravidla: (1) používejte pouze informace ve zdroji, (2) pokud nejsou ve zdroji, řekněte „Nemám o tom žádné konkrétní informace, dovolte mi, abych vás spojil se zástupcem“, (3) uveďte, ze kterého článku je založen jako [Zdroj: item-no], (4) uvádějte částku/trvání/stav přesně ze zdroje, nezaokrouhlujte/nedodávejte. [ZDROJ]: <<vytažené díly>>Otázka: "<<dotaz zákazníka>>"
2) Psaní článku znalostní báze:
Převeďte následující rozptýlený text zásad na článek s často kladenými dotazy vhodný pro RAG. Formát: Otázka (v jazyce zákazníka) / Krátká odpověď (2-3 věty) / Podmínky (klauzule) / Datum poslední aktualizace / Značka tématu. Označte všechny nejednoznačné body jako „k objasnění“, předstírejte. Nezpracovaný text: <<text>>
3) Hledání rozporů a mezer:
Prozkoumejte následující články znalostní báze. (1) Označte dvojice předmětů, které jsou ve vzájemném konfliktu (např. různá doba vrácení). (2) Hádejte témata, která budou často kladena, ale nebudou mít ŽÁDNÉ odpovědi. Podívejte se pouze na dané články; vytváření nových zásad. Články: <<seznam>>
4) Vylepšení z protokolu „Nevím“:
Níže jsou uvedeny otázky, na které robot nedokázal odpovědět (nenašel zdroj). Seskupte je do témat a navrhněte název článku, který by měl být přidán do znalostní báze pro každou skupinu. Nevytvářejte obsah odpovědi, jen mi řekněte, která položka chybí. Otázky: <<seznam>>
Slabá výzva / Silná výzva
Slabá výzva:
Odpovězte na zákazníkovu otázku o vrácení.
Žádný zdroj; Model může sedět z paměti, množství/trvání může být chybné, nelze to ověřit.
Výkonná výzva:
Odpovězte pouze na základě níže uvedené doložky o zásadách vrácení. Pokud ve zdroji není k dispozici, řekněte „nevím jistě“. Citujte doslovně období a stav, uveďte odkaz ve tvaru [Zdroj: RETURN-03].[ZDROJ: RETURN-03]: "Nepoužitý produkt lze vrátit do 14 dnů. Personalizované produkty nejsou v rámci možnosti vrácení." Otázka: "Mohu vrátit personalizovaný produkt, který jsem koupil před 20 dny?"
Rozdíl: závisí na zdroji, odkaz je povinný, zákaz výroby jasný; model vygeneruje správnou odpověď („14 dní po a personalizované, nevratné“) ze zdroje.
tři mini pouzdra
Případ 1 – Ukončení halucinace. Přesnost odpovědí telekomunikačního robota na otázky kampaně byla 71 % v nastavení bez RAG; Modelka si občas vymýšlela staré kampaně. Když byly stránky aktuální kampaně propojeny s RAG a bylo přidáno pravidlo „neříkej to, pokud to není ve zdroji“, přesnost se zvýšila na 96 % a stížnosti na „nesprávná slova kampaně“ téměř skončily.
Případ 2 – Cena za rozpor. Ve znalostní bázi e-commerce společnosti byly na dvou stránkách napsány dvě různé náklady na dopravu (jedna aktuální, jedna stará zapomenutá stránka). Robot někoho náhodně vytáhl a některým zákazníkům řekl špatnou cenu. Když byla stará stránka archivována s principem jediného správného zdroje, nesrovnalost zmizela. Poučení: RAG neřeší rozpor, propaguje rozpor takový, jaký je.
Případ 3 — Hodnota protokolu „Nevím“. V jedné bance robot říkal „nevím jistě“ na přibližně 4 000 otázek měsíčně. Když byly tyto otázky seskupeny, bylo vidět, že 40 % se týkalo „používání mezinárodních karet“; Nebyl o tom žádný článek. Když byly přidány příslušné položky, byly tyto otázky vyřešeny a obrat lidí na toto téma se snížil o 55 %. Skutečnost, že bot řekl, že to neví, se stala plánem pro zlepšení.
Časté chyby
- Odpověď bez odkazu na zdroj. Bez RAG model odpovídá konkrétní informaci; Jakákoli konkrétní odpověď musí záviset na zdroji.
- Vypnutí možnosti „Nevím“. Nutit model odpovědět na každou otázku zajišťuje padnutí.
- Nevymazání konfliktních/starých informací. RAG šíří rozpory; Jediný správný zdroj je nezbytný.
- Zanedbávání skartovat. Export velkých PDF tak, jak je, narušuje přesný přístup; Používejte krátké články s jedním tématem.
- Skrytí zdroje. Neuvedení toho, na čem je odpověď založena, oslabuje ověření a důvěru.
Upozornění: RAG zlepšuje přesnost, ale neposkytuje 100% záruku. Model může někdy špatně interpretovat zachycenou část. Proto finanční, právní a bezpečnostní otázky vyžadují lidský souhlas, i když je uveden zdroj; RAG snižuje halucinace, ale nezbavuje odpovědnosti.
V souhrnu
Znalostní báze a RAG jsou základem přesnosti AI call centra. RAG do značné míry předchází halucinacím tím, že modelu brání přizpůsobit odpověď z paměti a spoléhat se pouze na aktuální zdroj. Ale RAG je jen tak dobrý, jak dobrý je jeho znalostní základ: nezbytná je znalostní báze, která je aktuální, jasná, strukturovaná, bez konfliktů a má jediný zdroj pravdy. Řekněte modelu „pokud to není ve zdroji, řekněte mi, že to nevíte“, ukažte na zdroj a použijte otázky, na které bot nedokáže odpovědět, ke zlepšení své znalostní báze. Zachovejte lidský souhlas navzdory zdroji o důležitých záležitostech.
Aplikační úkol
Napište 8 skutečných/realistických zákaznických otázek z vašeho oboru a 8 odpovídajících krátkých článků znalostní báze (každý článek: otázka, krátká odpověď, podmínky, datum, značka). Poté otestujte, zda model dokáže říci „nevím“ pomocí vzoru „1) Tight RAG answer prompt“ a také položením otázky, z nichž jedna není ve znalostní bázi. Nakonec zkontrolujte své články pomocí "3) Rozpor a skenování mezer".
kontrolní seznam
- [ ] Každá konkrétní odpověď, kterou bot/asistent poskytne, závisí na aktuální bázi znalostí (prostřednictvím RAG).
- [ ] Instruoval jsem model "pokud není ve zdroji, řekni mi, že nevíš" a otestoval.
- [ ] Moje znalostní báze se skládá z aktuálních, přehledných článků s jedním tématem.
- [ ] Vymazal jsem konfliktní a staré články; Pro všechny informace existuje pouze jeden správný zdroj.
- [ ] Odpovědi ukazují, z jakého článku se vychází (zdroj).
- [ ] Sbírám otázky typu „nevím“ a doplňuji znalostní bázi.