zisky:
- Pochopte, ako funguje RAG (fragmentácia, prístup, generovanie závislé od zdrojov) a ako znižuje halucinácie
- Schopnosť zvýšiť kvalitu odpovedí vytvorením vedomostnej základne, ktorá je aktuálna, jasná, bez konfliktov a má jediný správny zdroj.
- Schopnosť inštruovať model „ak nie je v zdroji, povedz mi, že nevieš“ a zmeniť otázky, na ktoré nevie odpovedať, na zlepšenie znalostnej bázy
Odpoveď robota alebo asistenta agenta je len taká dobrá ako informácie, na ktorých je založená. Keď sa zákazník opýta „Kampaň pokračuje?“, správna odpoveď nie je v pamäti modelky, ale v súčasnej znalostnej báze inštitúcie. Preto je srdcom umelej inteligencie call centra znalostná báza (KB): aktuálny zdroj, v ktorom sú produkty, zásady, často kladené otázky, postupy a pravidlá uchovávané v písomnej forme. A metóda, ktorá bezpečne spája túto znalostnú bázu s umelou inteligenciou, sa nazýva RAG: Retrieval-Augmented Generation – namiesto toho, aby si model vytvoril odpoveď z vlastnej pamäte, najprv získa príslušné informácie zo zdroja (vyhľadanie) a potom vygeneruje odpoveď len na základe týchto častí (generácia).
RAG je najúčinnejšou metódou prevencie halucinácií. Model negeneruje v hlave číslo na otázku "aká je úroková sadzba úveru?" Načítava aktuálny text záujmu z databázy znalostí a na základe nej odpovedá. V tejto časti uvidíme, ako nastaviť vedomostnú základňu, ako funguje RAG a ako dobrá vedomostná základňa určuje kvalitu odpovedí.
Ako RAG funguje: štyri kroky
Myslite na RAG ako na knihovníka. Zákazník kladie otázky; Systém najprv nájde relevantné stránky z pravej police knižnice, potom tieto stránky prečíta a zapíše odpoveď. Technické kroky sú nasledovné:
- Rozdeľovanie: Dlhé dokumenty v databáze znalostí sú rozdelené na malé, zmysluplné časti (napr. každý FAQ je kus). Pretože model odpovedá na otázku presnejšie súvisiacimi malými časťami.
- Vkladanie a indexovanie: Každý kus je preložený do číselnej formy reprezentujúcej jeho význam (vloženie – sekvencia čísel reprezentujúcich význam textu) a umiestnený do prehľadávateľnej databázy. Nejde teda o „zhodu slov“, ale o „zhodu významu“; Aj keď sa zákazník spýta „kedy budú moje peniaze uložené?“, časť „obdobie vrátenia peňazí“ sa môže nájsť.
- Vyhľadanie: Vyhľadajú sa časti, ktoré sú významovo najbližšie k otázke zákazníka (napr. 3-5 najbližších častí).
- Generovanie: Model napíše odpoveď LEN na základe nakreslených častí a ak je to možné, uvedie zdroj.
Kritický bod je v kroku 4: model dostane pokyn „spoliehať sa len na dané kúsky alebo povedať, že nevieš“. Bez tohto pokynu RAG nezabráni montáži modelu.
Tip: Zlaté pravidlo RAG: "Ak to nie je v zdroji, neexistuje žiadna odpoveď." Dobrý RAG systém povie „o tomto neviem s istotou“ na otázku, ktorá nie je v znalostnej báze; nikdy nevyplní medzeru dohadmi. Schopnosť robota povedať „neviem“ je bezpečnostný prvok, nie slabosť.
Dobrá vedomostná základňa: skutočný zdroj kvality odpovedí
Bez ohľadu na to, aký dobrý je RAG, ak je vedomostná základňa zlá, odpoveď je zlá. Kvalita databázy znalostí sa meria:
vlastnosť
zlá vedomostná základňa
Dobrá vedomostná základňa
Aktuálnosť
Neaktualizované mesiace
Aktualizované ihneď po zmene
Jasnosť
Dlhý, zamotaný text
Krátke články s jednou témou
štruktúru
Chaotická kopa PDF
Označené odbúrateľné látky
Dôslednosť
Dve protichodné odpovede
Jediný zdroj pravdy
Rozsah
Existuje veľa medzier
Pokrýva často kladené otázky
vlastníctvo
Nikto nie je zodpovedný
Každá téma má svojho vlastníka
Najnebezpečnejším problémom v kontexte call centra je rozpor: ak sú v znalostnej báze napísané dve rôzne obdobia vrátenia, RAG povie, ktoré z nich bude potrebné, a zákazníkovi bude zaslaná nekonzistentná odpoveď. Preto je zásada „jediného zdroja pravdy“ kritická: informácie sú aktuálne na jednom mieste; Používajú sa odkazy na tento zdroj, nie kópie.
Krok za krokom: vybudovanie systému odozvy s podporou RAG
- Vyčistite databázu znalostí: Odstráňte zastarané, konfliktné, duplicitné články. Každý článok by mal byť krátky a zameraný na jednu tému.
- Rozdeľte to a označte: Ku každému článku pridajte značku témy a dátum poslednej aktualizácie.
- Zriadenie prístupu: Pripojte mechanizmus, ktorý na požiadanie potiahne príslušné diely (poskytujú to podnikové nástroje RAG).
- Napíšte striktnú výzvu: Povedzte modelu „spoliehajte sa len na poskytnuté diely, uveďte zdroj alebo povedzte, že neviete.“
- Uveďte zdroj: Ukážte článok, na ktorom je odpoveď založená; Poskytuje dôveru a uľahčuje overovanie.
- Sledujte medzery: Zbierajte otázky, kde robot hovorí „Neviem“; Tieto ukazujú nedostatky v znalostnej báze, odtiaľ sa odvíjajú.
Štyri kopírovateľné šablóny
1) Prísna výzva na odpoveď RAG:
Odpoveď NA ZÁKLADE nasledujúcich častí [SOURCE]. Pravidlá: (1) používajte iba informácie v zdroji, (2) ak nie sú v zdroji, povedzte „Nemám o tom žiadne presné informácie, dovoľte mi, aby som vás spojil so zástupcom“, (3) uveďte, z ktorého článku vychádza ako [Zdroj: položka-nie], (4) uveďte množstvo/trvanie/stav presne zo zdroja, nezaokrúhľujte/nedopĺňajte. [ZDROJ]: <<vytiahnuté diely>>Otázka: "<<otázka zákazníka>>"
2) Písanie článku databázy znalostí:
Premeňte nasledujúci roztrúsený text zásad na článok s často kladenými otázkami vhodný pre RAG. Formát: Otázka (v jazyku zákazníka) / Krátka odpoveď (2-3 vety) / Podmienky (klauzula) / Dátum poslednej aktualizácie / Značka témy. Označte všetky nejednoznačné body ako „na objasnenie“, predstierajte. Nespracovaný text: <<text>>
3) Vyhľadávanie rozporov a medzier:
Preskúmajte nasledujúce články databázy znalostí. (1) Označte dvojice predmetov, ktoré sú vo vzájomnom konflikte (napr. rozdielna doba vrátenia). (2) Uhádnite témy, ktoré sa budú často pýtať, ale nebudú mať ŽIADNE odpovede. Pozrite sa len na dané články; vytváranie novej politiky.Články: <<zoznam>>
4) Zlepšenie z denníka „Neviem“:
Nižšie sú uvedené otázky, na ktoré robot nedokázal odpovedať (nenašiel zdroj). Zoskupte ich do tém a navrhnite názov článku, ktorý by sa mal pridať do databázy znalostí pre každú skupinu. Nevymýšľajte obsah odpovede, len mi povedzte, ktorá položka chýba. Otázky: <<zoznam>>
Slabá výzva / Silná výzva
Slabá výzva:
Odpovedzte na zákazníkovu otázku o vrátení tovaru.
Žiadny zdroj; Model môže sedieť z pamäte, množstvo/trvanie môže byť nesprávne, nedá sa overiť.
Výkonná výzva:
Odpovedzte len na základe nižšie uvedenej doložky o pravidlách vrátenia. Ak nie je k dispozícii v zdroji, povedzte „Neviem s istotou“. Obdobie a stav uveďte doslovne, uveďte odkaz v tvare [Zdroj: RETURN-03].[ZDROJ: RETURN-03]: "Nepoužitý produkt je možné vrátiť do 14 dní. Personalizované produkty nie sú v rámci vrátenia." Otázka: "Môžem vrátiť personalizovaný produkt, ktorý som si kúpil pred 20 dňami?"
Rozdiel: závislý od zdroja, odkaz povinný, zákaz výroby jasný; model vygeneruje správnu odpoveď („14 dní po a personalizovanú, nevratná“) zo zdroja.
tri mini prípady
Prípad 1 – Ukončenie halucinácie. Presnosť odpovedí telekomunikačného robota na otázky kampane bola 71 % v nastavení bez RAG; Modelka si občas vymýšľala staré kampane. Keď sa stránky aktuálnej kampane prepojili s RAG a pridalo sa pravidlo „nehovor, ak to nie je v zdroji“, presnosť sa zvýšila na 96 % a sťažnosti na „nesprávne slová kampane“ sa takmer skončili.
Prípad 2 – Cena za rozpor. V znalostnej báze e-commerce spoločnosti boli na dvoch stranách napísané dve rôzne prepravné náklady (jedna aktuálna, jedna stará zabudnutá stránka). Robot niekoho náhodne ťahal a niektorým zákazníkom povedal nesprávnu cenu. Keď bola stará stránka archivovaná s princípom jediného správneho zdroja, nezrovnalosť zmizla. Ponaučenie: RAG nerieši rozpor, propaguje rozpor taký, aký je.
Prípad 3 — Hodnota denníka „Neviem“. V jednej banke robot povedal „Neviem to určite“ na približne 4 000 otázok mesačne. Keď boli tieto otázky zoskupené, ukázalo sa, že 40 % sa týkalo „používania medzinárodných kariet“; Nebol o tom žiadny článok. Keď boli pridané relevantné položky, tieto otázky boli vyriešené a obrat ľudí na túto tému sa znížil o 55 %. Skutočnosť, že bot povedal, že to nevie, sa stala plánom na zlepšenie.
Časté chyby
- Odpovedať bez odkazu na zdroj. Bez RAG model zodpovedá konkrétnym informáciám; Akákoľvek konkrétna odpoveď musí závisieť od zdroja.
- Vypnutie možnosti „Neviem“. Prinútiť model odpovedať na každú otázku zaisťuje prispôsobenie.
- Nevyčistenie konfliktných/starých informácií. RAG šíri rozpor; Jediný správny zdroj je nevyhnutný.
- Zanedbanie skartovať. Export veľkých súborov PDF tak, ako je, narúša presný prístup; Používajte krátke články s jednou témou.
- Skrytie zdroja. Neuvedenie toho, na čom je odpoveď založená, oslabuje overenie a dôveru.
Upozornenie: RAG zlepšuje presnosť, ale neposkytuje 100% záruku. Modelka môže niekedy nesprávne interpretovať zachytenú časť. Preto si finančné, právne a bezpečnostné otázky vyžadujú ľudský súhlas, aj keď je uvedený zdroj; RAG znižuje halucinácie, ale nezbavuje zodpovednosti.
V súhrne
Znalostná základňa a RAG sú základom presnosti AI call centra. RAG do značnej miery zabraňuje halucináciám tým, že bráni modelu prispôsobiť odpoveď z pamäte a spoliehať sa výlučne na aktuálny zdroj. RAG je však len taká dobrá, aká dobrá je jej vedomostná základňa: podstatná je vedomostná základňa, ktorá je aktuálna, jasná, štruktúrovaná, bez konfliktov a má jediný zdroj pravdy. Povedzte modelu „ak to nie je v zdroji, povedzte mi, že to neviete“, ukážte na zdroj a použite otázky, na ktoré bot nedokáže odpovedať, na zlepšenie svojej databázy znalostí. Zachovajte si ľudský súhlas napriek zdroju o dôležitých záležitostiach.
Aplikačná úloha
Napíšte 8 reálnych/realistických zákazníckych otázok z vášho odvetvia a 8 zodpovedajúcich krátkych článkov databázy znalostí (každý článok: otázka, krátka odpoveď, podmienky, dátum, značka). Potom otestujte, či model dokáže povedať „neviem“ pomocou vzoru „1) Tight RAG answer prompt“ a tiež položením otázky, z ktorých jedna nie je v znalostnej báze. Nakoniec skontrolujte svoje články pomocou „3) Rozpory a skenovanie medzier“.
kontrolný zoznam
- [ ] Každá konkrétna odpoveď robota/asistenta závisí od aktuálnej bázy znalostí (prostredníctvom RAG).
- [ ] Inštruoval som model "ak nie je v zdroji, povedz mi, že nevieš" a otestoval som ho.
- [ ] Moja vedomostná základňa pozostáva z aktuálnych, prehľadných článkov s jednou témou.
- [ ] Vymazal som konfliktné a staré články; Pre všetky informácie existuje len jeden správny zdroj.
- [ ] Odpovede ukazujú, z ktorého článku sa vychádza (zdroj).
- [ ] Zhromažďujem otázky typu „neviem“ a dopĺňam vedomostnú základňu.