Nyereség:
- Ismerje meg, hogyan működik a RAG (töredezettség, hozzáférés, erőforrás-függő generálás) és hogyan csökkenti a hallucinációkat
- Képes a válaszok minőségének javítására egy aktuális, világos, konfliktusmentes és egyetlen helyes forrásból álló tudásbázis kialakításával.
- Képes utasítani a modellt „ha nem szerepel a forrásban, mondd, hogy nem tudod”, és a kérdéseket, amelyekre nem tud válaszolni, tudásbázis fejlesztéssé alakítani
A bot vagy az ügynökasszisztens válasza csak annyira jó, mint amennyire az alapjául szolgál. Amikor az ügyfél azt kérdezi, hogy „Folytat a kampány?”, a helyes válasz nem a modell memóriájában, hanem az intézmény jelenlegi tudásbázisában van. Ezért a call center mesterséges intelligencia szíve a tudásbázis (KB): egy naprakész erőforrás, ahol a termékek, irányelvek, GYIK, eljárások és szabályok írásban vannak. Ezt a tudásbázist a mesterséges intelligenciával biztonságosan összekapcsoló módszert pedig RAG: Retrieval-Augmented Generation (Retrieval-Augmented Generation) néven hívják – ahelyett, hogy saját memóriájából hozná ki a választ, a modell először lekéri a forrásból a releváns információkat (visszakeresés), majd csak ezek alapján generálja a választ (generáció).
A RAG a leghatékonyabb módszer a hallucinációk megelőzésére. A modell nem generál számot a fejében a "mi a hitel kamata?" A tudásbázisból előkeresi az aktuális érdeklődésű szöveget, és az alapján válaszol. Ebben az egységben látni fogjuk, hogyan kell felállítani a tudásbázist, hogyan működik a RAG, és hogyan határozza meg a jó tudásbázis a válaszok minőségét.
A RAG működése: négy lépés
Gondolj a RAG-ra, mint egy könyvtárosra. Az ügyfél kérdéseket tesz fel; A rendszer először megkeresi a megfelelő oldalakat a könyvtár jobb polcáról, majd beolvassa azokat és megírja a választ. A technikai lépések a következők:
- Feldarabolás: A tudásbázisban található hosszú dokumentumok apró, értelmes részekre vannak bontva (pl. minden GYIK egy darab). Mert a modell a kapcsolódó kis részekkel pontosabban válaszol egy kérdésre.
- Beágyazás és indexelés: Minden egyes darabot lefordítanak a jelentését reprezentáló numerikus formára (beágyazás – a szöveg jelentését reprezentáló számsor), és egy kereshető adatbázisba helyezik. Így nem "szóegyezés", hanem "jelentésegyezés"; Még akkor is, ha az ügyfél megkérdezi, hogy "mikor utalják be a pénzemet?", a "visszatérítési időszak" rész megtalálható.
- Visszakeresés: A vevő kérdéséhez jelentésükben legközelebb álló részek kerülnek lekérésre (pl. a legközelebbi 3-5 rész).
- Generáció: A modell CSAK a rajzolt részek alapján írja meg a választ, és lehetőség szerint megjelöli a forrást.
A kritikus pont a 4. lépésben van: a modell azt az utasítást kapja, hogy "csak hagyatkozzon az adott darabokra, vagy mondja azt, hogy nem tudja". Ezen utasítás nélkül a RAG nem akadályozza meg a modell felszerelését.
Tipp: A RAG aranyszabálya: "Ha nincs a forrásban, nincs válasz." Egy jó RAG-rendszer azt mondja, hogy „nem tudom biztosan” olyan kérdésre, amely nem szerepel a tudásbázisban; soha nem tölti be találgatásokkal a hiányt. A bot azon képessége, hogy „nem tudom”, biztonsági funkció, nem pedig gyengeség.
Jó tudásbázis: a válaszminőség valódi forrása
Bármilyen jó is a RAG, ha rossz a tudásbázis, akkor rossz a válasz. A tudásbázis minőségét a következők mérik:
jellemzője
rossz tudásbázis
Jó tudásbázis
Aktuálisság
Hónapok óta nem frissült
Változás után azonnal frissül
Világosság
Hosszú, bonyolult szöveg
Rövid, egy témájú cikkek
szerkezetét
Rendetlen PDF halom
Jelzett lebomló anyagok
Következetesség
Két egymásnak ellentmondó válasz
Az igazság egyetlen forrása
Hatály
Sok hiányosság van
A gyakran ismételt kérdéseket tartalmazza
tulajdonjog
Senki sem felelős
Minden témának van gazdája
A call center kontextusában a legveszélyesebb probléma az ellentmondás: ha két különböző visszaküldési időszakot írnak be a tudásbázisba, akkor a RAG azt mondja, melyiket választja, és inkonzisztens választ küld az ügyfélnek. Ezért kritikus az „egyetlen igazságforrás” elv: az információk egy helyen vannak naprakészen; A forrásra való hivatkozásokat használjuk, nem másolatokat.
Lépésről lépésre: RAG-támogatott válaszrendszer felépítése
- Tisztítsa meg a tudásbázist: távolítsa el az elavult, ütköző, ismétlődő cikkeket. Legyen minden cikk rövid és egy témájú.
- Bontsa le és címkézze meg: Adjon hozzá témacímkét és utolsó frissítési dátumot minden cikkhez.
- Hozzáférés létrehozása: Csatlakoztasson egy mechanizmust, amely kérésre kihúzza a megfelelő alkatrészeket (ezt a vállalati RAG eszközök biztosítják).
- Írjon egy szigorú felszólítást: Mondja meg a modellnek, hogy „csak a megadott alkatrészekre hagyatkozzon, hivatkozzon a forrásra, vagy mondja azt, hogy nem tudja”.
- A forrás megjelölése: Mutasd meg azt a cikket, amelyen a válasz alapul; Egyszerre önbizalmat ad, és megkönnyíti az ellenőrzést.
- Ügyeljen a hiányosságokra: Gyűjtsön olyan kérdéseket, ahol a bot azt mondja: „Nem tudom”; Ezek megmutatják a tudásbázis hiányosságait, onnan táplálkoznak.
Négy másolható sablon
1) Szigorú RAG-válasz:
Válaszoljon a következő [FORRÁS] részek ALAPJÁN. Szabályok: (1) csak a forrásban szereplő információkat használja, (2) ha nem szerepel a forrásban, akkor azt mondja: "Erről nincs határozott információm, hadd forduljak a képviselőhöz", (3) adja meg, hogy [Forrás: cikkszám] melyik cikken alapul, (4) pontosan idézze a forrásból a mennyiséget/időtartamot/állapotot, ne kerekítsen/pótolja. [FORRÁS]: <<húzott alkatrészek>>Kérdés: "<<ügyfélkérdés>>"
2) Tudásbázis cikkírás:
Alakítsa át a következő, szétszórt irányelvszöveget a RAG számára megfelelő GYIK-cikkké. Formátum: Kérdés (az ügyfél nyelvén) / Rövid válasz (2-3 mondat) / Feltételek (záradék) / Utolsó frissítés dátuma / Témacímke. A kétértelmű pontokat "tisztázandó"-ként jelölje meg, képzelje el. Nyers szöveg: <<szöveg>>
3) Ellentmondások és hiányosságok keresése:
Vizsgálja meg a következő tudásbáziscikkeket. (1) Jelölje meg azokat a cikkpárokat, amelyek EGYMÁSNAK ELÉRHETŐK (pl. eltérő visszaküldési időszak). (2) Találja ki azokat a témákat, amelyeket gyakran feltesznek, de NINCS válaszuk. Csak az adott cikkeket nézze meg; új szabályzat előállítása.Cikkek: <<lista>>
4) Javítás a „Nem tudom” naplóból:
Az alábbiakban olyan kérdések találhatók, amelyekre a bot nem tudott válaszolni (nem talált forrást). Csoportosítsd őket témákba, és javasold a cikk címét, amelyet minden csoportnál hozzá kell adni a tudásbázishoz. Ne találja ki a válasz tartalmát, csak mondja meg, melyik elem hiányzik.Kérdések: <<lista>>
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Válaszoljon az ügyfél visszatérési kérdésére.
Nincs forrás; Lehet, hogy memóriából elfér a modell, hibás a mennyiség/időtartam, nem ellenőrizhető.
Erőteljes felszólítás:
Csak az alábbi visszaküldési szabályzat alapján válaszoljon. Ha nem áll rendelkezésre a forrásban, mondja azt, hogy „Nem tudom biztosan”. Az időszakot és állapotot szó szerint idézze, hivatkozást adjon meg [Forrás: RETURN-03] formában.[FORRÁS: RETURN-03]: "A fel nem használt termék 14 napon belül visszaküldhető. A személyre szabott termékek nem tartoznak a visszaküldési körbe." Kérdés: "Visszaküldhetem a 20 napja vásárolt személyre szabott terméket?"
Különbség: forrásfüggő, hivatkozás kötelező, gyártási tilalom egyértelmű; a modell a helyes választ ("14 nappal elmúlt és személyre szabott, vissza nem térítendő") generálja a forrásból.
három mini tok
1. eset – A hallucináció befejezése. Egy telekommunikációs bot kampánykérdésekre adott válaszpontossága 71% volt RAG nélküli beállítás esetén; A modell néha régi kampányokat készített. Amikor a jelenlegi kampányoldalakat összekapcsolták a RAG-val, és hozzáadták a "ne mondd, ha nincs a forrásban" szabályt, a pontosság 96%-ra nőtt, és a "rossz kampányszavakkal" kapcsolatos panaszok majdnem véget értek.
2. eset – Az ellentmondás ára. Egy e-kereskedelmi cég tudástárában két oldalra (egy aktuális, egy régi elfelejtett oldalra) két különböző szállítási költséget írtak. A bot véletlenszerűen rántott valakit, és rossz árat mondott néhány vásárlónak. Amikor a régi oldalt az egyetlen helyes forrás elvével archiválták, az inkonzisztencia megszűnt. Tanulság: A RAG nem oldja fel az ellentmondást, hanem úgy terjeszti az ellentmondást, ahogy van.
3. eset – A „Nem tudom” napló értéke. Az egyik bankban a bot havonta ~4000 kérdésre azt mondta: "Nem tudom biztosan". A kérdések csoportosítása során kiderült, hogy 40%-uk a „nemzetközi kártyahasználatról” szólt; Nem volt róla cikk. A releváns tételek hozzáadásával ezek a kérdések megoldódtak, és 55%-kal csökkent a témával foglalkozó emberek forgalma. Az a tény, hogy a bot azt mondta, hogy nem tudja, a fejlődés útitervévé vált.
Gyakori hibák
- Válaszadás a forrás hivatkozása nélkül. RAG nélkül a modell konkrét információkhoz illeszkedik; A konkrét válasznak a forrástól kell függnie.
- A „Nem tudom” opció kikapcsolása. Ha a modellt minden kérdés megválaszolására kényszerítjük, akkor az illeszkedést biztosít.
- Az ütköző/régi információk törlése. A RAG ellentmondást terjeszt; Egyetlen helyes forrás elengedhetetlen.
- Az aprítás elhanyagolása. A nagy PDF-ek exportálása megzavarja a pontos hozzáférést; Használjon rövid, egy témájú cikkeket.
- A forrás elrejtése. Ha nem jelzi, mi a válasz alapja, az gyengíti az ellenőrzést és a bizalmat.
Figyelem: A RAG javítja a pontosságot, de nem ad 100%-os garanciát. A modell néha félreértelmezheti a rögzített részt. Ezért a pénzügyi, jogi és biztonsági kérdések emberi jóváhagyást igényelnek, még akkor is, ha a forrásra hivatkoznak; A RAG csökkenti a hallucinációt, de nem mentesíti a felelősséget.
Összefoglalva
A tudásbázis és a RAG a call center mesterséges intelligencia pontosságának alapja. A RAG nagyrészt megakadályozza a hallucinációt azáltal, hogy megakadályozza, hogy a modell emlékezetből illessze a választ, és kizárólag az aktuális forrásra hagyatkozzon. De a RAG csak annyira jó, amennyire tudásbázisa: elengedhetetlen a naprakész, világos, strukturált, konfliktusmentes tudásbázis, amely egyetlen igazságforrással rendelkezik. Mondja a modellnek, hogy „ha nem szerepel a forrásban, mondja meg, hogy nem tudja”, mutasson a forrásra, és használja azokat a kérdéseket, amelyekre a bot nem tud válaszolni, hogy javítsa tudásbázisát. Fenntartani az emberi beleegyezést a forrás ellenére a nagy téttel járó ügyekben.
Pályázati feladat
Írjon 8 valós/realisztikus vásárlói kérdést az Ön iparágából és 8 megfelelő rövid tudásbáziscikket (minden cikk: kérdés, rövid válasz, feltételek, dátum, címke). Ezután tesztelje, hogy a modell képes-e azt mondani, hogy „nem tudom”, az „1) Tight RAG válaszprompt” mintával, és egy olyan kérdést is feltesz, amelyek közül az egyik nem szerepel a tudásbázisban. Végül ellenőrizze a cikkeket a "3) Ellentmondás és hiányosság vizsgálatával".
ellenőrző lista
- [ ] A bot/asszisztens által adott minden konkrét válasz az aktuális tudásbázistól függ (RAG-n keresztül).
- [ ] Utasítottam a modellt, hogy "ha nem szerepel a forrásban, mondd, hogy nem tudod" és teszteltem.
- [ ] Tudásbázisom naprakész, áttekinthető, egyetlen témát érintő cikkekből áll.
- [ ] Kitöröltem az egymásnak ellentmondó és régi cikkeket; Minden információnak csak egy helyes forrása van.
- [ ] A válaszokból kiderül, hogy melyik cikk alapján készült (forrás).
- [ ] "Nem tudom" kérdéseket gyűjtök és táplálom a tudásbázist.