Nyereség:
- Ismerje meg, hogy a RAG hogyan csökkenti a hallucinációkat azáltal, hogy a választ az intézmény tényleges dokumentumaihoz kapcsolja és hivatkozik, valamint alkalmazza a tiszta dokumentumbázis fontosságát
- Lehetőség a RAG kimenet forrásának, dátumának és pénznemének ellenőrzésére, valamint az ütköző verziók megkülönböztetésére
- Képes a vállalati adatvédelem védelmére a jogosulatlan dokumentumokból érkező válaszok megakadályozásával hozzáférés-vezérléssel
Egy szervezet emlékezete több ezer szétszórt dokumentumban él: jelentések, kézikönyvek, jegyzőkönyvek, eljárások, e-mailek. Egy alkalmazott órákig kereshet dokumentumokat, hogy válaszoljon egy egyszerű kérdésre („hogyan működik ez az eljárás?”). A tudásmenedzser álma, hogy ez a memória közvetlen, de forrásalapú válaszokat adjon a kérdésekre. A RAG pontosan ezt ígéri. Ebben a részben megtudhatja, mi az a RAG, hogyan kell használni a vállalati információkezelésben, és hogyan biztosíthatja azt a pontosság, a titoktartás és az időszerűség szempontjából.
Határozzuk meg a fogalmat. A RAG (Retrieval-Augmented Generation) az, amikor egy mesterséges intelligencia úgy válaszol egy kérdésre, hogy először megtalálja (lekéri) a releváns darabokat a szervezet saját dokumentációjából, majd kizárólag ezek alapján generálja a választ. Ez alapvetően különbözik attól az általános mesterséges intelligenciától, amely a memóriából generál választ: a RAG valódi, nyomon követhető dokumentumokhoz kapcsolja össze és adja meg a választ. Így a hallucinációk nagymértékben csökkennek, mivel az MI az intézmény dokumentumából beszél, nem a „fejéből”.
Lépésről lépésre: a vállalati RAG-rendszer megértése
1. Készítse elő a dokumentumalapot. A szervezet megbízható, naprakész dokumentumait összegyűjtik, megtisztítják és darabokra (a dokumentum értelmes kis részeire) osztják. Ha rossz, elavult vagy egymásnak ellentmondó dokumentumok kerülnek be a rendszerbe, a válaszok rosszak lesznek: „szemét be, szemét ki”.
2. Beágyazás és indexelés. Minden egyes darab a jelentését reprezentáló vektorrá (beágyazás) konvertálódik, és egy kereshető indexbe kerül. Amikor egy kérdés felmerül, a rendszer megkeresi azokat a részeket, amelyek jelentésükben a legközelebb állnak.
3. Hozza magával a megfelelő alkatrészeket. Amikor feltesznek egy kérdést, a rendszer kihúz néhányat a dokumentumbázisból a legfontosabbak közül. Ez a lépés kritikus: ha rossz darabot hoznak be, a válasz is rossz lesz.
4. Forrásalapú válasz generálása. Az AI kizárólag a beolvasott töredékek alapján generál választ, és jelzi, hogy melyik dokumentumból származott. A forrásra nem hivatkozó válasz ellentétes a RAG céljával.
5. Ellenőrizze és jelentse vissza. A felhasználónak képesnek kell lennie arra, hogy a megjelenített forráshoz lépjen, és megerősítse a választ. A hibás vagy hiányos válaszok visszajelzésekké válnak a dokumentációs bázis javítása érdekében.
Tipp: A RAG minősége nagyban függ a dokumentumalap minőségétől. Frissítse a dokumentumokat, szűrje ki az ütköző/elavult verziókat, és adja hozzá a dátumot és a származási információkat minden egyes dokumentumhoz, mielőtt a rendszerbe helyezné. 500 jól rendszerezett dokumentum jobb választ ad, mint 5000 szétszórt dokumentum.
A RAG határai és biztonsági pontjai
A RAG csökkenti a hallucinációt, de nem állítja vissza. Ha a rendszer rossz darabot ad vissza, az AI továbbra is rossz választ adhat, ha "hűséges" marad a rossz darabhoz. Ezenkívül a mesterséges intelligencia félreértelmezheti a lekért darabokat, vagy több darabot egymásnak ellentmondó módon kombinálhat. Ezért a RAG kimenetet is ellenőrizni kell a forrásra menve, különösen kritikus döntések esetén.
Az adatvédelem központi kérdés a vállalati RAG-ban. A dokumentumbázis érzékeny információkat tartalmazhat (személyzet, szerződések, stratégia). A rendszer nem generálhat válaszokat olyan dokumentumokból, amelyeket a felhasználó nem engedélyezett; A hozzáférés-szabályozást (ki melyik dokumentumot láthatja) a RAG-ra is alkalmazni kell. Ellenkező esetben az alkalmazott olyan információkhoz férhet hozzá a RAG-n keresztül, amelyeket nem láthat.
Figyelem: A RAG még egy dokumentum idézésekor sem garantálja, hogy a dokumentum naprakész és pontos. A rendszer egy régi, három évvel ezelőtti eljárási dokumentumból válaszolhat. A forrásdokumentum dátumának és érvényességének ellenőrzése a felhasználó és az információkezelő felelőssége.
három mini tok
1. eset – Az eljárási kérdések felgyorsítása. Egy szervezet RAG-rendszert hozott létre 1200 oldalas belső eljárási kézikönyveihez. Az alkalmazottak "hogyan kell ezt csinálni" kérdéseit másodpercek alatt megoldották, a válaszok megjelölték a forrást; A hívások átlagos időtartama 25 percről 2 percre csökkent. Mivel minden válasz a dokumentáció azon részéhez kapcsolódott, amelyen alapult, az alkalmazottak ellenőrizni tudták azt.
2. eset – Régi dokumentum rögzítve. Egy RAG-rendszer válaszolt egy engedélyezési eljárás kérdésére egy régi, 2021-ben kelt dokumentumból; 2024-ben azonban megjelent egy frissített verzió. A forráshivatkozást megnyitó alkalmazott észrevette, hogy a dátum elavult, és megtalálta a frissített dokumentumot. Az információkezelő eltávolította a dokumentumbázisból a régi verziót.
3. eset – Az illetéktelen hozzáférés megakadályozva. A kezdeti beállításban a RAG nyilvánosan beszkennelte az összes dokumentumot; egy alkalmazott választ kapott egy bérszámfejtési dokumentumból, amelyet nem kellett volna látnia. A csapat hozzáférés-szabályozást adott a RAG-hoz: a rendszer mostantól csak azokból a dokumentumokból generál válaszokat, amelyekhez a felhasználó jogosult.
Értékelés, visszajelzés és folyamatos fejlesztés
A RAG rendszer nem egy olyan eszköz, amelyet egyszer kell telepíteni és elfelejteni; Folyamatos értékelést és fejlesztést igényel. Ennek alapja a rendszer valós kérdésekre adott válaszainak rendszeres mérése. Két kritikus kérdés: a rendszer a megfelelő dokumentumdarabokat gyűjti-e be (hozzáférési minőség), és a megfelelő választ adja-e a lekért darabokból (gyártási minőség)? Ezt a két réteget külön kell értékelni; Mert a megfelelő dokumentum elhozása és félreértelmezése, valamint a rossz dokumentum hozása és hűséges továbbítása különböző problémák és más megoldásokat igényel. A bevált gyakorlat az, hogy megtartja a "tesztkérdéseket" ismert helyes válaszokkal, és minden frissítéskor teszteli a rendszert ezzel a készlettel. Ezenkívül a felhasználók „hasznos volt-e ez a válasz/pontos volt a forrás” visszajelzése a dokumentumalap hiányosságait és a helytelenül letöltött részeket egyaránt feltárja. A mesterséges intelligencia segíthet összesíteni ezeket a visszajelzéseket, és összefoglalhatja a leggyakrabban sikertelen kérdéseket; De a döntés arról, hogy melyik dokumentumot adja hozzá, frissítse vagy távolítsa el, az információkezelőé. A rendszer gondozást igényel, mint egy élő szervezet; Az elhanyagolt RAG egyre félrevezetőbb lesz az idővel elöregedett dokumentáció miatt.
Tipp: A RAG rendszer beállítása után készítsen egy kis tesztsorozatot 20-30 valódi kérdésből és ismert helyes válaszokból. Ennek a készletnek a futtatása minden dokumentumfrissítéssel azonnal megmutatja, hogy a változtatás javítja-e vagy tönkreteszi a rendszert.
Négy másolható sablon
1) Forrásalapú válasz:
Az Ön szerepköre: vállalati információs asszisztens. Az alábbiakban a kérdéssel kapcsolatban felhozott dokumentumokat közöljük. Adja meg a választ CSAK ezek alapján, és minden információnál adja meg, hogy melyik dokumentumból/darabból származik. Ha a részekben nincs válasz, mondd, hogy "ez az információ nem szerepel a megadott dokumentumokban", ne találgass. Kérdés: [itt] / Részletek: [itt]
2) Ellentmondás és valutaszabályozás:
Vannak-e ellentmondások vagy eltérő keltezésű változatok a következő darabok között? Ha igen, jelölje be, és jelezze, melyik tűnik naprakészebbnek. Részletek (dátumokkal): [itt]
3) Dokumentumbázis tisztítási audit:
Az alábbi dokumentumlistában vannak olyan elavult, egymásnak ellentmondó vagy bizonytalan eredetű dokumentumok, amelyeket rendezni kell, mielőtt egy RAG-rendszerbe kerülne? Jelölje be, és írja le, hogy miért. Lista (dátummal/forrással): [itt]
4) Adatvédelem és hozzáférés előzetes ellenőrzése:
Az alábbi dokumentumtöredékek tartalmaznak érzékeny információkat (személyes adatok, bizalmas megállapodás, stratégia)? Minősítse mindegyiket „nyilvános/korlátozott hozzáférésű” kategóriába, és indokolja meg. Számok: [itt]
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Ismertesse intézményünk engedélyezési eljárását!
Ha nem adnak meg dokumentációt, az AI az általános memóriájából vagy más intézmények megvalósításából készít egy összeállított eljárást; Lehet, hogy az intézmény aktuális szabályai szempontjából nem releváns.
Erőteljes felszólítás:
Az Ön szerepköre: vállalati információs asszisztens. Az alábbiakban az intézmény engedélyezési eljárásával kapcsolatos dokumentumokat (dátummal) közöljük. Válaszoljon a kérdésre kizárólag ezen részek alapján, minden lépésnél hivatkozva a forrásdokumentumra és a dátumra. Ha az alkatrészek ütköznek, használja a legfrissebbet, és mondja ki. Ha nem szerepel a dokumentumban, mondja azt, hogy "nincs információ". Kérdés: [itt] / Részletek: [itt]
Erőteljes felszólítás; a választ tényleges intézményi dokumentumokhoz köti, forrásokat és dátumokat kér, őszintén kezeli az ellentmondást és a hiányosságot.
RAG komponens és kockázati táblázat
komponens
Funkció
Fő kockázat
Biztosítás
Dokumentum alap
A válasz forrása
Elavult/ütköző dokumentum
Tisztaság, történelem, eredet
Visszakeresés
Keresse meg a megfelelő részt
rossz darab
Minőségi tesztelés, visszajelzés
Termelés
Válasz
rossz megjegyzés
Forrás hivatkozás, ellenőrzés
Hozzáférés-szabályozás
Hatósági ellenőrzés
jogosulatlan nyilvánosságra hozatal
Felhasználó alapú korlátozás
Gyakori hibák
- Piszkos dokumentumbázis kialakítása. Az elavult/ütköző dokumentum rossz választ ad.
- Válasz elfogadása a forrás megjelölése nélkül. A RAG célja a nyomon követhetőség.
- Nem ellenőrzi a dokumentum dátumát. A frissítettnek gondolt válasz a régi verzióból származik.
- A hozzáférés-szabályozás megkerülése. Jogosulatlan személy érzékeny információkhoz fér hozzá.
- Azt gondolva, hogy a RAG teljesen immunis a hallucinációkkal szemben. A rossz darab továbbra is rossz választ ad.
Összefoglalva
A RAG nagy értéket képvisel a tudásmenedzsmentben azáltal, hogy a szervezeti memóriát erőforrás-alapú reagáló rendszerré alakítja át; Az általános mesterséges intelligenciával ellentétben a szervezet tényleges dokumentumaira hivatkozik és forrásokból adja meg a választ, így jelentősen csökkenti a hallucinációkat. A siker azonban a tiszta és naprakész dokumentációs bázison, a pontos pályahozzáférésen, a forrás-hozzárendelésen, a dátum/aktuális ellenőrzésen és a hozzáférés-szabályozáson múlik. A RAG nem állítja vissza a hallucinációt; A kritikus válaszokat a forrás megkeresésével ellenőrizzük, és a titoktartást a kezdetektől fogva tiszteletben tartják.
Pályázati feladat
Készítsen egy kis dokumentumcsomagot (5-8 tényleges vagy minta ügynökségi dokumentum, dátummal); Tudatosan tegyen be egy régi és egy jelenlegi ütköző verziót. Tegyen fel kérdést a „Forrásalapú válaszprompt” sablon segítségével, és ellenőrizze, hogy az AI hivatkozik-e a forrásra. Ezután értékelje, hogy az AI megfelelően észlelte-e az ütközést és az aktuális verziót az „Ütközés és az aktuális verzió ellenőrzése” sablon segítségével.
ellenőrző lista
- [ ] Frissítettem a dokumentumbázist, kigyomláltam a régi/ütköző dokumentumokat.
- [ ] Biztosítottam, hogy minden válasz a forrásdokumentumra mutasson.
- [ ] A forrásdokumentumok dátumát és érvényességét ellenőriztem.
- [ ] Hozzáférés-vezérléssel megakadályoztam a válaszok generálását jogosulatlan dokumentumokból.
- [ ] A kritikus válaszokat az eredeti dokumentumra lépve ellenőriztem.