zisky:
- Pochopte, ako RAG znižuje halucinácie prepojením a odkazovaním odpovede na skutočné dokumenty inštitúcie a uplatnením dôležitosti čistej dokumentovej základne
- Schopnosť skontrolovať zdroj, dátum a menu výstupu RAG a rozlíšiť konfliktné verzie
- Schopnosť chrániť súkromie spoločnosti zabránením odpovedí z neoprávnených dokumentov pomocou riadenia prístupu
Pamäť organizácie žije v tisícoch rozptýlených dokumentov: správy, manuály, zápisnice, postupy, e-maily. Zamestnanec môže celé hodiny hľadať dokumenty, aby odpovedal na jednoduchú otázku („ako tento postup funguje?“). Snom manažéra znalostí je, aby táto pamäť poskytovala priame, ale na zdroji založené odpovede na otázky. Presne toto sľubuje RAG. V tejto lekcii sa dozviete, čo je RAG, ako ho používať pri správe podnikových informácií a ako ho zabezpečiť z hľadiska presnosti, dôvernosti a aktuálnosti.
Definujme pojem. RAG (Retrieval-Augmented Generation) je, keď AI odpovie na otázku tak, že najprv nájde (získa) relevantné časti z vlastnej dokumentácie organizácie a potom vygeneruje odpoveď výlučne na základe týchto častí. Toto sa zásadne líši od všeobecnej AI, ktorá generuje odpoveď z pamäte: RAG spája a získava odpovede na skutočné, sledovateľné dokumenty. Halucinácie sa tak výrazne znížia, pretože AI hovorí z dokumentu inštitúcie, nie z jej „hlavy“.
Krok za krokom: pochopenie podnikového RAG systému
1. Pripravte základňu dokumentov. Spoľahlivé a aktuálne dokumenty organizácie sa zhromažďujú, čistia a delia sa na kúsky (zmysluplné malé časti dokumentu). Ak sa do systému dostanú zlé, zastarané alebo konfliktné dokumenty, odpovede budú zlé: „odpadky dovnútra, odpadky von“.
2. Vložiť a indexovať. Každý kus sa prevedie na vektor (vloženie), ktorý predstavuje jeho význam, a umiestni sa do prehľadávateľného indexu. Keď príde otázka, systém nájde časti, ktoré sú významovo najbližšie.
3. Prineste relevantné diely. Keď je položená otázka, systém stiahne niekoľko najdôležitejších častí z dokumentovej základne. Tento krok je kritický: ak je prinesený nesprávny kus, odpoveď bude tiež nesprávna.
4. Vytvorte odpoveď založenú na zdroji. Umelá inteligencia generuje odpoveď výlučne na základe získaných fragmentov a uvádza, z ktorého dokumentu prevzala. Odpoveď, ktorá neuvádza zdroj, je v rozpore s účelom RAG.
5. Overte a nahláste. Používateľ by mal mať možnosť prejsť na zobrazený zdroj a potvrdiť odpoveď. Nesprávne alebo neúplné odpovede sa stávajú spätnou väzbou na zlepšenie dokumentačnej základne.
Tip: Kvalita RAG do značnej miery závisí od kvality podkladu dokumentu. Pred vložením každého dokumentu do systému aktualizujte dokumenty, vyraďte konfliktné/zastarané verzie a pridajte informácie o dátume a pôvode. 500 dobre usporiadaných dokumentov vytvára lepšie odpovede ako 5 000 roztrúsených dokumentov.
Hranice a bezpečnostné body RAG
RAG znižuje halucinácie, ale neresetuje ich. Ak systém vráti nesprávny kus, AI môže stále dať nesprávnu odpoveď tým, že zostane „verný“ tomuto nesprávnemu kusu. Okrem toho môže AI nesprávne interpretovať načítané kúsky alebo kombinovať viaceré kúsky protichodným spôsobom. Výstup RAG by sa preto mal overiť aj návštevou zdroja, najmä v prípade kritických rozhodnutí.
Ochrana osobných údajov je ústrednou otázkou v podnikovej RAG. Základňa dokumentov môže obsahovať citlivé informácie (personál, zmluvy, stratégia). Systém by nemal generovať odpovede z dokumentov, ktoré nie sú autorizované používateľom; Kontrola prístupu (kto vidí, ktorý dokument) by sa mala použiť aj na RAG. V opačnom prípade môže zamestnanec získať prístup k informáciám prostredníctvom RAG, ktoré nevidí.
Upozornenie: RAG ani pri citovaní dokumentu nezaručuje, že tento dokument je aktuálny a presný. Systém môže reagovať zo starého dokumentu o postupe spred troch rokov. Za kontrolu dátumu a platnosti zdrojového dokumentu zodpovedá používateľ a správca informácií.
tri mini prípady
Prípad 1 – Zrýchlené procesné otázky. Jedna organizácia zaviedla systém RAG pre svoje 1200-stranové interné príručky postupov. Otázky zamestnancov „ako to urobiť“ boli vyriešené v priebehu niekoľkých sekúnd s odpoveďami s uvedením zdroja; Priemerná dĺžka hovoru sa znížila z 25 minút na 2 minúty. Keďže každá odpoveď bola spojená s časťou dokumentácie, na ktorej bola založená, zamestnanci ju mohli overiť.
Prípad 2 – Zachytený starý dokument. Systém RAG odpovedal na otázku týkajúcu sa povoľovacieho konania zo starého dokumentu z roku 2021; Aktualizovaná verzia však vyšla v roku 2024. Zamestnanec, ktorý otvoril zdrojový odkaz, si všimol, že dátum je zastaraný a našiel aktualizovaný dokument. Správca informácií odstránil starú verziu zo základne dokumentov.
Prípad 3 – Zabránenie neoprávnenému prístupu. V počiatočnom nastavení RAG verejne naskenoval všetky dokumenty; zamestnanec dostal odpoveď zo mzdového dokladu, ktorý nemal vidieť. Tím pridal do RAG riadenie prístupu: systém teraz generuje odpovede iba z dokumentov, na ktoré má používateľ oprávnenie.
Hodnotenie, spätná väzba a neustále zlepšovanie
Systém RAG nie je nástroj, ktorý sa má raz nainštalovať a zabudnúť; Vyžaduje si to neustále hodnotenie a zlepšovanie. Základom je pravidelné meranie odpovedí systému na reálne otázky. Dve otázky sú kritické: Vyzdvihuje systém správne kusy dokumentov (kvalita prístupu) a vytvára správnu odozvu z načítaných kusov (kvalita produkcie)? Tieto dve vrstvy je potrebné hodnotiť oddelene; Pretože priniesť správny dokument a nesprávne ho interpretovať a priniesť nesprávny dokument a verne ho preniesť sú rôzne problémy a vyžadujú si rôzne riešenia. Osvedčeným postupom je ponechať si súbor „testovacích otázok“ so známymi správnymi odpoveďami a testovať systém s touto sadou pri každej aktualizácii. Okrem toho spätná väzba používateľov „bola táto odpoveď užitočná / bol zdroj presný“ odhaľuje medzery v základni dokumentu a nesprávne načítané časti. AI môže pomôcť zhromaždiť túto spätnú väzbu a zhrnúť typy otázok, ktoré najčastejšie zlyhávajú; Ale rozhodnutie o tom, ktorý dokument pridať, aktualizovať alebo odstrániť, patrí správcovi informácií. Systém vyžaduje starostlivosť ako živý organizmus; Zanedbávaná RAG je čoraz viac zavádzajúca v dôsledku starnutia dokumentácie v priebehu času.
Tip: Hneď ako nastavíte systém RAG, pripravte si malú testovaciu sadu 20-30 reálnych otázok a známych správnych odpovedí. Spustenie tejto sady s každou aktualizáciou dokumentu okamžite ukáže, či zmena zlepšuje alebo narušuje systém.
Štyri kopírovateľné šablóny
1) Výzva na odpoveď podľa zdroja:
Vaša úloha: podnikový informačný asistent. Nižšie sú uvedené časti dokumentácie týkajúcej sa tejto otázky. Uveďte odpoveď LEN na základe týchto častí a pri každej informácii uveďte, z ktorého dokumentu/úryvku pochádza. Ak v častiach nie je žiadna odpoveď, povedzte „tieto informácie nie sú zahrnuté v poskytnutých dokumentoch“, nehádajte. Otázka: [tu] / Časti: [tu]
2) Protirečenie a kontrola meny:
Sú medzi nasledujúcimi časťami nejaké rozpory alebo rôzne datované verzie? Ak áno, označte ho a uveďte, ktorý z nich vyzerá aktuálnejšie. Časti (s dátumami): [tu]
3) Audit čistenia základne dokumentov:
Existujú v nižšie uvedenom zozname dokumentov nejaké neaktuálne, konfliktné alebo neisté dokumenty, ktoré je potrebné pred vložením do systému RAG vyriešiť? Zaškrtni a napíš prečo. Zoznam (s dátumom/zdrojom): [tu]
4) Predbežná kontrola súkromia a prístupu:
Obsahujú nasledujúce časti dokumentu citlivé informácie (osobné údaje, dôverná zmluva, stratégia)? Každý z nich klasifikujte ako „verejný/obmedzený prístup“ a uveďte odôvodnenie. Skladby: [tu]
Slabá výzva / Silná výzva
Slabá výzva:
Vysvetlite postup povolenia našej inštitúcie.
Ak nie je poskytnutá žiadna dokumentácia, AI vytvorí zostavený postup zo svojej všeobecnej pamäte alebo z implementácie iných inštitúcií; Môže to byť irelevantné pre skutočné pravidlo inštitúcie.
Výkonná výzva:
Vaša úloha: podnikový informačný asistent. Nižšie sú uvedené časti dokumentov (s ich dátumami) týkajúce sa povoľovacieho konania inštitúcie. Odpovedzte na otázku len na základe týchto častí a v každom kroku uveďte zdrojový dokument a dátum. Ak sú časti v konflikte, použite najaktuálnejšiu a povedzte to. Ak sa v dokumente nenachádza, povedzte „žiadne informácie“. Otázka: [tu] / Časti: [tu]
Výkonná výzva; spája odpoveď so skutočnými dokumentmi inštitúcie, pýta sa na zdroje a dátumy a čestne rieši rozpory a medzery.
Zložka RAG a tabuľka rizík
komponent
Funkcia
Hlavné riziko
Uistenie
Základ dokumentu
Zdroj odpovede
Zastaraný/konfliktný dokument
Čistota, história, pôvod
Načítanie
Nájdite príslušnú časť
nesprávny kus
Testovanie kvality, spätná väzba
Výroba
Odpovedzte
nesprávny komentár
Citovanie zdroja, overenie
Kontrola prístupu
Kontrola autority
neoprávnené zverejnenie
Obmedzenie založené na používateľovi
Časté chyby
- Vytvorenie špinavej základne dokumentov. Zastaraný/konfliktný dokument spôsobuje zlú odozvu.
- Prijatie odpovede bez uvedenia zdroja. Účelom RAG je sledovateľnosť.
- Nekontroluje sa dátum dokladu. Odpoveď, ktorá sa má aktualizovať, pochádza zo starej verzie.
- Obchádzanie kontroly prístupu. Neoprávnená osoba má prístup k citlivým informáciám.
- Mysliac si, že RAG je úplne imúnny voči halucináciám. Nesprávny kus stále produkuje nesprávnu odpoveď.
V súhrne
RAG vytvára veľkú hodnotu v manažmente znalostí tým, že transformuje organizačnú pamäť na systém reagujúci na zdroje; Na rozdiel od všeobecnej AI spája a získava odpovede na skutočné dokumenty organizácie, čím výrazne znižuje halucinácie. Úspech však závisí od čistej a aktuálnej dokumentačnej základne, presného prístupu k skladbe, priradenia zdroja, kontroly dátumu/aktuálnosti a kontroly prístupu. RAG neresetuje halucinácie; Kritické odpovede sa overujú návštevou zdroja a dôvernosť je rešpektovaná od samého začiatku.
Aplikačná úloha
Pripravte si malý súbor dokumentov (5-8 skutočných alebo vzorových agentúrnych dokumentov s dátumami); Vedome vložte jednu starú a jednu aktuálnu protichodnú verziu. Položte otázku pomocou šablóny „Výzva odpovede na základe zdroja“ a skontrolujte, či AI cituje zdroj. Potom pomocou šablóny „Konflikt a kontrola aktuálnej verzie“ zhodnoťte, či AI správne zistila konflikt a aktuálnu verziu.
kontrolný zoznam
- [ ] Aktualizoval som základňu dokumentov, odstránil som staré/konfliktné dokumenty.
- [ ] Uistil som sa, že každá odpoveď ukazuje na zdrojový dokument.
- [ ] Skontroloval som dátum a platnosť zdrojových dokumentov.
- [ ] Generovaniu odpovedí z neautorizovaných dokumentov som zabránil kontrolou prístupu.
- [ ] Kritické odpovede som overil tak, že som prešiel na pôvodný dokument.