zisky:
- Pochopte, jak RAG snižuje halucinace propojením a odkazem na odpověď na skutečné dokumenty instituce a uplatněním důležitosti čisté základny dokumentů
- Schopnost zkontrolovat zdroj, datum a měnu výstupu RAG a rozlišit konfliktní verze
- Schopnost chránit firemní soukromí tím, že zabrání reakcím z neautorizovaných dokumentů pomocí řízení přístupu
Paměť organizace žije v tisících rozptýlených dokumentů: zprávy, manuály, zápisy, postupy, e-maily. Zaměstnanec může hledat dokumenty celé hodiny, aby odpověděl na jednoduchou otázku („jak tento postup funguje?“). Snem manažera znalostí je, aby tato paměť poskytovala přímé, ale na zdroji založené odpovědi na otázky. To je přesně to, co RAG slibuje. V této lekci se dozvíte, co je RAG, jak jej používat při správě podnikových informací a jak je zabezpečit z hlediska přesnosti, důvěrnosti a aktuálnosti.
Pojďme definovat pojem. RAG (Retrieval-Augmented Generation) je situace, kdy AI odpovídá na otázku tak, že nejprve najde (načte) relevantní části z vlastní dokumentace organizace a poté vygeneruje odpověď založenou výhradně na těchto částech. To se zásadně liší od obecné umělé inteligence, která generuje odpověď z paměti: RAG spojuje a získává odpověď na skutečné, sledovatelné dokumenty. Halucinace se tak výrazně sníží, protože AI mluví z dokumentu instituce, nikoli z její „hlavy“.
Krok za krokem: pochopení podnikového systému RAG
1. Připravte podklad pro dokumenty. Spolehlivé a aktuální dokumenty organizace jsou shromažďovány, vyčištěny a rozděleny na části (smysluplné malé části dokumentu). Pokud se do systému dostanou špatné, zastaralé nebo konfliktní dokumenty, reakce budou špatné: „odpadky dovnitř, odpadky ven“.
2. Vložit a indexovat. Každý blok je převeden na vektor (vložení) představující jeho význam a vložen do prohledávatelného indexu. Když se objeví otázka, systém najde části, které jsou významově nejblíže.
3. Přineste příslušné díly. Když je položena otázka, systém vytáhne několik nejdůležitějších částí z dokumentu. Tento krok je kritický: pokud je vložen nesprávný kus, odpověď bude také špatná.
4. Generování odpovědi založené na zdroji. Umělá inteligence generuje odpověď pouze na základě načtených fragmentů a uvádí, ze kterého dokumentu převzala. Odpověď, která neuvádí zdroj, je v rozporu s účelem RAG.
5. Ověřte a nahlaste. Uživatel by měl mít možnost přejít na zobrazený zdroj a potvrdit odpověď. Nesprávné nebo neúplné odpovědi se stávají zpětnou vazbou pro zlepšení dokumentace.
Tip: Kvalita RAG do značné míry závisí na kvalitě podkladu dokumentu. Aktualizujte dokumenty, vyřaďte konfliktní/zastaralé verze a přidejte ke každému dokumentu informace o datu a původu, než jej vložíte do systému. 500 dobře uspořádaných dokumentů poskytuje lepší odpovědi než 5 000 rozptýlených dokumentů.
Hranice a bezpečnostní body RAG
RAG snižuje halucinace, ale neresetuje je. Pokud systém vrátí nesprávný kus, AI může stále dát špatnou odpověď tím, že zůstane „věrný“ tomuto špatnému kusu. Kromě toho může AI nesprávně interpretovat načtené kousky nebo kombinovat více kusů protichůdnými způsoby. Proto by měl být výstup RAG také ověřen přechodem ke zdroji, zejména u kritických rozhodnutí.
Soukromí je ústředním tématem podnikového RAG. Dokumentová báze může obsahovat citlivé informace (personál, smlouvy, strategie). Systém by neměl generovat odpovědi z dokumentů, které nejsou autorizovány uživatelem; Řízení přístupu (kdo vidí, který dokument) by mělo být aplikováno i na RAG. V opačném případě se může zaměstnanec prostřednictvím RAG dostat k informacím, které nevidí.
Upozornění: I když citujete dokument, RAG nezaručuje, že tento dokument je aktuální a přesný. Systém může reagovat ze starého dokumentu postupu před třemi lety. Je odpovědností uživatele a správce informací zkontrolovat datum a platnost zdrojového dokumentu.
tři mini pouzdra
Případ 1 – Urychlení procedurálních otázek. Jedna organizace zavedla systém RAG pro své 1200stránkové interní manuály postupů. Otázky zaměstnanců „jak to udělat“ byly vyřešeny během několika sekund s odpověďmi uvádějícími zdroj; Průměrná délka hovoru se snížila z 25 minut na 2 minuty. Protože každá odpověď byla spojena s částí dokumentace, na které byla založena, zaměstnanci ji mohli ověřit.
Případ 2 – Zachycený starý dokument. Systém RAG odpověděl na otázku povolovacího řízení ze starého dokumentu z roku 2021; Aktualizovaná verze však byla vydána v roce 2024. Zaměstnanec, který otevřel zdrojový odkaz, si všiml, že datum je zastaralé, a našel aktualizovaný dokument. Správce informací odstranil starou verzi z databáze dokumentů.
Případ 3 – Zabráněno neoprávněnému přístupu. V počátečním nastavení RAG naskenoval všechny dokumenty veřejně; zaměstnanec obdržel odpověď ze mzdového dokladu, který neměl vidět. Tým přidal do RAG řízení přístupu: systém nyní generuje odpovědi pouze z dokumentů, ke kterým má uživatel oprávnění.
Hodnocení, zpětná vazba a neustálé zlepšování
Systém RAG není nástroj, který se jednou nainstaluje a zapomene; Vyžaduje neustálé hodnocení a zlepšování. Základem je pravidelné měření odpovědí systému na reálné otázky. Zásadní jsou dvě otázky: Načítá systém správné kusy dokumentu (kvalita přístupu) a vytváří správnou odezvu z načtených kusů (kvalita produkce)? Tyto dvě vrstvy je nutné hodnotit samostatně; Protože přinést správný dokument a nesprávně jej interpretovat a přinést nesprávný dokument a věrně jej přenést jsou různé problémy a vyžadují různá řešení. Osvědčeným postupem je ponechat si sadu „testovacích otázek“ se známými správnými odpověďmi a testovat systém s touto sadou při každé aktualizaci. Zpětná vazba uživatelů „Byla tato odpověď užitečná / byl zdroj přesný“ navíc odhaluje jak mezery v základně dokumentu, tak nesprávně načtené části. Umělá inteligence může pomoci shromáždit tuto zpětnou vazbu a shrnout typy otázek, které nejčastěji selhávají; Ale rozhodnutí o tom, který dokument přidat, aktualizovat nebo odebrat, náleží správci informací. Systém vyžaduje péči jako živý organismus; Zanedbaný RAG se stává stále více zavádějící kvůli dokumentaci stárnutí v průběhu času.
Tip: Jakmile nastavíte systém RAG, připravte si malou testovací sadu 20-30 skutečných otázek a známých správných odpovědí. Spuštění této sady s každou aktualizací dokumentu okamžitě ukáže, zda změna zlepšuje nebo narušuje systém.
Čtyři kopírovatelné šablony
1) Výzva k odpovědi na základě zdroje:
Vaše role: firemní informační asistent. Níže jsou uvedeny části dokumentace týkající se této otázky. Uveďte odpověď POUZE na základě těchto částí a u každé informace uveďte, z jakého dokumentu/části pochází. Pokud v částech není žádná odpověď, řekněte „tato informace není zahrnuta v poskytnutých dokumentech“, nehádejte. Otázka: [zde] / Části: [zde]
2) Rozpor a kontrola měny:
Jsou mezi následujícími díly nějaké rozpory nebo různé datované verze? Pokud ano, označte jej a uveďte, který z nich vypadá aktuálněji. Části (s datem): [zde]
3) Audit čištění základny dokumentů:
Existují v níže uvedeném seznamu dokumentů nějaké zastaralé, konfliktní nebo nejisté dokumenty, které je třeba před vložením do systému RAG vyřešit? Zaškrtněte a napište proč. Seznam (s datem/zdrojem): [zde]
4) Předběžná kontrola soukromí a přístupu:
Obsahují následující části dokumentu citlivé informace (osobní údaje, důvěrná smlouva, strategie)? Klasifikujte je jako „veřejný/omezený přístup“ a uveďte odůvodnění. Skladby: [zde]
Slabá výzva / Silná výzva
Slabá výzva:
Vysvětlete postup povolení naší instituce.
Pokud není poskytnuta žádná dokumentace, AI vytvoří sestavený postup ze své obecné paměti nebo z implementace jiných institucí; Může to být irelevantní pro skutečné pravidlo instituce.
Výkonná výzva:
Vaše role: firemní informační asistent. Níže jsou uvedeny části dokumentů (s jejich daty) týkající se povolovacího řízení instituce. Odpovězte na otázku pouze na základě těchto částí a v každém kroku uveďte zdrojový dokument a datum. Pokud jsou části v konfliktu, použijte tu nejaktuálnější a řekněte to. Pokud v dokumentu není, řekněte „žádné informace“. Otázka: [zde] / Části: [zde]
Výkonná výzva; spojuje odpověď se skutečnými dokumenty instituce, ptá se na zdroje a data a poctivě řeší rozpory a mezery.
RAG komponent a tabulka rizik
komponenta
Funkce
Hlavní riziko
Ujištění
Základ dokumentu
Zdroj odpovědi
Zastaralý/konfliktní dokument
Čistota, historie, původ
Získávání
Najděte příslušnou část
špatný kus
Testování kvality, zpětná vazba
Výroba
Odpovědět
špatný komentář
Citování zdroje, ověření
Kontrola přístupu
Kontrola autority
neoprávněné prozrazení
Uživatelské omezení
Časté chyby
- Vytvoření špinavé základny dokumentů. Zastaralý/konfliktní dokument vytváří špatnou odezvu.
- Přijetí odpovědi bez uvedení zdroje. Účelem RAG je sledovatelnost.
- Nekontroluje se datum dokumentu. Odpověď, která by měla být aktualizována, pochází ze staré verze.
- Obcházení řízení přístupu. Neoprávněná osoba má přístup k citlivým informacím.
- Myslí si, že RAG je zcela imunní vůči halucinacím. Špatný kus stále produkuje špatnou odpověď.
V souhrnu
RAG vytváří velkou hodnotu ve správě znalostí tím, že transformuje organizační paměť na systém citlivý na zdroje; Na rozdíl od obecné umělé inteligence spojuje a získává odpovědi na skutečné dokumenty organizace, čímž výrazně snižuje halucinace. Úspěch však závisí na čisté a aktuální dokumentaci, přesném přístupu ke stopám, přiřazení zdroje, kontrole data/aktuálnosti a řízení přístupu. RAG neresetuje halucinace; Kritické odpovědi jsou ověřovány u zdroje a důvěrnost je respektována od samého počátku.
Aplikační úkol
Připravte si malou sadu dokumentů (5-8 skutečných nebo vzorových agenturních dokumentů s daty); Vědomě vložte jednu starou a jednu aktuální konfliktní verzi. Položte otázku pomocí šablony „Výzva k odpovědi na základě zdroje“ a zkontrolujte, zda AI cituje zdroj. Poté pomocí šablony „Konflikt a kontrola aktuální verze“ vyhodnoťte, zda AI správně detekovala konflikt a aktuální verzi.
kontrolní seznam
- [ ] Aktualizoval jsem základnu dokumentů, vyřadil jsem staré/konfliktní dokumenty.
- [ ] Ujistil jsem se, že každá odpověď ukazuje na zdrojový dokument.
- [ ] Zkontroloval jsem datum a platnost zdrojových dokumentů.
- [ ] Generování odpovědí z neautorizovaných dokumentů jsem zabránil řízením přístupu.
- [ ] Ověřil jsem kritické odpovědi tím, že jsem přešel na původní dokument.