Generování odpovědí ze znalostní báze (Úvod do RAG)

zisky:

• Pochopení logiky znalostní generace (RAG) a proč snižuje halucinace
• Možnost nechat model reagovat citací pouze na základě poskytnutých zdrojových dokumentů
• Schopnost spravovat otázky, které nejsou ve zdroji, jejich bezpečným přenosem bez vymýšlení otázek

Jazykový model „ví“ hodně, ale nezná dnešní zásady vrácení vaší společnosti, váš aktuální ceník ani vaši přepravní smlouvu, která se včera změnila. Horší je, že když to neví, často si vymýšlí a píše extrémně sebevědomým tónem. Toto je fatální chyba v zákaznických službách: model říká „Vrácení peněz je vydáno do 30 dnů“, zatímco vaše politika může být 14 dnů. Přístup, který tuto mezeru uzavírá, se nazývá RAG: Retrieval-Augmented Generation, tedy „retrieval-augmented production“.

Myšlenka je jednoduchá: Model odpovídá na otázku nikoli z paměti, ale ze správných zdrojových dokumentů umístěných před ním v tu chvíli. Za prvé, správný kus dokumentu relevantní pro otázku je "vyhledání", potom model "vygeneruje" odpověď pouze na základě tohoto kusu. V této jednotce pochopíte logiku RAG a naučíte se, jak ovládnout model tak, aby se držel pouze vámi dodaného ověřeného zdroje.

Poznámka: Tato jednotka učí pracovní logiku a promptní stranu RAG. Systémy automatického vyhledávání dokumentů v podnikovém měřítku (vektorová databáze atd.) vyžadují technickou instalaci; Disciplína je zde základem toho, aby systém správně reagoval.

Proč RAG snižuje halucinace?

Halucinace je, když model produkuje neskutečné informace, jako by byly skutečné. Model je naprogramován tak, aby vytvořil odezvu, která se zdá být „možná“, když vidí mezeru; Neví, jestli je to pravda nebo ne. RAG zaplňuje tuto mezeru: dáte modelu skutečný relevantní text spolu s otázkou a řeknete „odpovězte pouze odtud“. Model tak „nemusí“ sedět.

Existují tři složky:

• Znalostní báze: Spolehlivé texty, jako jsou často kladené otázky, dokumenty o zásadách, produktové manuály, ceníky.
• Vyhledání: Vyhledání části dokumentu obsahující odpověď na otázku a její předání modelu.
• Limitovaná edice: Model odpovídá cenovou nabídkou založenou pouze na dodaném dílu.

Krok za krokem: Věrná odpověď Zdroji

1. Připravte zdroj. Najděte text, na kterém bude odpověď založena (zásady, FAQ) v jasném a aktuálním formátu.
2. Vložte zdroj do výzvy. Vložte text do značky jako <source>.
3. Napište pravidlo věrnosti. "Používejte pouze informace ze zdroje; neodchylujte se od zdroje."
4. Požadujte citaci. Nechte ho/ji uvést, ze které části je odpověď založena.
5. Identifikujte chování bez zdrojů. Pokud odpověď není ve zdroji, ať řekne „Tuto informaci nemám“ a předejte ji dál.
6. Ověřte. Potvrďte odpověď porovnáním se zdrojovou větou, na které je založena.

Kopírovatelné výzvy

Výzva k odpovědi na základě základního zdroje:

Role: Jste asistent zákaznické podpory. Odpovězte na otázku POUZE na základě informací v <zdrojovém>bloku níže. Nepřidávejte žádné informace, které nejsou ve zdroji, hádejte nebo neodpovídejte z vašich obecných znalostí. Přidejte část, na kterou se spoléháte, na konec své odpovědi ve formátu "[Zdroj: ...]". Pokud odpověď není ve zdroji, napište následující: "Nemám k tomuto tématu definitivní informace, předávám vás úředníkovi, který může dát správnou odpověď."<source>{{ policy_or_faq_text }}</source>Otázka: {{ customer_question }}

V případě vícezdrojového se zobrazí výzva k zobrazení, na kterém dokumentu je založen:

Níže je uvedeno několik zdrojů. Při odpovědi na otázku uveďte číslo zdroje, který jste použili, např. [Zdroj 2]. Pokud vám odporuje více než jeden zdroj, řekněte to jasně a uveďte, že byste se měli zeptat, který z nich je aktuálnější.<zdroje>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Otázka: {{ customer_question }}

Výzva, která bezpečně spravuje nezdrojovou otázku:

Pokud je odpověď na otázku ČÁSTEČNĚ nalezena ve zdroji: odpovězte pouze na část pokrytou zdrojem a u zbývající části řekněte „tento detail není ve zdroji“. Chybějící část nikdy nedoplňujte hádáním.

Výzva, která přeloží odpověď do jazyka klienta, ale zůstane věrná zdroji:

Přeložte oficiální/technický výraz ve zdroji do srozumitelného jazyka, kterému zákazník rozumí, ale NEMĚŇTE význam a číselné hodnoty (den, množství, sazba). Například zaokrouhlení „14 kalendářních dnů“ na „asi dva týdny“; zachovat plnou hodnotu.

Slabá výzva / Silná výzva

Slabá výzva

Výkonná výzva

"Povězte nám o našich zásadách vracení zboží"

Vloží zdroj + „odpovědět pouze zde“ + požaduje cenovou nabídku

Odpověď z paměti modelu (možná špatně)

Odpověď z aktuálního dokumentu

Pokud to není ve zdroji, vymyslí si to

Říká: „Tyto informace nemám“ a předává je dál.

Dokáže zaokrouhlit a zkreslit čísla

Udržuje den/částku/sazbu přesně

Rozdíl je v tom, že silná výzva dává modelu kotvu (zdrojový text) a zákaz (vypnutí zdroje). Model už nemluví zpaměti, ale z reality před sebou.

Tři mini pouzdra

Případ 1 — Stará politická past. "Vrácení přijato do 30 dnů," řekl bot jednoho obchodu, když běžel bez kreditu; Společnost však lhůtu zkrátila na 14 dní. Když je aktualizovaný text zásad přidán do zdroje v instalaci RAG, bot nyní odpoví „14 kalendářních dnů [Zdroj: Zásady vrácení, článek 2]“. Spory o vrácení peněz vyplývající z falešných slibů byly resetovány.

Případ 2 – Zachycení rozporu. Zákazník se zeptal na náklady na dopravu. Jako zdroje byly do systému zadány staré i nové ceníky. Díky výzvě z více zdrojů model řekl: "Dva zdroje dávají různé ceny (49 TL a 59 TL); potřebuji potvrdit aktuální" a předal problém člověku. Místo toho, aby zákazníkovi sdělil nesprávnou částku, sdělil nejistotu čestně.

Případ 3 — Disciplína částečné odezvy. "Zasíláte produkt do zahraničí a kdo platí clo?" V dotazu zdroj pouze uvedl, že zásilka byla uskutečněna, nebylo tam nic o tom, kdo zaplatil daň. Model řekl: "Ano, přeprava se provádí do zahraničí [Zdroj: Nákladní otázky]. V tomto dokumentu však není uvedeno, kdo platí clo; předávám vás úředníkovi, aby to objasnil." Místo napůl pravdivé, napůl vymyšlené odpovědi přinesl upřímný a sebevědomý výstup.

Tip: Udržujte nejaktuálnější a jediný zdroj pravdivé verze své znalostní báze. Mít stejné informace (např. lhůta pro vrácení) zapsané odlišně ve třech samostatných dokumentech je největším nepřítelem RAG; Model reaguje různě podle toho, na který se dívá. Nejprve deduplikujte dokumenty a poté je automatizujte.

Ověření: Neuvolňujte se jen proto, že zdroj existuje

RAG značně snižuje halucinace, ale neresetuje je. Model může někdy nesprávně interpretovat zdroj, smíchat dvě věty nebo vyvodit „závěr“, který ve zdroji není. Proto je požadavek na citaci kritický: otevřete sekci, na které se odpověď údajně zakládá, a zkontrolujte, zda to skutečně říká. Tato kontrola je nesmlouvavá, zejména v odpovědích obsahujících čísla (den, množství, sazba) a podmínky (výjimka, podmínka).

Upozornění: Pokud je samotný zdroj chybný nebo zastaralý, RAG tuto chybu věrně zopakuje. Rčení „modelka mluví od zdroje“ neznamená „modelka mluví správně“; Jste odpovědní za měnu a přesnost svého zdroje.

Udržování znalostní báze připravené na odezvu

Kvalita RAG závisí do značné míry na tom, jak je zdrojový text napsán. Model vrací mnohem přesnější odpověď než dobře strukturované, pojmenované texty s jedním tématem. Praktická rada: pište své zásady spíše v krátkých nadepsaných částech než v dlouhých vnořených odstavcích; Nechte každou sekci odpovědět na jednu otázku („Kolik dní je lhůta na vrácení?“, „Které produkty nelze vrátit?“). Uchovávání často kladených otázek (FAQ) ve formátu otázek a odpovědí usnadňuje modelu nalezení správné součásti. Jasně a na jednom místě v textu uveďte hodnoty, jako je datum, částka a sazba; Zápis stejného čísla do různých sekcí odlišně model mate.

Dalším důležitým zvykem je udržovat znalostní základnu při životě. Zásady, ceny a akce se liší; Pokud není zdroj aktualizován, model pokračuje v bezpečném opakování staré pravdy. Při každé změně zásad aktualizujte zdroj a znovu modelu položte několik testovacích otázek týkajících se změněného tématu, abyste potvrdili, že dává správnou odpověď. Tato malá, ale pravidelná údržba zabraňuje tomu, aby se systém RAG v průběhu času „tiše pokazil“.

Časté chyby

• Říct „vysvětlete naši politiku“ bez pohřbení zdroje a spoléhat se na zapamatování modelu.
• Nedefinování hranice „odpověď pouze ze zdroje“ a chování bez zdroje.
• Nepožadovat citaci/odkaz na zdroj a nechat odpověď neověřitelnou.
• Uchovávání konfliktních verzí stejných informací ve více dokumentech v databázi znalostí.
• Umožňuje modelu zaokrouhlovat/interpretovat číselné hodnoty.
• Zapomenutí aktualizovat zdroj, což způsobí, že model věrně opakuje staré informace.

V souhrnu

• RAG znamená, že model vytváří svou odpověď z aktuálního zdrojového dokumentu, nikoli z paměti.
• Nejpraktičtější způsob, jak omezit halucinace: pohřbít zdroj, říct „odpovězte pouze zde“, požádat o citaci.
• Pokud odpověď není ve zdroji, neměl by se hodit model; Měl by říct "nemám" a předat.
• Upozorněte model na konfliktní zdroje; Číselné hodnoty jste zachovali přesně.
• Přesnost RAG závisí na aktuálnosti vašeho zdroje; Vždy potvrďte nabídku.

Aplikační úkol

Vezměte skutečný text zásad (vrácení, odeslání nebo členství) ze své vlastní firmy a vložte jej jako zdroj do základní výzvy RAG výše. Poté položte tři otázky: (1) otázku, jejíž odpověď je jasná ve zdroji, (2) otázku, jejíž odpověď ve zdroji vůbec není, (3) otázku, jejíž odpověď je ve zdroji pouze neúplná. Ověřte, že model odpovídá správně, řekne „Nemám to“ a poctivě označí částečnou odpověď a chybějící. Opravte deviantní chování posílením pravidel loajality a nezdrojů ve výzvě.

kontrolní seznam

• [ ] Do výzvy jsem vložil aktuální zdroj, na kterém bude odpověď založena.
• [ ] Přidal jsem pravidlo „Odpovídejte pouze ze zdroje, nepřekračujte“.
• [ ] Vložil jsem odkaz na zdroj / požadavek na citaci.
• [ ] Definoval jsem chování delegování, pokud odpověď není k dispozici ve zdroji.
• [ ] Požadoval jsem, aby byly číselné hodnoty přesně zachovány.
• [ ] Potvrdil jsem odpověď ze zdrojové věty, na které je založena.