zisky:
- Vysvětlete příčiny halucinací a roli uzemnění
- Uplatnění technik, které nutí model říkat „nevím“, pokud to není v kontextu
- Zajištění důvěry a auditovatelnosti přidáním ověřitelných zdrojů/citací k odpovědím
Nejnebezpečnějším chováním jazykového modelu je vymýšlet něco, co nezná, sebevědomým a přesvědčivým tónem. Tomu se říká halucinace. Halucinace u firemního asistenta není jen otravná, je to přímo riskantní: špatný den volna, špatná cena, nesprávná právní podstata může ve skutečnosti zaměstnance nebo zákazníka poškodit. V této části se zabýváme tím, proč k halucinacím dochází, jak je snížit v RAG a jak zajistit, aby byla odpověď ověřitelná.
Co způsobuje halucinace?
Model je trénován tak, aby vytvořil další nejpravděpodobnější slovo; Ne „říkej pravdu“, ale „vytvářej plynulý a rozumný text“. Pokud informace chybí, může mezeru vyplnit něčím statisticky věrohodným, ale fakticky nesprávným. Tři typické spouštěče:
- V kontextu neexistuje žádná odpověď, ale modelka se stejně cítí nucena něco říct.
- Kontext je konfliktní nebo neadekvátní; Model uzavírá mezeru predikcí.
- Otázka přesahuje kontext; model se vrací ke svým vlastním obecným (a možná zastaralým) znalostem.
RAG snižuje halucinace, protože dává modelu skutečný zdroj – ale neresetuje jej. Pokud přinesete špatný díl nebo necháte modelu "volnost vyplnit mezeru", systém s RAG jej může také osadit.
druh halucinace
symptom
hlavní příčina
vrstva roztoku
pocházející z vyzvednutí
Správná odpověď je v dokumentu, ale nedorazila
Dodán nesprávný/chybějící díl
Chunking, hybrid, re-ranking (Jednotky 3-4)
Zdrojem generace
Přišla správná část, ale odpověď je špatná/musí být přidána
Model zaplnil mezeru předpovědí
Uzemnění, povolení "nevím", malá kreativita
Zdroj citace
Odpověď je správná, ale zdroj je špatný
Model odkazoval na nesprávnou část
Ověření citace (viz jednotka 8)
Tip: Rozdělte halucinaci na dvě části. Zdroj z vyhledávání: dorazila chybná/chybějící část (řešení: zlepšit vyhledávání). Zdroj generování: Dorazil správný díl, ale model jej špatně přečetl/přidal (řešení: prompt a uzemnění). Nemůžete to opravit, pokud nevíte, který to je.
Uzemnění: Přibití odpovědi v kontextu
Uzemnění je název pro všechny techniky sdělování modelu „spoléhejte se na text, který vám dám, nepřekračujte jej“. Jeho nejzákladnější a nejúčinnější technika: výslovně dát modelce svolení říct „nevím“. Model, stejně jako člověk, váhá říct „nevím“; K tomu mu musíte dát výslovné povolení.
Odpovězte pouze na základě KONTEXTU níže. Pokud odpověď není JASNĚ v kontextu, napište přesně toto: "V dokumentaci jsem k tomu nenašel dostatek informací." Neuvádějte žádná čísla, data nebo jména, která nejsou v kontextu. Nehádejte.
Další techniky uzemnění:
- Požadavek na citaci: Před každým tvrzením citujte doslovně kontext („Dokument říká: '...'“). Výroba vymyšlených nabídek je pro modelka obtížnější.
- Nízká teplota: Teplota (teplota, kreativita/náhodné nastavení) by měla být nízká. Poznámka: u některých současných modelů byl tento parametr odstraněn; V nich poskytujete uzemnění s výzvou. Vysoká kreativita je nepřítelem firemní integrity.
- Limit rozsahu: „Reagujte pouze na problémy se zásadami souhlasu, zdvořile odmítněte odhlášení.“
Citace
Nejsilnější systémovou obranou proti halucinacím je učinit odpověď ověřitelnou. Pokud uživatel vidí, na jakém dokumentu je odpověď založena: (1) může sám zachytit chybu, (2) audit bude možný, (3) důvěra se zvýší a (4) model produkuje opatrněji s vědomím, že „budu muset uvést zdroj“.
Dva běžné přístupy:
Vložená atribuce: Značka zdroje vedle každého nároku. "Roční dovolená je 14 dní [1]." Níže je úplná dokumentace [1].
Strukturovaný výstup: Požádání modelu, aby vytvořil odpověď a zdrojový seznam v samostatných polích; Zobrazení zdrojů jako klikatelné odkazy v rozhraní.
# Vytvoření strukturované odpovědi na základě modelu (koncepční) Uveďte svou odpověď v následující struktuře:- odpověď: <kontextová odpověď>- zdroje: [{"část_číslo": 1, "soubor": "...", "sekce": "..."}]- důvěra: <vysoká|střední|nízká> # Jak jasně to kontext podporuje? Pokud kontext odpověď nepodporuje, napište do pole odpovědi „nenalezeny žádné informace“ a zdroje ponechte prázdné.
Aby Citace skutečně fungovala, je nutné ověřit správnost přiřazení. Model může někdy poskytnout správnou odpověď, ale uvést špatný zdroj. Pokročilé systémy automaticky kontrolují, že každý vyrobený nárok je skutečně podporován v kusu, na který ukazuje (měření "věrnosti" v další jednotce).
Slabý/silný: Výzva proti halucinacím
Slabý (výzva k doplnění prázdného místa):
Odpovězte na otázku co nejlépe pomocí informací, které máte: {context} Otázka: {question}# „Jak nejlépe dovedete“ znamená pro model „hádejte, pokud nevíte“.
Silný (uzemnění + neznámé oprávnění + zdroj + důvěra):
Stačí se spolehnout na KONTEXT. V opačném případě řekněte „Nemohl jsem najít žádné informace“; doplňte číslo/datum/jméno. Ke každému nároku přidejte [n] zdrojové číslo. Zadejte úroveň důvěryhodnosti podporovanou kontextem. KONTEXT: [1]... [2]... OTÁZKA: {question}
Tři mini pouzdra
Případ 1 — Číslo vyrobené položky. Právník vymyslel prohlášení „článek 17/B“, které bylo vytržené z kontextu a poskytlo zaměstnanci nepravdivé informace. Když se přidal pokyn „Neuvádějte číslo článku, které není v kontextu, jinak řekni nevím“ + povinnost citovat, u 40 příkladů klesly případy vymyšlených článků z 11 na 0.
Případ 2 – Správná odpověď, špatný zdroj. Asistent podpory uvedl správnou lhůtu pro vrácení, ale uvedl nesprávný článek; Když zákazník kliknul na odkaz, otevřela se irelevantní stránka. Když bylo přidáno ověření citace (kontrola, zda se tvrzení vyskytuje v citovaném díle), klesla míra nepravdivých citací z 23 % na 2 %.
Případ 3 – „Nevím“ povolení nebylo uděleno. Personální asistent vymyslel věrohodnou, ale nesprávnou odpověď na otázku, která v dokumentu nebyla. Když byl k výzvě přidán výslovný souhlas „nevím“ a úplný text („nenašel jsem o tom informace v dokumentaci“), míra upřímného odmítnutí u otázek bez odpovědi, spíše než výmyslu, se zvýšila z 8 % na 95 %.
Časté chyby
- Nedovolit "nevím": Model zaplňuje mezeru fabrikací.
- Udržet kreativitu na vysoké úrovni: Náhodnost škodí firemní integritě.
- Důvěřovat zdroji bez jeho ověření: Model může ke správné odpovědi připojit nesprávný zdroj.
- Nerozlišování mezi těmito dvěma typy halucinací: Opravíte špatné místo, aniž byste věděli, zda je způsobeno aportováním nebo generováním.
- Chybná citace pro kosmetiku: Citace zdroje je potvrzením i odrazujícím účinkem; berte to vážně.
Pozor: „Modelka vypadá velmi sebevědomě“ není totéž jako „modelka je správná“. Halucinace jsou obecně nejplynulejší a nejjistější věty. Čtěte důvěru ze zdroje, který naznačuje, ne z tónu věty.
V souhrnu
- Halucinace je, když model zaplní informační mezeru věrohodným, ale falešným textem; RAG snižuje, ale neresetuje.
- Halucinace může být způsobena vyvoláním (špatná část) nebo generováním (špatným čtením); Určete, který z nich jako první.
- Nejúčinnější technikou uzemnění je dát modelu výslovné povolení „nevím“; také citační náročnost a nízká kreativita.
- Citace činí odpověď ověřitelnou; Dává to důvěru a tlačí model k obezřetné výrobě.
- Měla by se také zkontrolovat správnost citace; Ke správné odpovědi může být připojen nesprávný zdroj.
Aplikační úkol
(1) Připravte si 4 otázky, které položíte svému asistentovi, odpovědi na ně nejsou v dokumentech (otázky na pasti). Každý z nich vyzkoušejte slabou a silnou výzvou a označte, zda model sedí nebo ne. (2) U 4 otázek, jejichž odpovědi jsou v dokumentu, nechte model vygenerovat číslo svaru a ručně ověřte, zda je svar, který ukazuje, skutečně správným dílem. (3) Zkontrolujte, zda model alespoň v jednom případě dává „správná odpověď, špatný zdroj“ a jednou větou napište, jak to můžete zachytit automaticky.
kontrolní seznam
- [ ] Dokážu říct, proč k halucinaci dochází a že RAG ji snižuje, ale neresetuje.
- [ ] Dokážu rozlišit mezi aportováním a generací vyvolanými halucinacemi a opravit správné místo.
- [ ] K výzvě přidávám explicitní oprávnění „Nevím“ a základní pravidla.
- [ ] K odpovědi přidávám ověřitelný zdroj (citaci).
- [ ] Chápu, že je třeba dále kontrolovat přesnost přiřazení.