zisky:
- Vysvetlite príčiny halucinácií a úlohu uzemnenia
- Aplikovanie techník, ktoré prinútia model povedať „neviem“, ak to nie je v kontexte
- Zabezpečenie dôveryhodnosti a auditovateľnosti pridaním overiteľných zdrojov/citácií k odpovediam
Najnebezpečnejším správaním jazykového modelu je vymýšľať niečo, čo nepozná, sebavedomým a presvedčivým tónom. Toto sa nazýva halucinácia. Halucinácie v korporátnom asistentovi nie sú len otravné, ale aj vyslovene riskantné: nesprávny deň voľna, nesprávna cena, nesprávna právna podstata môžu zamestnanca alebo zákazníka v skutočnosti ohroziť. V tejto časti sa zaoberáme tým, prečo sa vyskytujú halucinácie, ako ich znížiť v RAG a ako zabezpečiť, aby bola odpoveď overiteľná.
Čo spôsobuje halucinácie?
Model je trénovaný, aby vytvoril ďalšie najpravdepodobnejšie slovo; Nie „hovor pravdu“, ale „tvor plynulý a rozumný text“. Ak informácie chýbajú, môžu medzeru vyplniť niečím štatisticky hodnoverným, ale vecne nesprávnym. Tri typické spúšťače:
- V kontexte neexistuje žiadna odpoveď, ale modelka sa aj tak cíti nútená niečo povedať.
- Kontext je konfliktný alebo neadekvátny; Model uzatvára medzeru predikciou.
- Otázka presahuje kontext; model sa vracia k vlastným všeobecným (a možno zastaraným) poznatkom.
RAG znižuje halucinácie, pretože dáva modelu skutočný zdroj - ale neresetuje ho. Ak prinesiete nesprávny diel alebo necháte modelu "voľnosť vyplniť medzeru", systém s RAG ho môže tiež osadiť.
typ halucinácie
symptóm
hlavná príčina
vrstva roztoku
pochádzajúce z preberania
Správna odpoveď je v dokumente, ale neprišla
Bol dodaný nesprávny/chýbajúci diel
Chunking, hybrid, re-ranking (Jednotky 3-4)
Zdrojom generácie
Prišla správna časť, ale odpoveď je nesprávna/treba doplniť
Model vyplnil medzeru predikciou
Uzemnenie, povolenie „neviem“, nízka kreativita
Zdroj citácie
Odpoveď je správna, ale zdroj je nesprávny
Model odkazoval na nesprávnu časť
Overenie citácie (pozri časť 8)
Tip: Rozdeľte halucináciu na dve časti. Zdroj z vyhľadávania: prišla nesprávna/chýbajúca časť (riešenie: zlepšenie vyhľadávania). Generačný zdroj: Prišla správna súčiastka, ale model ju nesprávne prečítal/pridal (riešenie: prompt a uzemnenie). Nemôžete to opraviť, pokiaľ neviete, ktorý to je.
Uzemnenie: Pribitie odpovede v kontexte
Uzemnenie je názov pre všetky techniky, ako povedať modelu „spoliehaj sa len na text, ktorý ti dám, neprekračuj ho“. Jeho najzákladnejšia a najúčinnejšia technika: výslovne dať modelke povolenie povedať „neviem“. Model, rovnako ako človek, váha, či povedať „neviem“; Na to mu musíte dať výslovné povolenie.
Odpovedzte len na základe KONTEXTU nižšie. Ak odpoveď nie je JASNÁ v kontexte, napíšte presne toto: "V dokumentácii som o tom nenašiel dostatok informácií." Neuvádzajte žiadne čísla, dátumy alebo mená, ktoré nie sú v kontexte. Nehádajte.
Ďalšie techniky uzemnenia:
- Požiadavka citácie: Pred každým tvrdením citujte doslovne kontext („Dokument hovorí: '...'“). Výroba vymyslených citátov je pre modelku náročnejšia.
- Nízka teplota: Teplota (teplota, kreativita/náhodné nastavenie) by mala byť nízka. Poznámka: v niektorých súčasných modeloch bol tento parameter odstránený; V nich poskytujete uzemnenie s výzvou. Vysoká kreativita je nepriateľom firemnej integrity.
- Limit rozsahu: „Reagujte iba na problémy s pravidlami pre získanie súhlasu, deaktiváciu zdvorilo odmietnite.“
Citácia
Najsilnejšou systémovou obranou proti halucináciám je, aby bola odpoveď overiteľná. Ak používateľ vidí, na akom dokumente je odpoveď založená: (1) dokáže sám zachytiť chybu, (2) je možný audit, (3) zvyšuje sa dôvera a (4) model vytvára opatrnejšie s vedomím, že „budem musieť uviesť zdroj“.
Dva bežné prístupy:
Vložená atribúcia: Značka zdroja vedľa každého nároku. "Ročná dovolenka je 14 dní [1]." Nižšie je uvedená úplná dokumentácia [1].
Štruktúrovaný výstup: Požiadanie modelu, aby vytvoril odpoveď a zdrojový zoznam v samostatných poliach; Zobrazovanie zdrojov ako odkazov na kliknutie v rozhraní.
# Vytvorenie štruktúrovanej odpovede na základe modelu (koncepčné) Uveďte svoju odpoveď v nasledujúcej štruktúre:- odpoveď: <kontextová odpoveď>- zdroje: [{"číslo_časti": 1, "súbor": "...", "sekcia": "..."}]-dôvera: <vysoká|stredná|nízka> # Ako jasne ju podporuje kontext? Ak kontext nepodporuje odpoveď, do poľa odpovede napíšte „žiadne informácie neboli nájdené“ a zdroje ponechajte prázdne.
Aby Citácia skutočne fungovala, je potrebné overiť správnosť uvedenia zdroja. Model môže niekedy poskytnúť správnu odpoveď, ale uviesť nesprávny zdroj. Pokročilé systémy automaticky kontrolujú, či je každý vyrobený nárok skutočne podporovaný v kuse, na ktorý ukazuje (meranie "vernosti" v ďalšej jednotke).
Slabý/silný: Prompt Against Hallucination
Slabé (výzva na doplnenie prázdneho miesta):
Odpovedzte na otázku čo najlepšie pomocou informácií, ktoré máte: {kontext} Otázka: {question}# „Ako najlepšie viete“ znamená pre model „hádajte, ak neviete“.
Silné (uzemnenie + neznáme povolenie + zdroj + dôvera):
Stačí sa spoľahnúť na KONTEXT. V opačnom prípade povedzte „Nemohol som nájsť žiadne informácie“; číslo/dátum/meno doplnenia. Ku každému nároku pridajte [n] zdrojové číslo. Zadajte úroveň dôveryhodnosti podporovanú kontextom. KONTEXT: [1]... [2]... OTÁZKA: {question}
Tri mini puzdrá
Prípad 1 – Číslo vymyslenej položky. Právny zástupca vymyslel vyhlásenie „článok 17/B“, ktoré bolo vytrhnuté z kontextu a zamestnancovi poskytlo nepravdivé informácie. Keď pribudol pokyn „Neuvádzaj číslo článku, ktoré nie je v kontexte, inak povedz, že neviem“ + povinnosť citovať, prípady vymyslených článkov klesli z 11 na 0 v 40 príkladoch.
Prípad 2 – Správna odpoveď, nesprávny zdroj. Asistent podpory uviedol správne obdobie na vrátenie, ale uviedol nesprávny článok; Keď zákazník klikol na odkaz, otvorila sa irelevantná stránka. Po pridaní overovania citácií (kontrola, či sa tvrdenie vyskytuje v citovanom diele) klesla miera falošných citácií z 23 % na 2 %.
Prípad 3 – „Neviem“ povolenie nebolo udelené. Personálna asistentka vymyslela hodnovernú, ale nesprávnu odpoveď na otázku, ktorá v dokumente nebola. Keď bol do výzvy pridaný výslovný súhlas „neviem“ a úplný text („informácie o tom som nenašiel v dokumentácii“), miera čestného odmietnutia otázok bez odpovede, a nie výmyslu, sa zvýšila z 8 % na 95 %.
Časté chyby
- Nedovoliť „neviem“: Model vypĺňa medzeru fabuláciou.
- Udržiavanie kreativity na vysokej úrovni: Náhodnosť škodí firemnej integrite.
- Dôverovať zdroju bez jeho overenia: Model môže k správnej odpovedi pripojiť nesprávny zdroj.
- Nerozlišovanie medzi týmito dvoma typmi halucinácií: Opravíte nesprávne miesto bez toho, aby ste vedeli, či je spôsobené aportovaním alebo generovaním.
- Chybná citácia pre kozmetiku: Citácia zdroja je potvrdením aj odstrašujúcim účinkom; brať to vážne.
Pozor: „Modelka vyzerá veľmi sebavedomo“ nie je to isté ako „modelka je správna“. Halucinácie sú vo všeobecnosti najplynulejšie a najistejšie vety. Čítajte dôveru zo zdroja, ktorý naznačuje, nie z tónu vety.
V súhrne
- Halucinácia je, keď model vyplní informačnú medzeru hodnoverným, ale falošným textom; RAG znižuje, ale neresetuje.
- Halucinácia môže byť spôsobená vyhľadaním (nesprávna časť) alebo generovaním (nesprávne čítanie); Určte, ktorý z nich ako prvý.
- Najvýkonnejšou technikou uzemnenia je dať modelu výslovné povolenie „neviem“; aj požiadavka na citovanosť a nízka kreativita.
- Citácia robí odpoveď overiteľnou; To dáva dôveru a tlačí na opatrnú výrobu modelu.
- Mala by sa tiež skontrolovať správnosť citácie; K správnej odpovedi môže byť pripojený nesprávny zdroj.
Aplikačná úloha
(1) Pripravte si 4 otázky, ktoré položíte svojmu asistentovi, pričom odpovede na ne nie sú v dokumentoch (pascové otázky). Každý z nich otestujte slabou a silnou výzvou a označte, či model sedí alebo nie. (2) Pre 4 otázky, ktorých odpovede sú v dokumente, nechajte model vygenerovať číslo zvaru a manuálne overte, či zvar, ktorý zobrazuje, je skutočne správny diel. (3) Skontrolujte, či model dáva „správna odpoveď, nesprávny zdroj“ aspoň v jednom prípade a jednou vetou napíšte, ako to môžete automaticky zachytiť.
kontrolný zoznam
- [ ] Viem povedať, prečo k halucinácii dochádza a že RAG ju znižuje, ale neresetuje.
- [ ] Dokážem rozlíšiť medzi aportovaním a generáciou vyvolanými halucináciami a opraviť správne miesto.
- [ ] Do výzvy pridávam explicitné oprávnenie „neviem“ a základné pravidlá.
- [ ] K odpovedi pridávam overiteľný zdroj (citáciu).
- [ ] Chápem, že je potrebné ďalej kontrolovať presnosť priradenia.