Pelnas:
- Paaiškinkite haliucinacijų priežastis ir įžeminimo vaidmenį
- Taikant metodus, kurie priverčia modelį pasakyti „nežinau“, jei tai nėra kontekste
- Pasitikėjimo ir tikrinamumo užtikrinimas pridedant patikrinamus šaltinius / citatas prie atsakymų
Pavojingiausias kalbos modelio elgesys – pasitikinčiu ir įtikinamu tonu sugalvoti tai, ko jis nežino. Tai vadinama haliucinacija. Haliucinacijos įmonės asistente ne tik erzina, bet ir visiškai rizikingos: netinkama laisva diena, netinkama kaina, netinkama teisinė medžiaga iš tikrųjų gali pakenkti darbuotojui ar klientui. Šiame skyriuje aptariame, kodėl atsiranda haliucinacijų, kaip jas sumažinti RAG ir kaip padaryti, kad atsakymas būtų patikrinamas.
Kas sukelia haliucinacijas?
Modelis yra išmokytas sukurti kitą labiausiai tikėtiną žodį; Ne „sakyk tiesą“, o „kurk sklandų ir pagrįstą tekstą“. Jei informacijos trūksta, ji gali užpildyti spragą kažkuo statistiškai patikimu, bet faktiškai neteisingu. Trys tipiški trigeriai:
- Kontekste nėra atsakymo, bet modelis vis tiek jaučiasi priverstas ką nors pasakyti.
- Kontekstas prieštaringas arba netinkamas; Modelis sumažina spragą su prognozėmis.
- Klausimas peržengia kontekstą; modelis grįžta prie savo bendrųjų (ir galbūt pasenusių) žinių.
RAG sumažina haliucinacijas, nes suteikia modeliui tikrą šaltinį, bet jo nenustato iš naujo. Atvežus ne tą detalę arba paliekant modeliui „laisvė užpildyti spragą“, gali tilpti ir sistema su RAG.
haliucinacijų tipas
simptomas
pagrindinė priežastis
tirpalo sluoksnis
kilusius iš gavimo
Teisingas atsakymas yra dokumente, bet jis negavo
Pristatyta netinkama/trūksta dalis
Suskaidymas, hibridas, perskirstymas (3–4 vienetas)
Kartos šaltinis
Atvyko teisinga dalis, bet atsakymas neteisingas/reikia pridėti
Modelis užpildė spragą prognozėmis
Įžeminimas, „nežinau“ leidimas, menkas kūrybiškumas
Citatos šaltinis
Atsakymas teisingas, bet šaltinis neteisingas
Modelis nurodė neteisingą dalį
Citatos patvirtinimas (žr. 8 skyrių)
Patarimas: Padalykite haliucinacijas į dvi dalis. Gauta iš paieškos: gauta neteisinga / trūkstama dalis (sprendimas: patobulinti atkūrimą). Generacijos šaltinis: atkeliavo teisinga dalis, bet modelis ją neteisingai perskaitė/pridėjo (sprendimas: greitas ir įžeminimas). Negalite to ištaisyti, nebent žinote, kuris iš jų yra.
Įžeminimas: atsakymo įkalinimas kontekste
Įžeminimu vadinami visi modelio pasakymo būdai: „tiesiog pasikliauk tekstu, kurį tau duodu, neperžengk jo“. Pats paprasčiausias ir efektyviausias jo metodas: aiškus leidimas modeliui pasakyti „nežinau“. Modelis, kaip ir žmogus, nesiryžta pasakyti „nežinau“; Turite duoti jam aiškų leidimą tai padaryti.
Atsakykite tik remdamiesi toliau pateiktu KONTEKSTU. Jei atsakymas kontekste nėra AIŠKIUS, parašykite būtent taip: „Dokumentacijoje neradau pakankamai informacijos apie tai“. Neįtraukite jokių skaičių, datų ar vardų, kurie nėra kontekste. Nespėk.
Papildomi įžeminimo būdai:
- Citatos reikalavimas: prieš kiekvieną teiginį pažodžiui cituokite kontekstą ("Dokumente rašoma: "..."). Modeliui sunkiau parengti pagamintas kabutes.
- Žema temperatūra: temperatūra (temperatūra, kūrybiškumas / atsitiktinis nustatymas) turi būti žema. Pastaba: kai kuriuose dabartiniuose modeliuose šis parametras buvo pašalintas; Juose jūs pateikiate įžeminimą su raginimu. Aukštas kūrybiškumas yra įmonės vientisumo priešas.
- Apimties apribojimas: „Atsakykite tik į sutikimo politikos problemas; mandagiai atsisakykite atsisakyti“.
Citata
Stipriausia sisteminė apsauga nuo haliucinacijų yra padaryti atsakymą patikrinamą. Jei vartotojas mato, kuriuo dokumentu paremtas atsakymas: (1) jis pats gali pastebėti klaidą, (2) tampa įmanomas auditas, (3) didėja pasitikėjimas ir (4) modelis gamina atsargiau, suvokdamas, kad „man reikės nurodyti šaltinį“.
Du paplitę metodai:
Tiesioginis priskyrimas: šaltinio žyma šalia kiekvienos paraiškos. „Kasmetinės atostogos yra 14 dienų [1]. Toliau pateikiami visi [1] dokumentai.
Struktūrizuota produkcija: modelio prašymas pateikti atsakymą ir šaltinių sąrašą atskiruose laukuose; Rodomi ištekliai kaip sąsajos nuorodos, kurias galima spustelėti.
# Struktūrinio atsakymo sudarymas pagal modelį (konceptualus) Pateikite savo atsakymą tokia struktūra:- atsakymas: <kontekstu pagrįstas atsakymas> - šaltiniai: [{"part_no": 1, "file": "...", "section": "..."}]- pasitikėjimas: <aukštas|vidutinis|žemas> # Kaip aiškiai tai palaiko kontekstas? Jei kontekstas nepalaiko atsakymo, atsakymo laukelyje parašykite „informacijos nerasta“ ir palikite šaltinius tuščius.
Kad citata tikrai veiktų, būtina patikrinti, ar priskyrimas yra teisingas. Modelis kartais gali pateikti teisingą atsakymą, bet nurodyti neteisingą šaltinį. Išplėstinės sistemos automatiškai patikrina, ar kiekvienas pateiktas teiginys iš tikrųjų yra pagrįstas toje dalyje, į kurią ji nurodo ("ištikimumo" matavimas kitame vienete).
Silpnas/stiprus: padeda kovoti su haliucinacijomis
Silpnas (kvietimas užpildyti tuščią lauką):
Atsakykite į klausimą kuo geriau naudodami turimą informaciją: {kontekstas} Klausimas: {question}# „Kaip gali“ modeliui reiškia „atspėk, jei nežinote“.
Stiprus (įžeminimas + nežinau leidimo + šaltinis + pasitikėjimas):
Tiesiog pasikliaukite KONTEKSTU. Kitu atveju pasakykite „Nepavyko rasti jokios informacijos“; Sugalvokite numerį/datą/vardą. Prie kiekvieno ieškinio pridėkite [n] šaltinio numerį. Nurodykite konteksto palaikomą pasitikėjimo lygį.KONTEKSTAS: [1]... [2]... KLAUSIMAS: {klausimas}
Trys mini dėklai
1 atvejis – gatavos prekės numeris. Pagalbinis advokatas padarė „17/B straipsnio“ pareiškimą, kuris buvo iškritęs iš konteksto ir suteikė darbuotojui melagingą informaciją. Pridėjus nurodymą „Neduokite straipsnio numerio, kuris nėra kontekste, kitaip sakyk, kad nežinau“ + prievolė cituoti, sufabrikuotų dirbinių atvejai sumažėjo nuo 11 iki 0 40 pavyzdžių.
2 atvejis – teisingas atsakymas, neteisingas šaltinis. Pagalbos padėjėjas nurodė teisingą grąžinimo laikotarpį, bet nurodė neteisingą straipsnį; Klientui paspaudus nuorodą, atsidarė nesusijęs puslapis. Pridėjus citatų patikrinimą (patikrinti, ar teiginys yra cituojamame kūrinyje), klaidingų citatų rodiklis sumažėjo nuo 23 % iki 2 %.
3 atvejis – „Nežinau“ leidimas nebuvo suteiktas. HR padėjėjas pateikė patikimą, bet neteisingą atsakymą į klausimą, kurio dokumente nebuvo. Kai prie raginimo buvo pridėtas aiškus sutikimas „nežinau“ ir visas tekstas („Dokumentacijoje neradau informacijos apie tai“), sąžiningo atmetimo į klausimus be atsakymo, o ne prasimanymų, rodiklis padidėjo nuo 8% iki 95%.
Dažnos klaidos
- Neleisti „nežinau“: modelis užpildo spragą išgalvotu būdu.
- Kūrybiškumo išlaikymas: atsitiktinumas kenkia įmonės vientisumui.
- Pasitikėjimas šaltiniu jo nepatikrinus: modelis prie teisingo atsakymo gali pridėti netinkamą šaltinį.
- Neskiriate dviejų haliucinacijų tipų: ištaisote netinkamą vietą, nežinodami, ar ją sukėlė atkūrimas, ar generavimas.
- Klaidinga citata apie kosmetiką: šaltinio nuoroda patvirtina ir atgraso; priimk tai rimtai.
Atsargiai: „modelis atrodo labai pasitikintis“ nėra tas pats, kas „modelis teisingas“. Haliucinacijos paprastai yra patys sklandžiausi ir patikimiausi sakiniai. Skaitykite pasitikėjimą iš šaltinio, kurį jis nurodo, o ne iš sakinio tono.
Apibendrinant
- Haliucinacijos yra tada, kai modelis užpildo informacijos spragą tikėtinu, bet klaidingu tekstu; RAG sumažina, bet nenustato iš naujo.
- Haliucinacijas gali sukelti paieškos (neteisinga dalis) arba generavimas (neteisingas skaitymas); Nustatykite, kuris iš jų pirmasis.
- Galingiausia įžeminimo technika yra suteikti modeliui aiškų „nežinau“ leidimą; taip pat citavimo reikalavimas ir mažas kūrybiškumas.
- Citavimas leidžia patikrinti atsakymą; Tai ir suteikia pasitikėjimo, ir skatina modelį gaminti atsargiai.
- Taip pat reikėtų patikrinti citatos tikslumą; Prie teisingo atsakymo gali būti pridėtas neteisingas šaltinis.
Taikymo užduotis
(1) Paruoškite 4 klausimus, kuriuos galite užduoti savo padėjėjui, į kuriuos atsakymų nėra dokumentuose (spąstų klausimai). Išbandykite kiekvieną naudodami silpną ir stiprią raginimą ir pažymėkite, ar modelis tinka, ar ne. (2) Atsakydami į 4 klausimus, kurių atsakymai pateikti dokumente, paprašykite modelio sugeneruoti suvirinimo siūlės numerį ir rankiniu būdu patikrinti, ar jame rodoma suvirinimo siūlė iš tikrųjų yra tinkama dalis. (3) Patikrinkite, ar modelis pateikia „teisingą atsakymą, neteisingą šaltinį“ bent vienu atveju ir vienu sakiniu parašykite, kaip galite tai automatiškai pagauti.
kontrolinis sąrašas
- [ ] Galiu pasakyti, kodėl vyksta haliucinacijos ir kad RAG ją sumažina, bet neatstato.
- [ ] Galiu atskirti paieškos ir kartos sukeltas haliucinacijas ir pakoreguoti tinkamą vietą.
- [ ] Prie raginimo pridedu aiškų „nežinau“ leidimą ir pagrindines taisykles.
- [ ] Prie atsakymo pridedu patikrinamą šaltinį (citatą).
- [ ] Suprantu, kad reikia toliau tikrinti priskyrimo tikslumą.