Nyereség:
- Ismertesse a hallucináció okait és a földelés szerepét!
- Olyan technikák alkalmazása, amelyek arra késztetik a modellt, hogy „nem tudom”, ha nincs összefüggésben
- A bizalom és az auditálhatóság biztosítása ellenőrizhető források/idézetek hozzáadásával a válaszokhoz
A nyelvi modell legveszélyesebb viselkedése az, ha magabiztos és meggyőző hangon kitalál valamit, amit nem ismer. Ezt nevezik hallucinációnak. A vállalati asszisztensben hallucinálni nemcsak bosszantó, hanem egyenesen kockázatos is: a rossz szabadnap, a rossz ár, a nem megfelelő jogi anyag kárt okozhat az alkalmazottnak vagy az ügyfélnek. Ebben az egységben bemutatjuk, miért fordulnak elő hallucinációk, hogyan csökkenthetjük őket RAG-ban, és hogyan tehetjük ellenőrizhetővé a választ.
Mi okozza a hallucinációkat?
A modellt a következő legvalószínűbb szó előállítására tanítják; Nem „mondd meg az igazat”, hanem „készíts folyékony és ésszerű szöveget”. Ha hiányzik az információ, az valami statisztikailag hihető, de tényszerűen helytelen dologgal pótolhatja a hiányt. Három tipikus kiváltó tényező:
- A szövegkörnyezetben nincs válasz, de a modell mindenesetre késztetést érez, hogy mondjon valamit.
- A kontextus ellentmondásos vagy nem megfelelő; A modell az előrejelzéssel zárja a rést.
- A kérdés túlmutat a kontextuson; a modell visszatér saját általános (és esetleg elavult) tudásához.
A RAG csökkenti a hallucinációkat, mert valódi forrást ad a modellnek – de nem állítja vissza. Ha rossz alkatrészt hoz, vagy hagyja a modellt a "rés kitöltésének szabadságában", a RAG-val ellátott rendszer is belefér.
a hallucináció típusa
tünet
kiváltó ok
oldatréteg
visszakeresésből ered
A helyes válasz benne van a dokumentumban, de nem érkezett meg
Rossz/hiányzó alkatrész szállítva
Feldarabolás, hibrid, átsorolás (3-4. egység)
Generációs forrásból
Megérkezett a megfelelő rész, de a válasz rossz/hozzá kell adni
A modell előrejelzéssel töltötte be a hiányt
Földelés, "nem tudom" engedély, alacsony kreativitás
Az idézet forrása
A válasz helyes, de a forrás rossz
A modell rossz alkatrészre hivatkozott
Idézet ellenőrzése (lásd 8. fejezet)
Tipp: Oszd két részre a hallucinációt. Forrás: visszakeresés: rossz/hiányzó rész érkezett (megoldás: a visszakeresés javítása). Generációs forrás: Megérkezett a megfelelő alkatrész, de a modell rosszul olvasta/adta hozzá (megoldás: prompt és földelés). Nem tudod megjavítani, ha nem tudod, melyik az.
Földelés: A válasz szövegkörnyezetben való megfogalmazása
Földelés a neve minden olyan technikának, amely azt mondja a modellnek, hogy "csak hagyatkozz az általam adott szövegre, ne lépj túl rajta". A legalapvetőbb és leghatékonyabb technikája: kifejezetten engedélyt ad a modellnek, hogy azt mondja, „nem tudom”. A modell, akárcsak az ember, tétovázik, hogy azt mondja-e, hogy „nem tudom”; Ehhez kifejezett engedélyt kell adnia neki.
Csak az alábbi KONTEXTUS alapján válaszoljon. Ha a válasz nem EGYÉRTELMŰ a szövegkörnyezetben, akkor pontosan ezt írja: "Nem találtam elegendő információt erről a dokumentációban." Ne adjon meg olyan számokat, dátumokat vagy neveket, amelyek nem szerepelnek a szövegkörnyezetben. Ne találgass.
További földelési technikák:
- Idézési követelmény: Minden állítás előtt szó szerint idézze a szövegkörnyezetet („A dokumentum azt mondja: „...”). A koholt árajánlatok előállítása nehezebb a modell számára.
- Alacsony hőmérséklet: A hőmérsékletnek (hőmérséklet, kreativitás/véletlenszerű beállítás) alacsonynak kell lennie. Megjegyzés: egyes jelenlegi modellekben ezt a paramétert eltávolították; Bennük egy prompttal biztosítod a földelést. A nagy kreativitás a vállalati integritás ellensége.
- Hatókör korlátja: "Csak a hozzájárulással kapcsolatos irányelvekkel kapcsolatos kérdésekre válaszoljon; udvariasan tagadja meg a leiratkozást."
Idézet
A hallucináció elleni legerősebb szisztémás védekezés az, ha ellenőrizhetővé tesszük a választ. Ha a felhasználó látja, hogy melyik dokumentumon alapul a válasz: (1) saját maga is elkapja a hibát, (2) lehetővé válik az audit, (3) nő a bizalom, és (4) a modell óvatosabban termel, annak tudatában, hogy "a forrásra hivatkoznom kell".
Két általános megközelítés:
Soron belüli hozzárendelés: Forrás címke az egyes követelések mellett. "Az éves szabadság 14 nap [1]." Alább található [1] teljes dokumentációja.
Strukturált kimenet: Megkérjük a modellt, hogy a választ és a forráslistát külön mezőben állítsa elő; Erőforrások megjelenítése kattintható hivatkozásként a felületen.
# Strukturált válasz készítése a modell alapján (koncepcionális) Adja meg válaszát a következő szerkezetben:- válasz: <kontextus alapú válasz> - források: [{"part_no": 1, "file": "...", "section": "..."}]- bizalom: <magas|közepes|alacsony> # Mennyire támogatja ezt egyértelműen a kontextus? Ha a szövegkörnyezet nem támogatja a választ, írja be a válaszmezőbe, hogy "nincs információ található", és hagyja üresen a forrásokat.
Ahhoz, hogy az idézet valóban működjön, ellenőrizni kell, hogy a forrásmegjelölés helyes-e. A modell néha megadja a helyes választ, de rossz forrást ad meg. A fejlett rendszerek automatikusan ellenőrzik, hogy minden előállított állítás valóban alátámasztva van-e abban a darabban, amelyre mutat (a "hűség" mérése a következő egységben).
Gyenge/Erős: Hallucináció ellen
Gyenge (felhívás az üres hely kitöltésére):
Válaszoljon a kérdésre a lehető legjobban a birtokában lévő információk alapján: {context} Kérdés: {question}# A „A lehető legjobban” azt jelenti, hogy a modell esetében „találd ki, ha nem tudod”.
Erős (földelés + nem tudom az engedélyt + forrás + bizalom):
Csak hagyatkozzon a KONTEXTUSRA. Ellenkező esetben mondja azt, hogy "Nem találtam információt"; alkotja meg a számot/dátumot/nevet. Adjon hozzá [n] forrásszámot minden követeléshez. Adja meg a kontextus által támogatott bizalmi szintet.CONTEXT: [1]... [2]... KÉRDÉS: {kérdés}
Három mini tok
1. eset – Készített cikkszám. Egy jogvédő "17/B. cikk" kijelentést tett, amely összefüggésbe lépett, és hamis adatokat közölt a munkavállalóval. Amikor a "Ne adj meg olyan cikkszámot, amely nem szerepel a szövegkörnyezetben, különben mondd, hogy nem tudom" + idézési kötelezettség hozzáadásával, a gyártott cikkek esetei 40 példában 11-ről 0-ra csökkentek.
2. eset – Helyes válasz, rossz forrás. Egy támogatási asszisztens a helyes visszaküldési időszakot közölte, de rossz cikket idézett; Amikor az ügyfél a linkre kattintott, egy irreleváns oldal nyílt meg. Amikor hozzáadták az idézet ellenőrzését (ellenőrizve, hogy az állítás megjelenik-e az idézett cikkben), a hamis idézetek aránya 23%-ról 2%-ra csökkent.
3. eset – „Nem tudom” engedélyt nem adtak meg. Egy HR-asszisztens elfogadható, de helytelen választ adott egy olyan kérdésre, amely nem szerepelt a dokumentumban. Amikor az explicit „nem tudom” beleegyezést és a teljes szöveget ("Nem találtam erről információt a dokumentációban") hozzáadták a prompthoz, az őszinte elutasítási arány a nem kitalált, hanem válasz nélküli kérdések esetében 8%-ról 95%-ra nőtt.
Gyakori hibák
- Nem engedi a „nem tudom” kifejezést: A modell a hiányt kitalálással pótolja.
- A kreativitás magas szinten tartása: A véletlenszerűség káros a vállalati integritásra.
- Bízni a forrásban anélkül, hogy ellenőrizné: A modell rossz forrást csatolhat a helyes válaszhoz.
- Nem tesz különbséget a hallucinációk két típusa között: Rossz helyen javít ki, anélkül, hogy tudná, hogy a visszakeresés vagy a generálás okozza-e.
- Hibás hivatkozás a kozmetikumokra: A forrás megjelölése megerősítő és elrettentő; vedd komolyan.
Figyelem: „A modell nagyon magabiztosnak tűnik” nem ugyanaz, mint „a modell helyes”. A hallucinációk általában a legfolyékonyabb és legmagabiztosabb mondatok. Olvassa el a bizalmat a jelzett forrásból, ne a mondat hangjából.
Összefoglalva
- A hallucináció az, amikor a modell elfogadható, de hamis szöveggel tölti be az információs hézagot; A RAG csökkenti, de nem állítja vissza.
- A hallucinációt előhívás (rossz rész) vagy generálás (rossz olvasás) okozhatja; Határozza meg, melyik legyen először.
- A földelés legerősebb technikája az, hogy kifejezett „nem tudom” engedélyt ad a modellnek; idézési követelmény és alacsony kreativitás is.
- Az idézés ellenőrizhetővé teszi a választ; Egyszerre önbizalmat ad, és óvatosságra készteti a modellt.
- Az idézet pontosságát is ellenőrizni kell; A helyes válaszhoz rossz forrás csatolható.
Pályázati feladat
(1) Készítsen elő 4 olyan kérdést, amelyet feltesz az asszisztensének, amelyekre a válaszok nem szerepelnek a dokumentumokban (csapdakérdések). Tesztelje mindegyiket a gyenge és erős felszólítással, és jelölje meg, hogy a modell megfelel-e vagy sem. (2) A 4 olyan kérdésnél, amelyekre a válasz megtalálható a dokumentumban, állítsa elő a modellt a hegesztési varratszámmal, és ellenőrizze manuálisan, hogy az általa megjelenített varrat valóban a megfelelő alkatrész-e. (3) Ellenőrizze, hogy a modell legalább egy esetben "jó választ, rossz forrás"-t ad-e, és írja le egy mondatban, hogyan tudja ezt automatikusan megfogni!
ellenőrző lista
- [ ] Meg tudom mondani, miért történik a hallucináció, és hogy a RAG csökkenti, de nem állítja vissza.
- [ ] Meg tudom különböztetni a visszakeresést és a generáció által kiváltott hallucinációkat, és korrigálni tudom a megfelelő helyet.
- [ ] Kifejezett "nem tudom" engedélyt és alapszabályt adok a prompthoz.
- [ ] A válaszhoz igazolható forrást (idézést) adok.
- [ ] Megértem, hogy tovább kell ellenőrizni a hozzárendelés pontosságát.