Nyereség:
- A tudásalapú generálás (RAG) logikájának megértése, és annak megértése, hogy miért csökkenti a hallucinációkat
- Lehetőség arra, hogy a modell idézéssel válaszoljon, csak a megadott forrásdokumentumok alapján
- Képes kezelni azokat a kérdéseket, amelyek nem szerepelnek a forrásban, biztonságos átvitelükkel, kérdések felvetése nélkül
Egy nyelvi modell sok mindent „tud”, de nem ismeri a cég mai visszaküldési politikáját, az aktuális árlistáját vagy a tegnap megváltozott szállítási szerződését. Ami még rosszabb, ha nem tudja, gyakran kitalálja, és rendkívül magabiztos hangnemben ír. Ez az ügyfélszolgálat végzetes hibája: a modell szerint "30 napon belül visszatérítésre kerül sor", míg a kötvény 14 napos lehet. Azt a megközelítést, amely ezt a hiányt bezárja, RAG: Retrieval-Augmented Generation, azaz "retrieval-augmented production"-nek hívják.
Az ötlet egyszerű: A modell nem emlékezetből, hanem az adott pillanatban eléje helyezett megfelelő forrásdokumentumokból válaszol a kérdésre. Először is a kérdésre vonatkozó helyes dokumentum a "visszakeresés", majd a modell csak az alapján "generálja" a választ. Ebben az egységben meg fogja érteni a RAG logikáját, és megtanulja, hogyan kell megzabolázni a modellt, hogy az csak az Ön által megadott ellenőrzött forráshoz tapadjon.
Megjegyzés: Ez az egység megtanítja a RAG működési logikáját és prompt oldalát. Vállalati méretű automatikus dokumentumlekérő rendszerek (vektor adatbázis stb.) műszaki telepítést igényelnek; Itt a fegyelem az alapja annak, hogy a rendszer megfelelően reagáljon.
Miért csökkenti a RAG a hallucinációkat?
A hallucináció az, amikor a modell valótlan információkat állít elő, mintha valódiak lennének. A modell úgy van programozva, hogy olyan választ adjon, amely „lehetségesnek” tűnik, ha hiányt lát; Nem tudja, hogy igaz-e vagy sem. A RAG ezt a hiányt pótolja: megadja a modellnek a tényleges releváns szöveget a kérdéssel együtt, és azt mondja, hogy „csak innen válaszoljon”. Így a modellnek nem "kell" illeszkednie.
Három összetevőből áll:
- Tudásbázis: Megbízható szövegek, például GYIK, irányelvek, termékkézikönyvek, árlisták.
- Visszakeresés: A kérdésre adott választ tartalmazó dokumentum megkeresése és a modellnek való átadása.
- Limitált kiadás: A modell árajánlattal válaszol, csak a szállított alkatrész alapján.
Lépésről lépésre: hűséges válasz a forrásra
- Készítse elő a forrást. Keresse meg a válasz alapjául szolgáló szöveget (irányelv, GYIK) világos és naprakész formátumban.
- Illessze be a forrást a promptba. Helyezze a szöveget egy címkébe, például <source>.
- Írd le a hűségszabályt! "Csak a forrásból származó információt használd, ne térj el a forrástól."
- Az idézet kötelezővé tétele. Jelölje meg, melyik szakaszon alapul a válasz.
- Azonosítsa az erőforráson kívüli viselkedést. Ha a válasz nem szerepel a forrásban, mondja azt, hogy "nincs nálam ez az információ", és adja tovább.
- Ellenőrizze. Erősítse meg a választ azzal, hogy összehasonlítja azt a forrásmondattal, amelyen alapul.
Másolható felszólítások
Válaszadás a mögöttes forrás alapján:
Szerep: Ön ügyfélszolgálati asszisztens. A kérdésre CSAK az alábbi <source>blokkban található információk alapján válaszoljon. Ne adjon hozzá olyan információt, amely nem szerepel a forrásban, ne találjon ki vagy válaszoljon általános ismeretei alapján. Adja hozzá válasza végéhez azt a részt, amelyre támaszkodik, „[Forrás: ...]” formátumban. Ha a válasz nem szerepel a forrásban, írja be a következőt: "Nem rendelkezem végleges információval a témában, áthelyezem Önt egy tisztviselőhöz, aki meg tudja adni a helyes választ."<source>{{ policy_or_faq_text }}</source>Kérdés: {{ customer_question }}
Több forrás esetén a prompt, amely megmutatja, hogy melyik dokumentumon alapul:
Az alábbiakban számos forrás található. A kérdés megválaszolásakor adja meg a felhasznált forrás számát, például [2. forrás]. Ha egynél több forrás ellentmond Önnek, mondja ki egyértelműen, és mondja ki, hogy kérdezze meg, melyik a naprakészebb.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Kérdés: {{ customer_question }}
Prompt, amely biztonságosan kezeli a nem forráskérdést:
Ha a kérdésre a válasz RÉSZBEN megtalálható a forrásban: csak a forrás által lefedett részre válaszoljon, a fennmaradó részre pedig azt mondja, hogy „ez a részlet nem szerepel a forrásban”. Soha ne töltse ki a hiányzó részt találgatással.
Prompt, amely lefordítja a választ az ügyfél nyelvére, de hű marad a forráshoz:
Fordítsa le a forrás hivatalos/technikai kifejezését közérthető nyelvre, amelyet az ügyfél ért, de NE változtassa meg a jelentést és a számértékeket (nap, összeg, árfolyam). Például a "14 naptári nap" kerekítése "kb. két hétre"; megtartani a teljes értéket.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás
Erőteljes felszólítás
"Mondd el nekünk visszaküldési politikánkat"
Forrás beágyazása + "csak itt válaszoljon" + árajánlatkérés
Válasz a modell emlékezetéből (lehet, hogy rossz)
Válasz az aktuális dokumentumból
Ha nincs a forrásban, akkor ő találja ki
Azt mondja: "Nincs nálam ez az információ", és továbbadja.
Képes kerekíteni és torzítani a számokat
Pontosan tartja a napot/összeget/árfolyamot
A különbség az, hogy az erős prompt horgonyzást (forrásszöveg) és tiltást (forrásból való kilépés) ad a modellnek. A modell már nem emlékezetből beszél, hanem az előtte álló valóságból.
Három mini tok
1. eset – A régi politikai csapda. "30 napon belül elfogadják a visszaküldést" - mondta az egyik bolt robotja, miközben hitel nélkül futott; A társaság azonban 14 napra csökkentette az időszakot. Amikor a frissített házirend-szöveg hozzáadódik a forráshoz a RAG-telepítésben, a bot a következőt válaszolja: „14 naptári nap [Forrás: Visszaküldési szabályzat, 2. cikk]”. A hamis ígéretekből eredő visszatérítési vitákat alaphelyzetbe állítottuk.
2. eset – Az ellentmondás felfogása. Egy ügyfél érdeklődött a szállítási költségekről. Forrásként a régi és az új árlisták is bekerültek a rendszerbe. A több forrásból álló promptnak köszönhetően a modell azt mondta: "Két forrás eltérő árat ad (49 TL és 59 TL); meg kell erősíteni a jelenlegit", és közvetítette a problémát az emberhez. Ahelyett, hogy hibás összeget mondott volna az ügyfélnek, őszintén közölte a bizonytalanságot.
3. eset – Részleges válaszadási fegyelem. „Külföldre szállítja a terméket, és ki fizeti a vámot?” A kérdésben a forrás csak annyit közölt, hogy a szállítás megtörtént, arról nincs szó, hogy ki fizette az adót. A modell azt mondta: "Igen, a szállítás külföldre történik [Forrás: Cargo FAQ]. Ebben a dokumentumban azonban nincs feltüntetve, hogy ki fizeti a vámot, ennek tisztázása érdekében átküldöm a tisztviselőhöz." A félig igaz, félig kitalált válasz helyett őszinte és magabiztos eredményt produkált.
Tipp: Tartsa meg tudásbázisának legfrissebb és legegyszerűbb igazságforrású változatát. A RAG legnagyobb ellensége, ha három különböző dokumentumban ugyanazokat az információkat (pl. visszaküldési időszak) eltérően írják le; A modell eltérően reagál attól függően, hogy melyiket nézi. Először szüntesse meg a dokumentumok ismétlődését, majd automatizálja azokat.
Ellenőrzés: Ne lazítson csak azért, mert a forrás létezik
A RAG nagymértékben csökkenti a hallucinációt, de nem állítja vissza. A modell néha félreértelmezheti a forrást, összekeverve két mondatot, vagy olyan „következtetést” vonhat le, amely nem szerepel a forrásban. Ezért kritikus az idézési követelmény: nyissa meg azt a részt, amelyen a válasz állítása szerint alapul, és ellenőrizze, hogy valóban így van-e. Ez a vezérlő nem vitatható, különösen a számokat (nap, mennyiség, arány) és feltételeket (kivétel, feltétel) tartalmazó válaszoknál.
Figyelem: Ha maga a forrás hibás vagy elavult, a RAG hűen megismétli ezt a hibát. Ha azt mondjuk, hogy „a modell a forrásból beszél” nem jelenti azt, hogy „a modell helyesen beszél”; Ön felelős a forrás pénzneméért és pontosságáért.
A Tudásbázis készen tartása a válaszadásra
A RAG minősége nagyban függ a forrásszöveg megírásától. A modell sokkal pontosabb választ ad, mint a jól strukturált, címzett, egytémájú szövegek. Gyakorlati tanácsok: hosszú, egymásba ágyazott bekezdések helyett rövid, címzett szakaszokba írja le irányelveit; Minden szakasz egyetlen kérdésre válaszoljon ("Hány nap a visszaküldési időszak?", "Mely termékeket nem lehet visszaküldeni?"). A gyakran ismételt kérdések (GYIK) kérdés-felelet formátumban tartása megkönnyíti a modell számára a megfelelő alkatrész megtalálását. A szövegben egyértelműen és egy helyen adja meg az értékeket, például a dátumot, az összeget és az árfolyamot; Ugyanannak a számnak a különböző szakaszokba történő beírása összezavarja a modellt.
Egy másik fontos szokás a tudásbázis életben tartása. Az irányelvek, az árak és a promóciók eltérőek; Ha a forrás nem frissül, a modell továbbra is biztonságosan ismétli a régi igazságot. Minden irányelvmódosításnál frissítse a forrást, és tegyél fel ismét néhány tesztkérdést a modellnek a megváltozott témával kapcsolatban, hogy megbizonyosodjon arról, hogy a helyes választ adja. Ez a kis, de rendszeres karbantartás megakadályozza, hogy a RAG rendszer idővel "csendben elromoljon".
Gyakori hibák
- Kimondani, hogy „magyarázd meg irányelvünket” anélkül, hogy eltemetnénk a forrást, és a modell memorizálására hagyatkoznánk.
- Nem határozza meg a "válasz csak a forrásból" határt és a nem forrás viselkedést.
- Nem kér árajánlatot/forráshivatkozást, és a választ ellenőrizhetetlenül hagyja.
- Ugyanazon információk ütköző verzióinak megőrzése több dokumentumban a tudásbázisban.
- Lehetővé teszi a modell számára a számértékek kerekítését/értelmezését.
- Elfelejti frissíteni a forrást, ami miatt a modell hűen megismétli a régi információkat.
Összefoglalva
- A RAG azt jelenti, hogy a modell a választ az aktuális forrásdokumentumból állítja elő, nem pedig a memóriából.
- A hallucinációk csökkentésének legpraktikusabb módja: temesse el a forrást, mondja azt, hogy "csak itt válaszoljon", kérjen idézést.
- Ha a válasz nem szerepel a forrásban, nem szabad modellt illeszteni; Azt kell mondania, hogy "nincs nálam", és át kell adnia.
- Tudatosítsa a modellben az egymásnak ellentmondó forrásokat; Pontosan megőrizted a számértékeket.
- A RAG pontossága a forrás időszerűségétől függ; Mindig erősítse meg az árajánlatot.
Pályázati feladat
Vegyen ki egy tényleges irányelvszöveget (visszaküldés, szállítás vagy tagság) a saját vállalkozásától, és ágyazza be forrásként a fenti alapvető RAG promptba. Ezután tegyél fel három kérdést: (1) egy olyan kérdést, amelyre a válasz egyértelmű a forrásban, (2) egy olyan kérdést, amelyre egyáltalán nincs válasz a forrásban, (3) egy olyan kérdést, amelyre a válasz csak hiányos a forrásban. Ellenőrizze, hogy a modell helyesen válaszol-e, azt mondja, hogy „nincs nálam”, és őszintén megjelöli-e a részleges választ, illetve a hiányzót. Korrigálja a deviáns viselkedést a hűség és a nem erőforrás-szabályok megerősítésével a promptban.
ellenőrző lista
- [ ] Beágyaztam a promptba az aktuális forrást, amelyen a válasz alapul.
- [ ] Hozzáadtam a "Csak a forrásból válaszoljon, ne lépje túl" szabályt.
- [ ] Forráshivatkozást/hivatkozási követelményt tettem fel.
- [ ] Meghatároztam a delegálási viselkedést, ha a válasz nem áll rendelkezésre a forrásban.
- [ ] Megköveteltem a számértékek pontos megőrzését.
- [ ] Az alapjául szolgáló forrásmondatból megerősítettem a választ.