Žinių bazė ir RAG: kaip robotas ir agentas randa teisingą atsakymą

Pelnas:

• Supraskite, kaip veikia RAG (suskaldymas, prieiga, nuo išteklių priklausoma generacija) ir kaip ji mažina haliucinacijas
• Gebėjimas pagerinti atsakymų kokybę sukuriant žinių bazę, kuri būtų aktuali, aiški, be konfliktų ir turi vieną teisingą šaltinį.
• Gebėjimas nurodyti modeliui „jei jo nėra šaltinyje, pasakyk, kad nežinai“ ir klausimus, į kuriuos jis negali atsakyti, paversti žinių bazės tobulinimu

Atsakymas, kurį pateikia robotas arba agento padėjėjas, yra toks pat geras, kaip ir informacija, kuria jis grindžiamas. Klientui paklausus „Ar akcija tęsiasi?“, teisingas atsakymas yra ne modelio atmintyje, o dabartinėje įstaigos žinių bazėje. Štai kodėl skambučių centro dirbtinio intelekto šerdis yra žinių bazė (KB): atnaujintas šaltinis, kuriame produktai, politika, DUK, procedūros ir taisyklės saugomi raštu. Metodas, kuris saugiai sujungia šią žinių bazę su dirbtiniu intelektu, vadinamas RAG: Retrieval-Augmented Generation – užuot sukūręs atsakymą iš savo atminties, modelis pirmiausia nuskaito atitinkamas informacijos dalis iš šaltinio (atgauna), o tada sugeneruoja atsakymą, remdamasis tik tais elementais (karta).

RAG yra galingiausias haliucinacijų prevencijos metodas. Modelis nesukuria galvoje skaičiaus klausimui "kokia paskolos palūkanų norma?" Jis nuskaito dabartinį dominantį tekstą iš žinių bazės ir pagal jį pateikia atsakymus. Šiame skyriuje pamatysime, kaip sukurti žinių bazę, kaip veikia RAG ir kaip gera žinių bazė lemia atsakymų kokybę.

Kaip veikia RAG: keturi žingsniai

Pagalvokite apie RAG kaip apie bibliotekininką. Klientas užduoda klausimus; Sistema pirmiausia suranda atitinkamus puslapius iš dešinės bibliotekos lentynos, tada perskaito tuos puslapius ir parašo atsakymą. Techniniai žingsniai yra tokie:

1. Suskirstymas: ilgi dokumentai žinių bazėje suskaidomi į mažas, reikšmingas dalis (pvz., kiekvienas DUK yra dalis). Kadangi modelis tiksliau atsako į klausimą su susijusiomis mažomis dalimis.
2. Įterpimas ir indeksavimas: kiekvienas kūrinys išverčiamas į skaitinę formą, atspindinčią jo reikšmę (įterpimas – skaičių seka, nurodanti teksto prasmę) ir įtraukiama į paieškos duomenų bazę. Taigi, tai ne „žodžių atitikmuo“, o „prasmės atitikimas“; Net jei klientas klausia "kada bus įnešti mano pinigai?", dalis "grąžinimo laikotarpis" gali būti rasta.
3. Paieškos: paimamos dalys, kurios pagal reikšmę yra arčiausiai kliento klausimo (pvz., artimiausios 3–5 dalys).
4. Generacija: Modelis rašo atsakymą pagal TIK nupieštas dalis ir, jei įmanoma, nurodo šaltinį.

Kritinis taškas yra 4 veiksme: modeliui nurodoma „tiesiog pasikliauti pateiktomis detalėmis arba pasakyti, kad nežinai“. Be šios instrukcijos RAG netrukdo modeliui pritvirtinti.

Užuomina: auksinė RAG taisyklė: „Jei jo nėra šaltinyje, nėra ir atsakymo“. Gera RAG sistema pasakys „Aš tikrai apie tai nežinau“ į klausimą, kurio nėra žinių bazėje; niekada neužpildo spragų spėlionėmis. Boto gebėjimas pasakyti „nežinau“ yra saugos funkcija, o ne silpnybė.

Gera žinių bazė: tikrasis atsakymų kokybės šaltinis

Kad ir koks geras būtų RAG, jei žinių bazė bloga, atsakymas blogas. Žinių bazės kokybė matuojama:

funkcija

bloga žinių bazė

Gera žinių bazė

Aktualumas

Neatnaujinta mėnesius

Atnaujinama iš karto po pakeitimo

Aiškumas

Ilgas, sudėtingas tekstas

Trumpi straipsniai viena tema

struktūra

Netvarkinga PDF krūva

Paženklintos skaidomos medžiagos

Nuoseklumas

Du prieštaraujantys atsakymai

Vienintelis tiesos šaltinis

Taikymo sritis

Yra daug spragų

Apima dažniausiai užduodamus klausimus

nuosavybė

Niekas neatsako

Kiekviena tema turi savininką

Pavojingiausia problema skambučių centro kontekste yra prieštaravimas: jei žinių bazėje įrašomi du skirtingi grąžinimo laikotarpiai, RAG pasakys, kurio iš jų reikės, ir klientui bus išsiųstas nenuoseklus atsakymas. Štai kodėl „vieno tiesos šaltinio“ principas yra labai svarbus: informacija atnaujinama vienoje vietoje; Naudojamos nuorodos į tą šaltinį, o ne kopijos.

Žingsnis po žingsnio: sukurkite RAG palaikomą reagavimo sistemą

1. Išvalykite žinių bazę: pašalinkite pasenusius, prieštaraujančius, pasikartojančius straipsnius. Padarykite kiekvieną straipsnį trumpą ir vieną temą.
2. Išskaidykite jį ir pažymėkite: prie kiekvieno straipsnio pridėkite temos žymą ir paskutinio atnaujinimo datą.
3. Sukurkite prieigą: prijunkite mechanizmą, kuris paprašius patraukia atitinkamas dalis (tai suteikia įmonės RAG įrankiai).
4. Parašykite griežtą raginimą: pasakykite modeliui „pasikliaukite tik pateiktomis dalimis, nurodykite šaltinį arba pasakykite, kad nežinote“.
5. Nurodykite šaltinį: parodykite straipsnį, kuriuo grindžiamas atsakymas; Tai ir suteikia pasitikėjimo, ir palengvina patikrinimą.
6. Stebėkite, ar nėra spragų: surinkite klausimus, kur robotas sako „Aš nežinau“; Tai rodo žinių bazės trūkumus, maitinasi iš ten.

Keturi kopijuojami šablonai

1) Griežtas RAG atsakymo raginimas:

Atsakymas PAGRINDAS šiomis [ŠALTINIS] dalimis. Taisyklės: (1) naudokite tik šaltinyje esančią informaciją, (2) jei jos nėra šaltinyje, pasakykite "apie tai neturiu tikslios informacijos, leiskite prijungti jus prie atstovo", (3) nurodykite, kuriuo straipsniu jis pagrįstas kaip [Šaltinis: prekės Nr.], (4) nurodykite kiekį/trukmę/būklą tiksliai iš šaltinio, nesuapvalinkite/nepadarykite. [ŠALTINIS]: <<ištrauktos dalys>>Klausimas: "<<kliento klausimas>>"

2) Žinių bazės straipsnių rašymas:

Konvertuokite toliau pateiktą išsklaidytą politikos tekstą į DUK straipsnį, tinkamą RAG. Formatas: Klausimas (kliento kalba) / Trumpas atsakymas (2-3 sakiniai) / Sąlygos (sąlyga) / Paskutinio atnaujinimo data / Temos žyma. Bet kokius dviprasmiškus punktus pažymėkite kaip „reikia išsiaiškinti“, apsigalvokite. Neapdorotas tekstas: <<tekstas>>

3) Prieštaravimų ir spragų nuskaitymas:

Išnagrinėkite šiuos žinių bazės straipsnius. (1) Pažymėkite straipsnių poras, kurios prieštarauja viena kitai (pvz., skirtingas grąžinimo laikotarpis). (2) Atspėk temas, kurios bus dažnai užduodamos, bet neturėsiančios atsakymų. Žiūrėkite tik pateiktus straipsnius; kuriant naują politiką.Straipsniai: <<sąrašas>>

4) Patobulinimas iš žurnalo „Nežinau“:

Žemiau pateikiami klausimai, į kuriuos robotas negalėjo atsakyti (nepavyko rasti šaltinio). Sugrupuokite juos į temas ir pasiūlykite straipsnio pavadinimą, kurį reikėtų įtraukti į kiekvienos grupės žinių bazę. Negalvokite atsakymo turinio, tiesiog nurodykite, kurio elemento trūksta.Klausimai: <<sąrašas>>

Silpnas raginimas / Stiprus raginimas

Silpnas raginimas:

Atsakykite į kliento grąžinimo klausimą.

Nėra šaltinio; Modelis gali tilpti iš atminties, gali būti klaidingas kiekis/trukmė, jo negalima patikrinti.

Galingas raginimas:

Atsakykite tik vadovaudamiesi toliau pateikta grąžinimo politikos sąlyga. Jei šaltinyje jo nėra, pasakykite „Aš tikrai nežinau“. Laikotarpį ir būklę nurodykite pažodžiui, nurodykite nuorodą [Šaltinis: RETURN-03].[ŠALTINIS: RETURN-03]: "Nepanaudotą prekę galima grąžinti per 14 dienų. Asmeniniams poreikiams pritaikytoms prekėms grąžinti netaikoma." Klausimas: „Ar galiu grąžinti suasmenintą prekę, kurią nusipirkau prieš 20 dienų?

Skirtumas: priklauso nuo šaltinio, nuoroda privaloma, gamybos draudimas aiškus; modelis sugeneruoja teisingą atsakymą („praėjo 14 dienų ir suasmenintas, negrąžinamas“) iš šaltinio.

trys mini dėklai

1 atvejis – haliucinacijų pabaiga. Telekomunikacijų roboto atsakymų į kampanijos klausimus tikslumas buvo 71 %, kai sąranka be RAG; Modelis kartais kurdavo senas kampanijas. Sujungus dabartinius kampanijos puslapius su RAG ir pridėjus taisyklę „nesakyk, jei to nėra šaltinyje“, tikslumas padidėjo iki 96%, o skundai dėl „neteisingų kampanijos žodžių“ beveik baigėsi.

2 atvejis – prieštaravimo kaina. Elektroninės prekybos įmonės žinių bazėje dviejuose puslapiuose buvo surašytos dvi skirtingos siuntimo išlaidos (vienas dabartinis, vienas senas pamirštas puslapis). Botas atsitiktinai ką nors traukė ir kai kuriems klientams pasakė neteisingą kainą. Senąjį puslapį suarchyvavus vieno teisingo šaltinio principu, nenuoseklumas išnyko. Pamoka: RAG neišsprendžia prieštaravimo, jis skleidžia prieštaravimą tokį, koks jis yra.

3 atvejis – žurnalo „Aš nežinau“ reikšmė. Viename banke robotas sakydavo „aš tiksliai nežinau“ iki ~4000 klausimų per mėnesį. Sugrupavus šiuos klausimus, buvo matyti, kad 40% buvo apie „tarptautinių kortelių naudojimą“; Straipsnio apie tai nebuvo. Pridėjus atitinkamus elementus, šie klausimai buvo išspręsti ir žmonių apyvarta ta tema sumažėjo 55%. Tai, kad robotas pasakė, kad nežino, tapo tobulėjimo planu.

Dažnos klaidos

• Atsakymas be nuorodos į šaltinį. Be RAG modelis tinka konkrečiai informacijai; Bet koks konkretus atsakymas turi priklausyti nuo šaltinio.
• Išjungti parinktį „Aš nežinau“. Modelio privertimas atsakyti į kiekvieną klausimą užtikrina tinkamumą.
• Neišvalyti prieštaringos / senos informacijos. RAG skleidžia prieštaravimą; Vienas teisingas šaltinis yra būtinas.
• Nepaisymas smulkinti. Eksportuojant didelius PDF failus, sutrinka tiksli prieiga; Naudokite trumpus, vienos temos straipsnius.
• Slėpti šaltinį. Nenurodymas, kuo grindžiamas atsakymas, susilpnina patikrinimą ir pasitikėjimą.

Atsargiai: RAG padidina tikslumą, bet nesuteikia 100% garantijos. Modelis kartais gali klaidingai interpretuoti užfiksuotą dalį. Todėl finansiniams, teisiniams ir saugumo klausimams spręsti reikalingas žmogaus pritarimas, net jei nurodomas šaltinis; RAG sumažina haliucinacijas, bet nepanaikina atsakomybės.

Apibendrinant

Žinių bazė ir RAG yra skambučių centro AI tikslumo pagrindas. RAG iš esmės apsaugo nuo haliucinacijų, neleisdamas modeliui pritaikyti atsakymo iš atminties ir pasikliaudamas tik dabartiniu šaltiniu. Tačiau RAG yra tik tiek, kiek yra jos žinių bazė: būtina žinių bazė, kuri yra naujausia, aiški, struktūrizuota, be konfliktų ir turi vieną tiesos šaltinį. Pasakykite modeliui „jei jo nėra šaltinyje, pasakyk, kad nežinai“, nurodykite šaltinį ir naudokite klausimus, į kuriuos robotas negali atsakyti, kad pagerintų savo žinių bazę. Išlaikykite žmogaus sutikimą, nepaisant šaltinio labai svarbiais klausimais.

Taikymo užduotis

Parašykite 8 realius / realistiškus klientų klausimus iš savo pramonės ir 8 atitinkamus trumpus žinių bazės straipsnius (kiekvienas straipsnis: klausimas, trumpas atsakymas, sąlygos, data, žyma). Tada patikrinkite, ar modelis gali pasakyti „nežinau“, naudodamas šabloną „1) griežtas RAG atsakymo raginimas“ ir taip pat užduodamas klausimą, kurio vieno nėra žinių bazėje. Galiausiai patikrinkite savo straipsnius naudodami „3) Prieštaravimų ir spragų nuskaitymas“.

kontrolinis sąrašas

• [ ] Kiekvienas konkretus atsakymas, kurį pateikia robotas / asistentas, priklauso nuo esamos žinių bazės (per RAG).
• [ ] Nurodžiau modeliui „jei jo nėra šaltinyje, pasakyk, kad nežinai“ ir išbandžiau.
• [ ] Mano žinių bazę sudaro naujausi, aiškūs, vienos temos straipsniai.
• [ ] Išvaliau prieštaringus ir senus straipsnius; Yra tik vienas teisingas visos informacijos šaltinis.
• [ ] Atsakymai rodo, kuriuo straipsniu remiamasi (šaltinis).
• [ ] Renku klausimus „Nežinau“ ir papildau žinių bazę.