Atbilžu ģenerēšana no zināšanu bāzes (ievads RAG)

Ieguvumi:

• Izpratne par zināšanām balstītas paaudzes (RAG) loģiku un to, kāpēc tā samazina halucinācijas
• Iespēja likt modelim atbildēt ar citātu, pamatojoties tikai uz sniegtajiem avota dokumentiem
• Spēja pārvaldīt jautājumus, kas nav avotā, pārsūtot tos droši, neizdomājot jautājumus

Valodas modelis "zina" daudz, bet tas nezina jūsu uzņēmuma šodienas atgriešanas politiku, jūsu pašreizējo cenrādi vai jūsu piegādes līgumu, kas tika mainīts vakar. Sliktāk, kad viņš nezina, viņš bieži izdomā un raksta ārkārtīgi pārliecinātā tonī. Tas ir liktenīgs klientu apkalpošanas trūkums: modelī ir rakstīts: “Atmaksa tiek izsniegta 30 dienu laikā”, savukārt jūsu polise var būt 14 dienas. Pieeja, kas novērš šo plaisu, tiek saukta par RAG: Retrieval-Augmented Generation, tas ir, "izguves paplašinātā ražošana".

Ideja ir vienkārša: Modelis uz jautājumu atbild nevis no atmiņas, bet gan no pareiziem avota dokumentiem, kas tajā brīdī novietoti priekšā. Pirmkārt, pareizais dokuments, kas attiecas uz jautājumu, ir "atgūšana", tad modelis "ģenerē" atbildi, pamatojoties tikai uz šo jautājumu. Šajā nodaļā jūs sapratīsit RAG loģiku un uzzināsit, kā iegrožot modeli, lai tas paliktu tikai pie jūsu norādītā pārbaudītā avota.

Piezīme. Šī vienība māca RAG darbības loģiku un tūlītējo pusi. Uzņēmuma mēroga automātiskās dokumentu izguves sistēmām (vektoru datubāzei u.c.) nepieciešama tehniska instalācija; Disciplīna šeit ir pamats, lai šī sistēma varētu pareizi reaģēt.

Kāpēc RAG samazina halucinācijas?

Halucinācijas ir tad, kad modelis rada nereālu informāciju, it kā tā būtu īsta. Modelis ir ieprogrammēts, lai radītu atbildi, kas šķiet “iespējama”, kad tas redz plaisu; Nezina, vai tā ir taisnība vai nē. RAG aizpilda šo robu: jūs piešķirat modelim faktisko atbilstošo tekstu kopā ar jautājumu un sakāt "tikai atbilde no šejienes". Tādā veidā modelim nav "jāpieguļ".

Ir trīs komponenti:

• Zināšanu bāze: uzticami teksti, piemēram, FAQ, politikas dokumenti, produktu rokasgrāmatas, cenu saraksti.
• Atgūšana: Atrodiet dokumentu, kurā ir atbilde uz jautājumu, un nododiet to modelim.
• Ierobežots izdevums: modelis atbild ar citātu, pamatojoties tikai uz piegādāto daļu.

Soli pa solim: uzticama atbilde uz avotu

1. Sagatavojiet avotu. Skaidrā un aktuālā formātā atrodiet tekstu, uz kura tiks balstīta atbilde (politika, FAQ).
2. Iegult uzvednē avotu. Ievietojiet tekstu tagā, piemēram, <avots>.
3. Uzrakstiet lojalitātes noteikumu. "Izmantojiet tikai informāciju no avota; neatkāpieties no avota."
4. Padarīt atsauci par obligātu. Ļaujiet viņam/viņai norādīt, uz kuru sadaļu atbilde ir balstīta.
5. Nosakiet uzvedību, kas nav saistīta ar resursiem. Ja atbilde nav avotā, ļaujiet viņam pateikt "Man nav šīs informācijas" un nododiet to tālāk.
6. Pārbaudīt. Apstipriniet atbildi, salīdzinot to ar avota teikumu, uz kura tā ir balstīta.

Kopējamās uzvednes

Atbildes uzvedne, pamatojoties uz pamatā esošo avotu:

Loma: Jūs esat klientu atbalsta palīgs. Atbildiet uz jautājumu TIKAI, pamatojoties uz informāciju tālāk esošajā blokā <source>. Nepievienojiet nekādu informāciju, kas nav norādīta avotā, neuzminiet vai atbildiet no jūsu vispārējām zināšanām. Pievienojiet atbildes beigās sadaļu, uz kuru paļaujaties, formātā "[Avots: ...]". Ja atbilde nav norādīta avotā, ierakstiet šādu tekstu: "Man nav galīgas informācijas par šo tēmu, es nosūtu jūs pie amatpersonas, kas var sniegt pareizo atbildi."<source>{{ policy_or_faq_text }}</source>Jautājums: {{ customer_question }}

Vairāku avotu gadījumā uzvedne, lai parādītu, uz kuru dokumentu tas ir balstīts:

Tālāk ir norādīti vairāki resursi. Atbildot uz jautājumu, norādiet izmantotā avota numuru, piemēram, [Source 2]. Ja vairāk nekā viens avots jums ir pretrunā, pasakiet to skaidri un sakiet, ka jums vajadzētu jautāt, kurš no tiem ir jaunāks.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Jautājums: {{ customer_question }}

Uzvedne, kas droši pārvalda jautājumu, kas nav avota jautājums:

Ja atbilde uz jautājumu ir DAĻĒJI atrodama avotā: atbildiet tikai uz avotā ietverto daļu un pārējai daļai sakiet "šīs detaļas nav avotā". Nekad neaizpildiet trūkstošo daļu, minot.

Uzvedne, kas tulko atbildi klienta valodā, bet paliek uzticīga avotam:

Tulko oficiālo/tehnisko izteicienu avotā vienkāršā, klientam saprotamā valodā, bet NEMAINI nozīmi un skaitliskās vērtības (diena, summa, likme). Piemēram, noapaļojot "14 kalendārās dienas" uz "apmēram divas nedēļas"; saglabāt pilnu vērtību.

Vāja uzvedne / spēcīga uzvedne

Vāja uzvedne

Spēcīga uzvedne

"Pastāstiet mums par mūsu atgriešanas politiku"

Iegults avots + "atbildēt tikai šeit" + pieprasa citātu

Atbilde no modeļa atmiņas (varbūt nepareiza)

Atbilde no jūsu pašreizējā dokumenta

Ja tas nav avotā, viņš to izdomā

Viņš saka "Man nav šīs informācijas" un nodod to tālāk.

Var noapaļot un izkropļot skaitļus

Precīzi saglabā dienu/summu/likmi

Atšķirība ir tāda, ka spēcīga uzvedne piešķir modelim enkuru (avota teksts) un aizliegumu (iziet no avota). Modele vairs nerunā no atmiņas, bet gan no realitātes, kas viņam priekšā.

Trīs mini futrāļi

1. gadījums — vecās politikas lamatas. "Atgriešana pieņemta 30 dienu laikā," viena veikala robots teica, darbojoties bez kredīta; Tomēr uzņēmums samazināja periodu līdz 14 dienām. Kad atjauninātais politikas teksts tiek pievienots avotam RAG instalācijā, robots tagad atbild: "14 kalendārās dienas [Avots: atgriešanas politika, 2. pants]". Strīdi par atmaksu, kas izriet no nepatiesiem solījumiem, ir atiestatīti.

2. gadījums — pretrunu uztveršana. Klients jautāja par piegādes izmaksām. Kā avoti sistēmā tika ievadīti gan vecie, gan jaunie cenrāži. Pateicoties vairāku avotu uzvednei, modelis teica: "Divi avoti piedāvā dažādas cenas (49 TL un 59 TL); man ir jāapstiprina pašreizējā" un nodeva problēmu cilvēkam. Tā vietā, lai pateiktu klientam nepareizu summu, viņš godīgi paziņoja par nenoteiktību.

3. gadījums — daļējas atbildes disciplīna. "Vai jūs nosūtāt produktu uz ārzemēm un kas maksā muitas nodokli?" Jautājumā avots tikai teica, ka sūtījums veikts, nekas nebija par to, kas maksā nodokli. Modele teica: "Jā, nosūtīšana tiek veikta uz ārzemēm [Avots: Cargo FAQ]. Tomēr šajā dokumentā nav norādīts, kas maksā muitas nodokli; es nododu jūs amatpersonai, lai to noskaidrotu." Daļēji patiesas, daļēji izdomātas atbildes vietā tas radīja godīgu un pārliecinošu rezultātu.

Padoms. Saglabājiet savas zināšanu bāzes jaunāko un vienotā patiesības avota versiju. Viena un tā pati informācija (piemēram, atgriešanas periods) trijos atsevišķos dokumentos rakstīta atšķirīgi, ir lielākais RAG ienaidnieks; Modelis reaģē atšķirīgi atkarībā no tā, uz kuru tas skatās. Vispirms noņemiet dokumentu dublikātus un pēc tam automatizējiet tos.

Pārbaude: neatslābinieties tikai tāpēc, ka avots pastāv

RAG ievērojami samazina halucinācijas, bet neatjauno tās. Modelis dažkārt var nepareizi interpretēt avotu, sajaucot divus teikumus vai izdarot “secinājumu”, kas nav avotā. Tāpēc citēšanas prasība ir ļoti svarīga: atveriet sadaļu, uz kuru tiek apgalvots, ka atbilde ir balstīta, un pārbaudiet, vai tā patiešām saka. Šī vadīkla nav apspriežama, jo īpaši atbildēs, kas satur skaitļus (diena, summa, likme) un nosacījumus (izņēmums, nosacījums).

Uzmanību: ja pats avots ir nepareizs vai novecojis, RAG uzticīgi atkārto šo kļūdu. Sakot "modelis runā no avota" nenozīmē "modelis runā pareizi"; Jūs esat atbildīgs par sava avota valūtu un precizitāti.

Zināšanu bāzes uzturēšana gatava reaģēšanai

RAG kvalitāte lielā mērā ir atkarīga no tā, kā ir uzrakstīts avota teksts. Modelis sniedz daudz precīzāku atbildi nekā labi strukturēti, nosaukti, vienas tēmas teksti. Praktiski padomi: rakstiet savas politikas īsās sadaļās ar nosaukumu, nevis garās, ligzdotās rindkopās; Ļaujiet katrai sadaļai atbildēt uz vienu jautājumu ("Cik dienu ir atgriešanas periods?", "Kurus produktus nevar atgriezt?"). Saglabājot bieži uzdotos jautājumus (FAQ) jautājumu un atbilžu formātā, modelim ir vieglāk atrast pareizo daļu. Skaidri un vienuviet tekstā norādiet vērtības, piemēram, datumu, summu un likmi; Viena un tā paša numura rakstīšana dažādās sadaļās rada apjukumu modelī.

Vēl viens svarīgs ieradums ir uzturēt zināšanu bāzi dzīvu. Politikas, cenas un akcijas atšķiras; Ja avots netiek atjaunināts, modelis turpina droši atkārtot veco patiesību. Ar katrām politikas izmaiņām atjauniniet avotu un atkārtoti uzdodiet modelim dažus testa jautājumus par mainīto tēmu, lai pārliecinātos, ka tā sniedz pareizo atbildi. Šī nelielā, bet regulārā apkope neļauj RAG sistēmai "klusi noiet greizi" laika gaitā.

Biežas kļūdas

• Sakot "izskaidrojiet mūsu politiku", neapglabājot avotu un paļaujoties uz modeļa iegaumēšanu.
• Nenosaka robežu “atbilde tikai no avota” un darbību, kas nav saistīta ar avotu.
• Nepieprasot citātu/avota atsauci un atstājot atbildi nepārbaudāmu.
• Vienas un tās pašas informācijas konfliktējošo versiju glabāšana vairākos zināšanu bāzes dokumentos.
• Ļauj modelim noapaļot/interpretēt skaitliskās vērtības.
• Aizmirstot atjaunināt avotu, liekot modelim patiesi atkārtot veco informāciju.

Rezumējot

• RAG nozīmē, ka modelis veido atbildi no pašreizējā avota dokumenta, nevis no atmiņas.
• Praktiskākais veids, kā mazināt halucinācijas: apglabājiet avotu, sakiet "atbildi tikai šeit", lūdziet atsauci.
• Ja atbilde nav avotā, modelim nevajadzētu piemērot; Viņam jāsaka "man nav" un jānodod.
• Padariet modeli informētu par pretrunīgiem avotiem; Jūs precīzi saglabājāt skaitliskās vērtības.
• RAG precizitāte ir atkarīga no jūsu avota savlaicīguma; Vienmēr apstipriniet citātu.

Lietojumprogrammas uzdevums

Paņemiet faktisku politikas tekstu (atgriešana, piegāde vai dalība) no sava uzņēmuma un ieguliet to kā avotu iepriekš minētajā pamata RAG uzvednē. Pēc tam uzdodiet trīs jautājumus: (1) jautājumu, kura atbilde ir skaidra avotā, (2) jautājumu, uz kuru atbildes avotā vispār nav, (3) jautājumu, kura atbilde avotā ir tikai nepilnīga. Pārbaudiet, vai modelis atbild pareizi, saka “Man tā nav” un godīgi atzīmē attiecīgi daļēju atbildi un trūkstošo. Izlabojiet novirzes, uzvednē nostiprinot lojalitātes un resursu nelietošanas noteikumus.

kontrolsaraksts

• [ ] Es uzvednē iegultu pašreizējo avotu, uz kura tiks balstīta atbilde.
• [ ] Es pievienoju noteikumu "Atbildiet tikai no avota, nepārsniedziet".
• [ ] Esmu noteicis avota atsauces/atsauču prasību.
• [ ] Es definēju deleģēšanas uzvedību, ja atbilde nav pieejama avotā.
• [ ] Es prasīju, lai skaitliskās vērtības tiktu saglabātas precīzi.
• [ ] Es apstiprināju atbildi no avota teikuma, uz kura tā ir balstīta.