Ieguvumi:
- Izprotiet, kā darbojas RAG (fragmentācija, piekļuve, no resursiem atkarīga ģenerēšana) un kā tas samazina halucinācijas
- Spēja paaugstināt atbilžu kvalitāti, izveidojot zināšanu bāzi, kas ir aktuāla, skaidra, bez konfliktiem un ar vienu pareizu avotu.
- Spēja instruēt modeli “ja tas nav avotā, saki, ka nezini” un jautājumus, uz kuriem tas nevar atbildēt, pārvērst zināšanu bāzes uzlabošanā
Atbilde, ko sniedz robotprogrammatūra vai aģenta palīgs, ir tik laba, cik laba ir informācija, uz kuras tā ir balstīta. Kad klients jautā "Vai kampaņa turpinās?", pareizā atbilde ir nevis modeļa atmiņā, bet gan pašreizējā iestādes zināšanu bāzē. Tāpēc zvanu centra mākslīgā intelekta pamatā ir zināšanu bāze (KB): atjaunināts resurss, kurā produkti, politikas, FAQ, procedūras un noteikumi tiek glabāti rakstiski. Un metodi, kas droši savieno šo zināšanu bāzi ar mākslīgo intelektu, sauc par RAG: Retrieval-Augmented Generation — tā vietā, lai izdomātu atbildi no savas atmiņas, modelis vispirms izgūst attiecīgās informācijas daļas no avota (izguve) un pēc tam ģenerē atbildi, pamatojoties tikai uz šīm daļām (ģenerācija).
RAG ir visspēcīgākā halucināciju novēršanas metode. Modelis savā galvā neģenerē skaitli jautājumam "kāda ir aizdevuma procentu likme?" Tas izgūst pašreizējo interešu tekstu no zināšanu bāzes un sniedz atbildes, pamatojoties uz to. Šajā nodaļā mēs redzēsim, kā izveidot zināšanu bāzi, kā darbojas RAG un kā laba zināšanu bāze nosaka atbilžu kvalitāti.
Kā darbojas RAG: četri soļi
Domājiet par RAG kā bibliotekāru. Klients uzdod jautājumus; Sistēma vispirms atrod attiecīgās lapas no bibliotēkas labā plaukta, pēc tam izlasa šīs lapas un uzraksta atbildi. Tehniskie soļi ir šādi:
- Sadalīšana: garie dokumenti zināšanu bāzē ir sadalīti mazos, nozīmīgos gabalos (piemēram, katrs FAQ ir daļa). Jo modelis precīzāk atbild uz jautājumu ar saistītām mazām detaļām.
- Iegulšana un indeksēšana: katrs gabals tiek tulkots skaitliskā formā, kas atspoguļo tā nozīmi (iegulšana — skaitļu secība, kas atspoguļo teksta nozīmi) un ievietota meklēšanas datubāzē. Tādējādi tā nav "vārdu atbilstība", bet gan "nozīmju sakritība"; Pat ja klients jautā "kad mana nauda tiks iemaksāta?", daļa "Atmaksas periods" var tikt atrasta.
- Izguve: tiek izgūtas tās daļas, kas pēc nozīmes ir vistuvāk klienta jautājumam (piemēram, tuvākās 3–5 daļas).
- Paaudze: modelis raksta atbildi, pamatojoties TIKAI uzzīmētajām daļām un, ja iespējams, norāda avotu.
Kritiskais punkts ir 4. darbībā: modelim ir dots norādījums "vienkārši paļauties uz dotajiem gabaliem vai pateikt, ka nezināt". Bez šīs instrukcijas RAG neliedz modelim uzstādīt.
Padoms: RAG zelta likums: "Ja tas nav avotā, nav atbildes." Laba RAG sistēma uz jautājumu, kas nav zināšanu bāzē, pateiks "Es par to nezinu droši"; nekad neaizpilda tukšumu ar minējumiem. Bota spēja pateikt "es nezinu" ir drošības līdzeklis, nevis vājums.
Laba zināšanu bāze: patiesais atbildes kvalitātes avots
Neatkarīgi no tā, cik laba ir RAG, ja zināšanu bāze ir slikta, atbilde ir slikta. Zināšanu bāzes kvalitāti mēra ar:
funkciju
slikta zināšanu bāze
Laba zināšanu bāze
Aktualitāte
Nav atjaunināts vairākus mēnešus
Atjaunināts uzreiz pēc izmaiņām
Skaidrība
Garš, sarežģīts teksts
Īsi raksti par vienu tēmu
struktūra
Nekārtīga PDF kaudze
Marķētas noārdāmas vielas
Konsekvence
Divas pretrunīgas atbildes
Viens patiesības avots
Darbības joma
Ir daudz nepilnību
Ietver bieži uzdotos jautājumus
īpašumtiesības
Neviens nav atbildīgs
Katrai tēmai ir īpašnieks
Zvanu centra kontekstā visbīstamākā problēma ir pretruna: ja zināšanu bāzē ir ierakstīti divi dažādi atgriešanas periodi, RAG pateiks, kurš no tiem būs vajadzīgs, un klientam tiks nosūtīta nekonsekventa atbilde. Tāpēc “vienotā patiesības avota” princips ir kritisks: informācija tiek atjaunināta vienuviet; Tiek izmantotas atsauces uz šo avotu, nevis kopijas.
Soli pa solim: izveidojiet RAG atbalstītu reaģēšanas sistēmu
- Notīriet zināšanu bāzi: noņemiet novecojušus, konfliktējošus un dublētus rakstus. Padariet katru rakstu īsu un par vienu tēmu.
- Sadaliet to un atzīmējiet to: pievienojiet tēmas tagu un pēdējās atjaunināšanas datumu katram rakstam.
- Izveidojiet piekļuvi: pievienojiet mehānismu, kas, kad tiek prasīts, izvelk attiecīgās daļas (to nodrošina uzņēmuma RAG rīki).
- Uzrakstiet stingru uzvedni: pasakiet modelim "paļaujieties tikai uz piedāvātajām daļām, norādiet avotu vai sakiet, ka nezināt".
- Citējiet avotu: Parādiet rakstu, uz kura balstīta atbilde; Tas gan sniedz pārliecību, gan atvieglo pārbaudi.
- Pievērsiet uzmanību nepilnībām: apkopojiet jautājumus, kur robotprogrammatūra saka "Es nezinu"; Tie parāda nepilnības zināšanu bāzē, barojas no turienes.
Četras kopējamas veidnes
1) Stingra RAG atbildes uzvedne:
Atbildi, PAMATOJOTIES uz tālāk norādītajām [AVOTS] daļām. Noteikumi: (1) izmantojiet tikai avotā norādīto informāciju, (2) ja tās nav avotā, sakiet: "Man nav konkrētas informācijas par to, ļaujiet man savienot jūs ar pārstāvi", (3) norādiet, uz kuru rakstu tā ir balstīta kā [Avots: preces nr.], (4) norādiet summu/ilgumu/stāvokli precīzi no avota, nenoapaļot/veidojiet. [AVOTS]: <<velk daļas>>Jautājums: "<<klienta jautājums>>"
2) Zināšanu bāzes rakstu rakstīšana:
Pārvērtiet tālāk norādīto izkaisīto politikas tekstu FAQ rakstā, kas piemērots RAG. Formāts: Jautājums (klienta valodā) / Īsa atbilde (2-3 teikumi) / Nosacījumi (klauzula) / Pēdējās atjaunināšanas datums / Tēmas atzīme. Atzīmējiet visus neskaidros punktus kā "jānoskaidro", šķietami. Neapstrādāts teksts: <<teksts>>
3) Pretrunu un nepilnību meklēšana:
Izskatiet tālāk norādītos zināšanu bāzes rakstus. (1) Atzīmējiet tos rakstu pārus, kas KONFLIKTS viens ar otru (piemēram, atšķirīgs atgriešanas periods). (2) Uzminiet tēmas, kuras tiks bieži uzdotas, bet kurām NAV atbildes. Apskatiet tikai dotos rakstus; radot jaunu politiku.Raksti: <<saraksts>>
4) Uzlabojums no žurnāla "Es nezinu":
Zemāk ir jautājumi, uz kuriem robots nevarēja atbildēt (nevarēja atrast avotu). Sagrupējiet tos pa tēmām un iesakiet raksta nosaukumu, kas jāpievieno katras grupas zināšanu bāzei. Neveidojiet atbildes saturu, vienkārši pasakiet man, kura vienuma trūkst.Jautājumi: <<saraksts>>
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Atbildiet uz klienta atgriešanas jautājumu.
Nav avota; Modelis var ietilpt no atmiņas, summa/ilgums var būt nepareizs, to nevar pārbaudīt.
Spēcīga uzvedne:
Atbildiet tikai, pamatojoties uz tālāk norādīto atgriešanas politikas klauzulu. Ja tas nav pieejams avotā, sakiet "Es nezinu droši". Citējiet periodu un nosacījumu burtiski, sniedziet atsauci formā [Avots: RETURN-03].[AVOTS: RETURN-03]: "Nelietotu preci var atgriezt 14 dienu laikā. Personalizētas preces nav atgriešanas ietvaros." Jautājums: "Vai es varu atgriezt personalizēto preci, ko iegādājos pirms 20 dienām?"
Atšķirība: atkarīga no avota, atsauce obligāta, izgatavošanas aizliegums skaidrs; modelis ģenerē pareizo atbildi ("14 dienas pagātnē un personalizēta, neatmaksājama") no avota.
trīs mini futrāļi
1. gadījums — halucinācijas izbeigšana. Telekomunikāciju robota atbilžu precizitāte uz kampaņas jautājumiem bija 71% iestatījumos bez RAG; Modelis dažreiz veidoja vecas kampaņas. Kad pašreizējās kampaņas lapas tika savienotas ar RAG un tika pievienots noteikums "Nesaki, ja tas nav avotā", precizitāte palielinājās līdz 96% un gandrīz beidzās sūdzības par "nepareiziem kampaņas vārdiem".
2. gadījums — pretrunu cena. E-komercijas uzņēmuma zināšanu bāzē uz divām lapām tika ierakstītas divas dažādas piegādes izmaksas (viena pašreizējā, viena veca aizmirsta lapa). Bots nejauši kādu vilka un dažiem klientiem paziņoja nepareizu cenu. Kad vecā lapa tika arhivēta ar viena pareiza avota principu, nekonsekvence pazuda. Nodarbība: RAG neatrisina pretrunu, tā izplata pretrunu tādu, kāda tā ir.
3. gadījums — žurnāla “Es nezinu” vērtība. Vienā bankā bots teica "Es nezinu droši" uz ~4000 jautājumiem mēnesī. Kad šie jautājumi tika sagrupēti, bija redzams, ka 40% bija par "starptautisko karšu lietošanu"; Raksta par to nebija. Pievienojot attiecīgās pozīcijas, šie jautājumi tika atrisināti un apgrozījums cilvēkiem par šo tēmu samazinājās par 55%. Fakts, ka robots teica, ka nezina, kļuva par uzlabojumu plānu.
Biežas kļūdas
- Atbildot bez saites uz avotu. Bez RAG modelis atbilst konkrētai informācijai; Jebkurai konkrētai atbildei jābūt atkarīgai no avota.
- Izslēdzot opciju "Es nezinu". Piespiežot modeli atbildēt uz katru jautājumu, tiek nodrošināta atbilstība.
- Netiek notīrīta pretrunīga/veca informācija. RAG izplata pretrunas; Viens pareizs avots ir būtisks.
- Sasmalcināšanas neievērošana. Eksportējot lielus PDF failus, tiek traucēta precīza piekļuve; Izmantojiet īsus rakstus par vienu tēmu.
- Avota slēpšana. Nenorādīšana, uz ko balstīta atbilde, vājina pārbaudi un uzticēšanos.
Uzmanību: RAG uzlabo precizitāti, bet nesniedz 100% garantiju. Modelis dažkārt var nepareizi interpretēt uzņemto daļu. Tāpēc finanšu, juridiskie un drošības jautājumi prasa cilvēka apstiprinājumu pat tad, ja tiek norādīts avots; RAG samazina halucinācijas, bet neatceļ atbildību.
Rezumējot
Zināšanu bāze un RAG ir zvanu centra AI precizitātes pamats. RAG lielā mērā novērš halucinācijas, neļaujot modelim pielāgot atbildi no atmiņas un paļaujoties tikai uz pašreizējo avotu. Taču RAG ir tikai tik laba, cik laba ir tās zināšanu bāze: būtiska ir zināšanu bāze, kas ir atjaunināta, skaidra, strukturēta, bez konfliktiem un kurai ir viens patiesības avots. Pastāstiet modelim "ja tas nav avotā, sakiet, ka nezināt", norādiet uz avotu un izmantojiet jautājumus, uz kuriem robots nevar atbildēt, lai uzlabotu savu zināšanu bāzi. Saglabājiet cilvēka piekrišanu, neraugoties uz avotu, kas attiecas uz īpašiem jautājumiem.
Lietojumprogrammas uzdevums
Uzrakstiet 8 reālus/reālistiskus klientu jautājumus no savas nozares un 8 atbilstošus īsus zināšanu bāzes rakstus (katrs raksts: jautājums, īsa atbilde, nosacījumi, datums, atzīme). Pēc tam pārbaudiet, vai modelis var pateikt “Es nezinu”, izmantojot modeli “1) Tight RAG atbildes uzvedne” un arī uzdodot jautājumu, no kuriem viens nav zināšanu bāzē. Visbeidzot pārbaudiet savus rakstus ar "3) Pretrunu un nepilnību skenēšana".
kontrolsaraksts
- [ ] Katra konkrētā robota/asistenta sniegtā atbilde ir atkarīga no pašreizējās zināšanu bāzes (izmantojot RAG).
- [ ] Es modelim norādīju "ja tas nav avotā, pasakiet, ka nezināt" un pārbaudīju.
- [ ] Manu zināšanu bāzi veido aktuāli, skaidri raksti par vienu tēmu.
- [ ] Es notīrīju pretrunīgos un vecos rakstus; Visai informācijai ir tikai viens pareizais avots.
- [ ] Atbildes parāda, uz kuru rakstu tas ir balstīts (avots).
- [ ] Es apkopoju jautājumus "Es nezinu" un baroju zināšanu bāzi.