Dobici:
- Shvatite kako funkcionira RAG (fragmentacija, pristup, generiranje ovisno o resursima) i kako smanjuje halucinacije
- Sposobnost povećanja kvalitete odgovora uspostavom baze znanja koja je aktualna, jasna, bez sukoba i ima jedan točan izvor.
- Sposobnost davanja uputa modelu 'ako nije u izvoru, reci mi da ne znaš' i pretvaranja pitanja na koja ne može odgovoriti u poboljšanje baze znanja
Odgovor koji daje bot ili pomoćnik agenta dobar je onoliko koliko su dobri podaci na kojima se temelji. Kada korisnik pita "Da li se kampanja nastavlja?", točan odgovor nije u memoriji modela, već u trenutnoj bazi znanja institucije. Zato je srce umjetne inteligencije pozivnog centra baza znanja (KB): ažuran resurs u kojem se proizvodi, pravila, često postavljana pitanja, procedure i pravila čuvaju u pisanom obliku. A metoda koja sigurno povezuje ovu bazu znanja s umjetnom inteligencijom zove se RAG: Retrieval-Augmented Generation — umjesto izmišljanja odgovora iz vlastite memorije, model prvo dohvaća relevantne dijelove informacija iz izvora (dohvaćanje), a zatim generira odgovor samo na temelju tih dijelova (generiranje).
RAG je najmoćnija metoda sprječavanja halucinacija. Model ne generira broj u svojoj glavi za pitanje "koja je kamatna stopa na kredit?" Dohvaća trenutni tekst interesa iz baze znanja i odgovara na temelju njega. U ovoj jedinici ćemo vidjeti kako postaviti bazu znanja, kako RAG radi i kako dobra baza znanja određuje kvalitetu odgovora.
Kako RAG radi: četiri koraka
Zamislite RAG kao knjižničara. Kupac postavlja pitanja; Sustav prvo pronalazi relevantne stranice s desne police knjižnice, zatim ih čita i upisuje odgovor. Tehnički koraci su sljedeći:
- Razdvajanje: dugi dokumenti u bazi znanja podijeljeni su u male, smislene dijelove (npr. svaki FAQ je komad). Budući da model točnije odgovara na pitanje s povezanim malim dijelovima.
- Ugrađivanje i indeksiranje: Svaki se dio prevodi u numerički oblik koji predstavlja njegovo značenje (ugrađivanje—niz brojeva koji predstavlja značenje teksta) i stavlja se u bazu podataka koja se može pretraživati. Dakle, to nije "podudaranje riječi" nego "podudaranje značenja"; Čak i ako kupac pita "kada će moj novac biti položen?", može se pronaći dio "razdoblje povrata".
- Dohvaćanje: Dohvaćaju se dijelovi koji su najbliži značenju kupčevom pitanju (npr. najbližih 3-5 dijelova).
- Generiranje: Model piše odgovor na temelju SAMO nacrtanih dijelova i navodi izvor ako je moguće.
Kritična točka je u koraku 4: model dobiva upute da se "samo osloni na dane dijelove ili kaže da ne znaš". Bez ove upute, RAG ne sprječava montažu modela.
Savjet: RAG-ovo zlatno pravilo: "Ako nije u izvoru, nema odgovora." Dobar RAG sustav će reći "Ne znam za ovo sigurno" na pitanje koje nije u bazi znanja; nikad ne ispunjava prazninu nagađanjem. Sposobnost bota da kaže "ne znam" je sigurnosna značajka, a ne slabost.
Dobra baza znanja: pravi izvor kvalitete odgovora
Bez obzira koliko je RAG dobar, ako je baza znanja loša, odgovor je loš. Kvaliteta baze znanja mjeri se:
značajka
loša baza znanja
Dobra baza znanja
Aktualnost
Nije ažurirano mjesecima
Ažurirano odmah nakon promjene
Jasnoća
Dug, zamršen tekst
Kratki članci s jednom temom
struktura
Neuredna hrpa PDF-ova
Označene razgradive tvari
Dosljednost
Dva proturječna odgovora
Jedini izvor istine
Opseg
Puno je praznina
Pokriva često postavljana pitanja
vlasništvo
Nitko nije odgovoran
Svaka tema ima svog vlasnika
Najopasniji problem u kontekstu pozivnog centra je kontradiktornost: ako su u bazi znanja zapisana dva različita roka povrata, RAG će reći koji god od njih i korisniku će poslati nekonzistentan odgovor. Zato je ključno načelo "jednog izvora istine": informacije se ažuriraju na jednom mjestu; Koriste se reference na taj izvor, a ne kopije.
Korak po korak: izgradnja sustava odgovora podržanog RAG-om
- Očistite bazu znanja: uklonite zastarjele, proturječne, duplicirane članke. Neka svaki članak bude kratak i s jednom temom.
- Raščlanite ga i označite: dodajte oznaku teme i datum posljednjeg ažuriranja svakom članku.
- Uspostavite pristup: povežite mehanizam koji povlači relevantne dijelove kada se to zatraži (poslovni RAG alati to omogućuju).
- Napišite strogi upit: recite modelu "oslanjajte se samo na navedene dijelove, navedite izvor ili recite da ne znate."
- Navedite izvor: Prikažite članak na kojem se temelji odgovor; To daje povjerenje i olakšava provjeru.
- Pazite na praznine: prikupite pitanja na kojima bot kaže "Ne znam"; Oni pokazuju nedostatke u bazi znanja, odatle se napajaju.
Četiri predloška za kopiranje
1) Striktni RAG odgovor:
Odgovorite NA TEMELJU sljedećih [IZVORA] dijelova. Pravila: (1) koristite samo podatke u izvoru, (2) ako nisu u izvoru, recite "Nemam točnu informaciju o ovome, dopustite da vas povežem s predstavnikom", (3) navedite na kojem se članku temelji kao [Izvor: br. stavke], (4) navedite iznos/trajanje/stanje točno iz izvora, nemojte zaokruživati/nadoknađivati. [IZVOR]: <<izvučeni dijelovi>>Pitanje: "<<pitanje kupca>>"
2) Pisanje članka baze znanja:
Pretvorite sljedeći raštrkani tekst pravila u članak s često postavljanim pitanjima prikladan za RAG. Format: Pitanje (na jeziku kupca) / Kratak odgovor (2-3 rečenice) / Uvjeti (klauzula) / Datum posljednjeg ažuriranja / Oznaka teme. Označite sve dvosmislene točke kao "treba razjasniti", lažno. Neobrađeni tekst: <<tekst>>
3) Skeniranje kontradikcija i praznina:
Pregledajte sljedeće članke baze znanja. (1) Označite parove artikala koji SU U SUKOBJU (npr. različito razdoblje povrata). (2) Pogodite teme koje će se često postavljati, ali NEMA odgovora. Pogledajte samo navedene članke; produciranje nove politike.Članci: <<popis>>
4) Poboljšanje iz dnevnika "Ne znam":
Ispod su pitanja na koja bot nije mogao odgovoriti (nije mogao pronaći izvor). Grupirajte ih u teme i predložite naslov članka koji treba dodati u bazu znanja za svaku grupu. Ne izmišljaj sadržaj odgovora, samo mi reci koja stavka nedostaje. Pitanja: <<popis>>
Slab upit / Jak upit
Slab upit:
Odgovorite na kupčevo povratno pitanje.
Nema izvora; Model može odgovarati prema memoriji, količina/trajanje može biti pogrešan, ne može se provjeriti.
Snažan upit:
Odgovorite samo na temelju klauzule pravila povrata u nastavku. Ako nije dostupno u izvoru, recite "Ne znam sigurno". Doslovno navedite razdoblje i stanje, navedite referencu u obliku [Izvor: POVRATAK-03].[IZVOR: POVRATAK-03]: "Nekorišteni proizvod moguće je vratiti u roku od 14 dana. Personalizirani proizvodi nisu u okviru povrata." Pitanje: "Mogu li vratiti personalizirani proizvod koji sam kupio prije 20 dana?"
Razlika: ovisno o izvoru, referenca obavezna, zabrana proizvodnje jasna; model generira točan odgovor ("14 dana prošlo i personalizirano, nepovratno") iz izvora.
tri mini kućišta
Slučaj 1 — Okončanje halucinacije. Točnost odgovora telekom bota na pitanja kampanje bila je 71% u postavci bez RAG-a; Manekenka je ponekad izmišljala stare kampanje. Kada su trenutne stranice kampanje povezane s RAG-om i kada je dodano pravilo "ne govori ako nije u izvoru", točnost se povećala na 96%, a pritužbe na "pogrešne riječi kampanje" gotovo su prestale.
Slučaj 2 — Cijena kontradikcije. U bazi znanja tvrtke za e-trgovinu dva su različita troška dostave ispisana na dvije stranice (jedna trenutna, jedna stara zaboravljena stranica). Bot je nasumično izvlačio nekoga i nekima od kupaca govorio krivu cijenu. Kada je stara stranica arhivirana po principu jednog ispravnog izvora, nedosljednost je nestala. Lekcija: RAG ne rješava kontradikciju, on propagira kontradikciju onakvu kakva jest.
Slučaj 3 — Vrijednost dnevnika "Ne znam". U jednoj banci bot je odgovarao "Ne znam sigurno" na ~4000 pitanja mjesečno. Kada su ova pitanja grupirana, vidjelo se da se 40% odnosilo na "korištenje međunarodne kartice"; Nije bilo članka o tome. Kada su dodane relevantne stavke, ta pitanja su riješena i promet ljudima na tu temu se smanjio za 55%. Činjenica da je bot rekao da ne zna postala je putokaz za poboljšanje.
Uobičajene greške
- Odgovaranje bez povezivanja s izvorom. Bez RAG-a, model odgovara konkretnim informacijama; Svaki konkretan odgovor mora ovisiti o izvoru.
- Isključivanje opcije "ne znam". Prisiljavanje modela da odgovori na svako pitanje osigurava uklapanje.
- Nebrisanje proturječnih/starih informacija. RAG širi kontradikciju; Neophodan je jedan ispravan izvor.
- Zanemarivanje komadanja. Izvoz velikih PDF-ova kakvi jesu ometa točan pristup; Koristite kratke članke s jednom temom.
- Skrivanje izvora. Nenaznačavanje na čemu se odgovor temelji slabi provjeru i povjerenje.
Oprez: RAG poboljšava točnost, ali ne daje 100% jamstvo. Model ponekad može pogrešno protumačiti snimljeni dio. Stoga financijska, pravna i sigurnosna pitanja zahtijevaju ljudsko odobrenje čak i ako je izvor naveden; RAG smanjuje halucinacije, ali ne uklanja odgovornost.
Ukratko
Baza znanja i RAG temelj su točnosti AI pozivnog centra. RAG u velikoj mjeri sprječava halucinacije sprječavajući model da prilagodi odgovor iz memorije i oslanja se isključivo na trenutni izvor. Ali RAG je dobar onoliko koliko je dobar njegova baza znanja: ključna je baza znanja koja je ažurna, jasna, strukturirana, bez sukoba i ima jedan izvor istine. Recite modelu "ako nije u izvoru, recite mi da ne znate", pokažite na izvor i upotrijebite pitanja na koja bot ne može odgovoriti kako biste poboljšali svoju bazu znanja. Održavajte ljudski pristanak unatoč izvoru o važnim stvarima.
Zadatak aplikacije
Napišite 8 stvarnih/realnih pitanja kupaca iz vaše industrije i 8 odgovarajućih kratkih članaka baze znanja (svaki članak: pitanje, kratki odgovor, uvjeti, datum, oznaka). Zatim testirajte može li model reći "Ne znam" pomoću obrasca "1) Tight RAG odgovor" i postavljanja pitanja od kojih jedno nije u bazi znanja. Konačno, provjerite svoje članke s "3) Proturječnost i skeniranje praznina".
popis za provjeru
- [ ] Svaki konkretan odgovor koji daje bot/pomoćnik ovisi o trenutnoj bazi znanja (putem RAG-a).
- [ ] Rekao sam modelu "ako ga nema u izvoru, reci mi da ne znaš" i testirao ga.
- [ ] Moja baza znanja sastoji se od ažuriranih, jasnih članaka s jednom temom.
- [ ] Očistio sam proturječne i stare članke; Postoji samo jedan ispravan izvor za sve informacije.
- [ ] Odgovori pokazuju na kojem se članku temelji (izvor).
- [ ] Skupljam pitanja tipa "Ne znam" i hranim bazu znanja.