Dobici:
- Shvatite kako funkcionira RAG (fragmentacija, pristup, generiranje ovisno o resursima) i kako smanjuje halucinacije
- Sposobnost povećanja kvaliteta odgovora uspostavljanjem baze znanja koja je aktuelna, jasna, nekonfliktna i ima jedan tačan izvor.
- Sposobnost da se model uputi 'ako nije u izvoru, reci mi da ne znaš' i pretvori pitanja na koja ne može odgovoriti u poboljšanje baze znanja
Odgovor koji daje bot ili pomoćnik agenta je dobar onoliko koliko su dobre informacije na kojima se zasniva. Kada kupac pita "Da li se kampanja nastavlja?", tačan odgovor nije u memoriji modela, već u trenutnoj bazi znanja institucije. Zato je srce umjetne inteligencije pozivnog centra baza znanja (KB): ažurni resurs u kojem se proizvodi, politike, često postavljana pitanja, procedure i pravila čuvaju u pisanoj formi. Metoda koja bezbedno povezuje ovu bazu znanja sa veštačkom inteligencijom naziva se RAG: Retrieval-Augmented Generation — umesto da pravi odgovor iz sopstvene memorije, model prvo preuzima relevantne delove informacija iz izvora (preuzimanje), a zatim generiše odgovor samo na osnovu tih delova (generacija).
RAG je najmoćnija metoda prevencije halucinacija. Model ne generiše broj u glavi za pitanje "koja je kamatna stopa na kredit?" Dohvaća tekst trenutnog interesa iz baze znanja i na osnovu njega odgovara. U ovoj cjelini ćemo vidjeti kako postaviti bazu znanja, kako RAG funkcionira i kako dobra baza znanja određuje kvalitet odgovora.
Kako RAG radi: četiri koraka
Razmišljajte o RAG-u kao o bibliotekaru. Kupac postavlja pitanja; Sistem prvo pronalazi relevantne stranice sa desne police biblioteke, zatim čita te stranice i upisuje odgovor. Tehnički koraci su sljedeći:
- Kompenzacija: Dugi dokumenti u bazi znanja razbijeni su na male, smislene dijelove (npr. svaki FAQ je komad). Zato što model preciznije odgovara na pitanje sa povezanim malim dijelovima.
- Ugrađivanje i indeksiranje: Svaki komad se prevodi u numerički oblik koji predstavlja njegovo značenje (ugrađivanje — niz brojeva koji predstavlja značenje teksta) i stavlja se u bazu podataka za pretraživanje. Dakle, to nije "podudaranje riječi" već "podudaranje značenja"; Čak i ako kupac pita "kada će moj novac biti uplaćen?", može se pronaći dio "period povrata".
- Preuzimanje: Preuzeti su dijelovi koji su po značenju najbliži pitanju kupca (npr. najbližih 3-5 dijelova).
- Generisanje: Model piše odgovor na osnovu SAMO nacrtanih delova i ukazuje na izvor ako je moguće.
Kritična tačka je u koraku 4: modelu se daje uputstva da se „samo osloni na date delove ili kaže da ne znaš“. Bez ovog uputstva, RAG ne sprečava model da se uklopi.
Savjet: Zlatno pravilo RAG-a: "Ako nije u izvoru, nema odgovora." Dobar RAG sistem će na pitanje koje nije u bazi znanja reći "ne znam sigurno za ovo"; nikada ne popunjava prazninu nagađanjima. Botova sposobnost da kaže "ne znam" je sigurnosna karakteristika, a ne slabost.
Dobra baza znanja: pravi izvor kvaliteta odgovora
Bez obzira koliko je RAG dobar, ako je baza znanja loša, odgovor je loš. Kvalitet baze znanja mjeri se:
karakteristika
loša baza znanja
Dobra baza znanja
Aktuelnost
Nije ažurirano mjesecima
Ažurirano odmah nakon promjene
Jasnoća
Dugačak, zamršen tekst
Kratki članci sa jednom temom
strukturu
Neuredna PDF gomila
Označene razgradive supstance
Dosljednost
Dva oprečna odgovora
Jedini izvor istine
Obim
Postoje mnoge praznine
Pokriva često postavljana pitanja
vlasništvo
Niko nije odgovoran
Svaka tema ima vlasnika
Najopasniji problem u kontekstu pozivnog centra je kontradikcija: ako su u bazi znanja upisana dva različita perioda vraćanja, RAG će reći koji god treba i korisniku će biti poslan nedosljedan odgovor. Zato je princip „jedan izvor istine“ ključan: informacije se ažuriraju na jednom mjestu; Koriste se reference na taj izvor, a ne kopije.
Korak po korak: izgradnja sistema odgovora koji podržava RAG
- Očistite bazu znanja: uklonite zastarjele, konfliktne, duplirane članke. Neka svaki članak bude kratak i jednotematski.
- Rastavite ga i označite: dodajte oznaku teme i datum posljednjeg ažuriranja svakom članku.
- Uspostavite pristup: Povežite mehanizam koji vuče relevantne dijelove kada se to od vas zatraži (ovo obezbjeđuju poslovni RAG alati).
- Napišite striktan upit: recite modelu "samo se oslanjajte na dostavljene dijelove, citirajte izvor ili recite da ne znate."
- Navedite izvor: Pokažite članak na kojem se temelji odgovor; To istovremeno daje samopouzdanje i olakšava verifikaciju.
- Pazite na praznine: Prikupite pitanja gdje bot kaže "Ne znam"; Oni pokazuju nedostatke u bazi znanja, hrani se odatle.
Četiri šablona za kopiranje
1) Strogi upit za RAG odgovor:
Odgovorite na osnovu sljedećih [IZVOR] dijelova. Pravila: (1) koristite samo informacije u izvoru, (2) ako ih nema u izvoru, recite "nemam definitivne informacije o ovome, da vas povežem sa predstavnikom", (3) navedite na kojem članku se zasniva kao [Izvor: artikl-br], (4) citirajte količinu/trajanje/uslov tačno iz izvora, nemojte zaokružiti/nadoknaditi. [IZVOR]: <<izvučeni dijelovi>>Pitanje: "<<pitanje kupca>>"
2) Pisanje članaka iz baze znanja:
Pretvorite sljedeći raštrkani tekst politike u članak s čestim pitanjima prikladnim za RAG. Format: Pitanje (na jeziku korisnika) / Kratak odgovor (2-3 rečenice) / Uslovi (klauzula) / Datum posljednjeg ažuriranja / Oznaka teme. Označite sve dvosmislene tačke kao "treba razjasniti", izmišljene. Sirovi tekst: <<tekst>>
3) Skeniranje za kontradikcije i praznine:
Proučite sljedeće članke baze znanja. (1) Označite parove artikala koji se međusobno sukobljavaju (npr. različiti period vraćanja). (2) Pogodite teme koje će se često postavljati, ali NEMA odgovora. Pogledajte samo date članke; izrada nove politike. Članci: <<list>>
4) Poboljšanje iz dnevnika "Ne znam":
Ispod su pitanja na koja bot nije mogao odgovoriti (nije mogao pronaći izvor). Grupirajte ih u teme i predložite naslov članka koji treba dodati bazi znanja za svaku grupu. Ne izmišljajte sadržaj odgovora, samo mi recite koja stavka nedostaje. Pitanja: <<list>>
Slaba prompt / Jaka prompt
Slab upit:
Odgovorite na kupčevo pitanje o povratu.
Nema izvora; Model može stati iz memorije, količina/trajanje može biti pogrešna, ne može se provjeriti.
Snažan upit:
Odgovorite samo na osnovu klauzule o politici povrata u nastavku. Ako nije dostupan u izvoru, recite "Ne znam sigurno". Navedite period i stanje doslovno, dajte referencu u obliku [Izvor: POVRATAK-03].[IZVOR: POVRATAK-03]: "Nekorišteni proizvod se može vratiti u roku od 14 dana. Personalizirani proizvodi nisu u okviru povrata." Pitanje: "Mogu li vratiti personalizirani proizvod koji sam kupio prije 20 dana?"
Razlika: zavisi od izvora, referenca obavezna, zabrana proizvodnje jasna; model generira tačan odgovor ("14 dana prošlih i personalizirano, nepovratno") iz izvora.
tri mini kofera
Slučaj 1 — Prestanak halucinacije. Tačnost odgovora telekom bota na pitanja kampanje bila je 71% u postavci bez RAG-a; Model je ponekad izmišljao stare kampanje. Kada su trenutne stranice kampanje povezane sa RAG-om i dodano pravilo "nemoj reći ako nije u izvoru", preciznost je porasla na 96% i žalbe na "pogrešne riječi kampanje" su skoro prestale.
Slučaj 2 — Cijena kontradikcije. U bazi znanja kompanije za e-trgovinu, dva različita troška dostave su ispisana na dvije stranice (jedna trenutna, jedna stara zaboravljena stranica). Bot je nasumično vukao nekoga i nekima od kupaca rekao pogrešnu cijenu. Kada je stara stranica arhivirana po principu jednog ispravnog izvora, nedosljednost je nestala. Pouka: RAG ne rješava kontradikciju, ona propagira kontradikciju onakvu kakva jeste.
Slučaj 3 — Vrijednost dnevnika “Ne znam”. U jednoj banci, bot je govorio "ne znam sigurno" na oko 4.000 pitanja mjesečno. Kada su ova pitanja grupisana, vidjelo se da se 40% odnosilo na "međunarodno korištenje kartica"; Nije bilo članka o tome. Kada su dodane relevantne stavke, ova pitanja su riješena i promet ljudima na tu temu smanjen je za 55%. Činjenica da je bot rekao da ne zna postala je mapa puta za poboljšanje.
Uobičajene greške
- Odgovaram bez povezivanja na izvor. Bez RAG-a, model odgovara konkretnim informacijama; Svaki konkretan odgovor mora zavisiti od izvora.
- Isključivanje opcije "Ne znam". Prisiljavanje modela da odgovori na svako pitanje osigurava uklapanje.
- Ne brisanje konfliktnih/starih informacija. RAG širi kontradiktornost; Jedan tačan izvor je neophodan.
- Zanemarivanje usitnjavanja. Izvoz velikih PDF-ova kakav jeste ometa precizan pristup; Koristite kratke članke sa jednom temom.
- Sakrivanje izvora. Nenaznačavanje na čemu se zasniva odgovor slabi provjeru i povjerenje.
Oprez: RAG poboljšava preciznost, ali ne daje 100% garanciju. Model ponekad može pogrešno protumačiti snimljeni dio. Stoga, finansijska, pravna i sigurnosna pitanja zahtijevaju ljudsko odobrenje čak i ako je izvor citiran; RAG smanjuje halucinacije, ali ne uklanja odgovornost.
Ukratko
Baza znanja i RAG temelj su tačnosti call centra AI. RAG u velikoj mjeri sprječava halucinacije sprečavajući model da uklopi odgovor iz sjećanja i oslanja se isključivo na trenutni izvor. Ali RAG je dobar onoliko koliko je dobra njegova baza znanja: neophodna je baza znanja koja je ažurna, jasna, strukturirana, bez sukoba i koja ima jedan izvor istine. Recite modelu "ako nije u izvoru, recite mi da ne znate", pokažite na izvor i koristite pitanja na koja bot ne može odgovoriti da poboljšate svoju bazu znanja. Održavajte ljudski pristanak uprkos izvoru o pitanjima sa visokim ulozima.
Zadatak aplikacije
Napišite 8 stvarnih/realnih pitanja kupaca iz vaše industrije i 8 odgovarajućih kratkih članaka u bazi znanja (svaki članak: pitanje, kratak odgovor, uvjeti, datum, oznaka). Zatim testirajte da li model može reći „Ne znam“ koristeći obrazac „1) Tight RAG odgovor na upit“ i postavljajući pitanje, od kojih jedno nije u bazi znanja. Konačno, provjerite svoje članke sa "3) Skeniranje kontradikcija i praznina".
kontrolna lista
- [ ] Svaki konkretan odgovor koji daje bot/pomoćnik zavisi od trenutne baze znanja (preko RAG-a).
- [ ] Dao sam instrukcije modelu "ako ga nema u izvoru, reci mi da ne znaš" i testirao ga.
- [ ] Moja baza znanja sastoji se od ažurnih, jasnih članaka sa jednom temom.
- [ ] Očistio sam konfliktne i stare članke; Postoji samo jedan tačan izvor za sve informacije.
- [ ] Odgovori pokazuju na kojem se članku zasniva (izvor).
- [ ] Sakupljam "ne znam" pitanja i hranim bazu znanja.