Câștiguri:
- Înțelegeți cum funcționează RAG (fragmentare, acces, generare dependentă de resurse) și cum reduce halucinațiile
- Capacitatea de a crește calitatea răspunsurilor prin stabilirea unei baze de cunoștințe care este actuală, clară, fără conflicte și care are o singură sursă corectă.
- Abilitatea de a instrui modelul „dacă nu este în sursă, spune-mi că nu știi” și de a transforma întrebările la care nu poate răspunde în îmbunătățirea bazei de cunoștințe
Răspunsul pe care îl dă un bot sau un asistent de agent este la fel de bun ca și informațiile pe care se bazează. Când clientul întreabă „Continuă campania?”, răspunsul corect nu se află în memoria modelului, ci în baza actuală de cunoștințe a instituției. De aceea, inima inteligenței artificiale pentru call center este baza de cunoștințe (KB): o resursă actualizată în care produsele, politicile, întrebările frecvente, procedurile și regulile sunt păstrate în scris. Și metoda care conectează în siguranță această bază de cunoștințe de inteligența artificială se numește RAG: Retrieval-Augmented Generation — în loc să inventeze răspunsul din propria memorie, modelul preia mai întâi informațiile relevante din sursă (recuperare) și apoi generează răspunsul pe baza acelor bucăți (generație).
RAG este cea mai puternică metodă de prevenire a halucinațiilor. Modelul nu generează un număr în capul său pentru întrebarea „care este rata dobânzii la împrumut?” Preia textul de interes curent din baza de cunoștințe și răspunde pe baza acestuia. În această unitate vom vedea cum să configurați baza de cunoștințe, cum funcționează RAG și cum o bază de cunoștințe bună determină calitatea răspunsurilor.
Cum funcționează RAG: patru pași
Gândește-te la RAG ca la un bibliotecar. Clientul pune întrebări; Sistemul găsește mai întâi paginile relevante din raftul din dreapta al bibliotecii, apoi citește acele pagini și scrie răspunsul. Pașii tehnici sunt următorii:
- Diviziunea în bucăți: documentele lungi din baza de cunoștințe sunt împărțite în bucăți mici și semnificative (de exemplu, fiecare Întrebări frecvente este o bucată). Pentru că modelul răspunde la o întrebare mai precis cu piese mici aferente.
- Încorporare și indexare: Fiecare piesă este tradusă într-o formă numerică reprezentând semnificația sa (încorporare - o secvență de numere care reprezintă sensul textului) și plasată într-o bază de date care poate fi căutată. Astfel, nu este o „potrivire de cuvinte” ci o „potrivire de sens”; Chiar dacă clientul întreabă „când vor fi depuși banii mei?”, se poate găsi partea „perioada de rambursare”.
- Recuperare: părțile cele mai apropiate ca semnificație de întrebarea clientului sunt preluate (de exemplu, cele mai apropiate 3-5 părți).
- Generație: Modelul scrie răspunsul pe baza DOAR părțile desenate și indică sursa dacă este posibil.
Punctul critic este în pasul 4: modelul este instruit să „se bazeze doar pe piesele date sau să spună că nu știi”. Fără această instrucțiune, RAG nu împiedică montarea modelului.
Sugestie: regula de aur a RAG: „Dacă nu este în sursă, nu există niciun răspuns”. Un sistem RAG bun va spune „Nu știu sigur despre asta” la o întrebare care nu se află în baza de cunoștințe; nu umple niciodată golul cu presupuneri. Capacitatea unui bot de a spune „Nu știu” este o caracteristică de securitate, nu o slăbiciune.
O bază de cunoștințe bună: sursa reală a calității răspunsurilor
Indiferent cât de bun este RAG, dacă baza de cunoștințe este proastă, răspunsul este rău. Calitatea bazei de cunoștințe este măsurată prin:
caracteristică
bază de cunoștințe proastă
Bună bază de cunoștințe
Actualitate
Neactualizat de luni de zile
Actualizat imediat când este schimbat
Claritate
Text lung și contorsionat
Articole scurte, cu un singur subiect
structura
Teanc dezordonat PDF
Substanțe degradabile etichetate
Consecvență
Două răspunsuri contradictorii
Sursa unică a adevărului
Domeniul de aplicare
Sunt multe lacune
Acoperă întrebările frecvente
proprietate
Nimeni nu este responsabil
Fiecare subiect are un proprietar
Cea mai periculoasă problemă în contextul call center-ului este contradicția: dacă în baza de cunoștințe sunt scrise două perioade de returnare diferite, RAG va spune oricare dintre ele este nevoie și un răspuns inconsecvent va fi trimis clientului. De aceea principiul „sursă unică a adevărului” este critic: informațiile sunt păstrate la zi într-un singur loc; Se folosesc referințe la acea sursă, nu copii.
Pas cu pas: construirea unui sistem de răspuns susținut de RAG
- Curățați baza de cunoștințe: eliminați articolele învechite, conflictuale, duplicate. Faceți fiecare articol scurt și cu un singur subiect.
- Descompuneți-l și etichetați-l: adăugați o etichetă de subiect și data ultimei actualizări la fiecare articol.
- Stabiliți acces: conectați un mecanism care trage părți relevante atunci când sunt solicitate (instrumentele RAG pentru întreprinderi oferă acest lucru).
- Scrieți o solicitare strictă: spuneți modelului „să se bazeze numai pe piesele furnizate, citați sursa sau spuneți că nu știți”.
- Citează sursa: Afișează articolul pe care se bazează răspunsul; Atât oferă încredere, cât și facilitează verificarea.
- Urmăriți lacune: colectați întrebări în care botul spune „Nu știu”; Acestea arată deficiențele din baza de cunoștințe, se alimentează de acolo.
Patru șabloane copiabile
1) Prompt de răspuns strict RAG:
Răspundeți BAZAT pe următoarele părți [SOURSE]. Reguli: (1) utilizați numai informațiile din sursă, (2) dacă nu sunt în sursă, spuneți „Nu am informații precise despre asta, permiteți-mi să vă conectez cu reprezentantul”, (3) precizați pe ce articol se bazează ca [Sursa: articol-nr], (4) citați cantitatea/durata/condiția exact din sursă, nu rotunjiți/compensați. [SURSA]: <<piese extrase>>Întrebare: „<<întrebare client>>"
2) Scrierea articolelor din baza de cunoștințe:
Convertiți următorul text de politică împrăștiat într-un articol de întrebări frecvente potrivit pentru RAG. Format: Întrebare (în limba clientului) / Răspuns scurt (2-3 propoziții) / Condiții (clauză) / Data ultimei actualizări / Eticheta subiect. Marcați toate punctele ambigue ca „de clarificat”, simulați. Text brut: <<text>>
3) Scanarea pentru contradicții și lacune:
Examinați următoarele articole din baza de cunoștințe. (1) Marcați perechile de articole care CONFLICTE între ele (de exemplu, perioadă diferită de returnare). (2) Ghiciți subiectele care vor fi întrebat frecvent, dar NU au răspunsuri. Uită-te doar la articolele date; producând o nouă politică.Articole: <<listă>>
4) Îmbunătățire din jurnalul „Nu știu”:
Mai jos sunt întrebări la care botul nu a putut răspunde (nu a putut găsi o sursă). Grupați-le pe subiecte și sugerați titlul articolului care ar trebui adăugat la baza de cunoștințe pentru fiecare grup. Nu inventați conținutul răspunsului, spuneți-mi doar ce element lipsește. Întrebări: <<listă>>
Prompt slab / Prompt puternic
Prompt slab:
Răspundeți la întrebarea de retur a clientului.
Fără sursă; Modelul se poate incadra din memorie, cantitatea/durata poate fi gresita, nu poate fi verificata.
Solicitare puternică:
Răspundeți numai pe baza clauzei de mai jos a politicii de returnare. Dacă nu este disponibil în sursă, spuneți „Nu știu sigur”. Citați termenul și condiția text, dați referință sub forma [Sursa: RETURN-03].[SURSA: RETURN-03]: „Produsul nefolosit poate fi returnat în 14 zile. Produsele personalizate nu fac obiectul returului”. Întrebare: „Pot returna produsul personalizat pe care l-am cumpărat acum 20 de zile?”
Diferență: dependentă de sursă, referință obligatorie, interdicție clară de fabricație; modelul generează răspunsul corect („14 zile trecute și personalizate, nerambursabil”) de la sursă.
trei mini cutii
Cazul 1 – Încheierea halucinației. Precizia răspunsurilor unui robot de telecomunicații la întrebările campaniei a fost de 71% într-o configurație fără RAG; Modelul a alcătuit uneori campanii vechi. Când paginile actuale ale campaniei au fost conectate la RAG și a fost adăugată regula „nu spune asta dacă nu este în sursă”, precizia a crescut la 96% și plângerile despre „cuvinte greșite ale campaniei” aproape s-au încheiat.
Cazul 2 — Prețul contradicției. În baza de cunoștințe a unei companii de comerț electronic, pe două pagini au fost scrise două costuri de transport diferite (una actuală, una veche uitată). Botul trăgea la întâmplare pe cineva și le spunea unora dintre clienți prețul greșit. Când pagina veche a fost arhivată cu principiul sursei unice corecte, inconsecvența a dispărut. Lecție: RAG nu rezolvă contradicția, ea propagă contradicția așa cum este.
Cazul 3 — Valoarea jurnalului „Nu știu”. La o bancă, robotul spunea „Nu știu sigur” la aproximativ 4.000 de întrebări pe lună. Atunci când aceste întrebări au fost grupate, s-a observat că 40% au fost despre „utilizarea cardurilor internaționale”; Nu a existat niciun articol despre asta. Când s-au adăugat itemii relevanți, aceste întrebări au fost rezolvate, iar cifra de afaceri către oameni pe acel subiect a scăzut cu 55%. Faptul că botul a spus că nu știe a devenit foaia de parcurs pentru îmbunătățire.
Greșeli comune
- Răspuns fără link la sursă. Fără RAG, modelul se potrivește cu informații concrete; Orice răspuns concret trebuie să depindă de sursă.
- Dezactivarea opțiunii „Nu știu”. Forțarea modelului să răspundă la fiecare întrebare asigură potrivirea.
- Nu ștergerea informațiilor conflictuale/vechi. RAG raspandeste contradictie; O singură sursă corectă este esențială.
- Neglijând să mărunțiți. Exportarea PDF-urilor mari ca atare întrerupe accesul precis; Folosiți articole scurte, cu un singur subiect.
- Ascunderea sursei. Neindicarea pe care se bazează răspunsul slăbește verificarea și încrederea.
Atenție: RAG îmbunătățește acuratețea, dar nu oferă o garanție de 100%. Modelul poate uneori să interpreteze greșit partea capturată. Prin urmare, problemele financiare, juridice și de securitate necesită aprobarea umană chiar dacă sursa este citată; RAG reduce halucinațiile, dar nu înlătură responsabilitatea.
În concluzie
Baza de cunoștințe și RAG sunt fundamentul acurateței AI al centrului de apeluri. RAG previne în mare măsură halucinațiile, împiedicând modelul să se potrivească cu răspunsul din memorie și bazându-se exclusiv pe sursa curentă. Dar RAG este la fel de bun ca baza sa de cunoștințe: o bază de cunoștințe care este actualizată, clară, structurată, fără conflicte și care are o singură sursă de adevăr este esențială. Spune-i modelului „dacă nu este în sursă, spune-mi că nu știi”, indică sursa și folosește întrebările la care botul nu poate răspunde pentru a-și îmbunătăți baza de cunoștințe. Mențineți consimțământul uman în ciuda sursei în chestiuni cu mize mari.
Sarcina de aplicare
Scrieți 8 întrebări reale/realiste ale clienților din industria dvs. și 8 articole corespunzătoare din baza de cunoștințe scurte (fiecare articol: întrebare, răspuns scurt, condiții, dată, etichetă). Apoi testați dacă modelul poate spune „Nu știu” folosind modelul „1) Tight RAG answer prompt” și, de asemenea, punând o întrebare, dintre care una nu se află în baza de cunoștințe. În cele din urmă, verificați articolele cu „3) Scanarea contradicțiilor și a decalajelor”.
lista de verificare
- [ ] Fiecare răspuns concret dat de bot/asistent depinde de baza de cunoștințe actuală (prin RAG).
- [ ] Am instruit modelul „dacă nu este în sursă, spune-mi că nu știi” și l-am testat.
- [ ] Baza mea de cunoștințe constă din articole actualizate, clare, cu un singur subiect.
- [ ] Am șters articolele vechi și conflictuale; Există o singură sursă corectă pentru toate informațiile.
- [ ] Răspunsurile arată pe ce articol se bazează (sursa).
- [ ] Colectez întrebări „Nu știu” și alimentez baza de cunoștințe.