Teadmistebaas ja RAG: kuidas robot ja agent õige vastuse leiavad

Kasu:

• Saate aru, kuidas RAG (killustumine, juurdepääs, ressurssidest sõltuv genereerimine) töötab ja kuidas see hallutsinatsioone vähendab
• Võimalus tõsta vastuste kvaliteeti, luues teadmistebaasi, mis on ajakohane, selge, konfliktivaba ja millel on üks õige allikas.
• Võimalus juhendada mudelit "kui seda allikas pole, öelge, et sa ei tea" ja muuta küsimused, millele see vastata ei saa, teadmistebaasi täiustamiseks

Vastus, mille robot või agendiassistent annab, on sama hea kui teave, millel see põhineb. Kui klient küsib "Kas kampaania jätkub?", pole õige vastus modelli mälus, vaid asutuse praeguses teadmistebaasis. Seetõttu on kõnekeskuse tehisintellekti südameks teadmistebaas (KB): ajakohane ressurss, kus tooted, poliitikad, KKK-d, protseduurid ja reeglid on kirjas. Ja meetodit, mis seob selle teadmusbaasi turvaliselt tehisintellektiga, nimetatakse RAG: Retrieval-Augmented Generation – selle asemel, et koostada vastus oma mälust, hangib mudel esmalt allikast vastavad teabekillud (otsing) ja seejärel genereerib vastuse ainult nende osade põhjal (põlvkond).

RAG on kõige võimsam meetod hallutsinatsioonide ennetamiseks. Mudel ei genereeri oma peas numbrit küsimusele "mis on laenuintress?" See otsib teadmistebaasist välja aktuaalse huviteksti ja vastab selle põhjal. Selles üksuses näeme, kuidas luua teadmistebaasi, kuidas RAG töötab ja kuidas hea teadmistebaas määrab vastuste kvaliteedi.

Kuidas RAG töötab: neli sammu

Mõelge RAG-ile nagu raamatukoguhoidjale. Klient esitab küsimusi; Süsteem leiab esmalt raamatukogu paremast riiulist vastavad lehed, seejärel loeb need lehed läbi ja kirjutab vastuse. Tehnilised sammud on järgmised:

1. Tükeldamine: teadmistebaasi pikad dokumendid jagatakse väikesteks tähendusrikasteks tükkideks (nt iga KKK on tükk). Kuna mudel vastab seotud väikeste osadega küsimusele täpsemalt.
2. Manustamine ja indekseerimine: iga tükk tõlgitakse selle tähendust tähistavale numbrikujule (manustamine – teksti tähendust tähistav numbrijada) ja paigutatakse otsitavasse andmebaasi. Seega ei ole tegemist "sõna vastega", vaid "tähenduste vastega"; Isegi kui klient küsib "millal mu raha deponeeritakse?", võib osa "tagastusperiood" leida.
3. Otsimine: otsitakse kliendi küsimusele tähenduselt kõige lähemal olevad osad (nt lähimad 3-5 osa).
4. Generation: Mudel kirjutab vastuse AINULT joonistatud osade põhjal ja märgib võimalusel allika.

Kriitiline punkt on 4. sammus: mudelile antakse käsk "lihtsalt toetuda antud tükkidele või öelda, et te ei tea". Ilma selle juhiseta ei takista RAG mudeli paigaldamist.

Vihje: RAGi kuldreegel: "Kui seda allikas pole, pole vastust." Hea RAG-süsteem ütleb küsimusele, mida teadmistebaasis pole, "Ma ei tea seda kindlalt"; ei täida kunagi tühimikku oletustega. Boti võime öelda "ma ei tea" on turvaelement, mitte nõrkus.

Hea teadmistebaas: tõeline vastuse kvaliteedi allikas

Ükskõik kui hea RAG on, kui teadmistebaas on halb, on vastus halb. Teadmistebaasi kvaliteeti mõõdetakse:

funktsiooni

halb teadmistebaas

Hea teadmistebaas

Aktuaalsus

Pole kuude kaupa värskendatud

Värskendatakse kohe pärast muutmist

Selgus

Pikk, keeruline tekst

Lühikesed üheteemalised artiklid

struktuur

Segane PDF-hunnik

Märgistatud lagunevad ained

Järjepidevus

Kaks vastandlikku vastust

Üksainus tõe allikas

Ulatus

Lünki on palju

Hõlmab korduma kippuvaid küsimusi

omandiõigus

Keegi ei vastuta

Igal teemal on omanik

Kõnekeskuse kontekstis on kõige ohtlikum probleem vastuolu: kui teadmistebaasi on kirjas kaks erinevat tagastusperioodi, ütleb RAG, kumb võtab, ja kliendile saadetakse ebajärjekindel vastus. Seetõttu on kriitilise tähtsusega põhimõte "ühe tõeallikas": teavet hoitakse ajakohasena ühes kohas; Kasutatakse viiteid sellele allikale, mitte koopiaid.

Samm-sammult: RAG-toega reageerimissüsteemi loomine

1. Puhastage teadmistebaasi: eemaldage aegunud, vastuolulised ja dubleerivad artiklid. Muutke iga artikkel lühikeseks ja ühe teemaga.
2. Jagage see osadeks ja märgistage: lisage igale artiklile teemasilt ja viimase värskenduse kuupäev.
3. Juurdepääsu loomine: ühendage mehhanism, mis tõmbab asjakohaseid osi, kui seda küsitakse (seda pakuvad ettevõtte RAG-tööriistad).
4. Kirjutage range viip: öelge mudelile "tugege ainult pakutavatele osadele, viidake allikale või öelge, et te ei tea".
5. Viita allikale: näita artiklit, millel vastus põhineb; See annab nii kindlustunde kui ka hõlbustab kontrollimist.
6. Jälgige lünki: koguge küsimusi, kus robot ütleb "Ma ei tea"; Need näitavad teadmistebaasi puudujääke, toidavad sealt.

Neli kopeeritavat malli

1) Range RAG-i vastuse viip:

Vastake järgmistel [ALLIKAS] osadel. Reeglid: (1) kasutage ainult allikas olevat teavet, (2) kui seda allikas ei ole, öelge: "Mul pole selle kohta kindlat teavet, lubage mul ühendada teid esindajaga", (3) märkige, millisel artiklil see põhineb [Allikas: kauba nr], (4) tsiteerige summa/kestus/seisund täpselt allikast, ärge ümardage/liigendage. [ALLIKAS]: <<tõmmatud osad>>Küsimus: "<<kliendi küsimus>>"

2) teadmistebaasi artiklite kirjutamine:

Teisendage järgmine hajutatud poliitikatekst RAG-i jaoks sobivaks KKK artikliks. Formaat: Küsimus (kliendi keeles) / Lühivastus (2-3 lauset) / Tingimused (klausel) / Viimase uuendamise kuupäev / Teema silt. Märkige kõik mitmetähenduslikud punktid kui "selgitamine", tehke näit. Toortekst: <<tekst>>

3) Vastuolude ja lünkade otsimine:

Uurige järgmisi teadmistebaasi artikleid. (1) Märkige ära artiklite paarid, mis VÕISTUVAD (nt erinev tagastusperiood). (2) Arva ära teemad, mida sageli küsitakse, kuid millel EI OLE vastuseid. Vaata ainult antud artikleid; uue poliitika väljatöötamine.Artiklid: <<loend>>

4) Täiustus logist "Ma ei tea":

Allpool on küsimused, millele robot vastata ei osanud (allikat ei leidnud). Rühmitage need teemadeks ja soovitage artikli pealkiri, mis tuleks iga rühma teadmistebaasi lisada. Ärge moodustage vastuse sisu, vaid öelge mulle, milline üksus puudub.Küsimused: <<loend>>

Nõrk viip / Tugev viip

Nõrk viip:

Vastake kliendi tagastamisküsimusele.

allikas puudub; Mudel võib mälu järgi mahtuda, kogus/kestus võib olla vale, seda ei saa kontrollida.

Võimas viip:

Vastake ainult allpool toodud tagastuspoliitika klausli alusel. Kui see pole allikas saadaval, öelge "Ma ei tea kindlalt". Tsiteerige periood ja seisukord sõna-sõnalt, esitage viide kujul [Allikas: RETURN-03].[ALLIKAS: RETURN-03]: "Kasutamata toote saab tagastada 14 päeva jooksul. Personaliseeritud tooted ei kuulu tagastamise alla." Küsimus: "Kas ma saan tagastada isikupärastatud toote, mille ostsin 20 päeva tagasi?"

Erinevus: allikast sõltuv, viide kohustuslik, valmistamiskeeld selge; mudel genereerib õige vastuse ("14 päeva möödas ja isikupärastatud, tagastamatu") allikast.

kolm minikarpi

Juhtum 1 – hallutsinatsiooni lõpetamine. Telekomiroboti vastuse täpsus kampaania küsimustele oli 71% ilma RAG-i seadistuses; Mudel koostas mõnikord vanu kampaaniaid. Kui praegused kampaanialehed ühendati RAG-iga ja lisati reegel "ära ütle, kui seda pole allikas", tõusis täpsus 96%-ni ja kaebused "valede kampaaniasõnade" kohta peaaegu lõppesid.

Juhtum 2 – vastuolu hind. Ühe e-kaubanduse ettevõtte teadmistebaasis oli kahele lehele kirjas kaks erinevat saatekulu (üks praegune, üks vana unustatud leht). Bot tõmbas juhuslikult kedagi ja ütles mõnele kliendile vale hinda. Kui vana leht arhiveeriti ühe õige allika põhimõttel, kadus ebakõla. Õppetund: RAG ei lahenda vastuolu, vaid propageerib vastuolu sellisena, nagu see on.

Juhtum 3 – logi "Ma ei tea" väärtus. Ühes pangas ütles bot ~4000 küsimusele kuus "ma ei tea kindlalt". Kui need küsimused rühmitati, oli näha, et 40% olid "rahvusvahelise kaardi kasutamise" kohta; Artiklit selle kohta ei olnud. Vastavate punktide lisamisel need küsimused lahenesid ja käive selle teemaga inimestele vähenes 55%. Asjaolu, et bot ütles, et ta ei tea, sai parandamise teekaardiks.

Levinud vead

• Vastamine ilma allikale linkimata. Ilma RAG-ita sobib mudel konkreetse teabega; Iga konkreetne vastus peab sõltuma allikast.
• Valiku "Ma ei tea" väljalülitamine. Mudeli igale küsimusele vastama sundimine tagab sobivuse.
• Ei tühjenda vastuolulist/vana teabe. RAG levitab vastuolu; Üks õige allikas on hädavajalik.
• Rebimise eiramine. Suurte PDF-failide eksportimine sellisel kujul häirib täpset juurdepääsu; Kasutage lühikesi ühe teemaga artikleid.
• Allika peitmine. Vastuse mitte näitamine, millel vastus põhineb, nõrgendab kontrollimist ja usaldust.

Ettevaatust: RAG parandab täpsust, kuid ei anna 100% garantiid. Mudel võib mõnikord pildistatud osa valesti tõlgendada. Seetõttu nõuavad finants-, õigus- ja julgeolekuküsimused inimese heakskiitu, isegi kui viidatakse allikale; RAG vähendab hallutsinatsioone, kuid ei eemalda vastutust.

Kokkuvõttes

Teadmistebaas ja RAG on kõnekeskuse tehisintellekti täpsuse aluseks. RAG hoiab suuresti ära hallutsinatsioonid, takistades mudelil vastust mälu järgi sobitamast ja tuginedes ainult praegusele allikale. Kuid RAG on ainult nii hea, kui hea on selle teadmistebaas: ajakohane, selge, struktureeritud, konfliktivaba ja ühest tõeallikas omav teadmistebaas on hädavajalik. Öelge mudelile "kui seda allikas pole, öelge, et te ei tea", osutage allikale ja kasutage küsimusi, millele robot vastata ei saa, et oma teadmistebaasi täiustada. Säilitage inimeste nõusolek, hoolimata allikast, mis puudutab suuri panuseid.

Rakenduse ülesanne

Kirjutage 8 reaalset/realistlikku kliendiküsimust oma valdkonnast ja 8 vastavat lühikest teadmistebaasi artiklit (iga artikkel: küsimus, lühike vastus, tingimused, kuupäev, silt). Seejärel testige, kas mudel oskab öelda "ma ei tea", kasutades mustrit "1) Tight RAG vastuseviipa" ja esitades ka küsimuse, millest üks pole teadmistebaasis. Lõpuks kontrollige oma artikleid jaotisega "3) Vastuolu ja lünkade skaneerimine".

kontrollnimekiri

• [ ] Iga roboti/assistendi antud konkreetne vastus sõltub praegusest teadmistebaasist (RAG-i kaudu).
• [ ] Juhendasin mudelit "kui seda allikas pole, öelge, et sa ei tea" ja katsetasin.
• [ ] Minu teadmistebaas koosneb ajakohastest selgetest üheteemalistest artiklitest.
• [ ] Kustutasin vastuolulised ja vanad artiklid; Kogu teabe jaoks on ainult üks õige allikas.
• [ ] Vastused näitavad, millisel artiklil see põhineb (allikas).
• [ ] Kogun "ma ei tea" küsimusi ja toidan teadmistebaasi.