Kasu:
- Teadmistepõhise genereerimise (RAG) loogika mõistmine ja miks see vähendab hallutsinatsioone
- Võimalus lasta mudelil vastata tsitaadiga, tuginedes ainult esitatud algdokumentidele
- Võimalus hallata küsimusi, mida allikas ei ole, edastades need ohutult, küsimusi koostamata
Keelemudel "teab" palju, kuid see ei tea teie ettevõtte tänast tagastuspoliitikat, teie praegust hinnakirja ega eile muutunud saatmislepingut. Veelgi hullem, kui ta ei tea, mõtleb ta sageli välja ja kirjutab äärmiselt enesekindlal toonil. See on klienditeeninduses saatuslik viga: mudel ütleb "Tagasimaksed tehakse 30 päeva jooksul", samas kui teie poliis võib olla 14 päeva. Seda lünka kaotavat lähenemisviisi nimetatakse RAG: Retrieval-Augmented Generation, see tähendab "otsinguga suurendatud tootmine".
Idee on lihtne: Modell vastab küsimusele mitte mälu järgi, vaid õigete algdokumentide järgi, mis talle sel hetkel ette asetati. Esiteks on küsimusega seotud õige dokumenditükk "otsimine", seejärel "genereerib" mudel vastuse ainult selle dokumendi põhjal. Selles üksuses saate aru RAG-i loogikast ja saate teada, kuidas mudelit ohjeldada nii, et see jääks ainult teie esitatud kinnitatud allika juurde.
Märkus. See seade õpetab RAG-i tööloogikat ja kiiret külge. Ettevõtte mastaabis automaatsed dokumendiotsingusüsteemid (vektorandmebaas jms) nõuavad tehnilist paigaldust; Siin on distsipliin selle süsteemi õige reageerimise aluseks.
Miks RAG vähendab hallutsinatsioone?
Hallutsinatsioonid on siis, kui mudel toodab ebareaalset teavet, nagu see oleks tõeline. Mudel on programmeeritud tootma vastust, mis tundub "võimalik", kui ta näeb lünka; Ei tea, kas see on tõsi või mitte. RAG täidab selle tühimiku: esitate mudelile tegeliku asjakohase teksti koos küsimusega ja ütlete "ainult vastus siit". Nii ei "pea" mudel ära mahtuma.
Seal on kolm komponenti:
- Teadmistebaas: usaldusväärsed tekstid, nagu KKK-d, poliitikadokumendid, tootejuhendid, hinnakirjad.
- Otsimine: küsimusele vastust sisaldava dokumendi leidmine ja mudelile andmine.
- Piiratud väljaanne: mudel vastab hinnapakkumisele, mis põhineb ainult kaasasoleval osal.
Samm-sammult: ustav vastus allikale
- Valmistage allikas ette. Otsige üles tekst, millel vastus põhineb (poliitika, KKK), selges ja ajakohases vormingus.
- Manustage viibale allikas. Pange tekst sildi alla, näiteks <allikas>.
- Kirjutage lojaalsusreegel. "Kasutage ainult allikast pärit teavet; ärge kalduge allikast kõrvale."
- Muutke tsitaat kohustuslikuks. Las ta näitab, millisel lõigul vastus põhineb.
- Tuvastage ressurssideta käitumine. Kui vastust allikas ei ole, öelgu "mul pole seda teavet" ja edastage see.
- Kinnitage. Kinnitage vastust, võrreldes seda lähtelausega, millel see põhineb.
Kopeeritavad viibad
Vastuse viip aluseks oleva allika põhjal:
Roll: olete klienditoe assistent. Vastake küsimusele AINULT allolevas <source>plokis oleva teabe põhjal. Ärge lisage teavet, mida allikas ei ole, ärge arvake ega vastake oma üldistest teadmistest. Lisage oma vastuse lõppu jaotis, millele tuginete, vormingus "[Allikas: ...]". Kui vastust allikas pole, kirjutage järgmine: "Mul ei ole selle teema kohta lõplikku teavet, annan teid üle ametniku juurde, kes oskab õige vastuse anda."<source>{{ policy_or_faq_text }}</source>Küsimus: {{ customer_question }}
Mitme allika puhul kuvatakse viip, mis näitab, millisel dokumendil see põhineb:
Allpool on nummerdatud mitu ressurssi. Küsimusele vastates märkige kasutatud allika number, näiteks [Allikas 2]. Kui rohkem kui üks allikas on teiega vastuolus, öelge see selgelt ja öelge, et peaksite küsima, milline neist on ajakohasem.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Küsimus: {{ customer_question }}
Viip, mis haldab turvaliselt allikavälist küsimust:
Kui vastus küsimusele on OSALISELT allikast leitud: vastake ainult sellele osale, mida allikas hõlmab, ja ülejäänud osas öelge "seda detaili allikas ei ole". Ärge kunagi täitke puuduvat osa äraarvamise teel.
Viip, mis tõlgib vastuse kliendi keelde, kuid jääb allikale truuks:
Tõlkige allika ametlik/tehniline väljend kliendile arusaadavasse lihtsasse keelde, kuid ÄRGE muutke tähendust ja arvväärtusi (päev, summa, määr). Näiteks "14 kalendripäeva" ümardamine "umbes kaheks nädalaks"; säilitada täisväärtus.
Nõrk viip / Tugev viip
Nõrk viip
Võimas käsk
"Rääkige meile meie tagastamispoliitikast"
Manustatakse allikas + "vasta ainult siin" + küsib tsitaati
Vastus mudeli mälu järgi (võib-olla vale)
Vastus oma praegusest dokumendist
Kui seda allikas pole, mõtleb ta selle välja
Ta ütleb: "Mul pole seda teavet" ja annab selle edasi.
Oskab numbreid ümardada ja moonutada
Säilitab täpselt päeva/summa/kursi
Erinevus seisneb selles, et tugev viip annab mudelile ankru (lähtetekst) ja keelu (lähteallikast väljumine). Modell ei räägi enam mälu järgi, vaid tema ees olevast reaalsusest.
Kolm miniümbrist
Juhtum 1 – vana poliitikalõks. "Tagastamine võetakse vastu 30 päeva jooksul," ütles ühe poe bot ilma krediidita jookstes; Ettevõte vähendas perioodi aga 14 päevale. Kui värskendatud poliitikatekst lisatakse RAG-i installis allikale, vastab robot nüüd "14 kalendripäeva [Allikas: tagastuspoliitika, artikkel 2]". Valelubadustest tulenevad tagasimaksevaidlused on lähtestatud.
Juhtum 2 – vastuolu tabamine. Klient küsis saatmiskulude kohta. Allikatena sisestati süsteemi nii vanad kui ka uued hinnakirjad. Tänu mitmest allikast koosnevale viipale ütles mudel: "Kaks allikat annavad erineva hinna (49 TL ja 59 TL); pean kinnitama praegust" ja andis probleemi inimesele edasi. Selle asemel, et öelda kliendile vale summa, teatas ta ebakindlusest ausalt.
Juhtum 3 – osalise reageerimise distsipliin. "Kas saadate toodet välismaale ja kes maksab tollimaksu?" Küsimuses ütles allikas vaid, et saadetis tehti, selle kohta, kes maksu tasus, polnud midagi. Modell ütles: "Jah, saatmine toimub välismaal [Allikas: Cargo KKK]. Samas ei ole selles dokumendis kirjas, kes maksab tollimaksu, annan teid selle selgitamiseks üle ametniku juurde." Pooleldi tõese, pooleldi väljamõeldud vastuse asemel andis see ausa ja enesekindla väljundi.
Näpunäide. Hoidke oma teadmistebaasi kõige värskem ja ainsaim tõeallika versioon. RAGi suurim vaenlane on sama info (nt tagastusperiood) erinevalt kirjas kolmes erinevas dokumendis; Mudel reageerib erinevalt, olenevalt sellest, kumba ta vaatab. Esmalt eemaldage oma dokumentide dubleerimine ja seejärel automatiseerige need.
Kinnitus: ärge lõõgastuge ainult sellepärast, et allikas on olemas
RAG vähendab oluliselt hallutsinatsioone, kuid ei lähtesta seda. Mudel võib mõnikord allikat valesti tõlgendada, ajades kaks lauset segamini või tehes järelduse, mida allikas ei ole. Sellepärast on viitamise nõue kriitiline: ava sektsioon, millel vastus väidetavalt põhineb, ja kontrolli, kas see ka tegelikult nii ütleb. See juhtelement on vaieldamatu, eriti vastuste puhul, mis sisaldavad numbreid (päev, summa, määr) ja tingimusi (erand, tingimus).
Ettevaatust. Kui allikas ise on vale või aegunud, kordab RAG seda viga ustavalt. Öeldes "modell räägib allikast" ei tähenda see, et "mudel räägib õigesti"; Teie vastutate oma allika valuuta ja täpsuse eest.
Teadmistebaasi hoidmine reageerimiseks valmis
RAGi kvaliteet sõltub suuresti sellest, kuidas lähtetekst on kirjutatud. Mudel annab palju täpsema vastuse kui hästi struktureeritud, pealkirjastatud, ühe teemaga tekstid. Praktilised nõuanded: kirjutage oma eeskirjad pigem lühikeste pealkirjaga osadena, mitte pikkade pesastatud lõikudena; Las iga jaotis vastab ühele küsimusele ("Mitu päeva on tagastusperiood?", "Milliseid tooteid ei saa tagastada?"). Korduma kippuvate küsimuste (KKK) hoidmine küsimuste ja vastuste vormingus muudab mudeli õige osa leidmise lihtsamaks. Esitage tekstis selgelt ja ühes kohas väärtused, nagu kuupäev, summa ja määr; Sama numbri erinevates osades erinevalt kirjutamine ajab mudeli segadusse.
Teine oluline harjumus on teadmistebaasi elushoidmine. Eeskirjad, hinnad ja pakkumised on erinevad; Kui allikat ei värskendata, jätkab mudel vana tõe ohutu kordamist. Iga poliitikamuudatusega värskendage allikat ja esitage mudelile uuesti paar testküsimust muudetud teema kohta, et veenduda, et see annab õige vastuse. See väike, kuid regulaarne hooldus takistab RAG-süsteemil aja jooksul "vaikselt valesti minema".
Levinud vead
- Öeldes "selgitage meie poliitikat" ilma allikat maha matmata ja mudeli päheõppimisele tuginedes.
- Ei määratle "vastus ainult allikast" piiri ja mitte-allika käitumist.
- Ei nõua hinnapakkumist/allikaviidet ja jätab vastuse kontrollimatuks.
- Sama teabe vastuoluliste versioonide hoidmine teadmistebaasi mitmes dokumendis.
- Mudelil arvuliste väärtuste ümardamise/tõlgendamise võimaldamine.
- Allika värskendamise unustamine, mille tõttu mudel kordab tõetruult vana teavet.
Kokkuvõttes
- RAG tähendab, et mudel loob vastuse praegusest lähtedokumendist, mitte mälust.
- Kõige praktilisem viis hallutsinatsioonide vähendamiseks: matke allikas maha, öelge "vasta ainult siin", küsige viidet.
- Kui vastust allikas pole, ei tohiks mudelit sobitada; Ta peaks ütlema "mul pole seda" ja selle üle andma.
- Tee mudel teadlikuks vastuolulistest allikatest; Säilitasite arvväärtused täpselt.
- RAG-i täpsus sõltub teie allika õigeaegsusest; Kinnitage alati pakkumine.
Rakenduse ülesanne
Võtke oma ettevõttest tegelik poliitikatekst (tagastamine, saatmine või liikmelisus) ja manustage see allikana ülalolevasse põhilisele RAG-viipale. Seejärel esitage kolm küsimust: (1) küsimus, mille vastus on allikas selge, (2) küsimus, mille vastust allikas üldse pole, (3) küsimus, mille vastus on allikas ainult puudulik. Veenduge, et mudel vastab õigesti, ütleb "Mul pole seda" ja märgib ausalt vastavalt osalise vastuse ja puuduva vastuse. Korrigeerige hälbivat käitumist, tugevdades viipas lojaalsuse ja ressursivaba reegleid.
kontrollnimekiri
- [ ] Manusin viipale praeguse allika, millel vastus põhineb.
- [ ] Lisasin reegli "Vasta ainult allikast, ärge minge kaugemale".
- [ ] Olen pannud allika viite/tsiteerimise nõude.
- [ ] Määratlesin delegeerimise käitumise, kui vastus pole allikas saadaval.
- [ ] Nõudsin, et arvväärtused säiliksid täpselt.
- [ ] Kinnitasin vastust selle aluseks olevast lähtelausest.