Tietokanta ja RAG: Kuinka Bot ja agentti löytävät oikean vastauksen

Voitot:

• Ymmärrä, kuinka RAG (fragmentointi, pääsy, resurssista riippuvainen sukupolvi) toimii ja miten se vähentää hallusinaatioita
• Kyky parantaa vastausten laatua luomalla tietopohja, joka on ajankohtainen, selkeä, konfliktiton ja jolla on yksi oikea lähde.
• Kyky ohjata mallia "jos se ei ole lähteessä, kerro ettet tiedä" ja kääntää kysymykset, joihin se ei voi vastata tietopohjan parantamiseksi

Botin tai agenttiassistentin antama vastaus on vain niin hyvä kuin tieto, johon se perustuu. Kun asiakas kysyy "Jatkuuko kampanja?", oikea vastaus ei ole mallin muistissa, vaan laitoksen nykyisessä tietokannassa. Siksi puhelinkeskuksen tekoälyn sydän on tietokanta (KB): ajan tasalla oleva resurssi, jossa tuotteet, käytännöt, usein kysytyt kysymykset, menettelyt ja säännöt pidetään kirjallisina. Ja menetelmää, joka yhdistää tämän tietokannan turvallisesti tekoälyyn, kutsutaan RAG:ksi: Retrieval-Augmented Generation – sen sijaan, että malli keksisi vastauksen omasta muististaan, se hakee ensin oleelliset tiedot lähteestä (haku) ja muodostaa sitten vastauksen vain näiden osien perusteella (sukupolvi).

RAG on tehokkain tapa ehkäistä hallusinaatioita. Malli ei synnytä päässään numeroa kysymykselle "mikä on lainan korko?" Se hakee nykyisen kiinnostuksen kohteena olevan tekstin tietokannasta ja vastaa sen perusteella. Tässä osiossa näemme, miten tietopohja rakennetaan, miten RAG toimii ja miten hyvä tietokanta määrittää vastausten laadun.

Kuinka RAG toimii: neljä vaihetta

Ajattele RAG:a kuin kirjastonhoitajaa. Asiakas kysyy kysymyksiä; Järjestelmä löytää ensin asiaankuuluvat sivut kirjaston oikealta hyllyltä, sitten lukee ne ja kirjoittaa vastauksen. Tekniset vaiheet ovat seuraavat:

1. Jakaminen: Pitkät asiakirjat tietokannassa on jaettu pieniin, merkityksellisiin osiin (esim. jokainen FAQ on pala). Koska malli vastaa kysymykseen tarkemmin siihen liittyvillä pienillä osilla.
2. Upottaminen ja indeksointi: Jokainen pala käännetään sen merkitystä edustavaan numeeriseen muotoon (upotus – tekstin merkitystä edustava numerosarja) ja sijoitetaan haettavaan tietokantaan. Siten se ei ole "sanavastine" vaan "merkitysvastaavuus"; Vaikka asiakas kysyisi "milloin rahani talletetaan?", "palautusaika"-osio saattaa löytyä.
3. Haku: Haetaan ne osat, jotka ovat merkitykseltään lähinnä asiakkaan kysymystä (esim. lähimmät 3-5 osaa).
4. Generation: Malli kirjoittaa vastauksen VAIN piirrettyjen osien perusteella ja ilmoittaa lähteen, jos mahdollista.

Kriittinen kohta on vaiheessa 4: mallia ohjataan "vain luottamaan annettuihin osiin tai sanomaan, että et tiedä". Ilman tätä ohjetta RAG ei estä mallin asennusta.

Vihje: RAG:n kultainen sääntö: "Jos se ei ole lähteessä, ei ole vastausta." Hyvä RAG-järjestelmä sanoo "en tiedä tästä varmasti" kysymykseen, joka ei ole tietokannassa; ei koskaan täytä aukkoa arvailulla. Botin kyky sanoa "en tiedä" on turvaominaisuus, ei heikkous.

Hyvä tietopohja: todellinen vastauslaadun lähde

Riippumatta siitä, kuinka hyvä RAG on, jos tietopohja on huono, vastaus on huono. Tietopohjan laatua mitataan:

ominaisuus

huono tietopohja

Hyvä tietopohja

Ajankohtaisuus

Ei päivitetty kuukausiin

Päivitetään heti vaihdon jälkeen

Selkeys

Pitkä, sekava teksti

Lyhyet, yhden aiheen artikkelit

rakennetta

Sekava PDF-kasa

Merkityt hajoavat aineet

Johdonmukaisuus

Kaksi ristiriitaista vastausta

Yksi totuuden lähde

Laajuus

On monia aukkoja

Kattaa usein kysytyt kysymykset

omistus

Kukaan ei ole vastuussa

Jokaisella aiheella on omistaja

Puhelinkeskuskontekstin vaarallisin ongelma on ristiriita: jos tietokantaan kirjoitetaan kaksi eri palautusjaksoa, RAG sanoo kumpi tahansa ja asiakkaalle lähetetään epäjohdonmukainen vastaus. Siksi "yhden totuuden lähteen" periaate on kriittinen: tiedot pidetään ajan tasalla yhdessä paikassa; Viittauksia kyseiseen lähteeseen käytetään, ei kopioita.

Askel askeleelta: RAG-tuetun vastausjärjestelmän rakentaminen

1. Puhdista tietokanta: Poista vanhentuneet, ristiriitaiset ja päällekkäiset artikkelit. Tee jokaisesta artikkelista lyhyt ja yksiaiheinen.
2. Erittele se ja merkitse se: Lisää aihetunniste ja viimeisin päivityspäivä jokaiseen artikkeliin.
3. Luo pääsy: Yhdistä mekanismi, joka vetää pyydettäessä tarvittavat osat (yrityksen RAG-työkalut tarjoavat tämän).
4. Kirjoita tiukka kehote: Kerro mallille "luota vain toimitettuihin osiin, mainitse lähde tai sano, että et tiedä".
5. Mainitse lähde: Näytä artikkeli, johon vastaus perustuu; Se sekä antaa luottamusta että helpottaa todentamista.
6. Varo aukkoja: Kerää kysymyksiä, joissa botti sanoo "en tiedä"; Nämä osoittavat tietopohjan puutteet, syöttyvät sieltä.

Neljä kopioitavaa mallia

1) Tiukka RAG-vastauskehote:

Vastaa seuraavien [SOURCE] osien perusteella. Säännöt: (1) käytä vain lähteessä olevia tietoja, (2) jos niitä ei ole lähteessä, sano "Minulla ei ole tästä varmaa tietoa, otan yhteyttä edustajaan", (3) ilmoita mihin artikkeliin se perustuu muodossa [Lähde: item-no], (4) lainaa määrä/kesto/kunto tarkasti lähteestä, älä pyöristä/täsmennä. [LÄHDE]: <<vedetyt osat>>Kysymys: "<<asiakkaan kysymys>>"

2) Tietopohjan artikkelin kirjoittaminen:

Muunna seuraava hajallaan oleva käytäntöteksti RAG:lle sopivaksi UKK-artikkeliksi. Muoto: Kysymys (asiakkaan kielellä) / Lyhyt vastaus (2-3 lausetta) / Ehdot (lauseke) / Viimeisin päivitys / Aihetunniste. Merkitse kaikki epäselvät kohdat "selvitettäväksi", teeskentele. Raakateksti: <<teksti>>

3) Ristiriitojen ja aukkojen etsiminen:

Tutustu seuraaviin tietokannan artikkeleihin. (1) Merkitse keskenään ristiriidassa olevat artikkeliparit (esim. eri palautusaika). (2) Arvaa aiheet, joita kysytään usein, mutta joihin EI ole vastauksia. Katso vain annettuja artikkeleita; uusien käytäntöjen tuottaminen. Artikkelit: <<lista>>

4) En tiedä -lokin parannus:

Alla on kysymyksiä, joihin robotti ei osannut vastata (lähdettä ei löytynyt). Ryhmittele ne aiheiksi ja ehdota artikkelin otsikkoa, joka tulisi lisätä kunkin ryhmän tietokantaan. Älä keksi vastauksen sisältöä, kerro vain mikä kohta puuttuu.Kysymykset: <<lista>>

Heikko kehote / Vahva kehote

Heikko kehote:

Vastaa asiakkaan palautuskysymykseen.

Ei lähdettä; Malli saattaa mahtua muistista, määrä/kesto voi olla väärä, sitä ei voida tarkistaa.

Tehokas kehotus:

Vastaa vain alla olevan palautuslausekkeen perusteella. Jos se ei ole saatavilla lähteessä, sano "en tiedä varmasti". Lainaa ajanjakso ja kunto sanatarkasti, anna viittaus muodossa [Lähde: RETURN-03].[LÄHDE: RETURN-03]: "Käyttämätön tuote voidaan palauttaa 14 päivän kuluessa. Henkilökohtaiset tuotteet eivät kuulu palautuksen piiriin." Kysymys: "Voinko palauttaa 20 päivää sitten ostamani henkilökohtaisen tuotteen?"

Ero: lähteestä riippuvainen, viittaus pakollinen, valmistuskielto selvä; malli luo oikean vastauksen ("14 päivää kulunut ja henkilökohtainen, ei palauteta") lähteestä.

kolme minilaukkua

Tapaus 1 – Hallusinaatioiden lopettaminen. Telecom-botin vastaustarkkuus kampanjan kysymyksiin oli 71 % no-RAG-asetuksissa; Malli teki joskus vanhoja kampanjoita. Kun nykyiset kampanjasivut yhdistettiin RAG:iin ja "älä sano, jos se ei ole lähteessä" -sääntö lisättiin, tarkkuus nousi 96 prosenttiin ja valitukset "vääristä kampanjasanoista" melkein loppuivat.

Tapaus 2 – Ristiriidan hinta. Verkkokauppayrityksen tietokannassa kahdelle sivulle kirjoitettiin kaksi erilaista toimituskulua (yksi nykyinen, yksi vanha unohdettu sivu). Botti veti satunnaisesti jonkun ja kertoi joillekin asiakkaille väärän hinnan. Kun vanha sivu arkistoitiin yhden oikean lähteen periaatteella, epäjohdonmukaisuus hävisi. Oppitunti: RAG ei ratkaise ristiriitaa, se levittää ristiriitaa sellaisena kuin se on.

Tapaus 3 — En tiedä -lokin arvo. Yhdessä pankissa robotti sanoi "en tiedä varmasti" noin 4 000 kysymykseen kuukaudessa. Kun nämä kysymykset ryhmiteltiin, havaittiin, että 40 % koski "kansainvälistä korttien käyttöä"; Siitä ei ollut artikkelia. Kun asiaankuuluvat asiat lisättiin, nämä kysymykset ratkesivat ja vaihtuvuus aiheeseen liittyville ihmisille laski 55 %. Siitä, että botti sanoi, ettei se tiennyt, tuli parannusten etenemissuunnitelma.

Yleisiä virheitä

• Vastaa ilman linkitystä lähteeseen. Ilman RAG:ta malli sopii konkreettiseen tietoon; Konkreettisen vastauksen on riippuvainen lähteestä.
• "En tiedä" -vaihtoehdon poistaminen käytöstä. Mallin pakottaminen vastaamaan jokaiseen kysymykseen varmistaa sopivuuden.
• Ristiriitaisia/vanhoja tietoja ei poisteta. RAG levittää ristiriitaa; Yksi oikea lähde on välttämätön.
• Silppuamisen laiminlyönti. Suurten PDF-tiedostojen vienti sellaisenaan häiritsee tarkkaa käyttöä. Käytä lyhyitä, yhden aiheen artikkeleita.
• Lähteen piilottaminen. Jos vastausta ei ilmoiteta, se heikentää todentamista ja luottamusta.

Varoitus: RAG parantaa tarkkuutta, mutta ei anna 100 %:n takuuta. Malli voi joskus tulkita siepatun osan väärin. Siksi taloudelliset, oikeudelliset ja turvallisuuskysymykset vaativat ihmisen hyväksynnän, vaikka lähde mainittaisiin; RAG vähentää hallusinaatioita, mutta ei poista vastuuta.

Yhteenvetona

Tietokanta ja RAG ovat puhelinkeskuksen tekoälyn tarkkuuden perusta. RAG estää suurelta osin hallusinaatioita estämällä mallia sovittamasta vastausta muistista ja tukeutumalla pelkästään nykyiseen lähteeseen. Mutta RAG on vain niin hyvä kuin sen tietopohja: tietopohja, joka on ajan tasalla, selkeä, jäsennelty, konfliktiton ja jossa on yksi totuuden lähde, on välttämätöntä. Kerro mallille "jos se ei ole lähteessä, kerro, ettet tiedä", osoita lähdettä ja käytä kysymyksiä, joihin robotti ei pysty vastaamaan tietopohjansa parantamiseksi. Säilytä ihmisen suostumus lähteestä huolimatta suurilla panoksilla.

Sovellustehtävä

Kirjoita 8 todellista/realistista asiakaskysymystä alaltasi ja 8 vastaavaa lyhyttä tietokannan artikkelia (jokainen artikkeli: kysymys, lyhyt vastaus, ehdot, päivämäärä, tunniste). Testaa sitten, osaako malli sanoa "en tiedä" käyttämällä "1) Tight RAG vastauskehote" -mallia ja esittämällä myös kysymyksen, josta yksi ei ole tietokannassa. Tarkista lopuksi artikkelisi "3) Ristiriitojen ja aukkojen skannauksella".

tarkistuslista

• [ ] Jokainen botin/avustajan antama konkreettinen vastaus riippuu nykyisestä tietokannasta (RAG:n kautta).
• [ ] Opastin mallia "jos se ei ole lähteessä, kerro ettet tiedä" ja testasin sitä.
• [ ] Tietopohjani koostuu ajankohtaisista, selkeistä, yhden aiheen artikkeleista.
• [ ] Poistin ristiriitaiset ja vanhat artikkelit; Kaikille tiedoille on vain yksi oikea lähde.
• [ ] Vastaukset osoittavat, mihin artikkeliin se perustuu (lähde).
• [ ] Kerään "en tiedä" -kysymyksiä ja syötän tietopohjaa.