Mga nadagdag:
- Unawain kung paano gumagana ang RAG (fragmentation, access, resource-dependent generation) at kung paano nito binabawasan ang hallucination
- Kakayahang pataasin ang kalidad ng mga sagot sa pamamagitan ng pagtatatag ng base ng kaalaman na kasalukuyan, malinaw, walang salungatan at may iisang tamang pinagmulan.
- Kakayahang turuan ang modelo 'kung wala ito sa pinagmulan, sabihin sa akin na hindi mo alam' at gawing pagpapabuti ng base ng kaalaman ang mga tanong na hindi nito masasagot
Ang sagot na ibinibigay ng isang bot o ahente ng ahente ay kasing ganda lamang ng impormasyon kung saan ito nakabatay. Kapag nagtanong ang customer ng "Nagpapatuloy ba ang kampanya?", ang tamang sagot ay wala sa memorya ng modelo, ngunit sa kasalukuyang base ng kaalaman ng institusyon. Kaya naman ang puso ng call center artificial intelligence ay knowledge base (KB): isang napapanahon na mapagkukunan kung saan ang mga produkto, patakaran, FAQ, pamamaraan at panuntunan ay pinananatiling nakasulat. At ang paraan na ligtas na nag-uugnay sa base ng kaalaman na ito sa artificial intelligence ay tinatawag na RAG: Retrieval-Augmented Generation — sa halip na gawin ang sagot mula sa sarili nitong memorya, kinukuha muna ng modelo ang mga nauugnay na piraso ng impormasyon mula sa pinagmulan (pagkuha) at pagkatapos ay bubuo ng sagot batay sa mga piraso lamang na iyon (generation).
Ang RAG ay ang pinakamakapangyarihang paraan ng pagpigil sa guni-guni. Ang modelo ay hindi bumubuo ng isang numero sa ulo nito para sa tanong na "ano ang rate ng interes ng pautang?" Kinukuha nito ang kasalukuyang teksto ng interes mula sa base ng kaalaman at mga sagot batay dito. Sa unit na ito makikita natin kung paano i-set up ang knowledge base, kung paano gumagana ang RAG at kung paano tinutukoy ng isang mahusay na knowledge base ang kalidad ng mga sagot.
Paano gumagana ang RAG: apat na hakbang
Isipin mo si RAG na parang librarian. Nagtatanong ang customer; Hinahanap muna ng system ang mga nauugnay na page mula sa kanang shelf ng library, pagkatapos ay babasahin ang mga page na iyon at isusulat ang sagot. Ang mga teknikal na hakbang ay ang mga sumusunod:
- Chunking: Ang mga mahahabang dokumento sa knowledge base ay pinaghiwa-hiwalay sa maliliit, makabuluhang piraso (hal., bawat FAQ ay isang tipak). Dahil mas tumpak na sinasagot ng modelo ang isang tanong gamit ang mga kaugnay na maliliit na bahagi.
- Pag-embed at pag-index: Ang bawat piraso ay isinalin sa isang numerical form na kumakatawan sa kahulugan nito (pag-embed—isang pagkakasunud-sunod ng mga numero na kumakatawan sa kahulugan ng teksto) at inilagay sa isang mahahanap na database. Kaya, hindi ito isang "tugmang salita" ngunit isang "tugmang kahulugan"; Kahit na itanong ng customer na "kailan idedeposito ang aking pera?", maaaring mahanap ang bahagi ng "panahon ng pagbabalik".
- Pagbawi: Ang mga bahagi na pinakamalapit sa kahulugan sa tanong ng customer ay kinukuha (hal. ang pinakamalapit na 3-5 bahagi).
- Pagbuo: Isinulat ng modelo ang sagot batay LAMANG sa mga iginuhit na bahagi at ipinapahiwatig ang pinagmulan kung maaari.
Ang kritikal na punto ay nasa hakbang 4: ang modelo ay inutusan na "umaasa lang sa mga ibinigay na piraso, o sabihing hindi mo alam." Kung wala ang pagtuturo na ito, hindi pinipigilan ng RAG ang modelo na umangkop.
Hint: Ang ginintuang tuntunin ng RAG: "Kung wala ito sa pinagmulan, walang sagot." Ang isang mahusay na sistema ng RAG ay magsasabi ng "Hindi ko alam para dito" sa isang tanong na wala sa base ng kaalaman; hindi kailanman pinupunan ang puwang ng hula. Ang kakayahan ng bot na sabihin ang "Hindi ko alam" ay isang tampok sa seguridad, hindi isang kahinaan.
Isang magandang base ng kaalaman: ang tunay na pinagmumulan ng kalidad ng sagot
Gaano man kahusay ang RAG, kung ang base ng kaalaman ay masama, ang sagot ay masama. Ang kalidad ng base ng kaalaman ay sinusukat sa pamamagitan ng:
tampok
masamang base ng kaalaman
Magandang base ng kaalaman
Kasalukuyan
Hindi na-update ng ilang buwan
Updated agad kapag binago
Kalinawan
Mahaba, convoluted text
Mga artikulong maikli at may iisang paksa
istraktura
Magulo PDF pile
May label na mga degradable substance
Consistency
Dalawang magkasalungat na sagot
Nag-iisang pinagmulan ng katotohanan
Saklaw
Maraming gaps
Sinasaklaw ang mga madalas itanong
pagmamay-ari
Walang mananagot
Bawat paksa ay may nagmamay-ari
Ang pinaka-mapanganib na problema sa konteksto ng call center ay kontradiksyon: kung ang dalawang magkaibang panahon ng pagbalik ay nakasulat sa base ng kaalaman, sasabihin ng RAG kung alin ang kailangan at isang hindi tugmang sagot ang ipapadala sa customer. Iyon ang dahilan kung bakit ang prinsipyo ng "nag-iisang pinagmulan ng katotohanan" ay kritikal: ang impormasyon ay pinananatiling napapanahon sa isang lugar; Mga sanggunian sa pinagmulang iyon ang ginagamit, hindi mga kopya.
Hakbang-hakbang: pagbuo ng isang sistema ng pagtugon na suportado ng RAG
- Linisin ang base ng kaalaman: Alisin ang mga luma, sumasalungat, mga duplicate na artikulo. Gawing maikli at solong paksa ang bawat artikulo.
- Hatiin ito at i-tag: Magdagdag ng tag ng paksa at petsa ng huling update sa bawat artikulo.
- Magtatag ng access: Ikonekta ang isang mekanismo na kumukuha ng mga nauugnay na bahagi kapag tinanong (ibinigay ito ng mga tool sa RAG ng enterprise).
- Sumulat ng mahigpit na prompt: Sabihin sa modelo na "umaasa lamang sa mga bahaging ibinigay, banggitin ang pinagmulan, o sabihing hindi mo alam."
- Sipiin ang pinagmulan: Ipakita ang artikulo kung saan nakabatay ang sagot; Pareho itong nagbibigay ng kumpiyansa at pinapadali ang pag-verify.
- Panoorin ang mga puwang: Mangolekta ng mga tanong kung saan sinasabi ng bot na "Hindi ko alam"; Ang mga ito ay nagpapakita ng mga kakulangan sa kaalaman base, feed mula doon.
Apat na maaaring kopyahin na mga template
1) Mahigpit na RAG answer prompt:
Sagutin BATAY sa mga sumusunod na bahagi ng [SOURCE]. Mga Panuntunan: (1) gamitin lamang ang impormasyon sa pinagmulan, (2) kung wala ito sa pinagmulan, sabihing "Wala akong tiyak na impormasyon tungkol dito, hayaan mo akong ikonekta ka sa kinatawan", (3) sabihin kung aling artikulo ito ay batay sa bilang [Source: item-no], (4) quote ang halaga/tagal/kondisyon nang eksakto mula sa pinagmulan, huwag i-round/make up. [SOURCE]: <<mga hinila na bahagi>>Tanong: "<<tanong ng customer>>"
2) Pagsusulat ng artikulo sa base ng kaalaman:
I-convert ang sumusunod na scattered policy text sa isang FAQ article na angkop para sa RAG. Format: Tanong (sa wika ng customer) / Maikling sagot (2-3 pangungusap) / Kundisyon (sugnay) / Petsa ng huling pag-update / Tag ng paksa. Markahan ang anumang hindi malinaw na mga punto bilang "malinaw", gumawa-paniniwala. Raw text: <<text>>
3) Pag-scan para sa mga kontradiksyon at puwang:
Suriin ang mga sumusunod na artikulo sa base ng kaalaman. (1) Markahan ang mga pares ng mga artikulo na KASALITAN sa isa't isa (hal. magkaibang panahon ng pagbabalik). (2) Hulaan ang mga paksang madalas itanong ngunit WALANG sagot. Tingnan lamang ang mga ibinigay na artikulo; paggawa ng bagong patakaran.Mga Artikulo: <<listahan>>
4) Pagpapabuti mula sa log ng "Hindi ko alam":
Nasa ibaba ang mga tanong na hindi masagot ng bot (hindi makahanap ng pinagmulan). Pangkatin ang mga ito sa mga paksa at imungkahi ang pamagat ng artikulo na dapat idagdag sa base ng kaalaman para sa bawat pangkat. Huwag gumawa ng nilalaman ng sagot, sabihin lang sa akin kung aling item ang nawawala. Mga Tanong: <<listahan>>
Mahinang prompt / Malakas na prompt
Mahinang prompt:
Sagutin ang tanong ng pagbabalik ng customer.
Walang pinagmulan; Maaaring magkasya ang modelo mula sa memorya, maaaring mali ang halaga/tagal, hindi ito ma-verify.
Napakahusay na prompt:
Sagot lamang batay sa sugnay ng patakaran sa pagbabalik sa ibaba. Kung hindi ito available sa source, sabihin ang "I don't know for sure". Sipiin ang panahon at kundisyon sa verbatim, magbigay ng sanggunian sa anyo ng [Source: RETURN-03].[SOURCE: RETURN-03]: "Maaaring ibalik ang hindi nagamit na produkto sa loob ng 14 na araw. Ang mga personalized na produkto ay wala sa saklaw ng pagbabalik." Tanong: "Maaari ko bang ibalik ang personalized na produkto na binili ko 20 araw ang nakalipas?"
Pagkakaiba: source dependent, reference sapilitan, katha ban malinaw; ang modelo ay bumubuo ng tamang sagot ("14 na araw ang nakalipas at naka-personalize, hindi maibabalik") mula sa pinagmulan.
tatlong mini case
Case 1 — Pagtatapos ng guni-guni. Ang katumpakan ng sagot ng isang telecom bot sa mga tanong sa campaign ay 71% sa isang walang-RAG setup; Ang modelo kung minsan ay bumubuo ng mga lumang kampanya. Kapag ang kasalukuyang mga pahina ng kampanya ay konektado sa RAG at ang "huwag sabihin ito kung wala ito sa pinagmulan" ay idinagdag, ang katumpakan ay tumaas sa 96% at ang mga reklamo tungkol sa "maling mga salita ng kampanya" ay halos natapos.
Kaso 2 — Ang presyo ng kontradiksyon. Sa base ng kaalaman ng isang kumpanya ng e-commerce, dalawang magkaibang gastos sa pagpapadala ang isinulat sa dalawang pahina (isang kasalukuyan, isang lumang nakalimutang pahina). Ang bot ay random na humihila ng isang tao at nagsasabi sa ilan sa mga customer ng maling presyo. Nang na-archive ang lumang pahina gamit ang prinsipyo ng iisang tamang pinagmulan, nawala ang hindi pagkakapare-pareho. Aral: Hindi nireresolba ng RAG ang kontradiksyon, pinapalaganap nito ang kontradiksyon sa kasalukuyan.
Case 3 — Ang halaga ng log na “Hindi ko alam”. Sa isang bangko, ang bot ay nagsasabi ng "Hindi ko alam sigurado" sa ~4,000 tanong sa isang buwan. Nang pinagsama-sama ang mga tanong na ito, nakita na 40% ay tungkol sa "international card use"; Walang artikulo tungkol dito. Kapag idinagdag ang mga nauugnay na item, nalutas ang mga tanong na ito at bumaba ng 55% ang turnover sa mga tao sa paksang iyon. Ang katotohanan na sinabi ng bot na hindi nito alam ang naging road map para sa pagpapabuti.
Mga karaniwang pagkakamali
- Sumasagot nang hindi nagli-link sa pinagmulan. Kung walang RAG, ang modelo ay umaangkop sa kongkretong impormasyon; Ang anumang konkretong sagot ay dapat nakadepende sa pinagmulan.
- I-off ang opsyong "Hindi ko alam." Ang pagpilit sa modelo na sagutin ang bawat tanong ay tinitiyak na angkop.
- Hindi nililinis ang sumasalungat/lumang impormasyon. Ang RAG ay nagkakalat ng kontradiksyon; Ang isang solong tamang mapagkukunan ay mahalaga.
- Nagpapabaya sa paghiwa. Ang pag-export ng malalaking PDF bilang ay nakakagambala sa tumpak na pag-access; Gumamit ng maikli, solong paksa na mga artikulo.
- Itinatago ang pinagmulan. Ang hindi pagtukoy kung ano ang batayan ng sagot ay nagpapahina sa pagpapatunay at pagtitiwala.
Babala: Pinapabuti ng RAG ang katumpakan ngunit hindi nagbibigay ng 100% na garantiya. Ang modelo ay maaaring minsan ay maling kahulugan ang nakunan na bahagi. Samakatuwid, ang mga isyu sa pananalapi, legal at seguridad ay nangangailangan ng pag-apruba ng tao kahit na binanggit ang pinagmulan; Binabawasan ng RAG ang guni-guni ngunit hindi inaalis ang responsibilidad.
Sa buod
Ang knowledge base at RAG ay ang pundasyon ng katumpakan ng call center AI. Ang RAG ay higit na pinipigilan ang guni-guni sa pamamagitan ng pagpigil sa modelo mula sa pag-angkop ng sagot mula sa memorya at pag-asa lamang sa kasalukuyang pinagmulan. Ngunit ang RAG ay kasinghusay lamang ng base ng kaalaman nito: isang base ng kaalaman na napapanahon, malinaw, nakabalangkas, walang salungatan at may iisang pinagmumulan ng katotohanan ay mahalaga. Sabihin sa modelo na "kung wala ito sa pinagmulan, sabihin sa akin na hindi mo alam", ituro ang pinagmulan, at gamitin ang mga tanong na hindi masasagot ng bot upang mapabuti ang base ng kaalaman nito. Panatilihin ang pahintulot ng tao sa kabila ng pinagmulan sa mga bagay na may mataas na taya.
Gawain ng aplikasyon
Sumulat ng 8 tunay/makatotohanang tanong ng customer mula sa iyong industriya at 8 kaukulang maikling artikulo ng base ng kaalaman (bawat artikulo: tanong, maikling sagot, kundisyon, petsa, tag). Pagkatapos ay subukan kung masasabi ng modelo ang "Hindi ko alam" sa pamamagitan ng paggamit ng pattern na "1) Tight RAG answer prompt" at pagtatanong din, na ang isa ay wala sa knowledge base. Panghuli, suriin ang iyong mga artikulo gamit ang "3) Contradiction at gap scanning".
checklist
- [ ] Ang bawat konkretong sagot na ibinigay ng bot/assistant ay nakasalalay sa kasalukuyang base ng kaalaman (sa pamamagitan ng RAG).
- [ ] Inutusan ko ang modelo "kung wala ito sa pinagmulan, sabihin sa akin na hindi mo alam" at sinubukan ito.
- [ ] Ang aking base ng kaalaman ay binubuo ng napapanahon, malinaw, solong paksa na mga artikulo.
- [ ] Inalis ko ang magkasalungat at lumang mga artikulo; Mayroon lamang isang tamang mapagkukunan para sa lahat ng impormasyon.
- [ ] Ipinapakita ng mga sagot kung aling artikulo ito batay sa (pinagmulan).
- [ ] Kinokolekta ko ang mga tanong na "Hindi ko alam" at pinapakain ang base ng kaalaman.