Ipilẹ Imọ ati RAG: Bawo ni Bot ati Aṣoju Wa Idahun Ti o tọ

Awọn anfani:

• Loye bii RAG (fipin, iraye si, iran ti o gbẹkẹle orisun) ṣiṣẹ ati bii o ṣe dinku hallucination
• Agbara lati mu didara awọn idahun pọ si nipa idasile ipilẹ imọ ti o wa lọwọlọwọ, ko o, laisi rogbodiyan ati pe o ni orisun ti o tọ kan.
• Agbara lati kọ awoṣe 'ti ko ba si ni orisun, sọ fun mi pe o ko mọ' ati tan awọn ibeere ti ko le dahun sinu ilọsiwaju ipilẹ imọ

Idahun bot tabi oluranlọwọ oluranlowo jẹ dara nikan bi alaye ti o da lori. Nigbati alabara ba beere “Ṣe ipolongo naa n tẹsiwaju?”, Idahun to pe ko si ni iranti awoṣe, ṣugbọn ni ipilẹ imọ lọwọlọwọ ti igbekalẹ naa. Ti o ni idi ti okan ti ipe aarin Oríkĕ itetisi ni imo mimọ (KB): ohun imudojuiwọn awọn oluşewadi ibi ti awọn ọja, imulo, FAQs, ilana ati awọn ofin ti wa ni pa ni kikọ. Ati pe ọna ti o sopọ mọ ipilẹ imọ yii ni aabo si oye itetisi atọwọda ni a pe ni RAG: Igbapada-Augmented Generation - dipo ṣiṣe idahun lati iranti tirẹ, awoṣe kọkọ gba awọn ege alaye ti o yẹ lati orisun (igbapada) ati lẹhinna ṣe ipilẹṣẹ idahun ti o da lori awọn ege yẹn nikan (iran).

RAG jẹ ọna ti o lagbara julọ lati ṣe idiwọ ipalọlọ. Awọn awoṣe ko ṣe ina nọmba kan ni ori rẹ fun ibeere naa "kini oṣuwọn iwulo awin?" O gba ọrọ iwulo lọwọlọwọ pada lati ipilẹ imọ ati awọn idahun ti o da lori rẹ. Ninu ẹyọ yii a yoo rii bii o ṣe le ṣeto ipilẹ oye, bawo ni RAG ṣe n ṣiṣẹ ati bii ipilẹ imọ ti o dara ṣe pinnu didara awọn idahun.

Bawo ni RAG ṣiṣẹ: awọn igbesẹ mẹrin

Ro ti RAG bi a ikawe. Onibara beere ibeere; Eto naa kọkọ wa awọn oju-iwe ti o yẹ lati apa ọtun ti ile-ikawe, lẹhinna ka awọn oju-iwe wọnyẹn ati kọ idahun naa. Awọn igbesẹ imọ-ẹrọ jẹ bi atẹle:

1. Chunking: Awọn iwe aṣẹ gigun ni ipilẹ imọ ti fọ si awọn ege kekere, ti o nilari (fun apẹẹrẹ, FAQ kọọkan jẹ chunk). Nitoripe awoṣe naa dahun ibeere kan ni deede pẹlu awọn ẹya kekere ti o ni ibatan.
2. Ifisinu ati titọka: Ẹyọ kọọkan ni a tumọ si ọna nọmba kan ti o nsoju itumọ rẹ (ifibọ-ilana awọn nọmba ti o nsoju itumọ ọrọ) ati gbe sinu aaye data wiwa. Nípa bẹ́ẹ̀, kì í ṣe “ìbáradé ọ̀rọ̀” bí kò ṣe “ìtumọ̀ ìbáramu”; Paapa ti alabara ba beere “Nigbawo ni owo mi yoo fi silẹ?”, apakan “akoko agbapada” le ṣee rii.
3. Igbapada: Awọn ẹya ti o sunmọ ni itumo si ibeere alabara ni a gba pada (fun apẹẹrẹ awọn ẹya 3-5 ti o sunmọ julọ).
4. Iran: Awoṣe kọ idahun ti o da NIKAN awọn ẹya ti o fa ati tọka orisun ti o ba ṣeeṣe.

Awọn lominu ni ojuami ni igbese 4: awọn awoṣe ti wa ni kọ lati "o kan gbekele lori awọn ege fi fun, tabi sọ o ko ba mọ." Laisi itọnisọna yii, RAG ko ṣe idiwọ awoṣe lati baamu.

Akiyesi: Ofin goolu ti RAG: "Ti ko ba si ni orisun, ko si idahun." Eto RAG ti o dara yoo sọ "Emi ko mọ daju nipa eyi" si ibeere ti ko si ni ipilẹ imọ; kò kún aafo pẹlu guesswork. Agbara bot lati sọ "Emi ko mọ" jẹ ẹya aabo, kii ṣe ailera.

Ipilẹ imọ ti o dara: orisun gidi ti didara idahun

Ko si bi RAG ṣe dara to, ti ipilẹ imọ ba buru, idahun ko dara. Didara ipilẹ imọ jẹ iwọn nipasẹ:

ẹya-ara

mimọ mimọ

Ti o dara imo mimọ

Lọwọlọwọ

Ko ṣe imudojuiwọn fun awọn oṣu

Ṣe imudojuiwọn lẹsẹkẹsẹ nigbati o yipada

wípé

Gígùn, ọrọ convoluted

Awọn nkan kukuru, koko-ọkan

igbekale

idoti PDF opoplopo

Aami degradable oludoti

Iduroṣinṣin

Meji rogbodiyan idahun

Nikan orisun ti otitọ

Ààlà

Ọpọlọpọ awọn ela wa

Bo awọn ibeere ti a beere nigbagbogbo

nini

Ko si eniti o wa lodidi

Gbogbo koko ni o ni eni

Iṣoro ti o lewu julọ ni agbegbe ile-iṣẹ ipe jẹ ilodi: ti awọn akoko ipadabọ oriṣiriṣi meji ba kọ sinu ipilẹ imọ, RAG yoo sọ eyikeyi ti o gba ati idahun ti ko ni ibamu yoo ranṣẹ si alabara. Ìdí nìyẹn tí ìlànà “orísun òtítọ́ kan ṣoṣo” fi ṣe pàtàkì: a máa ń pa ìsọfúnni mọ́ ní ibi kan; Awọn itọkasi si orisun yẹn ni a lo, kii ṣe awọn ẹda.

Igbesẹ nipa igbese: kikọ eto esi ti o ni atilẹyin RAG kan

1. Nu mimọ mimọ: Yọ igba atijọ, rogbodiyan, àdáwòkọ ìwé. Ṣe nkan kọọkan ni kukuru ati koko-ọkan.
2. Ya lulẹ ki o fi aami si: Ṣafikun aami koko-ọrọ ati ọjọ imudojuiwọn to kẹhin si nkan kọọkan.
3. Ṣeto wiwọle: So ẹrọ kan ti o fa awọn ẹya ti o yẹ nigbati o beere (awọn irinṣẹ RAG ile-iṣẹ pese eyi).
4. Kọ itọsi ti o muna: Sọ fun awoṣe “gbẹkẹle awọn apakan ti a pese nikan, tọka orisun, tabi sọ pe o ko mọ.”
5. Tọkasi orisun: Ṣafihan nkan naa lori eyiti idahun da lori; O mejeeji yoo fun igbekele ati ki o dẹrọ ijerisi.
6. Wo awọn ela: Gba awọn ibeere ni ibi ti bot sọ pe “Emi ko mọ”; Awọn wọnyi fihan awọn aipe ni ipilẹ imọ, ifunni lati ibẹ.

Mẹrin daakọ awọn awoṣe

1) Idahun RAG ti o muna:

Idahun DA lori awọn ẹya [orisun] wọnyi. Awọn ofin: (1) lo alaye nikan ti o wa ni orisun, (2) ti ko ba si ni orisun, sọ pe "Emi ko ni alaye pato nipa eyi, jẹ ki n so ọ pọ mọ aṣoju", (3) sọ nkan ti o da lori bi [Orisun: ohun kan-ko], (4) sọ iye / iye akoko / ipo gangan lati orisun, ma ṣe yika / ṣe soke. [SOURCE]: <<apakan ti a fa>>Ibeere: "<<Ibeere onibara>>"

2) kikọ nkan ipilẹ imọ:

Ṣe iyipada ọrọ eto imulo tuka atẹle si nkan FAQ ti o dara fun RAG. Ọna kika: Ibeere (ni ede alabara) / Idahun kukuru (awọn gbolohun ọrọ 2-3) / Awọn ipo (ọrọ) / Ọjọ imudojuiwọn to kẹhin / Aami koko. Samisi eyikeyi awọn aaye aibikita bi “lati ṣe alaye”, ṣe-gbagbọ. Ọrọ aise: <<ọrọ>>

3) Ṣiṣayẹwo fun awọn itakora ati awọn ela:

Ṣayẹwo awọn nkan ipilẹ imọ wọnyi. (1) Samisi awọn orisii nkan ti o RARA pẹlu ara wọn (fun apẹẹrẹ akoko ipadabọ oriṣiriṣi). (2) Gboju awọn koko-ọrọ ti yoo beere nigbagbogbo ṣugbọn ko ni awọn idahun. Wo awọn nkan ti a fun nikan; producing titun imulo.Articles: <<akojọ>>

4) Ilọsiwaju lati akọọlẹ "Emi ko mọ":

Ni isalẹ wa awọn ibeere ti bot ko le dahun (ko le wa orisun kan). Ṣe akojọpọ wọn sinu awọn akọle ati daba akọle nkan ti o yẹ ki o ṣafikun si ipilẹ imọ fun ẹgbẹ kọọkan. Maṣe ṣe awọn akoonu idahun, kan sọ fun mi kini nkan ti o nsọnu. Awọn ibeere: <<akojọ>>

Ailagbara kiakia / Alagbara kiakia

Ibere ​​ailagbara:

Dahun ibeere ti alabara pada.

Ko si orisun; Awoṣe naa le baamu lati iranti, iye / iye akoko le jẹ aṣiṣe, ko le rii daju.

Ibere ​​​​ti o lagbara:

Idahun nikan da lori gbolohun eto imulo ipadabọ ni isalẹ. Ti ko ba si ni orisun, sọ "Emi ko mọ daju". Sọ akoko naa ati ipo ni ọrọ-ọrọ, fun itọkasi ni irisi [Orisun: RETURN-03].[Orisun: RETURN-03]: "Ọja ti a ko lo le ṣe pada laarin awọn ọjọ 14. Awọn ọja ti ara ẹni ko si laarin iwọn ipadabọ.” Ibeere: "Ṣe MO le da ọja ti ara ẹni ti Mo ra ni ọjọ 20 sẹhin pada?"

Iyatọ: orisun ti o gbẹkẹle, dandan itọkasi, idinamọ iṣelọpọ ko o; awoṣe naa n ṣe idahun ti o pe ("14 ọjọ ti o ti kọja ati ti ara ẹni, ti kii ṣe agbapada") lati orisun.

mẹta mini igba

Ọran 1 - Ipari hallucination. Idahun bot ti telecom kan deede si awọn ibeere ipolongo jẹ 71% ni eto ko si-RAG; Awọn awoṣe ma ṣe soke atijọ ipolongo. Nigbati awọn oju-iwe ipolongo lọwọlọwọ ti sopọ si RAG ati “maṣe sọ ti ko ba si ni orisun” ofin ti ṣafikun, deede pọ si 96% ati awọn ẹdun nipa “awọn ọrọ ipolongo aṣiṣe” ti fẹrẹ pari.

Ọran 2 - Awọn owo ti ilodi. Ni ipilẹ imọ ti ile-iṣẹ e-commerce, awọn idiyele gbigbe oriṣiriṣi meji ni a kọ si awọn oju-iwe meji (ọkan lọwọlọwọ, oju-iwe igbagbe atijọ kan). Bot naa n fa ẹnikan laileto ati sọ fun diẹ ninu awọn alabara ni idiyele ti ko tọ. Nigbati oju-iwe atijọ ti wa ni ipamọ pẹlu ipilẹ ti orisun ti o tọ, aiṣedeede ti sọnu. Ẹkọ: RAG ko yanju ilodi, o tan kaakiri bi o ti jẹ.

Ọran 3 - Awọn iye ti awọn "Emi ko mọ" log. Ni banki kan, bot n sọ “Emi ko mọ daju” si ~ 4,000 awọn ibeere ni oṣu kan. Nigbati awọn ibeere wọnyi ṣe akojọpọ, o rii pe 40% jẹ nipa “lilo kaadi kariaye”; Ko si nkan nipa rẹ. Nigbati a ba ṣafikun awọn nkan ti o yẹ, awọn ibeere wọnyi ni ipinnu ati iyipada si awọn eniyan lori koko-ọrọ yẹn dinku nipasẹ 55%. Otitọ pe bot sọ pe ko mọ di maapu opopona fun ilọsiwaju.

Awọn aṣiṣe ti o wọpọ

• Idahun laisi asopọ si orisun. Laisi RAG, awoṣe ni ibamu pẹlu alaye ti nja; Eyikeyi nja idahun gbọdọ dale lori awọn orisun.
• Pa a aṣayan "Emi ko mọ". Fi agbara mu awoṣe lati dahun ibeere kọọkan ni idaniloju ibamu.
• Ko aferi rogbodiyan / atijọ alaye. RAG ntan ilodi; Orisun ti o pe nikan jẹ pataki.
• Aibikita lati shred. Gbigbe awọn PDFs nla bi o ṣe npa wiwọle si deede; Lo awọn nkan kukuru, koko-ọkan.
• Nọmbafoonu orisun. Ko ṣe afihan kini idahun da lori iṣeduro irẹwẹsi ati igbẹkẹle.

Išọra: RAG ṣe ilọsiwaju deede ṣugbọn ko pese iṣeduro 100%. Awoṣe naa le ṣe itumọ aiṣedeede nigbakan apakan ti o ya. Nitorinaa, awọn ọran inawo, ofin ati aabo nilo ifọwọsi eniyan paapaa ti orisun naa ba tọka; RAG dinku hallucination ṣugbọn ko yọ ojuse kuro.

Ni soki

Ipilẹ imọ ati RAG jẹ ipilẹ ti deede ti ile-iṣẹ ipe AI. RAG ṣe idiwọ ilokulo pupọ nipa idilọwọ awoṣe lati ni ibamu idahun lati iranti ati gbigbekele orisun lọwọlọwọ nikan. Ṣugbọn RAG dara nikan bi ipilẹ imọ rẹ: ipilẹ imọ ti o wa titi di oni, ti o han gbangba, ti iṣeto, laisi rogbodiyan ati pe o ni orisun kan ti otitọ jẹ pataki. Sọ fun awoṣe “ti ko ba si ni orisun, sọ fun mi pe o ko mọ”, tọka si orisun, ki o lo awọn ibeere ti bot ko le dahun lati mu ipilẹ imọ rẹ dara si. Ṣe itọju igbanilaaye eniyan laibikita orisun lori awọn ọran ti o ga.

Ohun elo iṣẹ-ṣiṣe

Kọ 8 gidi / awọn ibeere alabara gidi lati ile-iṣẹ rẹ ati awọn nkan ipilẹ imọ kukuru 8 ti o baamu (nkan kọọkan: ibeere, idahun kukuru, awọn ipo, ọjọ, tag). Lẹhinna ṣe idanwo boya awoṣe naa le sọ “Emi ko mọ” nipa lilo ilana “1) Tight RAG idahun tọ” ati tun beere ibeere kan, ọkan ninu eyiti ko si ni ipilẹ oye. Nikẹhin, ṣayẹwo awọn nkan rẹ pẹlu “3) ilodi ati wiwa aafo”.

akojọ ayẹwo

• [] Gbogbo idahun nja ti a fun nipasẹ bot / oluranlọwọ da lori ipilẹ imọ lọwọlọwọ (nipasẹ RAG).
• [] Mo ti paṣẹ awoṣe "ti ko ba si ni orisun, so fun mi pe o ko mọ" ati idanwo o.
• [] Ipilẹ imọ mi ni awọn nkan ti o wa titi di oni, ti o han gbangba, awọn nkan koko-ọrọ kan.
• [ ] Mo ti nso jade awọn rogbodiyan ati atijọ ìwé; Orisun to tọ nikan wa fun gbogbo alaye.
• [] Awọn idahun fihan iru nkan ti o da lori (orisun).
• [] Mo gba awọn ibeere "Emi ko mọ" ati ifunni ipilẹ imọ.