Awọn anfani:
- Loye bii RAG ṣe dinku hallucination nipa sisopọ ati tọka idahun si awọn iwe aṣẹ ile-ẹkọ gangan ati lilo pataki ti ipilẹ iwe mimọ
- Agbara lati ṣayẹwo orisun, ọjọ ati owo ti iṣelọpọ RAG ati iyatọ awọn ẹya ikọlura
- Agbara lati daabobo aṣiri ile-iṣẹ nipa idilọwọ awọn idahun lati awọn iwe aṣẹ laigba aṣẹ pẹlu iṣakoso wiwọle
Iranti agbari kan n gbe ni ẹgbẹẹgbẹrun awọn iwe aṣẹ tuka: awọn ijabọ, awọn iwe afọwọkọ, awọn iṣẹju, awọn ilana, awọn imeeli. Oṣiṣẹ le wa awọn iwe aṣẹ fun awọn wakati lati dahun ibeere ti o rọrun (“bawo ni ilana yii ṣe ṣiṣẹ?”). Ala oluṣakoso imọ jẹ fun iranti yii lati pese taara ṣugbọn awọn idahun orisun orisun si awọn ibeere. Eyi ni pato ohun ti RAG ṣe ileri. Ninu ẹyọ yii iwọ yoo kọ kini RAG jẹ, bii o ṣe le lo ni iṣakoso alaye iṣowo, ati bii o ṣe le ni aabo ni awọn ofin ti deede, aṣiri ati akoko.
Jẹ ká setumo awọn Erongba. RAG (Iran Imupadabọ-Imupadabọ) jẹ nigbati AI ba dahun ibeere kan nipa wiwa akọkọ (gbigba pada) awọn ege ti o yẹ lati inu iwe ti ara ẹni ati lẹhinna ṣiṣẹda idahun ti o da lori awọn ege yẹn nikan. Eyi yatọ ni ipilẹ si AI gbogbogbo ti n ṣe idahun lati iranti: awọn ọna asopọ RAG ati awọn orisun idahun si gidi, awọn iwe aṣẹ itọpa. Nitorinaa hallucination ti dinku pupọ nitori AI sọrọ lati iwe ile-iṣẹ, kii ṣe lati “ori” rẹ.
Igbesẹ nipasẹ igbese: ni oye eto RAG ile-iṣẹ kan
1. Mura ipilẹ iwe. Awọn iwe aṣẹ ti o gbẹkẹle ti ajo naa, ti o wa titi di oni ni a gba, sọ di mimọ, ati pin si awọn ege (awọn apakan kekere ti o ni itumọ ti iwe kan). Ti o ba jẹ buburu, ti igba atijọ tabi awọn iwe ikọlura wọ inu eto naa, awọn idahun yoo jẹ buburu: “idoti sinu, idoti jade.”
2. Fi sabe ati atọka. Kọọkan chunk ti wa ni iyipada sinu kan fekito (ifibọ) nsoju awọn oniwe-itumo ati ki o fi sinu kan searchable Ìwé. Nigbati ibeere kan ba wa, eto naa wa awọn ẹya ti o sunmọ julọ ni itumọ.
3. Mu awọn ẹya ti o yẹ. Nigbati a ba beere ibeere kan, eto naa fa diẹ ninu awọn ege ti o yẹ julọ lati ipilẹ iwe. Igbesẹ yii jẹ pataki: ti a ba mu nkan ti ko tọ wọle, idahun yoo tun jẹ aṣiṣe.
4. Ṣe ipilẹṣẹ orisun orisun. AI ṣe ipilẹṣẹ esi ti o da lori awọn ajẹkù ti o mu ati tọkasi iru iwe ti o gba lati. Idahun ti ko tọka si orisun jẹ ilodi si idi ti RAG.
5. Daju ki o si jabo pada. Olumulo yẹ ki o ni anfani lati lọ si orisun ti o han ki o jẹrisi idahun naa. Awọn idahun ti ko tọ tabi ti ko pe di esi lati mu ilọsiwaju ipilẹ iwe.
Imọran: Didara RAG da lori didara ipilẹ iwe. Ṣe imudojuiwọn awọn iwe aṣẹ, igbo jade awọn ẹya rogbodiyan/ti igba atijọ, ati ṣafikun ọjọ ati alaye ijẹrisi si iwe kọọkan ṣaaju fifi sii sinu eto naa. Awọn iwe aṣẹ ti a ṣeto daradara 500 gbe awọn idahun to dara julọ ju awọn iwe aṣẹ tuka 5,000.
RAG ká aala ati aabo ojuami
RAG dinku hallucination ṣugbọn ko tunto. Ti eto naa ba pada nkan ti ko tọ, AI tun le funni ni idahun ti ko tọ nipa ku “iduroṣinṣin” si nkan ti ko tọ. Ni afikun, AI le ṣe itumọ awọn ege ti a mu tabi ṣajọpọ awọn ege lọpọlọpọ ni awọn ọna ilodisi. Nitorinaa, iṣelọpọ RAG yẹ ki o tun rii daju nipasẹ lilọ si orisun, pataki fun awọn ipinnu to ṣe pataki.
Asiri jẹ ọrọ aarin ni RAG ile-iṣẹ. Ipilẹ iwe-ipamọ le ni alaye ifarabalẹ ninu (eniyan, awọn adehun, ilana). Eto naa ko yẹ ki o ṣe awọn idahun lati awọn iwe aṣẹ ti olumulo ko fun ni aṣẹ; Iṣakoso wiwọle (ẹniti o le rii iru iwe wo) yẹ ki o tun lo si RAG. Bibẹẹkọ, oṣiṣẹ le wọle si alaye nipasẹ RAG ti ko le rii.
Ifarabalẹ: Paapaa nigba sisọ iwe kan, RAG ko ṣe iṣeduro pe iwe-ipamọ naa jẹ imudojuiwọn ati pe o peye. Eto naa le dahun lati inu iwe ilana ilana atijọ lati ọdun mẹta sẹhin. O jẹ ojuṣe olumulo ati oluṣakoso alaye lati ṣayẹwo ọjọ ati iwulo ti iwe orisun.
mẹta mini igba
Ọran 1 - Awọn ibeere ilana ni iyara. Ajo kan ṣe agbekalẹ eto RAG kan fun awọn ilana ilana inu oju-iwe 1,200 rẹ. Awọn ibeere “bi o ṣe le ṣe” awọn oṣiṣẹ ti yanju laarin iṣẹju-aaya pẹlu awọn idahun ti n tọka orisun; Iye akoko ipe apapọ dinku lati iṣẹju 25 si iṣẹju 2. Nitori idahun kọọkan ti o ni asopọ si apakan ti iwe-ipamọ lori eyiti o da lori, awọn oṣiṣẹ ni anfani lati rii daju.
Irú 2 - Atijọ iwe sile. Eto RAG kan dahun ibeere ilana igbanilaaye lati iwe-ipamọ atijọ ti ọjọ 2021; Sibẹsibẹ, ẹya imudojuiwọn ti tu silẹ ni ọdun 2024. Oṣiṣẹ ti o ṣii ọna asopọ orisun ṣe akiyesi pe ọjọ ti pẹ ati pe o rii iwe imudojuiwọn. Oluṣakoso alaye yọ ẹya atijọ kuro ni ipilẹ iwe.
Ọran 3 - Wiwọle laigba aṣẹ ni idilọwọ. Ninu iṣeto akọkọ, RAG ṣayẹwo gbogbo awọn iwe aṣẹ ni gbangba; oṣiṣẹ gba esi lati iwe isanwo ti ko yẹ ki o rii. Ẹgbẹ naa ṣafikun iṣakoso iwọle si RAG: eto naa n ṣe awọn idahun nikan lati awọn iwe aṣẹ si eyiti olumulo ti fun ni aṣẹ.
Igbelewọn, esi ati ilọsiwaju ilọsiwaju
Eto RAG kii ṣe ohun elo lati fi sori ẹrọ ni ẹẹkan ati gbagbe; O nilo igbelewọn igbagbogbo ati ilọsiwaju. Ipilẹ fun eyi ni wiwọn deede ti awọn idahun eto si awọn ibeere gidi. Awọn ibeere meji ṣe pataki: ṣe eto naa mu awọn ege iwe ti o pe (didara wiwọle) ati pe o ṣe agbejade esi to pe lati awọn ege ti a mu (didara iṣelọpọ)? O jẹ dandan lati ṣe iṣiro awọn ipele meji wọnyi lọtọ; Nitori kiko iwe-ipamọ ti o tọ ati itumọ rẹ ati kiko iwe ti ko tọ ati gbigbe ni otitọ jẹ awọn iṣoro ti o yatọ ati pe o nilo awọn solusan oriṣiriṣi. Iwa ti o dara ni lati tọju ṣeto awọn “awọn ibeere idanwo” pẹlu awọn idahun ti o pe ti a mọ ati idanwo eto pẹlu eto yii ni imudojuiwọn kọọkan. Ni afikun, awọn olumulo '“jẹ idahun yii ṣe iranlọwọ / jẹ orisun deede” esi ṣafihan awọn ela mejeeji ni ipilẹ iwe ati awọn apakan ti ko tọ. AI le ṣe iranlọwọ lati ṣajọpọ awọn esi yii ati akopọ awọn iru ibeere ti o kuna nigbagbogbo; Ṣugbọn ipinnu nipa iru iwe lati ṣafikun, imudojuiwọn tabi yọkuro jẹ ti oluṣakoso alaye. Eto naa nilo itọju bi ẹda alãye; RAG ti a gbagbe di ṣinilọna pupọ si nitori iwe ti ogbo lori akoko.
Imọran: Ni kete ti o ba ṣeto eto RAG, mura eto idanwo kekere kan ti awọn ibeere gidi 20-30 ati awọn idahun to pe ti a mọ. Ṣiṣe eto yii pẹlu imudojuiwọn iwe kọọkan lesekese fihan boya iyipada kan dara si tabi fọ eto naa.
Mẹrin daakọ awọn awoṣe
1) Idahun ti o da lori orisun:
Ipa rẹ: Iranlọwọ alaye ajọ. Ni isalẹ wa awọn iwe-ipamọ ti a gbe soke nipa ibeere naa. Fun idahun ti o da lori awọn ege wọnyi NIKAN ki o sọ iru iwe/apakan fun alaye kọọkan ti o ti wa. Ti ko ba si idahun ni awọn apakan, sọ “alaye yii ko si ninu awọn iwe aṣẹ ti a pese”, maṣe gboju. Ibeere: [nibi] / Awọn apakan: [nibi]
2) ilodi ati iṣakoso owo:
Ṣe awọn itakora eyikeyi wa tabi awọn ẹya ti o yatọ laarin awọn ege wọnyi? Ti o ba jẹ bẹ, samisi rẹ ki o tọkasi eyi ti o dabi diẹ sii lati ọjọ. Awọn apakan (pẹlu awọn ọjọ): [nibi]
3) Ayẹwo mimọ mimọ iwe aṣẹ:
Ninu atokọ iwe-ipamọ ti o wa ni isalẹ, ṣe eyikeyi igba atijọ, rogbodiyan, tabi awọn iwe aṣẹ ti ipilẹṣẹ aidaniloju ti o nilo lati ṣe lẹsẹsẹ ṣaaju ki o to fi sinu eto RAG kan? Fi ami si ki o kọ idi. Akojọ (pẹlu ọjọ/orisun): [nibi]
4) Aṣiri ati iraye si iṣakoso iṣaaju:
Njẹ awọn ajẹkù iwe atẹle ni alaye ifarabalẹ ninu (data ti ara ẹni, adehun aṣiri, ilana) bi? Sọtọ kọọkan gẹgẹbi “wiwọle ti gbogbo eniyan/ihamọ” ati fun idalare. Awọn orin: [nibi]
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Ṣe alaye ilana iyọọda igbekalẹ wa.
Ti ko ba si iwe ti a fun, AI ṣe agbekalẹ ilana ti a ṣe lati iranti gbogbogbo tabi lati imuse ti awọn ile-iṣẹ miiran; O le jẹ ko ṣe pataki si ofin gangan ti igbekalẹ naa.
Ibere ti o lagbara:
Ipa rẹ: Iranlọwọ alaye ajọ. Ni isalẹ wa awọn ege ti awọn iwe aṣẹ (pẹlu awọn ọjọ wọn) nipa ilana igbanilaaye ile-ẹkọ naa. Dahun ibeere ti o da lori awọn ẹya wọnyi nikan, tọka si iwe orisun ati ọjọ ni igbesẹ kọọkan. Ti awọn ẹya ba rogbodiyan, lo lọwọlọwọ julọ ki o sọ bẹ. Ti ko ba si ninu iwe, sọ "ko si alaye". Ibeere: [nibi] / Awọn apakan: [nibi]
Imudani ti o lagbara; ṣe asopọ idahun si awọn iwe aṣẹ igbekalẹ gangan, beere fun awọn orisun ati awọn ọjọ, ati nitootọ koju ilodi ati aafo naa.
RAG paati ati tabili ewu
paati
Išẹ
Ewu akọkọ
Idaniloju
Ipilẹ iwe
Orisun ti idahun
Atijọ / rogbodiyan iwe
Mimọ, itan, ipilẹṣẹ
Igbapada
Wa apakan ti o yẹ
nkan ti ko tọ
Idanwo didara, esi
Ṣiṣejade
Fesi
ti ko tọ si ọrọìwòye
Orisun sọ, ijerisi
Iṣakoso wiwọle
Ayẹwo alaṣẹ
laigba aṣẹ
Ihamọ orisun olumulo
Awọn aṣiṣe ti o wọpọ
- Ṣiṣeto ipilẹ iwe idọti. Iwe ti igba atijọ/jija n ṣe esi buburu.
- Gbigba idahun lai sọ orisun naa. Idi ti RAG jẹ wiwa kakiri.
- Ko ṣayẹwo ọjọ iwe aṣẹ. Idahun ti o ronu lati ṣe imudojuiwọn wa lati ẹya atijọ.
- Bypassing Iṣakoso wiwọle. Eniyan laigba aṣẹ wọle si alaye ifura.
- Lerongba pe RAG jẹ ajesara patapata si hallucination. Ti ko tọ nkan si tun gbe awọn ti ko tọ si idahun.
Ni soki
RAG ṣe agbejade iye nla ni iṣakoso oye nipa yiyi iranti iṣeto pada sinu eto idahun ti orisun orisun; Ko dabi AI gbogbogbo, o ṣopọ ati awọn orisun idahun si awọn iwe aṣẹ gangan ti ajo, nitorinaa dinku hallucination ni pataki. Ṣugbọn aṣeyọri da lori mimọ ati ipilẹ iwe-ipamọ, iraye si orin deede, iyasọtọ orisun, ọjọ / iṣayẹwo lọwọlọwọ, ati iṣakoso iwọle. RAG ko tun awọn hallucination; Awọn idahun to ṣe pataki ni a rii daju nipasẹ lilọ si orisun ati pe a bọwọ fun asiri lati ibẹrẹ.
Ohun elo iṣẹ-ṣiṣe
Mura awọn iwe aṣẹ kekere kan (5-8 gangan tabi awọn iwe aṣẹ ibẹwẹ apẹẹrẹ, pẹlu awọn ọjọ); Ni mimọ fi sinu atijọ kan ati ẹya kan ti o fi ori gbarawọn lọwọlọwọ. Beere ibeere kan pẹlu awoṣe “Itọsọna Idahun orisun orisun” ati ṣayẹwo boya AI tọka orisun naa. Lẹhinna ṣe iṣiro boya AI rii rogbodiyan ni deede ati ẹya lọwọlọwọ pẹlu awoṣe “Rogbodiyan ati ayẹwo ẹya lọwọlọwọ”.
akojọ ayẹwo
- [] Mo ti ṣe imudojuiwọn ipilẹ iwe-ipamọ, ti yọ awọn iwe aṣẹ atijọ / rogbodiyan jade.
- [] Mo rii daju pe idahun kọọkan tọka si iwe orisun.
- [] Mo ṣayẹwo ọjọ ati iwulo ti awọn iwe orisun.
- [] Mo ṣe idiwọ iran ti awọn idahun lati awọn iwe aṣẹ laigba aṣẹ pẹlu iṣakoso wiwọle.
- [] Mo jẹrisi awọn idahun to ṣe pataki nipa lilọ si iwe atilẹba.