Cad is RAG ann agus Cén Fáth a bhfuil sé Riachtanach?

Gnóthachain:

• Míniú a thabhairt go n-insíonn RAG comhthéacs gan meáchain an mhúnla a athrú agus go n-oibríonn sé le loighic ‘scrúdú leabhar oscailte’
• RAG a chur i gcomparáid le cineálacha cur chuige mionchoigeartaithe agus comhthéacs fada de réir costais, tráthúlachta agus cásanna úsáide
• Liosta a dhéanamh de na céimeanna de ghnáth-phíblíne RAG comhdhéanta de chéimeanna innéacsaithe agus ceisteanna

Is cuma cé chomh cumhachtach is atá samhail teanga (intleacht shaorga a thuigeann agus a tháirgeann téacs; tabharfaimid eiseamláir air as seo amach), ní fios cén conradh a shínigh do chuideachta inné, do leathanach inmheánach wiki (bonn eolais inmheánach), nó an nóta eisiúna a foilsíodh ar maidin. Tá an tsamhail teoranta d'eolas ginearálta suas go dtí an dáta ar cuireadh oiliúint air; “Dáta scoite an oideachais” a thugtar air seo. Líonann RAG (Giniúint Mhéadaithe Aisghabhála) an bhearna seo go díreach: aimsíonn sé na doiciméid chuideachta a bhaineann leis an gceist, tugann sé don mhúnla mar chomhthéacs (is é sin, an téacs breise a léifidh sé agus an freagra á tháirgeadh) agus tá an freagra tugtha bunaithe ar an gcomhthéacs seo.

San aonad seo, feicfimid go soiléir cad is RAG ann, nuair is fearr é ná na roghanna eile, agus na céimeanna a bhaineann le gnáthphíblíne RAG. Déanfaidh gach aonad ina dhiaidh sin na codanna den léarscáil seo a dhoimhniú ceann ar cheann.

Bunsmaoineamh RAG: Scrúdú Leabhar Oscailte

Mínímid RAG in aon abairt amháin: "Ar dtús faigh an doiciméad ábhartha, ansin iarr ar an tsamhail an doiciméad sin a léamh agus an freagra a phriontáil dá réir."

Is é seo an analaí is úsáidí: bogann RAG an tsamhail ó “scrúdú leabhar dúnta” go “scrúdú leabhar oscailte.” Sa scrúdú leabhar dúnta, ní fhreagraíonn an mac léinn ach ó chuimhne; Tá baol ard ann go ndéanfaí rudaí nach cuimhin leat. Sa scrúdú leabhar oscailte, freagraíonn an scoláire trí bhreathnú ar an bhfoinse a chuirtear os a chomhair. I RAG, ní fhreagraíonn an tsamhail óna chuimhne féin a thuilleadh, ach ón téacs reatha agus sainiúil a thugann tú dó.

Pointe criticiúil: Ní athraíonn RAG meáchain an mhúnla, is é sin, na billiúin paraiméadair uimhriúla a d'fhoghlaim an tsamhail. Ní athoileann tú an tsamhail. I gcás gach ceiste, cuireann tú píosaí téacs a bhaineann leis an gceist sin isteach sa leid (téacs treorach seolta chuig an múnla). Mar sin ní gá duit an tsamhail a athoiliúint nuair a dhéantar doiciméad a nuashonrú; ní gá duit ach an taifead ábhartha sa bhunachar sonraí cuardaigh a athnuachan.

Leid: Cinneann dhá cheist cáilíocht an RAG: (1) An bhfuair tú an doiciméad ceart? (2) Ar léigh an tsamhail i gceart é? Is é an chéad cheann "cáilíocht aisghabhála", is é an dara ceann "cáilíocht giniúna". Déantar an dá cheann a thomhas agus a fheabhsú ar leithligh.

RAG, Mionchoigeartú nó Comhthéacs Fada?

Is minic a bhíonn mearbhall ar thrí chonair agus tú ag lorg réiteach ar fhadhb eagraíochtúil. Déanaimis a gcuid difríochtaí a shoiléiriú. Is éard atá i gceist le mionchoigeartú meáchain an tsamhail a nuashonrú le do shonraí agus iompraíocht/stíl nua a mhúineadh dó. Ciallaíonn comhthéacs fada gach doiciméad a líonadh go díreach isteach sa leid gan aon rogha.

Cur Chuige

Cad a dhéanann

Cathain a bhíonn sé oiriúnach?

Costas / Riosca

RAG

Instealladh an doiciméad ábhartha mar chomhthéacs

Eolas fairsing, sonrach a athrú go minic

Íseal; éasca le nuashonrú, is féidir foinse a lua

Mionchoigeartú

nuashonruithe meáchain le sonraí nua

Stíl sheasta/formáid/múinteoireacht teanga

Ard; Teastaíonn athoiliúint le gach nuashonrú

Comhthéacs fada amháin

Líonann sé na doiciméid go léir isteach sa leid

Tacar doiciméad beag, seasta

Méadaíonn costas comhartha agus an baol "an chuid lár a chailleadh".

De ghnáth: Múineann mionchoigeartú an tsamhail conas labhairt; Insíonn RAG don mhúnla cad ba cheart a fhios. I bhformhór na gcásanna fiontair, déantar RAG a thriail ar dtús toisc go bhfuil sé saor, in-uasdátaithe, agus is féidir leis foinse an fhreagra a thaispeáint. Tá comhthéacs fada réasúnta má tá an tacar doiciméad i ndáiríre beag agus seasta (m.sh. lámhleabhar amháin 20 leathanach); Ach leis na mílte leathanach, tá sé costasach agus b'fhéidir go gcaillfidh an tsamhail faisnéis i lár an téacs fada.

Píblíne Tipiciúil RAG

Tá dhá phríomhchéim i gceist le RAG: innéacsú (ullmhú, déanta uair amháin nó go tréimhsiúil) agus fiafraí (ar siúl ar gach ceist úsáideora).

Innéacsú céim ar chéim (as líne, gan fanacht úsáideora):

1. Bailigh: Tarraing doiciméid ó fhoinsí (PDF, vicí, córas ticéad, bunachar sonraí, ríomhphost).
2. Snámh: Bris an téacs fada ina phíosaí beaga soláimhsithe.
3. Leabú: Tiontaigh gach cuid ina leabú (an veicteoir uimhreach a iompraíonn brí an téacs).
4. Sábháil: Scríobh na veicteoirí mar aon leis an téacs agus meiteashonraí (foinse, dáta, faisnéis údaraithe) chuig an mbunachar sonraí veicteora.

Iarratas céim ar chéim (ar líne, agus an t-úsáideoir ag fanacht):

1. Tiontaigh ceist an úsáideora go neadú.
2. Aisghabh na codanna is cosúla ón mbunachar sonraí veicteora.
3. Cuir na píosaí + ceist seo isteach i dteimpléad leide.
4. Faigh an freagra comhthéacsúil agus a fhoinsí ón múnla.

# Imlíne choincheapúil ar chéim an fhiosrúcháin (gan a bheith ag brath ar an teanga)question = "Cé mhéad lá de shaoire bhliantúil?"question_vektor = embed(question)parts = vektor_db.search(question_vektor, top_k=4) # most similar partsprompt = f "" "Freagair an CEIST ag baint úsáide as an COMHTHÉACS thíos. Mura bhfuil an t-eolas " agamsa sa chomhthéacs seo." Fitting.CONTEXT:{parts}CEIST: {question} "" "freagra = model.uret(leid) # e.g. samhail: claude-opus-4-8

Is léarscáil é an sreabhadh seo de gach céim, a ndíphacáilfimid ceann ar cheann in aonaid ina dhiaidh sin.

Lag Pras / Pras Láidir

Fiú amháin leis an gcomhthéacs RAG céanna, athraíonn cáilíocht an leid an freagra.

Leid lag (oscailte do fheistiú samhaltú, níl acmhainní ag teastáil):

Úsáid an fhaisnéis seo agus abair saoire bhliantúil: {parts}. Ceist: {question}

Leid chumhachtach (ar an talamh + cead + "níl a fhios agam" + iarratas acmhainne):

Freagair bunaithe ar an COMHTHÉACS thíos amháin. Mura bhfuil freagra soiléir sa chomhthéacs, scríobh "Ní raibh mé in ann teacht ar fhaisnéis faoi seo sa doiciméadú"; Ná buille faoi thuairim. Cuir an chlib [Foinse: file_name] den phíosa a bhfuil tú ag brath air ag deireadh do fhreagra. COMHTHÉACS: {pieces} CEIST: {question}

Trí Chás Mini

Cás 1 — Cúntóir AD (Acmhainní Daonna). Tá lámhleabhar AD 340 leathanach ag cuideachta agus cuireann fostaithe 90 ceist ar an meán in aghaidh an lae. Baineadh triail as mionchoigeartú, ach ó rinneadh an lámhleabhar a nuashonrú go míosúil, bhí gá le hathoiliúint gach uair; Shroich an costas na mílte dollar in aghaidh na míosa. Tar éis athrú go RAG, laghdaíodh an nuashonrú go dtí an chéim "ath-innéacs ar an doiciméad" (nóiméid) agus mhéadaigh an ráta freagra ceart ó 71% go 93% i dtomhas láimhe.

Cás 2 — Tacaíocht do chustaiméirí. Tá 12,000 ticéad réitithe agus 800 alt cabhrach ag an bhfoireann tacaíochta. Tógann sé 4 nóiméad ar an meán ar ionadaí freagra a fháil de láimh. Nuair a thug an cúntóir RAG na 5 thaifead is ábhartha isteach agus nuair a tháirg sé dréachtfhreagra, laghdaíodh an t-am go 40 soicind; Ach thuig an fhoireann go raibh an baol ann go raibh siad "neamhchinnte faoin alt mícheart a thabhairt" agus rinne siad an fhoinse a lua éigeantach.

Cás 3 — Dlí. D'fhiafraigh foireann chonarthachta "cad iad na conarthaí a mhaireann an clásal rúndachta 5 bliana?" cuireann sé an cheist. Sa triail comhthéacs fada, líonadh 60 conradh in aon leid amháin; níor bhain an tsamhail an dá chonradh lár. Nuair nár tugadh isteach ach na míreanna ábhartha le RAG, tháinig laghdú 80% ar an gcostas chomharthaíochta agus athshocraíodh an scipeáil a bhí in easnamh.

Cén fáth a bhfuil gá le RAG?

• Reatha: Faigheann tú rochtain ar fhaisnéis tar éis spriocdháta na hoiliúna.
• Faisnéis speisialta: Níl do dhoiciméid inmheánacha san áireamh in oiliúint aon mhúnla; Ach is féidir leat a thabhairt.
• Infhíoraitheacht: Is féidir leat foinse an fhreagra (lua) a lua — atá riachtanach le haghaidh iniúchta agus muiníne.
• Rialú siabhránachtaí: Braitheann sé ar an téacs a chuirtear os a chomhair seachas múnla a dhéanamh.
• Costas: Tá sé i bhfad níos saoire agus níos tapúla é a chur i bhfeidhm ná mionchoigeartú.

Rabhadh: Ní RAG draíochta. Má thugann tú isteach an píosa mícheart, sroicheann an tsamhail an freagra mícheart ag breathnú “muiníneach”. Coinnigh i gcuimhne an frása "Caighdeán aisghabhála = cáilíocht RAG".

Botúin choitianta

• RAG a chur amú maidir le mionchoigeartú: ní athraíonn RAG na meáchain; Ní chuireann sé ach comhthéacs leis. Má dhéantar mearbhall ar an dá cheann seo, roghnófar an ailtireacht mhícheart.
• Gan "níl a fhios agam" a cheadú: Má fhágann an leid an múnla saor chun an bán a líonadh, déanfaidh sé suas.
• Gan foinsí a lua: Ní féidir freagra gan foinse a sheiceáil; Ní féidir leis an úsáideoir an botún a thabhairt faoi deara.
• Ag brú gach rud isteach i leid amháin: Breathnaíonn comhthéacs fada saor ach tá sé costasach agus cailleann sé an fhaisnéis lár.
• Dul i bhfostú sa ghiniúint gan an t-aisghabháil a thomhas: Más rud é go bhfuil an freagra dona, fiafraigh ar dtús "Ar tháinig an chuid cheart?" ba chóir a iarraidh.

Go hachomair

• Is cur chuige é RAG a instealladh doiciméid a bhaineann leis an gceist isteach sa mhúnla mar chomhthéacs; ní athraíonn na meáchain ("scrúdú leabhar oscailte").
• Múineann mionchoigeartú stíl/formáid, tugann RAG eolas reatha agus sonrach; oibríonn comhthéacs fada go maith le haghaidh tacair seasta beaga. I bhformhór na gcásanna, déantar RAG a thriail ar dtús.
• Tá dhá chéim ag an bpíblíne: innéacsú as líne (chunk + leabú + sábháil) agus ceistiú ar líne (aisghabháil + pras + giniúint).
• Soláthraíonn RAG tráthúlacht, faisnéis shonrach, infhíoraitheacht, rialú siabhránachtaí, agus costas íseal.
• Braitheann cáilíocht an chórais go díreach ar cháilíocht an aisghabhála: ciallaíonn píosa mícheart freagra mícheart.

Tasc feidhmchláir

Roghnaigh fíorfhoinse faisnéise ó d’fhoireann féin (m.sh. doiciméad nós imeachta nó leathanach Ceisteanna Coitianta). (1) Scríobh 5 cheist fhíorasach faoin bhfoinse seo. (2) Tabhair faoi deara cén chuid den doiciméad ina bhfuil an freagra ceart do gach ceist – is é seo do liosta “freagra órga”. (3) Ag baint úsáide as an teimpléad "leid láidir" thuas, greamaigh de láimh an chuid ábhartha mar chomhthéacs agus iarr ar shamhail. (4) Déan comparáid idir an freagra a thugann an tsamhail agus an freagra órga agus marcáil fíor/bréagach. Is é seo an chéad leagan láimhe den mheasúnú a dhéanfaidh tú a uathoibriú in aonaid amach anseo.

seicliosta

• [ ] Is féidir liom a mhíniú in abairt amháin nach n-athraíonn RAG na meáchain, go gcuireann sé comhthéacs leis.
• [ ] Is féidir liom idirdhealú a dhéanamh idir RAG, mionchoigeartú agus comhthéacs fada agus nuair is cuí.
• [ ] Is féidir liom na céimeanna innéacsaithe (bailigh-shred-embed-saving) agus ceisteanna (embed-fetch-prompt-gener) a chomhaireamh in ord.
• [ ] Tá a fhios agam cén fáth ar chuir mé na treoracha "mura bhfuil sé i gcomhthéacs, abair níl a fhios agam" agus "cite foinse" leis an leid.
• [ ] Is féidir liom an prionsabal "Caighdeán aisghabhála = cáilíocht RAG" a oiriúnú do mo chás féin.