Kedu ihe bụ RAG na gịnị kpatara o ji dị mkpa?

Uru:

• Na-akọwa na RAG na-agbanye gburugburu na-agbanweghị ịdị arọ nke ihe nlereanya ma na-arụ ọrụ na mgbagha 'open book exam'
• Tụnyere RAG na nlezigharị nke ọma na ogologo okwu gbara ya gburugburu dabere na ọnụ ahịa, oge na ọnọdụ ojiji.
• Na-edepụta steepụ nke ọkpọkọ RAG na-ahụkarị nke nwere usoro ndenye aha na usoro ajụjụ

N'agbanyeghị otú ụdị asụsụ siri dị ike ( ọgụgụ isi nke na-aghọta ma na-emepụta ederede; anyị ga-akpọ ya ihe nlereanya maka nkenke site ugbu a gaa n'ihu), ọ maghị nkwekọrịta ụlọ ọrụ gị bịanyere aka na ụnyaahụ, ibe wiki nke ime gị (n'ime ime ihe ọmụma) ma ọ bụ akwụkwọ ntọhapụ e bipụtara n'ụtụtụ a. Ihe nlereanya ahụ nwere oke na ihe ọmụma zuru oke ruo ụbọchị a zụrụ ya; A na-akpọ nke a "ụbọchị nkwụsị akwụkwọ". RAG (Retrieval-Augmented Generation) na-ejupụta kpọmkwem oghere a: ọ na-achọta akwụkwọ ụlọ ọrụ ahụ metụtara ajụjụ ahụ, na-enye ya ihe nlereanya dị ka ihe gbara ya gburugburu (ya bụ, ederede ọzọ ọ ga-agụ mgbe ọ na-emepụta azịza) ma nwee azịza nke dabeere na nke a.

Na nkeji a, anyị ga-ahụ nke ọma ihe RAG bụ, mgbe a na-ahọrọ ya karịa nke ọzọ, yana nzọụkwụ nke pipeline RAG. Nkeji niile na-esote ga-eme ka akụkụ nke maapụ a miri emi n'otu n'otu.

Echiche bụ isi nke RAG: Mepee ule akwụkwọ

Ka anyị kọwaa RAG n'otu ahịrịokwu: "Buru ụzọ chọta akwụkwọ dị mkpa, wee mee ka ihe nlereanya ahụ gụọ akwụkwọ ahụ ma bipụta azịza ya."

Ntule kacha baa uru bụ nke a: RAG na-ebuli ihe nlereanya site na “ule akwụkwọ mechiri emechi” gaa na “nyocha akwụkwọ mepere emepe.” Na nyocha akwụkwọ mechiri emechi, nwa akwụkwọ ahụ na-aza naanị site na ebe nchekwa; Enwere nnukwu ihe ize ndụ ime ihe ị na-echetaghị. N'ule akwụkwọ mepere emepe, nwa akwụkwọ ahụ zara site n'ile anya ebe e debere n'ihu ya. Na RAG, ihe nlereanya ahụ anaghị azaghachi site na ebe nchekwa nke ya, mana site na ederede dị ugbu a na nke akọwapụtara nke ị na-enye ya.

Ihe dị mkpa: RAG anaghị agbanwe nha nke ihe nlereanya ahụ, ya bụ, ọtụtụ ijeri ọnụọgụ ọnụọgụ nke ihe nlereanya ahụ mụtara. Ị naghị azụ ihe nlereanya. Maka ajụjụ ọ bụla, ị na-etinye akụkụ nke ederede dabara na ajụjụ ahụ n'ime ngwa ngwa (ederede ntuziaka ezigara na ụdị). Ya mere, ịkwesighi ịmaliteghachi ihe nlereanya ahụ mgbe emelitere akwụkwọ; naanị ị na-eweghachi ndekọ dị mkpa na nchekwa data ọchụchọ.

Ndụmọdụ: Ajụjụ abụọ na-ekpebi ogo RAG: (1) Ị chọtara akwụkwọ ziri ezi? (2) Ihe nlereanya ahụ ọ̀ gụrụ ya nke ọma? Nke mbụ bụ "ịdị mma eweghachi", nke abụọ bụ "ịdị mma ọgbọ". A na-atụ ha abụọ ma melite iche iche.

RAG, Ntugharị dị mma ma ọ bụ ogologo okwu?

Ụzọ atọ na-enwekarị mgbagwoju anya mgbe ị na-achọ ngwọta maka nsogbu nhazi. Ka anyị kọwapụta nghọtahie ha. Ndozigharị nke ọma na-eji data gị na-emelite ihe nlere ahụ ma na-akụziri ya omume/ụdị ọhụrụ. Ogologo okirikiri pụtara ijuputa akwụkwọ niile ozugbo na ngwa ngwa na-enweghị nhọrọ ọ bụla.

Ụzọ

Kedu ihe na-eme

Olee mgbe o kwesịrị ekwesị?

Ọnụ / Ihe ize ndụ

RAG

Na-agbanye akwụkwọ mkpa dị ka ihe gbara ya gburugburu

Ozi na-agbanwe ugboro ugboro, sara mbara, nke akọwapụtara

Dị ala; mfe imelite, isi iyi nwere ike izo aka

Ndozi nke ọma

Na-eji data ọhụrụ emelite nha

Ụdị/ụdị/nkụzi asụsụ edobere

Elu; Ọzụzụ a chọrọ site na mmelite ọ bụla

Ogologo okwu naanị

Dejupụta akwụkwọ niile n'ime ngwa ngwa

Obere akwụkwọ edobere

Ọnụ ego Token na ihe ize ndụ nke "ịlafu akụkụ etiti" na-abawanye

Dị ka a na-achị: Nhazi nke ọma na-akụziri ihe nlereanya ka e si ekwu okwu; RAG na-agwa ihe nlereanya ihe ị ga-ama. N'ọtụtụ ọnọdụ ụlọ ọrụ, a na-anwale RAG na mbụ n'ihi na ọ dị ọnụ ala, enwere ike imelite, yana nwee ike igosi isi mmalite nke azịza ya. Ogologo okwu dị ogologo bụ ihe ezi uche dị na ya ma ọ bụrụ na nhazi akwụkwọ ahụ dị ntakịrị ma dozie ya (dịka otu akwụkwọ ntuziaka dị peeji 20); Ma na ọtụtụ puku ibe, ọ dị oke ọnụ na ihe nlereanya ahụ nwere ike na-atụfu ozi n'etiti ogologo ederede.

Pipeline RAG a na-ahụkarị

RAG nwere akụkụ abụọ bụ isi: indexing (nkwadebe, eme otu ugboro ma ọ bụ oge) na ajụjụ (na-agba ọsọ na ajụjụ onye ọrụ ọ bụla).

Ndepụta nzọụkwụ site na nzọụkwụ (anọghị n'ịntanetị, na-echeghị onye ọrụ):

1. Anakọta: Were akwụkwọ site na isi mmalite (PDF, wiki, usoro tiketi, nchekwa data, email).
2. Icha: Tiwaa ogologo ederede n'ime obere iberibe enwere ike ijikwa.
3. Embed: Tụgharịa akụkụ ọ bụla ka ọ bụrụ ntinye (nọmba vector nke na-ebu nkọwa ederede).
4. Chekwa: Dee vectors tinyere ederede na metadata (isi iyi, ụbọchị, ozi ikike) na nchekwa data vector.

Ajụjụ site na nzọụkwụ (online, mgbe onye ọrụ na-eche):

1. Tụgharịa ajụjụ onye ọrụ ka ọ bụrụ ntinye.
2. Weghachite akụkụ ndị yiri ya na nchekwa data vector.
3. Debe ajụjụ ndị a + ka ọ bụrụ ndebiri ozugbo.
4. Nweta azịza gburugburu na isi mmalite ya site na ihe nlereanya.

# Conceptual ndepụta nke usoro ajụjụ (ọ bụghị dabere na asụsụ) ajụjụ = "Ụbọchị ole nke ezumike kwa afọ?"question_vektor = embed(question)parts = vektor_db.search(question_vektor, top_k=4) # most similar partsprompt = f""" zaa ajụjụ ahụ site na iji CONTEXI zaa ajụjụ a, ọ bụrụ na enweghị ozi ọ bụla." Fitting.CONTEXT:{akụkụ} Ajụjụ: {ajụjụ}"""azịza = model.uret(ngwa ngwa) # eg. nlereanya: claude-opus-4-8

Ọsọ a bụ maapụ ọkwa nke ọ bụla, nke anyị ga-ebupu otu otu na nkeji na-esote.

Ngwa ngwa adịghị ike / Ike ngwa ngwa

Ọbụlagodi na otu ọnọdụ RAG, ogo nke ngwa ngwa na-agbanwe azịza ya.

Ngwa ngwa na-adịghị ike (mepee maka ụdị dabara adaba, anaghị achọ akụrụngwa):

Jiri ozi a wee sị ezumike kwa afọ: {parts}. Ajụjụ: {ajụjụ}

Ngwa ngwa siri ike (itinye ikike + "Amaghị m" ikike + arịrịọ akụrụngwa):

Azịza naanị dabere na CONTEXT dị n'okpuru. Ọ bụrụ na enweghị azịza doro anya n'okwu a, dee "Enweghị m ike ịchọta ozi gbasara nke a na akwụkwọ"; Echela. Tinye mkpado [Isi iyi: file_name] nke ibe ị na-adabere na njedebe nke azịza gị. CONTEXT: {pieces} Ajụjụ: {ajụjụ}

Obere obere atọ

Ikpe 1 - onye enyemaka HR (Human Resources). Otu ụlọ ọrụ nwere akwụkwọ ntuziaka HR nwere ibe 340 na ndị ọrụ na-ajụ nkezi nke ajụjụ 90 kwa ụbọchị. A nwara imezigharị nke ọma, mana ebe ọ bụ na emelitere akwụkwọ ntuziaka ahụ kwa ọnwa, a na-achọgharị ọzụzụ oge ọ bụla; Ọnụ ego ahụ ruru puku kwuru puku dollar kwa ọnwa. Ka ịgbanwee gaa na RAG, emelitere mmelite ahụ gaa na nzọụkwụ “re-index the document” (nkeji) yana ọnụego azịza ziri ezi mụbara site na 71% ruo 93% na nha ntuziaka.

Ikpe 2 - Nkwado ndị ahịa. Ndị otu nkwado ahụ nwere tiketi 12,000 edoziziri yana akụkọ enyemaka 800. Ọ na-ewe nkezi nkeji 4 maka onye nnọchi anya iji aka chọta azịza. Mgbe onye inyeaka RAG wetara ihe ndekọ 5 kachasị mkpa ma mepụta nzaghachi nzaghachi, oge belatara na 40 sekọnd; Ma ndị otu ghọtara ihe ize ndụ nke "na-ele anya na-ejighị n'aka site na-eweta na-ezighị ezi isiokwu" na-mere na-ehota isi iyi amanyere bụ iwu.

Ikpe 3 - Iwu. Otu ndị na-eme nkwekọrịta jụrụ "nke nkwekọrịta ka okwu nzuzo ahụ na-adịru afọ 5?" ọ jụrụ ajụjụ ahụ. N'okwu ikpe ogologo oge, nkwekọrịta 60 jupụtara n'otu ngwa ngwa; ihe nlereanya wụsara nkwekọrịta n'etiti abụọ. Mgbe naanị ihe ndị dị mkpa ka ejiri RAG webatara, ọnụ ahịa akara ahụ belatara site na 80% yana mwụgharị na-efu efu ka emegharịrị.

Kedu ihe kpatara RAG chọrọ?

• Ugbu a: Ị na-enweta ozi mgbe ụbọchị nkwụsị nke ọzụzụ gasịrị.
• Ozi pụrụ iche: A naghị etinye akwụkwọ n'ime gị na ọzụzụ nke ụdị ọ bụla; Naanị ị nwere ike inye.
• Nkwenye: Ị nwere ike hota isi mmalite nke azịza (ntụgharị) - dị mkpa maka nyocha na ntụkwasị obi.
• Njikwa mgbagha: Ọ na-adabere na ederede etinyere n'ihu ya kama ịmepụta ihe nlereanya.
• Ọnụ: Ọ dị ọnụ ala na ngwa ngwa itinye n'ọrụ karịa imezigharị nke ọma.

Akpachara anya: RAG abụghị anwansi. Ọ bụrụ na ị weta ibe na-ezighi ezi, ihe nlereanya ahụ rutere na azịza na-ezighi ezi na-achọ "ntụkwasị obi." Buru n'uche nkebiokwu a "Mweghachi àgwà = àgwà RAG".

Mmejọ ndị nkịtị

• RAG na-ezighi ezi maka nhazi nke ọma: RAG anaghị agbanwe oke; Ọ na-agbakwụnye naanị okwu. Ịgbagwoju anya abụọ a ga-eduga n'ịhọrọ ụkpụrụ ụlọ na-ezighị ezi.
• Ịghara ikwe ka "Amaghị m": Ọ bụrụ na ngwa ngwa na-ahapụ ihe nlereanya ahụ n'efu iji mejupụta oghere ahụ, ọ ga-emeju.
• Achọghị isi mmalite: Azịza na-enweghị isi enweghị ike ịlele; Onye ọrụ enweghị ike ịhụ mmejọ ahụ.
• Na-emekọ ihe niile n'otu ọsọ ọsọ: ogologo okirikiri dị ọnụ ala mana ọ dị ọnụ ma na-atụfu ozi etiti.
• Ịrapagidesi ike n'ọgbọ na-enweghị atụ ntughari: Ọ bụrụ na azịza ya dị njọ, buru ụzọ jụọ "akụkụ kwesịrị ekwesị ọ bịarutere?" kwesịrị ịjụ.

Na nchịkọta

• RAG bụ ụzọ na-etinye akwụkwọ ndị metụtara ajụjụ ahụ n'ime ihe nlereanya dị ka ihe gbara ya gburugburu; adịghị agbanwe arọ ("open book exam").
• Nhazi nke ọma na-akụzi ụdị / usoro, RAG na-enye ozi dị ugbu a na nke akọwapụtara; ogologo okirikiri na-arụ ọrụ nke ọma maka obere ntọala edoziri. N'ọtụtụ ọnọdụ, a na-anwale RAG na mbụ.
• Pipeline nwere usoro abụọ: ntinye aha na-anọghị n'ịntanetị (nchịkọta + ntinye + chekwaa) yana ajụjụ ịntanetị (iweghachi + ngwa ngwa + mepụta).
• RAG na-enye oge, ozi akọwapụtara, nkwenye, njikwa anya, yana ọnụ ala dị ala.
• Ogo nke usoro ahụ na-adabere kpọmkwem na ịdị mma nke iweghachite: mpempe na-ezighị ezi pụtara azịza na-ezighị ezi.

Ọrụ ngwa

Họrọ ezigbo isi iyi nke ozi sitere na otu nke gị (dịka akwụkwọ usoro ma ọ bụ ibe FAQ). (1) Dee ajụjụ ise bụ eziokwu gbasara ebe a. (2) Rịba ama akụkụ nke akwụkwọ ahụ nwere azịza ziri ezi maka ajụjụ ọ bụla - nke a ga-abụ ndepụta "ọzịza ọla edo" gị. (3) Iji ndebiri "ike siri ike" dị n'elu, jiri aka gị mado akụkụ dị mkpa dị ka ihe gbara ya gburugburu wee jụọ ihe nlereanya. (4) Tulee azịza nke ihe nlereanya ahụ na azịza ọla edo wee kaa dị ka eziokwu/ụgha. Nke a bụ akwụkwọ ntuziaka izizi nke nyocha nke ị ga-emezi na nkeji ga-abịa n'ihu.

ndetu

• [] Enwere m ike ịkọwa n'otu ahịrịokwu na RAG anaghị agbanwe oke, ọ na-agbakwụnye naanị okwu.
• [] Enwere m ike ịmata ọdịiche dị n'etiti RAG, nhazi nke ọma na ogologo okwu na mgbe nke kwesịrị ekwesị.
• [] Enwere m ike ịgụ usoro ntinye aha (anakọta-shred-embed-save) na ajụjụ (embed-fetch-prompt-generate) n'usoro.
• [ ] Amaara m ihe mere m ji gbakwunye "ọ bụrụ na ọ bụghị na ọnọdụ, kwuo na amaghị m" na "kpọtụ isi mmalite" ntụziaka na ngwa ngwa.
• [] Enwere m ike imeghari ụkpụrụ nke "Nweghachi àgwà = àgwà RAG" n'okwu nke m.