Uru:
- Ịkọwapụta metrik na-atụ njide na ogo ọgbọ iche iche
- Tọọ ntọala ajụjụ ọla edo wee jiri LLM-dị ka onye ọka ikpe mee nyocha akpaka
- Na-edobe àgwà site na nzaghachi, nlekota na nyocha nyocha na mmepụta
Ahịrịokwu ahụ "Ewụnyere m onye inyeaka, ọ dị ka ọ na-arụ ọrụ nke ọma" abụghị nkwupụta injinia. Sistemụ RAG na-agbaji nwayọ: ụdị akwụkwọ ọhụrụ na-eme ka iweghachite ahụ ghọgbuo, mgbanwe ozugbo na-ebelata izi ezi, ndetu na-aghọ ihe na-adịghị. Nanị ụzọ isi ghọta nke a bụ ịlele. N'ime nkeji a, anyị na-ekpuchi otu esi atụta ogo RAG (nweghachi na ọgbọ iche iche), nyocha akpaka (LLM-dị ka onye ikpe) ma nọgide na-enwe àgwà na mmepụta (nleba anya, nlọghachi azụ). "Ị nweghị ike imeziwanye ihe ị na-atụghị atụ" bụ ụkpụrụ nke nkeji a.
Tụọ ihe abụọ dị iche iche
RAG nwere ụkwụ abụọ ma a ga-atụrịrị ya iche n'ihi na nsogbu ahụ nwere ike ịdị na nke ọ bụla n'ime ha:
- Ogo eweghachi: akụkụ ziri ezi abịara?
- Ọdịmma ọgbọ: Ewepụtara azịza ziri ezi site na mpempe na-abata?
Ọ bụrụ na azịza ya dị njọ, ị ga-ebu ụzọ mara nke ụkwụ dị njọ. Ọ bụrụ na akụkụ ziri ezi abịaghị, ọbụlagodi ngwa ngwa kacha mma enweghị ike ịchekwa (nsogbu iweghachite). Ọ bụrụ na akụkụ ziri ezi bịarutere mana ihe nlereanya ahụ gụgharịrị ya, imeziwanye iweghachi ya bụ ihe efu (nsogbu ọgbọ).
Usoro eweghachi
Mweghachi bụ nsogbu nhazi/ịnweta; tụrụ site na metrik iweghachite ozi oge gboo. Maka nke a ị ga-enwerịrị ụyọkọ ọla edo: ihe ọmụma nke mpempe akwụkwọ "ziri ezi" maka ajụjụ ọ bụla.
metrik
Kedu ihe atụ
Nkọwa dị mfe
Cheta @k
Ibe ziri ezi dị n'elu k?
Ọnụego njide akụkụ ziri ezi
nkenke @k
Iberibe k ole eweghachiri dị mkpa?
Nhicha nke ihe a wetara
MRR (Ọkwa ngbanwe pụtara)
N'usoro bụ ibe ziri ezi?
Ụgwọ ọrụ dị n'ọkwa kachasị elu
Ọnụọgụ kụrụ
Ọ dịkarịa ala otu mpempe ziri ezi rutere?
Ihe kacha eme ihe ịga nke ọma
Nkọwa bara uru: Ọ bụrụ na Recall@k dị ala, chunking ma ọ bụ atụmatụ ọchụchọ (ngwakọ, k, re-ranking) kwesịrị ịrụgharị ya. Ọ bụrụ na izi ezi dị ala mana icheta dị elu, ịgbakwụnye ọkwa ọzọ bụ mmegharị ahụ dị mma.
Usoro ọgbọ
Mgbe akụkụ ziri ezi rutere, anyị na-atụle àgwà nzaghachi nke ihe nlereanya ahụ mepụtara. Akụkụ atọ bụ isi:
- Ikwesị ntụkwasị obi: A na-akwado nkwupụta nke ọ bụla na azịza ya site na gburugburu? Ọ nwere ihe dabara adaba? Ọ bụ ihe a na-ahụ anya nke ọma.
- Azịza mkpa: Azịza ya ọ na-aza ajụjụ a n'ezie ka ọ bụ na-abụghị isiokwu?
- Nzuzu: Ejila ozi niile dị mkpa dị na gburugburu ma ọ bụ na-efu?
A na-enwetakarị akara ndị a na akara akara (dịka 1-5), karịa ọnụọgụ abụọ dịka "eziokwu/ụgha."
Ndụmọdụ: Soro ikwesị ntụkwasị obi dị ka metrik dị iche. Ọ bụrụ na ikwesị ntụkwasị obi na-ebelata ka izi ezi na-ebelata, nsogbu bụ ọgbọ; Ọ bụrụ na ikwesị ntụkwasị obi dị elu mana azịza ya ezighi ezi, nsogbu bụ ihe na-ezighi ezi (iweghachite). Ọnụ, metrik abụọ a bụ kompas na-egosi ebe mmejọ dị.
Ịmepụta Ntọala Ajụjụ Ọlaedo
Ntụle ọ bụla chọrọ setịpụ / nyocha dataset ọla edo: ajụjụ dị adị + azịza ziri ezi a na-atụ anya ya + ibe isi mmalite ziri ezi. Malite na ajụjụ 30-50 ahọpụtara nke ọma dị mma karịa ajụjụ 500 enweghị usoro. Tinye ihe ndị a na ntọala: ajụjụ ndị a na-ajụkarị, ajụjụ ndị siri ike ama ama, ajụjụ ọnyà na-enweghị azịza (mmadụ kwesịrị ịsị "Amaghị m"), ajụjụ nwere isi mmalite na-emegiderịta onwe ya.
# Ọmụmaatụ ụyọkọ ọla edo (conceptual)[ {"ajụjụ": "Ụbọchị ole nke ezumike kwa afọ?", "azịza a tụrụ anya ya": "Ụbọchị iri na anọ maka afọ 1-5 nke agadi", "akụkụ_nke ọma": "akụkụ abụọ-3", "ụdị": "hapụ"}, {" ajụjụ", "ajụjụ": "Olee ebe ụlọ ọrụ ahụ nọ?", "IN: ụlọ ọrụ NO?" # ọnyà: Amaghị m "nke ọma_part_id": null, "ụdị": "ọnyà"}]
LLM-dị ka-Onyeikpe: Ntụle akpaaka
Ịnye ọtụtụ narị azịza site n'aka na-agwụ ike. Ụdị LLM-dị ka onye ikpe bụ mgbe otu ihe nlereanya na-enye akara ma kwado azịza nke ọzọ dabere na njirisi ụfọdụ. Ezi ọkàikpe ozugbo na-akọwapụta njirisi n'ụzọ doro anya, na-enye ihe atụ ma rịọ maka izi ezi.
# LLM-dị ka onye ikpe ozugbo (echiche) Ị bụ onye nyocha na-anaghị ele mmadụ anya n'ihu. Nyochaa Azịza dị n'okpuru dị ka CONTEXT nyere na azịza a tụrụ anya ya. Akara (1-5) ma gosi ezi:- ikwesị ntụkwasị obi: a na-akwado nkwupụta nke ọ bụla na azịza ya n'ọnọdụ ya? - izi ezi: azịza a dabara na azịza a tụrụ anya ya? - izu oke: ozi dabara adaba ezuola? Karịsịa: ọ bụrụ na azịza ya nwere ozi na-abụghị nke gbara ya gburugburu, nye ikwesị ntụkwasị obi1 wee gosi nke a na-echepụta.
Ịdọ aka ná ntị: LLM-dị ka onye-ikpe ezughị okè; Ha nwere ike inwe echiche nke ha (azịza ogologo, na-ahọrọ ụdị nke ha). Nyochaakwa Onyeikpe: nwee azịza ụfọdụ nke ma onye ọka ikpe na mmadụ wee tụọ nkwekọrịta dị n'etiti ha. Ọ bụrụ na Onyeikpe kwekọrọ na akara mmadụ, ị nwere ike ịtụkwasị ya obi.
Ntụle adịghị ike/ siri ike
Adịghị ike ("ọ dị m mma"):
Ajụrụ m ajụjụ ole na ole ma azịza ya dị mma. Enwetara m ya ndụ. # Nsogbu: enweghị nha, nlọghachi a na-apụghị ịghọta aghọta, nkwalite kpuru ìsì.
Dị ike (ụyọkọ ọla edo + metric pụrụ iche + ikpe akpaka + nlọghachi):
Ụyọkọ ọla edo nke ajụjụ iri anọ. Na mgbanwe ọ bụla, chetata@5, a na-atụ ntụkwasị obi na izi ezi na-akpaghị aka. Ọ bụrụ na akara ahụ daa, a na-atụgharị mgbanwe ahụ azụ. Na mmepụta, a na-anakọta nzaghachi onye ọrụ ma tinye ya na nhazi ahụ.
Nleba anya na nlọghachi azụ na Mmepụta
A naghị eme nyocha otu ugboro wee mechaa. Omume atọ mgbe niile:
- Nnwale nlọghachi azụ: ụyọkọ ọla edo na-akpaghị aka na mgbanwe ọ bụla / iweghachite/mgbanwe ụdị. Ọ bụrụ na ebelata akara ahụ, a na-atụgharị mgbanwe ahụ. Nke a na-egbochi "agbaji ya ka ọ na-agbalị ime ka ọ dị mma".
- Nleba anya mmepụta: "Enweghị m ike ịchọta ozi" ọnụego n'ezie ajụjụ, nkezi igbu oge, ọnụ ahịa, nzaghachi onye ọrụ (👍/👎) na-enyocha. Mmụba mberede na "Amaghị m" na-abụkarị akara mbụ nke index ma ọ bụ nrụghachi ọrụ.
- loop nzaghachi: A na-enyocha ezigbo ajụjụ ndị onye ọrụ nyere 👎 ma tinye ya na ikpo ọla edo; Ya mere, setịpụ na-aghọ ọgaranya ka oge na-aga, a na-emechikwa ntụpọ nke usoro ahụ.
Obere obere atọ
Ikpe 1 - Ndachi nkịtị. Otu otu gbanwetụrụ ngwa ngwa iji "meziwanye" ya; Izi ezi izugbe mụbara, mana ikwesị ntụkwasị obi belatara site na 30% na ajụjụ ọnyà (ihe nlereanya ahụ malitere dabara karịa). Agaraghị achọpụta ma ọ bụrụ na ọ bụghị maka ajụjụ ọnyà na ụyọkọ ọla edo; Nnwale nlọghachi azụ weghachiri mgbanwe ahụ.
Ikpe 2 - Na-edozi ụkwụ na-ezighị ezi. N'otu onye inyeaka azịza ya dị njọ; Ndị otu ahụ rụrụ ọrụ ngwa ngwa ruo ọtụtụ izu. Mgbe anyị tụlere metrics eweghachi, cheta @5 bụ naanị 48% - nsogbu ahụ bụ na iweghachite, ọ bụghị ọgbọ. Mgbe agbakwunyere ngwakọ + re-ọkwa, ncheta mụbara ruo 89% yana izi ezi mụbakwara.
Ikpe 3 - Mmepụta njikere. Otu ụbọchị, ọnụego "Enweghị m ike ịchọta ozi" maka onye enyemaka nkwado si na 6% ruo 34%. Trackpad dọrọ aka ná ntị; Ihe kpatara ya bụ na ọrụ indexing, nke na-arụ ọrụ n'abalị, na-ada ụda n'atụghị egwu ma ebugoteghị akụkọ ọhụrụ. Enweghị nleba anya, nkwupụta "Amaghị m" ezighi ezi gaara aga n'ihu ruo ọtụtụ ụbọchị.
Mmejọ ndị nkịtị
- Inwe afọ ojuju na "ọ baara m uru nke ọma": Enweghị nha, a na-ahụghị nlọghachi azụ.
- Ọ bụghị nkewa eweghachi na ọgbọ: Ị ga-edozi ụkwụ na-ezighị ezi ma na-egbu oge.
- Ịjụghị ajụjụ ọnyà: Ọchịchọ ime ihe adịghị apụta na ụyọkọ ọla edo.
- Achọghị onye ọka ikpe: Ndị juri na-adịghị ele anya na-enye ntụkwasị obi ụgha.
- Ọ bụghị nlekota mmepụta: Index ọdịda, ọnụ mgbawa na-aga n'ihu na nkịtị.
Na nchịkọta
- Na RAG, eweghachite na ịdị mma ọgbọ na-atụ iche iche; A ghaghị ibu ụzọ kpebie nke ụkwụ mebiri emebi.
- cheta @k, precision@k, MRR maka iweghachi; A na-eji ikwesị ntụkwasị obi, mma, izu oke maka ọgbọ.
- Ntụle ọ bụla chọrọ ụyọkọ ọla edo; Tinye ezigbo, siri ike, ọnyà na ajụjụ na-emegiderịta onwe ya na ya.
- LLM-dị ka-ikpe nnukwu tent akpaaka-akara; ma a ga-agụrịrị onye-ikpe n’onwe ya n’onye ezi omume megide mmadụ.
- Nnwale nlọghachi azụ, nleba anya mmepụta, na nzaghachi nzaghachi na-edobe ịdị mma ka oge na-aga.
Ọrụ ngwa
(1) Mepụta setịpụ ọla edo nke opekata mpe 15 maka onye inyeaka gị: tinye opekata mpe 3 ọnyà (enweghị azịza), 3 siri ike, ajụjụ isi mmalite 2 na-emegiderịta onwe ya. Dee azịza a tụrụ anya ya na akụkụ ziri ezi maka ajụjụ ọ bụla. (2) Jiri aka tulee ụdị ngwa ngwa abụọ dị iche iche na nke a; Nye azịza nke ọ bụla 1-5 isi maka ikwesị ntụkwasị obi na izi ezi. (3) Megharia ngwa ngwa LLM-dị ka onye ọka ikpe dị n'elu ka njirisi nke gị. (4) Chọpụta metric 3 ị ga-eso na mmepụta ma jụọ onye ọ bụla "n'ụzọ dị aṅaa ka m na-ama jijiji?" dee uru.
ndetu
- [] Enwere m ike tụọ njide na ogo ọgbọ site na iji metrik dị iche iche.
- [] Amaara m ihe metrik dị ka recall@k, ikwesị ntụkwasị obi pụtara.
- [] Enwere m ike iwu ụyọkọ ọla edo nke gụnyere ezigbo, siri ike, ọnyà na ajụjụ na-emegiderịta onwe ya.
- [] Enwere m ike ịtọ nyocha akpaka wee nyochaa onye ọka ikpe na LLM-dị ka onye ọka ikpe.
- [] Enwere m ike ịrụ ọrụ nyocha nlọghachi, nlekota mmepụta na nzaghachi nzaghachi.