Uru:
- Ịmepụta akụkụ na data data nke onye enyemaka ụlọ ọrụ RAG njedebe na njedebe
- Na-ejikọta data ọtụtụ isi mmalite (wiki, tiketi, PDF, nchekwa data) n'ime otu onye inyeaka
- Mee mkpebi ụkpụrụ ụlọ maka scalability, caching na latency
Na nkeji ndị gara aga, anyị mụtara akụkụ ndị a otu otu: ntinye, nchekwa data vector, chunking, iweghachite. Ugbu a, ka anyị jikọta ihe ndị a wee wuo ihe owuwu njedebe na njedebe nke onye inyeaka na-agwa data ụlọ ọrụ nke gị okwu. Ebumnuche bụ ka onye ọrụ jụọ, "Gịnị bụ amụma ezumike anyị?" Usoro ebe ndị mmadụ nwere ike ịjụ ajụjụ, azịza ya dabere na ezigbo akwụkwọ dị n'ime, nkwuputa ma jikọta ọtụtụ isi mmalite data. Nkeji a na-ahazi ụkpụrụ ụlọ niile, ntinye data na mkpebi ọkwa mmepụta.
Ngwa ngwụcha ruo-ọgwụgwụ
Onye inyeaka RAG ụlọ ọrụ nwere ahịrị abụọ dị iche iche. The indexing akara (offline) na-akwadebe data; Ahịrị ajụjụ (online) na-aza ajụjụ a.
Ihe mejupụtara ahịrị indexing:
- Njikọ: Njikọ ndị na-adọta data sitere na isi mmalite - wiki, usoro tiketi, ụlọ ahịa faịlụ, nchekwa data, email.
- Nhazi: Ịtụgharị ụdị dị iche iche (PDF, HTML, DOCX) iji dị ọcha ederede; nkụnye eji isi mee / n'ụkwụ nhicha.
- Chunking + metadata: ịkpado na ịkpado (isi iyi, ụbọchị, ikike).
- Embedding + loading: Ide vectors na metadata n'ime nchekwa data vector.
Ihe mejupụtara pipeline ajụjụ:
- Nhazi nke ajụjụ: Idegharị, ntọhapụ.
- Mweghachi: Nchọ ngwakọ + metadata nzacha + nhazigharị.
- Ịmepụta ngwa ngwa: Ịtụkwasị ọnọdụ + ajụjụ + ntụziaka n'ime ndebiri.
- Ọgbọ: Azịza gbadoro ụkwụ (nke dị n'ọnọdụ) sitere na ụdị + isi mmalite.
- Nhazi mgbe emechara: Nhazi nrụtụ aka, nlele nche, itinye osisi.
Ndụmọdụ: Kewapụ n'ụzọ anụ ahụ ahịrị indexing na ahịrị ajụjụ. Indexing na-adị nwayọọ na nke oge (na-agba ọsọ na batches n'otu ntabi anya); Ahịrị ajụjụ kwesịrị ịdị ọkụ na ozugbo. Ịgwakọta ahịrị abụọ ahụ na-eme ka nhazi dị arọ mgbe onye ọrụ na-echere.
Na-elegharị anya usoro data
[INDEXING - offline] Akụrụngwa → Normalize → Chunk+Metadata → Embed → Vector DB (wiki, tiketi, PDF, DB)[QUERY - online] Ajụjụ onye ọrụ → Nhazi tupu nhazi → iweghachite (ngwakọ+ ihe nzacha+rerank) → Ngwa ngwa (ngwakọ+filter+rerank) → Ngwa ngwa (context+question) → Ntuziaka+ → Ntuziaka+ → Ntuziaka+ → Ntuziaka + ihe omume
Na-ejikọta data Multi-Isi iyi
Na ezigbo ụlọ ọrụ, azịza ya anaghị akwụsị n'otu ebe. "Otu esi enye onye ahịa nkwụghachi ego?" Azịza nke ajụjụ a nwere ike ịchọta ma na isiokwu enyemaka (usoro), na akụkọ ihe mere eme tiketi (ezigbo ihe atụ), na na amụma PDF (iwu). Onye inyeaka kwesịrị ịchọ ha niile n'otu ọdọ mmiri.
Ihe dị mkpa: mgbe ị na-ejikọta akụrụngwa n'ime otu ụlọ ahịa vector, shard ọ bụla ga-ebu metadata 'source_tour'. Yabụ ị nwere ike ịchọ ha niile wee yochaa ha ma ọ dị mkpa, dị ka "naanị weta amụma gọọmentị". Ọzọkwa, ebe dị iche iche nwere ọkwa dị iche iche nke ntụkwasị obi: amụma gọọmentị> isiokwu enyemaka> ndetu tiketi onye ọrụ. Ị nwere ike kọwapụta mkpa a na ntinye ọkwa ma ọ bụ ozugbo.
Isi mmalite
Ụdị ọdịnaya
ntụkwasị obi
Melite ugboro ugboro
PDF amụma
ọchịchị ọchịchị
elu
kwa ọnwa
Edemede enyemaka
Usoro
ọkara-elu
kwa izu
Akụkọ tiketi
ezigbo sample
ọkara
Na-aga n'ihu
wiki
Ngwakọta/ ndetu dị ugbu a
Na-agbanwe agbanwe
Na-aga n'ihu
Scalability, Cache na Latency
Okwu atọ pụtara na mmepụta. Latency: Ahụmahụ ahụ na-akawanye njọ mgbe onye ọrụ chere ihe karịrị 2 sekọnd. Ngwọta: gosipụta azịza ya n'ụdị nkwanye - a na-awụsa ya na ihuenyo ka ihe nlereanya na-ede. Cache: Maka ajụjụ ndị a na-ajụkarị yana ọnọdụ ugboro ugboro, cache na-abawanye ọsọ ma na-ebelata ọnụ ahịa. Ọkwa: Ka onye ọrụ na-abawanye, ọ dị mkpa ka ị nwee ike iweghachite nha na ụdị oku na-aga n'ihu.
Ọchịchị isi n'akụkụ ọnụ ahịa: nzọụkwụ kachasị ọnụ na-abụkarị ọnụ ọgụgụ nke token na-aga na ihe nlereanya buru ibu. Ya mere, ibelata ihe ndị gbara ya gburugburu na akụkụ 4 dị mma site n'ịkwalite ọkwa na-eme ka mma na ọnụ ahịa dị mma. Ihe a na-ahụkarị bụ iji obere obere/ọsọ ọsọ maka nhazi ọkwa ma ọ bụ ụzọ dị mfe, yana ihe nlereanya dị ike maka azịza ikpeazụ (dịka claude-opus-4-8).
Akpachara anya: Ewelitela indexing ka "mee otu ugboro, chefuo ya". A na-agbanwe akwụkwọ, ehichapụ, tinyekwuo ya. Mepụta atụmatụ ntọgharịgharị: chọpụta dọkụmentị agbanwere ma megharịa naanị ha. Ndekọ nke stale na-ewepụta azịza na-egosi ugbu a mana ọ na-ezighi ezi.
Architecture adịghị ike / Nrụpụta siri ike
Adịghị ike (otu edemede, ihe niile agwakọtara):
Mgbe onye ọrụ jụrụ: gụọ akwụkwọ ndị ahụ n'oge ahụ, kụwaa ha, tinye ha, chọọ ha, zaa ha.# Nsogbu: a na-emegharị ihe niile maka ajụjụ ọ bụla; sekọnd nke igbu oge, # enweghị nkewa isi iyi, enweghị nzacha, enweghị ume ọhụrụ.
Dị ike (paịpụ kewara + metadata + cache + nkwanye):
Indexing: ogbe na-agba n'abalị, na-enye ume ọhụrụ akwụkwọ gbanwere. Ajuju: ahịrị dị fechaa — tupu nhazi → mgbake ngwakọ + ihe nzacha → rerank → ngwa ngwa → ụdị (gụgharia) → ntụle → log. A na-echekwa ajụjụ na ebe a na-ajụkarị.
Obere obere atọ
Ikpe 1 - Ahịrị mgbagwoju anya, nnukwu igbu oge. Onye mmalite dere edemede na-emegharị PDF na ajụjụ ọ bụla; Azịza nke ọ bụla were nkezi nke sekọnd iri na otu. Mgbe e kewapụrụ ahịrị indexing na ebufeburu data ahụ na ụlọ ahịa vector, oge ajụjụ ahụ gbadara ruo 1.3 sekọnd yana site na nkwanye ugwu, “okwu mbụ” pụtara na 400 ms.
Ikpe 2 - Ọtụtụ akụrụngwa, ụzọ na-ezighi ezi. Onye na-enye nkwado nyere PDF amụma na ndetu tiketi ochie; Ihe nlereanya mgbe ụfọdụ gosipụtara ọkwa ezighi ezi nke onye ọrụ site na afọ abụọ gara aga dị ka iwu gọọmentị. Mgbe agbakwunyere metadata source_tour na "tụlee amụma gọọmentị ma ọ bụrụ na esemokwu" agbakwunyere na ngwa ngwa, mperi ụzọ ụgha belatara site na 89%.
Ikpe 3 - Index nke ochie. Onye enyemaka HR nọ na-arụ ọrụ na ndeksi na-emelitebeghị maka ọnwa 3; Iwu ezumike agbanweela, mana onye inyeaka na-ekwu oge ochie. Mgbe etinyere ume ọhụrụ kwa ụbọchị, nke na-achọpụta faịlụ ndị gbanwere, ọnụego nzaghachi ugbu a si na 70% ruo 99%.
Mmejọ ndị nkịtị
- Ngwakọta indexing na ahịrị ajụjụ: A na-eme nhazi siri ike mgbe onye ọrụ na-eche; igbu oge na-agbawa.
- Etinyeghị ụdị isi mmalite na metadata: Enweghị ụzọ na nzacha; Isi mmalite a na-atụkwasịghị ntụkwasị obi yiri ka ọ bụ gọọmentị.
- Ọ bụghị ịmepụta atụmatụ ume ọhụrụ: Ndekọ ahụ na-aghọ ihe efu; A na-ewepụta azịza na-ezighi ezi nke dị ugbu a.
- Mafere nkwanye: Onye ọrụ na-ele anya na ihuenyo oghere; The chere na igbu oge na-adị elu.
- Iji ụdị kachasị ukwuu na nzọụkwụ ọ bụla: Ọnụ na-abawanye na-enweghị isi; Hapụ sterị ahụ na obere ihe nlereanya.
Na nchịkọta
- Onye inyeaka RAG ụlọ ọrụ nwere ahịrị abụọ dị iche iche: ntanetị n'ịntanetị na ajụjụ ịntanetị; kewaa ha n'anụ ahụ.
- Indexing = njikọ + normalize + chunk / metadata + agbakwunyere / bulite; ajụjụ = tupu usoro + iweghachi + ngwa ngwa + mepụta + usoro nbipute.
- A na-ejikọta data ọtụtụ ihe n'ime otu ebe nchekwa, mana a na-echekwa metadata ụdị_type na ntụkwasị obi mkpa.
- Mgbasa ozi na cache maka latency, ntụgharị okwu na nhọrọ ụdị maka ọnụ ahịa dị oke mkpa.
- Na-enweghị re-indexing, index na-aghọ stale; Na-ahazigharị akwụkwọ na-agbanwe mgbe niile.
Ọrụ ngwa
See eserese ụkpụrụ ụlọ nke onye inyeaka maka otu nke gị. (1) Chọpụta ma ọ dịkarịa ala atọ ezigbo isi mmalite data wee detuo mkpa njikọ, melite ugboro, yana ọkwa ntụkwasị obi maka nke ọ bụla. (2) Jiri eserese igbe igbe see akara nrịbama na ajụjụ dị iche iche. (3) "Olee ebe m ga-ebelata latency na ọnụ ahịa na onye enyemaka a?" Dee opekata mpe mkpebi abụọ doro anya na ajụjụ a. (4) Kọwaa atụmatụ ume ọhụrụ gị n'otu ahịrịokwu: kedu akụrụngwa a ga-edegharị na ugboro ole?
ndetu
- [] Enwere m ike ise ahịrị indexing na ajụjụ dị iche iche yana ihe ndị ziri ezi.
- [ ] Enwere m ike ijikọ data ọtụtụ isi mmalite yana ụdị_ụdị na ntụkwasị obi mkpa.
- [] Enwere m ike ịme mkpebi nkwanye / cache maka latency na nhọrọ ụdị maka ọnụ ahịa.
- [] Amaara m ihe kpatara atụmatụ ntinyegharị aha ji dị mkpa.
- [] M na-eburu n'uche na nzọụkwụ kachasị ọnụ na nhazi ụlọ m na-abụkarị akara ngosi nke na-aga na ihe nlereanya buru ibu.