Uru:
- Nyochaa ọnụọgụgụ nha, mkpirisi na mkpụkọ ahịa mpụta
- Ịhọrọ usoro nchicha kwesịrị ekwesị maka ụdị akwụkwọ dị iche iche (PDF, tebụl, koodu, ndekọ nkata)
- Weghachite ịdị mma na nzacha site na ịgbakwunye metadata na mkpọchị ọ bụla
Nke a bụ usoro kachasị eleghara anya mana nke kachasị mkpa na RAG: otu esi emebi akwụkwọ ahụ. Nke a ka a na-akpọ chunking. Ọbụna ma ọ bụrụ na ị na-enye otu akwụkwọ na otu ihe nlereanya, n'ihi ọjọọ chunking na-eweghachite na-ezighị ezi ibe na ihe nlereanya agaghị emepụta a oké azịza. N'ime nkeji a, anyị na-ekpuchi atụmatụ nkewa, otu esi emeghari ha dịka ụdị akwụkwọ si dị, yana otu esi etinye metadata bara uru na ibe nke ọ bụla.
Gịnị mere anyị ji agbaji?
E nwere ihe atọ kpatara ya. Nke mbụ, itinye ụdịdị na-atụgharị ederede ruo ogologo ogologo ka ọ bụrụ vector bara uru; Ọ bụrụ na etinyere otu isiakwụkwọ dị ibe 40 n'ime otu vector, ihe ọ pụtara na-aghọ "na-agbaji." Nke abụọ, anyị chọrọ inye ihe nlereanya naanị akụkụ nke achọrọ dị ka ihe gbara ya gburugburu; inyefe akwụkwọ ahụ dum dị oke ọnụ ma na-adọpụ uche. Nke atọ, maka iweghachite ka ọ bụrụ nke ziri ezi, ngalaba nchọta ga-adị ntakịrị ma lekwasị anya.
Ya mere chunk bụ akụkụ kacha nta eweghachi. O kwesịghị ịbụ nnukwu ma ọ bụ nke pere mpe - ọ dabara nke ọma.
Nha nha na nha nha nha
Enwere isi ntọala abụọ: nha chunk (ọtụtụ akara/okwu ga-adị na chunk) na overlap (akụkụ nke ndị agbata obi na-ekerịta).
Nchikota pere mpe (dịka akara ngosi 100): lekwasịrị anya mana ekewapụrụ ya na okirikiri. Ọ na-ekwu "maka ụbọchị iri na anọ", mana ihe ụbọchị iri na anọ fọdụrụ na ahịrịokwu gara aga. Nnukwu chunks (dịka akara ngosi 2000): na-echekwa ihe gbara ya gburugburu mana ọtụtụ eri na-agwakọta ya; ntinye na-agbakọta ọnụ ma isiokwu ndị na-adịghị mkpa na-agbakọta ọnụ.
Ntukota na-edozi nsogbu oke ala. Ọ bụrụ na ahịrịokwu daa kpọmkwem n'oke akụkụ abụọ, a na-ekewa ya ụzọ abụọ na-enweghị nchikota ma ihe ọ pụtara na-efunahụ ya. Ntukota nke token 50-100 na-eme ka a mata na ozi na-adaba na oke na-anọgide na-adịchaghị mma n'otu akụkụ.
Nha nha
Uru
Mwepu
ọdịnaya kwesịrị ekwesị
Obere (100-250 akara)
Mmetụta dị elu, lekwasịrị anya
Okwu nwere ike imebi
FAQ, edemede dị mkpirikpi, nkọwa
Ọkara (ihe ngosi 300-600)
Nhazi; ọtụtụ ndapụta
-
Usoro, ederede amụma
Nnukwu (ihe ngosi 800-1500)
Iguzosi ike n'ezi ihe
blurry agbakwunyere
Akụkọ, ogologo nkọwa
Ndụmọdụ: Ọ bụrụ na ịmaghị ebe ị ga-amalite, malite na 400-500 token chunk na 50-80 token overlap; wee jiri data nke gị tụọ ma dozie ya. Ogo "ziri ezi" abụghị ihe zuru ụwa ọnụ, ọ dabere na ọnọdụ.
Atụmatụ ịchụ nta
Nha edobere: Na-akpachapụ ederede ederede ọ bụla akara N. Ọ dị mfe ma dịkwa ngwa, mana ọ nwere ike ịkwụsị n'etiti ahịrịokwu.
Nkewa dabere (nke na-emegharị / nkewa): Na-ekewa dịka paragraf si dị wee ókèala ahịrịokwu; Ọ ka mma na-echekwa iguzosi ike n'ezi ihe nke ihe pụtara. Ọtụtụ usoro mmepụta na-amalite na nke a.
Semantic chunking: Ọ na-eleba anya na ntinye nke ahịrịokwu wee kewaa ha ebe mgbanwe isiokwu pụtara. Ọ bụ usoro kachasị mma mana ọ kachasị ọnụ; Na nnukwu mpịakọta, ọnụ ahịa azụmahịa na-abawanye.
Nhazi-maara: Na-eji nhazi akwụkwọ dị ka isiokwu, ngalaba, tebụl. Dịka ọmụmaatụ, ikewa akwụkwọ Markdown site na isi okwu na-achọpụta na akụkụ nke ọ bụla nwere isiokwu nke ya.
Nkwalite site na Ụdị Akwụkwọ
Ọ bụghị akwụkwọ ọ bụla bụ otu. Atụmatụ dịgasị iche n'ụdị:
- Ederede PDF/usoro iwu: dabere na ibe edokọbara, nha ọkara. Kpochapụ ihu ihu n'elu/n'ala (isi/n'ụkwụ).
- Tebụl: Ewepụla ahịrị ahụ n'ọnọdụ ọ bụla; dowe ahịrị ọ bụla nwere ozi nkụnye eji isi mee ("Ihe: X, Ahịa: Y, Ngwaahịa: Z"). Ịtụgharị tebụl raw ka ọ bụrụ ederede doro anya na-adịkarị mkpa.
- Koodu: Kewaa site na ọrụ / oke klaasị; Ebipụla ọrụ n'ụzọ.
- Ndekọ nkata/tiketi: Kewaa site na ozi ma ọ bụ mkparịta ụka gburugburu; Nọgide na-ama onye kwuru ihe.
# bracket-based chunking (conceptual) chunks = bol (ederede, target_size=450, # token overlap=70, # token brackets=["\n\n", "\n", "."," "] # paragraf mbụ, okwu ikpeazụ)
Tinye metadata na Track ọ bụla
Ịgba ọkụ abụghị naanị "nkewa"; bụ ime ka ibe ọ bụla baa ọgaranya. Mkpado ọ bụla ị tinye na egwu ahụ kwesịrị ịdị arọ ya na ọla edo maka nzacha n'ọdịnihu yana ịkọwa isi mmalite.
# Ntụkọ bara ụba (echiche){"ederede": "Nkwụsị ụgwọ a na-akwụ kwa afọ bụ ụbọchị 14 na ọrụ afọ 1-5...", "metadata": {"source": "ik_el_kitabi_v7.pdf", "ngalaba": "5.2 ezumike kwa afọ", "peeji": 23, "ụbọchị": "6025K": "2025K" "n'ime"}}
Usoro ọzọ dị ike na-agbakwụnye nkụnye eji isi mee ihe: ide aha isi nke ọ bụ na mmalite nke ibe ọ bụla. Ya mere, ọbụna mpempe akwụkwọ dị ka "Maka ụbọchị 14" bụ nke ọma agbakwunyere na ihe bara uru dị ka "Nhapụ Kwa Afọ - ụbọchị 14."
Ịkụcha adịghị ike / Nhịahụ siri ike
Adịghị ike (ụdị siri ike, enweghị metadata):
Kpuchie ederede ọ bụla mkpụrụedemede 1000. Debe naanị ederede. # Nsonaazụ: tebụl na-ekewa n'etiti, "ụbọchị 14" na-anọgide na-enweghị ihe ọ bụla, # a maghị akwụkwọ ọ si bịa, enweghị ike ịme ihe nzacha.
Dị ike (nhazi-mara + nkụnye eji isi mee + metadata):
Kewaa akwụkwọ ahụ site na isi okwu; tinye aha ngalaba na akụkụ nke ọ bụla; tinye isi mmalite, ibe, ụbọchị na metadata nzuzo; jiri nkụnye eji isi mee ya tụgharịa tebụl ka ọ bụrụ ederede dị larịị.
Obere obere atọ
Ikpe 1 - Ọdachi eserese. Otu ndị na-ahụ maka ego ji mbelata kpuru ìsì kee ndepụta ọnụ ahịa peeji 200; E kewara ahịrị tebụl na enweghị usoro. "Gịnị bụ ọnụ ahịa ngwaahịa X?" Ihe nlereanya ahụ gụrụ ahịrị na-ezighi ezi wee nye ọnụahịa na-ezighi ezi (9 n'ime ikpe 12 adịghị mma). Mgbe m tụgharịrị ahịrị tebụl ka ọ bụrụ ederede doro anya n'ụdị "Ngwaahịa: … | Ọnụ ahịa: … | nkeji:…" njehie ahụ gbadara ruo 0 n'ime 12.
Nkeji nke 2 - nnukwu mkpọ. Na wiki, ibe nke ọ bụla bụ otu iberibe (ụfọdụ na-ekwu token 3,000). Ntinye a na-agbaji agbaji n'ihi na enwere "ahapụ", "overtime" na "ụgwọ ọrụ" n'otu ibe; Akụkụ oge ọrụ bịakwara n'ime egwuregwu gbasara ajụjụ ezumike. Mgbe e kewara ibe ndị ahụ ka ọ bụrụ nha nha site na aha, cheta@5 mụbara site na 64% ruo 91%.
Ikpe 3 - Akpụkpọchara ahịrịokwu na-enweghị ndakọ. 250 token edoziri maka otu ndị ọka iwu, enweghị ndakọ. Nkọwa dị oke egwu dara na oke akụkụ abụọ wee kewaa abụọ; Ma otu ma ọ bụ nke ọzọ nwere azịza zuru oke. Mgbe agbakwunyere 60 token overlap, otu nkọwa ahụ ka dịgidere n'otu ibe wee weghachi azịza ziri ezi.
Mmejọ ndị nkịtị
- Mkpụkpọ kpuru ìsì: Kewaa ahịrịokwu na tebụl n'etiti; pụtara efu.
- Ịhapụ ihe nkedo na efu: A na-ekewa ozi na-adaba na oke ma tụfuo.
- Anaghị agbakwunye metadata: Nzacha na ngosipụta isi mmalite agaghị ekwe omume.
- Ịhapụ tebụl raw: Ụdị enweghị ike idozi nhazi okpokoro; Tụgharịa ahịrị ka ọ bụrụ ederede dị larịị.
- Ịkwanye otu atụmatụ: PDF, koodu na tebụl adịghị ekewa site n'otu usoro; Kwado na ụdị.
Kpachara anya: Edokwala Chunking otu ugboro wee chefuo ya. Tụgharịa ogo iweghachite ka ụdị akwụkwọ ọhụrụ na-abịarute (tiketi sitere na sistemụ ọhụrụ, PDF ndị a nyochara). Data ntinye na-adịghị mma pụtara nzaghachi ọjọọ ("ihe mkpofu n'ime, ihe mkpofu").
Na nchịkọta
- Chunk bụ akụkụ kacha nta nke iweghachi; Ọbụghị nnukwu ma ọ bụ obere - ọ kwesịrị ịdị nhata dịka ọdịnaya dị.
- Nha chunk na-egosi nguzozi nlebara anya-okwu; Mkpokọta na-ejikwa mfu oke.
- Nchichi dabere na bracket na njiri mara nke ọma bụ mmalite nke ọtụtụ sistemụ ọgbọ; chunking semantic dị mma mana ọ dị oke ọnụ.
- Ụdị dị ka tebụl, edemede, na nkata chọrọ atụmatụ nke ha; Tụgharịa tebụl ka ọ bụrụ ederede dị larịị.
- Tinye isi mmalite/ụbọchị/isi/metadata nzuzo na aha ngalaba na egwu ọ bụla; Nke a bụ ntọala nke nzacha na nzacha.
Ọrụ ngwa
Kewaa akụkụ nke akwụkwọ ị họọrọ n'ụzọ atọ dị iche iche: (1) obere iberibe 200 tokens, (2) ọkara nke akara 500 (70 token overlap), (3) otu nnukwu iberibe. Jụọ otu ajụjụ atọ ahụ maka atụmatụ ọ bụla, jiri aka gị kaa mpempe akwụkwọ ị ga-ewebata, wee detuo ihe kpatara atụmatụ atụmatụ kacha mma maka akwụkwọ ahụ. Wee tinye opekata mpe atọ metadata yana “aha isi” na egwu ọ bụla. Ọ bụrụ na akwụkwọ ahụ nwere tebụl, gbanwee ahịrị tebụl ka ọ bụrụ ederede doro anya n'ụdị "ubi: uru".
ndetu
- [] Enwere m ike ịsị na chunk bụ akụkụ kacha nta nke iweghachite na nha bụ nguzozi-elekwasị anya.
- [ ] Amaara m ihe mere nkwekọ na-egbochi mfu oke.
- [] Enwere m ike ịmata ọdịiche dị n'etiti nchikota nke dabere na bracket, semantic na maara usoro.
- [] Enwere m ike ịmegharị atụmatụ maka tebụl, koodu na nkata.
- [ ] Ana m eme ka iweghachite ike site na ịgbakwunye metadata na aha isi na egwu ọ bụla.