Awọn anfani:
- Ni nọmba ṣe iṣiro iwọn chunk, agbekọja ati awọn iṣowo chunking atunmọ
- Yiyan ilana chunking ti o yẹ fun awọn oriṣi iwe aṣẹ (PDF, tabili, koodu, akọọlẹ iwiregbe)
- Mu didara imupadabọ lagbara ati sisẹ nipasẹ fifi metadata kun si apakan kọọkan
Eyi ni aṣemáṣe julọ ṣugbọn igbesẹ ipinnu julọ ni RAG: bii o ṣe fọ iwe naa. Eyi ni a npe ni chunking. Paapaa ti o ba fun iwe kanna si awoṣe kanna, nitori chunking buburu, gbigba pada nkan ti ko tọ ati awoṣe kii yoo ṣe idahun nla rara. Ninu ẹyọ yii, a bo awọn ilana pipinka, bii o ṣe le mu wọn ṣe ibamu si iru iwe, ati bii o ṣe le ṣafikun metadata ti o nilari si ajẹkù kọọkan.
Kini idi ti a fi parẹ?
Awọn idi mẹta wa. Ni akọkọ, awọn awoṣe ifisinu yi ọrọ pada si ipari kan sinu fekito ti o nilari; Ti gbogbo ipin oju-iwe 40 kan ba ti jo sinu fekito kan, itumọ naa di “aitọ”. Ẹlẹẹkeji, a fẹ lati fun awoṣe nikan ni apakan ti o nilo gẹgẹbi ọrọ-ọrọ; fifun gbogbo iwe naa jẹ gbowolori ati idamu. Ẹkẹta, fun igbapada lati jẹ kongẹ, ẹyọkan wiwa gbọdọ jẹ kekere ati idojukọ.
Nitorinaa chunk jẹ ẹyọ igbapada ti o kere julọ. Ko yẹ ki o tobi tabi kere ju - o kan ọtun.
Chunk Iwon ati ni lqkan Iwontunws.funfun
Awọn eto akọkọ meji wa: iwọn chunk (awọn ami-ami / awọn ọrọ melo yoo wa ni chunk) ati ni lqkan (apakan ti o pin nipasẹ awọn chunks adugbo).
Awọn chunks kekere pupọ (fun apẹẹrẹ awọn ami ami 100): lojutu ṣugbọn ge asopọ lati ọrọ-ọrọ. O sọ pe "fun awọn ọjọ 14", ṣugbọn kini awọn ọjọ 14 ti o kù ninu gbolohun ọrọ ti tẹlẹ. Awọn chunks ti o tobi pupọ (fun apẹẹrẹ awọn ami ami 2000): ṣe itọju ọrọ-ọrọ ṣugbọn ọpọlọpọ awọn okun ni a dapọ mọ; Ifisinu n di muddled ati awọn koko-ọrọ ti ko ṣe pataki wa papọ.
Ni lqkan solves ni aala isoro. Ti gbolohun kan ba ṣubu ni pato si agbegbe awọn ẹya meji, o pin si meji laisi agbekọja ati pe itumọ rẹ sọnu. Ni lqkan ti 50-100 àmi idaniloju wipe awọn alaye ja bo laarin awọn opin si maa wa mule ni o kere kan apakan.
Iwọn gige
Anfani
Alailanfani
yẹ akoonu
Kekere (awọn ami ami 100-250)
Ifamọ giga, lojutu
Ọrọ le baje
FAQ, awọn nkan kukuru, awọn asọye
Alabọde (awọn ami 300-600)
Iwontunwonsi; julọ awọn oju iṣẹlẹ
-
Awọn ilana, awọn ọrọ imulo
Nla (awọn ami ami 800-1500)
Iduroṣinṣin ọrọ
blurry ifibọ
Itan-akọọlẹ, awọn alaye gigun
Imọran: Ti o ko ba mọ ibiti o bẹrẹ, bẹrẹ pẹlu 400-500 chunk token ati 50-80 tokini ni lqkan; lẹhinna wọn ati ṣatunṣe pẹlu data tirẹ. Iwọn "ọtun" kii ṣe gbogbo agbaye, o da lori ọrọ-ọrọ.
Chunking ogbon
Iwọn to wa titi: Gige ọrọ naa ni gbogbo awọn ami N. O rọrun ati yara, ṣugbọn o le da gbigbi ọrọ-ọrọ duro.
Iyapa-orisun (recursive/separator): Pin gẹgẹ bi ìpínrọ ati ki o si gbolohun aala; O dara ṣe itọju iduroṣinṣin ti itumọ. Pupọ awọn ọna ṣiṣe iṣelọpọ bẹrẹ pẹlu eyi.
Itumọ chunking: O n wo awọn ifibọ ti awọn gbolohun ọrọ ati pin wọn nibiti iyipada koko-ọrọ ba waye. O ti wa ni ga didara sugbon julọ gbowolori ọna; Pẹlu awọn ipele nla, awọn idiyele iṣowo pọ si.
Iṣeto-mọ: Nlo igbekalẹ iwe gẹgẹbi awọn akọle, awọn apakan, awọn tabili. Fun apẹẹrẹ, pipin iwe Markdown nipasẹ awọn akọle ṣe idaniloju pe apakan kọọkan gbe akọle tirẹ.
Aṣamubadọgba nipasẹ Iwe Iru
Ko gbogbo iwe jẹ kanna. Ilana yatọ nipa iru:
- PDF/ọrọ ilana: Bukumaaki-orisun, alabọde iwọn. Ko oke/isalẹ awọn atunwi (akọsori/ẹsẹ).
- Awọn tabili: Ma ṣe mu ila kuro ni ọrọ-ọrọ; tọju ila kọọkan pẹlu alaye akọsori ("Nkan: X, Iye: Y, Iṣura: Z"). Yiyipada tabili aise si ọrọ itele nigbagbogbo jẹ pataki.
- Koodu: Pipin nipasẹ awọn aala iṣẹ / kilasi; Maṣe ge iṣẹ kan kuro ni ọna.
- Iwiregbe / gbigbasilẹ tiketi: Pipin nipasẹ ifiranṣẹ tabi ibaraẹnisọrọ yika; Ṣetọju imọ ti ẹniti o sọ kini.
# bracket-based chunking (conceptual) chunks = bol ( text, target_size=450, # token overlap=70, # token brackets=["\n\n", "\n", ". "," "] # paragraph akọkọ, ọrọ ikẹhin)
Fi Metadata kun Orin Kọọkan
Chunking ni ko kan "pin"; ni lati bùkún kọọkan nkan. Gbogbo aami ti o somọ orin naa tọsi iwuwo rẹ ni goolu fun sisẹ ọjọ iwaju ati sisọ orisun.
# Imudara chunk (conceptual){"ọrọ": "Isinmi ti ọdọọdun jẹ ọjọ 14 pẹlu ọdun 1-5 ti iṣẹ...", "metadata": {"orisun": "ik_el_kitabi_v7.pdf", "apakan": "5.2 Isinmi Ọdọọdun", "oju-iwe": 23", "ọjọ": "2025K": "2025K" "ti inu"}}
Ilana miiran ti o lagbara ni fifi akọle ọrọ-ọrọ kan kun: kikọ akọle ti ipin ti o jẹ ti ni ibẹrẹ nkan kọọkan. Nitorinaa, paapaa nkan ti o yapa bi “Fun awọn ọjọ 14” jẹ mejeeji ti o dara julọ ti a fi sii ati pe o ni itumọ diẹ sii bi “Iyọọda Ọdọọdun - awọn ọjọ 14.”
Ailagbara Chunking / Alagbara Chunking
Alailagbara (lile afọju, ko si metadata):
Truncate ọrọ ni gbogbo awọn kikọ 1000. Jeki ọrọ nikan. # Abajade: awọn tabili ti pin si aarin, "ọjọ 14" wa laisi ọrọ-ọrọ, # ko mọ iru iwe ti o ti wa, ko si àlẹmọ le ṣee ṣe.
Alagbara (imọ-iṣeto + akọsori + metadata):
Pin iwe-ipamọ nipasẹ awọn akọle; ṣafikun akọle apakan si apakan kọọkan; so orisun, oju-iwe, ọjọ ati metadata ikọkọ; yi awọn tabili tabili pada si ọrọ itele pẹlu awọn akọle wọn. # Abajade: lojutu, contextual, filterable, sourceable.
Mẹta Mini igba
Ọran 1 - Ajalu kikun. Ẹgbẹ iṣuna kan pin atokọ idiyele oju-iwe 200 pẹlu gige lile afọju; awọn ori ila tabili ti pin laileto. "Kini idiyele ọja X?" Awoṣe naa ka laini ti ko tọ ati fun idiyele ti ko tọ (9 ninu awọn ọran 12 jẹ aṣiṣe). Nigbati mo yi awọn ori ila tabili pada si ọrọ itele ni ọna kika "Ọja: … | Iye: … | Ẹka:…" aṣiṣe naa dinku si 0 ninu 12.
Irú 2 - Lalailopinpin ti o tobi chunk. Ni wiki kan, oju-iwe kọọkan jẹ chunk kan (diẹ ninu awọn sọ awọn ami 3,000). Ifibọ naa jẹ alaimọ nitori “filọ”, “akoko aṣerekọja” ati “owo isanwo” wa ni oju-iwe kan; Apakan awọn wakati iṣẹ tun wa sinu ere nipa ibeere isinmi. Nigbati awọn oju-iwe ti pin si iwọn alabọde nipasẹ akọle, ranti@5 pọ si lati 64% si 91%.
Irú 3 — Gbólóhùn gbolohun ọrọ lai ni lqkan. 250 àmi ti o wa titi ge fun a ofin egbe, ko si ni lqkan. A lominu ni definition ṣubu ọtun lori awọn aala ti meji awọn ẹya ara ati pin si meji; Bẹni ọkan tabi awọn miiran ni awọn pipe idahun. Nigba ti 60 àmi ni lqkan ti a fi kun, kanna definition wà mule ninu ọkan nkan ati awọn ti o tọ idahun ti a pada.
Awọn aṣiṣe ti o wọpọ
- Afọju ti o wa titi ge: Pipin awọn gbolohun ọrọ ati awọn tabili ni aarin; itumo ti sọnu.
- Nlọ kuro ni agbekọja ni odo: Alaye ti o ṣubu lori aala ti pin ati sọnu.
- Kii ṣe afikun metadata: Sisẹ ati ifihan orisun ko ṣee ṣe.
- Nlọ awọn tabili aise: Awọn awoṣe ko le yanju awọn tabili be; Yipada awọn ila si ọrọ itele.
- Gbigbe ilana kan: PDF, koodu ati tabili ko pin nipasẹ ọna kanna; Faramọ si oriṣi.
Išọra: Maṣe ṣeto Chunking lẹẹkan ki o gbagbe rẹ. Tun iwọn didara igbapada bi awọn iru iwe tuntun ti de (tiketi lati eto tuntun, awọn PDF ti ṣayẹwo). Data titẹ sii buburu tumọ si esi buburu ("idoti sinu, idoti jade").
Ni akojọpọ
- Chunk jẹ ẹyọkan ti o kere julọ ti igbapada; Bẹni ko tobi ju tabi kere ju - o yẹ ki o jẹ iwọntunwọnsi gẹgẹbi akoonu naa.
- Iwọn Chunk tọkasi iwọntunwọnsi idojukọ-ọrọ; Ni lqkan ṣakoso pipadanu aala.
- Awọn akọmọ-orisun ati be-mọ chunking ni awọn ibẹrẹ ojuami ti julọ iran awọn ọna šiše; atunmọ chunking jẹ didara ti o dara ṣugbọn gbowolori.
- Awọn oriṣi bii tabili, iwe afọwọkọ, ati iwiregbe nilo awọn ọgbọn tiwọn; Yipada awọn tabili si ọrọ itele.
- Ṣafikun orisun/ọjọ/opin/metadata ikọkọ ati akọle apakan si orin kọọkan; Eyi ni ipilẹ ti sisẹ ati itọkasi.
Ohun elo iṣẹ-ṣiṣe
Ya apakan ti iwe-ipamọ ti o yan si awọn ọna oriṣiriṣi mẹta: (1) awọn ege kekere ti awọn ami ami 200, (2) awọn ege alabọde ti awọn ami ami 500 (70 token ni lqkan), (3) awọn ege nla kan. Beere awọn ibeere 3 kanna fun ilana kọọkan, fi ọwọ samisi iru nkan lati mu wọle, ki o kọ idiro fun iru ilana ti o ṣiṣẹ julọ fun iwe naa. Lẹhinna ṣafikun o kere ju awọn aaye metadata mẹrin ati “akọle ipin” si orin kọọkan. Ti iwe naa ba ni tabili kan, yi ila tabili pada si ọrọ itele ni ọna kika "aaye: iye".
akojọ ayẹwo
- [] Mo le sọ pe chunk jẹ ẹyọkan ti o kere julọ ti igbapada ati iwọn jẹ iwọntunwọnsi idojukọ-ọrọ.
- [] Mo mọ idi ti ni lqkan idilọwọ awọn adanu aala.
- [] Mo ti le ṣe iyatọ laarin awọn akọmọ-orisun, atunmọ ati igbekale-mọ chunking.
- [] Mo ti le orisirisi si awọn nwon.Mirza fun tabili, koodu ati iwiregbe.
- [] Mo fikun igbapada nipa fifi metadata ati akọle ipin kun orin kọọkan.