Qligħ:
- Evalwa numerikament id-daqs tal-biċċiet, il-koinċidenza u l-kompromessi ta' biċċiet semantiċi
- Għażla ta' strateġija ta' chunking xierqa għal tipi differenti ta' dokumenti (PDF, tabella, kodiċi, chat log)
- Issaħħaħ il-kwalità tal-irkupru u l-iffiltrar billi żżid metadejta ma 'kull biċċa
Dan huwa l-aktar pass injorat iżda l-aktar deċiżiv fir-RAG: kif tkisser id-dokument. Dan jissejjaħ chunking. Anke jekk inti tagħti l-istess dokument lill-istess mudell, minħabba bad chunking l-irkupru jirritorna l-biċċa ħażina u l-mudell qatt ma jipproduċi tweġiba kbira. F'din l-unità, aħna nkopru strateġiji ta 'frammentazzjoni, kif naddattawhom skont it-tip ta' dokument, u kif iżżid metadejta sinifikanti għal kull framment.
Għaliex Aħna Nqattgħu?
Hemm tliet raġunijiet. L-ewwel, mudelli ta 'inkorporazzjoni jikkonvertu test sa ċertu tul f'vettur sinifikanti; Jekk kapitolu sħiħ ta '40 paġna huwa miġbur f'vettur wieħed, it-tifsira ssir "mċajpra." It-tieni, irridu nagħtu lill-mudell biss il-parti li hija meħtieġa bħala kuntest; l-għoti tad-dokument kollu huwa għali u jfixkel. It-tielet, biex l-irkupru jkun preċiż, l-unità tat-tfittxija għandha tkun żgħira u ffukata.
Allura chunk hija l-iżgħar unità ta 'rkupru. M'għandux ikun kbir wisq jew żgħir wisq - id-dritt.
Daqs tal-biċċa u Bilanċ ta' Koinċidenza
Hemm żewġ settings ewlenin: id-daqs tal-biċċa (kemm se jkun hemm tokens/kliem f'biċċa) u koinċidenza (il-porzjon kondiviż minn biċċiet ġirien).
Biċċiet żgħar ħafna (eż. 100 tokens): ffukati iżda skonnettjati mill-kuntest. Jgħid "għal 14-il jum", iżda dak li huma 14-il jum jitħalla fis-sentenza preċedenti. Bċejjeċ kbar ħafna (eż. 2000 tokens): jippreserva l-kuntest iżda ħafna ħjut huma mħallta fihom; inkorporazzjoni gets muddled u suġġetti irrilevanti jingħaqdu flimkien.
Il-koinċidenza issolvi l-problema tal-konfini. Jekk sentenza taqa’ eżattament fuq il-fruntiera ta’ żewġ partijiet, tinqasam fi tnejn mingħajr ma tikkoinċidi u tintilef it-tifsira tagħha. Koinċidenza ta '50-100 tokens tiżgura li l-informazzjoni li taqa' fil-limitu tibqa 'intatta f'mill-inqas parti waħda.
Daqs tal-biċċa
Vantaġġ
Żvantaġġ
kontenut xieraq
Żgħir (100-250 tokens)
Sensittività għolja, iffukat
Il-kuntest jista’ jinkiser
FAQ, artikoli qosra, definizzjonijiet
Medju (300-600 token)
Bilanċ; il-biċċa l-kbira tax-xenarji
—
Proċeduri, testi ta' politika
Kbir (800-1500 tokens)
Integrità tal-kuntest
inkorporazzjoni mċajpra
Narrattiva, spjegazzjonijiet twal
Tip: Jekk ma tafx minn fejn tibda, ibda b'400-500 token chunk u 50-80 token overlap; imbagħad kejjel u aġġusta bid-dejta tiegħek stess. Id-daqs "tajjeb" mhuwiex universali, jiddependi fuq il-kuntest.
Strateġiji Chunking
Daqs fiss: Ittrimmja t-test kull N tokens. Huwa sempliċi u veloċi, iżda jista 'jinterrompi nofs is-sentenza.
Ibbażat fuq is-separatur (rekursiv/separatur): Jiddividi skont il-konfini tal-paragrafu u mbagħad is-sentenza; Jippreserva aħjar l-integrità tat-tifsira. Ħafna sistemi ta 'produzzjoni jibdew b'dan.
Tqattigħ semantiku: Tħares lejn l-inkorporazzjonijiet tas-sentenzi u taqsamhom fejn isseħħ il-bidla tas-suġġett. Huwa l-ogħla kwalità iżda l-aktar metodu għali; B'volumi kbar, l-ispejjeż tat-tranżazzjoni jiżdiedu.
Konxju mill-istruttura: Juża struttura tad-dokument bħal intestaturi, sezzjonijiet, tabelli. Pereżempju, il-qsim ta' dokument Markdown skont l-intestaturi jiżgura li kull parti jkollha l-intestatura tagħha stess.
Adattament skond it-Tip ta' Dokument
Mhux kull dokument huwa l-istess. L-istrateġija tvarja skont it-tip:
- PDF/test tal-politika: Ibbażat fuq bookmarks, daqs medju. Ripetizzjonijiet ċari ta' fuq/ta' isfel tal-paġna (header/footer).
- Tabelli: Tieħux il-linja barra mill-kuntest; żomm kull ringiela b'informazzjoni tal-header ("Oġġett: X, Prezz: Y, Stokk: Z"). Il-konverżjoni tat-tabella mhux ipproċessata għal test sempliċi ħafna drabi hija essenzjali.
- Kodiċi: Qsim skond il-konfini tal-funzjoni/klassi; Taqtax funzjoni barra mill-mod.
- Reġistrazzjoni ta' chat/biljett: Qsim b'messaġġ jew rawnd ta' konverżazzjoni; Żomm l-għarfien dwar min qal xiex.
# biċċiet (kunċettwali) bbażati fuq il-parentesi = bol (test, target_size=450, # token overlap=70, # token brackets=["\n\n", "\n", ". ", " "] # paragrafu l-ewwel, kelma l-aħħar)
Żid Metadata ma' Kull Track
Chunking mhux biss "qasma"; huwa li tarrikkixxi kull biċċa. Kull tag li tehmeż mal-korsa tiswa l-piż tagħha fid-deheb għal filtrazzjoni futura u tiċċita s-sors.
# Enriched chunk (kunċettwali){ "text": "Leave annwali mħallas huwa ta' 14-il jum b'1-5 snin ta' servizz...", "metadata": { "source": "ik_el_kitabi_v7.pdf", "section": "5.2 Annual Leave", "page": 23, "date": "2025-06":"IK" "intern":" }}
Teknika qawwija oħra hija li żżid header kuntestwali: tikteb it-titlu tal-kapitlu li jappartjeni għalih fil-bidu ta 'kull biċċa. Għalhekk, anke biċċa disjointed bħal "Għal 14-il jum" hija kemm inkorporata aħjar kif ukoll aktar sinifikanti bħala "Leave Annwali - 14-il jum."
Chunking Dgħajjef / Tqattigħ Qawwija
Dgħajjef (blind hardcut, ebda metadejta):
Aqsam it-test kull 1000 karattru. Żomm it-test biss.# Riżultat: it-tabelli huma maqsuma fin-nofs, "14-il jum" jibqa' mingħajr kuntest,# mhux magħruf minn liema dokument ġie, ma jista' jsir l-ebda filtru.
Qawwija (konxju mill-istruttura + header + metadejta):
Aqsam id-dokument bl-intestaturi; żid it-titlu tat-taqsima għal kull parti;ehmeż is-sors, il-paġna, id-data u l-metadejta tal-privatezza; jikkonvertu tabellarows għal test sempliċi bl-intestaturi tagħhom.
Tliet Każijiet Mini
Każ 1 — Diżastru tal-pittura. Tim tal-finanzi qasmet il-lista tal-prezzijiet ta '200 paġna bi qtugħ iebes blind; ringieli tal-mejda kienu maqsuma b'mod każwali. "X'inhu l-prezz tal-prodott X?" Il-mudell qara l-linja ħażina u ta l-prezz ħażin (9 minn 12-il każ huma żbaljati). Meta kkonvertijt ir-ringieli tat-tabella għal test sempliċi fil-format "Prodott: … | Prezz: … | Unità: …" l-iżball naqas għal 0 minn 12.
Każ 2 — biċċa kbira ħafna. Fi wiki, kull paġna hija magħmula minn biċċa waħda (xi wħud jgħidu 3,000 token). L-inkorporazzjoni hija mċajpra minħabba li hemm "leave", "sahra" u "payroll" fuq paġna waħda; Is-sezzjoni tal-ħinijiet tax-xogħol daħlet ukoll fir-rigward tal-kwistjoni tal-leave. Meta l-paġni kienu maqsuma f'daqs medju bit-titlu, recall@5 żdied minn 64% għal 91%.
Każ 3 — Sentenza maqtugħa mingħajr koinċidenza. 250 token maqtugħ fiss għal tim legali, l-ebda sovrappożizzjoni. Definizzjoni kritika waqgħet eżatt fuq il-fruntiera ta 'żewġ partijiet u maqsuma fi tnejn; La waħda u lanqas l-oħra ma fihom it-tweġiba sħiħa. Meta ġiet miżjuda 60 token overlap, l-istess definizzjoni baqgħet intatta f'biċċa waħda u rritornat it-tweġiba t-tajba.
Żbalji komuni
- Blind fixed cut: Qasam sentenzi u tabelli fin-nofs; it-tifsira tintilef.
- Inħallu l-koinċidenza fuq żero: L-informazzjoni li taqa 'fuq il-konfini tinqasam u tintilef.
- Meta ma żżidx metadejta: Il-filtrazzjoni u l-wiri tas-sors isiru impossibbli.
- Tħalli tabelli mhux ipproċessati: Il-mudell ma jistax isolvi l-istruttura tal-mejda; Ikkonverti linji għal test sempliċi.
- L-impożizzjoni ta' strateġija waħda: PDF, kodiċi u tabella mhumiex maqsuma bl-istess metodu; Adatta għall-ġeneru.
Attenzjoni: Issettjax Chunking darba u tinsa. Erġa' kejjel il-kwalità tal-irkupru hekk kif jaslu tipi ġodda ta' dokumenti (biljetti minn sistema ġdida, PDFs skennjati). Id-dejta tal-input ħażina tfisser rispons ħażin ("żibel ġewwa, żibel barra").
Fil-qosor
- Chunk huwa l-iżgħar unità ta 'rkupru; La kbir wisq u lanqas żgħir wisq - għandu jkun ibbilanċjat skont il-kontenut.
- Id-daqs tal-biċċa jindika bilanċ fokus-kuntest; Il-koinċidenza tamministra t-telf tal-konfini.
- Chunking ibbażat fuq il-parentesi u konxju mill-istruttura huwa l-punt tat-tluq tal-biċċa l-kbira tas-sistemi ta 'ġenerazzjoni; it-tqattigħ semantiku huwa ta' kwalità tajba iżda għali.
- Tipi bħal tabella, skript, u chat jeħtieġu l-istrateġiji tagħhom stess; Ikkonverti tabelli għal test sempliċi.
- Żid sors/data/kapitolu/metadejta tal-privatezza u titolu tat-taqsima għal kull track; Din hija l-bażi tal-filtrazzjoni u ċ-ċitazzjoni.
Kompitu ta' applikazzjoni
Aqsam sezzjoni tad-dokument li tagħżel fi tliet modi differenti: (1) biċċiet żgħar ta’ 200 token, (2) biċċiet medji ta’ 500 token (70 token jikkoinċidu), (3) biċċiet kbar singoli. Staqsi l-istess 3 mistoqsijiet għal kull strateġija, immarka manwalment liema biċċa ġġib, u ikteb ir-raġunament għal liema strateġija taħdem l-aħjar għal dak id-dokument. Imbagħad żid mill-inqas erba 'oqsma ta' metadejta u "titolu tal-kapitolu" għal kull track. Jekk id-dokument ikun fih tabella, ikkonverti ringiela ta' tabella f'test sempliċi fil-format "field:value".
lista ta' kontroll
- [ ] Nista 'ngħid li l-biċċa hija l-iżgħar unità ta' rkupru u d-daqs huwa l-bilanċ fokus-kuntest.
- [ ] Naf għaliex Overlap jipprevjeni t-telf tal-konfini.
- [ ] Kapaċi niddistingwi bejn qsim ibbażat fuq parentesi, semantiku u konxju tal-istruttura.
- [ ] Kapaċi naddatta l-istrateġija għat-tabella, il-kodiċi u ċ-chat.
- [ ] Insaħħaħ l-irkupru billi nżid il-metadejta u t-titlu tal-kapitolu għal kull track.