Gnóthachain:
- Déan measúnú uimhriúil ar mhéid smután, ar fhorluí agus ar chomhbhabhtáil smután shéimeantach
- Straitéis smután oiriúnach a roghnú do chineálacha éagsúla doiciméad (PDF, tábla, cód, loga comhrá)
- Neartaigh cáilíocht aisghabhála agus scagadh trí mheiteashonraí a chur le gach smután
Is í seo an chéim is dearfaí ach is cinntitheach in RAG: conas a bhriseann tú síos an doiciméad. Tugtar smután air seo. Fiú má thugann tú an doiciméad céanna don mhúnla céanna, mar gheall ar dhroch-chnapáil filleann an t-aisghabháil an píosa mícheart agus ní thabharfaidh an tsamhail freagra iontach riamh. San aonad seo, clúdaímid straitéisí ilroinnte, conas iad a oiriúnú de réir an chineáil doiciméid, agus conas meiteashonraí brí a chur le gach blúire.
Cén Fáth a Dhéanaimid Sracaireacht?
Tá trí chúis ann. Ar an gcéad dul síos, déanann samhlacha leabú téacs suas go fad áirithe a thiontú ina veicteoir brí; Má tá caibidil iomlán 40-leathanach crammed isteach i veicteoir amháin, éiríonn an bhrí "doiléir." Ar an dara dul síos, ní theastaíonn uainn ach an chuid atá ag teastáil mar chomhthéacs a thabhairt don mhúnla; tá sé costasach agus cuireann sé an doiciméad iomlán ar fáil. Ar an tríú dul síos, le go mbeidh an aisghabháil beacht, caithfidh an t-aonad cuardaigh a bheith beag agus dírithe.
Mar sin is é smután an t-aonad aisghabhála is lú. Níor chóir go mbeadh sé ró-mhór nó ró-bheag - díreach i gceart.
Méid Chunk agus Iarmhéid Forluí
Tá dhá phríomhshocrú ann: smután (cé mhéad comhartha/focal a bheidh i smután) agus forluí (an chuid a roinneann smután comharsanachta).
Sleachta an-bheag (m.sh. 100 comhartha): dírithe ach dícheangailte ón gcomhthéacs. Deir sé "ar feadh 14 lá", ach tá an méid 14 lá fágtha san abairt roimhe seo. Smutáin an-mhór (m.sh. comharthaí 2000): caomhnaíonn an comhthéacs ach measctar go leor snáitheanna; éiríonn an leabú faoi cheilt agus tagann topaicí nach mbaineann le hábhar le chéile.
Réitíonn forluí an fhadhb teorann. Má thiteann abairt go díreach ar an teorainn de dhá chuid, roinntear ina dhá cheann í gan forluí agus cailltear a brí. Cinntíonn forluí 50-100 comhartha go bhfanann an fhaisnéis a thagann faoin teorainn slán i gcuid amháin ar a laghad.
Méid smután
Buntáiste
Míbhuntáiste
ábhar cuí
Beag (100-250 comhartha)
Íogaireacht ard, dírithe
Féadfaidh an comhthéacs briseadh
Ceisteanna Coitianta, ailt ghearra, sainmhínithe
Meánach (300-600 comhartha)
Iarmhéid; cásanna is mó
—
Nósanna imeachta, téacsanna polasaí
Mór (800-1500 comhartha)
Sláine an chomhthéacs
neadú doiléir
Insint, mínithe fada
Leid: Mura bhfuil a fhios agat cá háit le tosú, tosaigh le 400-500 smután comharthaí agus 50-80 forluí comharthaí; ansin tomhas agus coigeartaigh le do shonraí féin. Níl an méid "ceart" uilíoch, braitheann sé ar an gcomhthéacs.
Straitéisí Sleamhnáin
Méid sheasta: Triomaigh an téacs gach N comhartha. Tá sé simplí agus tapa, ach féadann sé cur isteach ar lár na habairte.
Bunaithe ar dheighilteoir (athchúrsach/deighilteoir): Roinntear de réir ailt agus ansin teorainneacha abairtí; Caomhnaíonn sé sláine an bhrí níos fearr. Tosaíonn formhór na gcóras táirgthe leis seo.
Snámhaireacht shéimeantach: Féachann sé ar leabú na n-abairtí agus roinneann sé iad san áit a dtarlaíonn an t-athrú ábhair. Is é an modh is airde cáilíochta ach is costasaí; Le líon mór, méadaíonn costais idirbheart.
Feasach ar Struchtúr: Úsáidtear struchtúr doiciméad mar cheannteidil, rannóga, táblaí. Mar shampla, má scoiltear doiciméad Markdown faoi cheannteidil, cinntítear go bhfuil a gceannteideal féin ar gach cuid.
Oiriúnú de réir Cineál Doiciméid
Níl gach doiciméad mar a chéile. Athraíonn straitéis de réir cineáil:
- PDF/téacs beartais: Leabharmharc-bhunaithe, meánmhéid. Glan athuair barr/bun an leathanaigh (ceanntásc/buntásc).
- Táblaí: Ná tóg an líne as an gcomhthéacs; coinnigh gach sraith le faisnéis ceannteidil ("Mír: X, Praghas: Y, Stoc: Z"). Is minic a bhíonn sé riachtanach an tábla amh a thiontú go gnáth-théacs.
- Cód: Scoilte ag teorainneacha feidhme/aicme; Ná gearr feidhm as an mbealach.
- Taifeadadh comhrá/ticéad: Scoilte de réir teachtaireachta nó babhta comhrá; Coinnigh eolas ar cé a dúirt cad é.
# bracket-based chunking (conceptual) chunks = bol( text, target_size=450, # token overlap=70, # token brackets=[ "\n\n", "\n", "."," "] # alt ar dtús, an focal deireanach)
Cuir Meiteashonraí le Gach Rian
Ní hamháin "roinn" atá i gceist le smután; Is é a shaibhriú gach píosa. Is fiú a meáchan in ór gach clib a cheanglaíonn tú leis an rian le haghaidh scagadh agus foinse a lua amach anseo.
# Saibhrithe smután (coincheapa){ "text": "Is é atá sa tsaoire bhliantúil le pá ná 14 lá le 1-5 bliana seirbhíse...", "metadata": { "foinse": "ik_el_kitabi_v7.pdf", "section": "5.2 Saoire Bhliantúil", "page": 23, "dáta": "2025-06": "Idirghabháil", "Idirghabháil", "Idirghabháil", "Idirlíon", "Idirlíon", "Idirlíon", "Idirlíon", "roinnt": }}
Teicníc chumhachtach eile is ea ceanntásc comhthéacsúil a chur leis: teideal na caibidle lena mbaineann sé a scríobh ag tús gach píosa. Mar sin, tá fiú píosa scoite cosúil le "Ar feadh 14 lá" leabaithe níos fearr agus níos brí mar "Saoire Bhliantúil - 14 lá."
Chunking Lag / Strong Chunking
Lag (gearrtha crua dall, gan meiteashonraí):
Gearr an téacs gach 1000 carachtar. Ná coinnigh ach an téacs.# Toradh: roinntear táblaí sa lár, fanann "14 lá" gan comhthéacs, # ní fios cén doiciméad as ar tháinig sé, ní féidir scagaire a dhéanamh.
Cumhachtach (feasach ar struchtúr + ceanntásc + meiteashonraí):
Roinn an doiciméad faoi cheannteidil; cuir teideal na rannóige le gach cuid; cuir foinse, leathanach, dáta agus meiteashonraí príobháideachais i gceangal; tiontaigh na sraitheanna táblaí go gnáth-théacs lena gceanntásca.# Toradh: dírithe, comhthéacsúil, in-scagtha, infhaighte.
Trí Chás Mini
Cás 1 - Tubaiste péinteála. Roinn foireann airgeadais an liosta praghsanna 200 leathanach le gearradh crua dall; scoilteadh sraitheanna tábla go randamach. msgstr "Cad é praghas an táirge X?" Léigh an tsamhail an líne mícheart agus thug sé an praghas mícheart (tá 9 cás as 12 mícheart). Nuair a thiontaigh mé na sraitheanna tábla go gnáth-théacs san fhormáid "Táirge: ... | Praghas: ... | Aonad: ..." laghdaigh an earráid go 0 as 12.
Cás 2 - Smután thar a bheith mór. I vicí, tá gach leathanach déanta as smután amháin (deir cuid acu 3,000 comhartha). Tá an leabú doiléir toisc go bhfuil "saoire", "ragobair" agus "párolla" ar aon leathanach amháin; Tháinig an rannóg uaireanta oibre isteach freisin maidir le ceist na saoire. Nuair a roinneadh na leathanaigh i meánmhéid de réir teidil, mhéadaigh cuimhne@5 ó 64% go 91%.
Cás 3 - Pianbhreith teasctha gan forluí. Gearradh seasta 250 comhartha d'fhoireann dlí, gan aon fhorluí. Thit sainmhíniú criticiúil ar dheis ar an teorainn de dhá chuid agus scoilt ina dhá cheann; Níl an freagra iomlán ag ceachtar acu ná ag an gceann eile. Nuair a cuireadh 60 forluí leis, d’fhan an sainmhíniú céanna slán i bpíosa amháin agus tugadh an freagra ceart ar ais.
Botúin choitianta
- Gearradh daill seasta: Roinntear abairtí agus táblaí sa lár; cailltear brí.
- Ag fágáil an fhorluí ag nialas: Roinntear agus cailltear faisnéis a thiteann ar an teorainn.
- Gan meiteashonraí a chur leis: Ní féidir scagadh agus taispeáint foinse a dhéanamh.
- Ag fágáil táblaí amh: Ní féidir leis an múnla an struchtúr tábla a réiteach; Tiontaigh línte go gnáth-théacs.
- Straitéis amháin a fhorchur: ní roinntear PDF, cód agus tábla ar an modh céanna; Cuir in oiriúint don seánra.
Aire: Ná socraigh Chunking uair amháin agus déan dearmad air. Cáilíocht aisghabhála a aththomhas de réir mar a thagann cineálacha nua doiciméad (ticéid ó chóras nua, PDFs scanta). Ciallaíonn droch-shonraí ionchuir drochfhreagairt ("truflais isteach, truflais amach").
Go hachomair
- Is é Chunk an t-aonad aisghabhála is lú; Gan a bheith ró-mhór ná ró-bheag - ba chóir é a chothromú de réir an ábhair.
- Léiríonn méid smuga cothromaíocht fócas-chomhthéacs; Bainistíonn forluí caillteanas teorann.
- Tá smután bunaithe ar lúibíní agus atá feasach ar struchtúir mar phointe tosaigh ag formhór na gcóras giniúna; Tá smután shéimeantach ar chaighdeán maith ach costasach.
- Teastaíonn a straitéisí féin le cineálacha cosúil le tábla, script agus comhrá; Tiontaigh táblaí go gnáth-théacs.
- Cuir foinse/dáta/caibidil/meiteashonraí príobháideachais agus teideal na rannóige le gach rian; Is é seo an bunús le scagadh agus lua.
Tasc feidhmchláir
Bris cuid den doiciméad a roghnaíonn tú i dtrí bhealach éagsúla: (1) píosaí beaga de 200 comhartha, (2) píosaí meánacha de 500 comhartha (70 forluí comharthaí), (3) píosaí móra aonair. Cuir na 3 cheist chéanna le haghaidh gach straitéise, marcáil de láimh cén píosa le tabhairt isteach, agus scríobh síos an réasúnaíocht maidir leis an straitéis is fearr a oibríonn don doiciméad sin. Ansin cuir ar a laghad ceithre réimse meiteashonraí agus “teideal caibidle” le gach rian. Má tá tábla sa doiciméad, tiontaigh ró tábla go gnáth-théacs san fhormáid "réimse: luach".
seicliosta
- [ ] Is féidir liom a rá gurb é smután an t-aonad aisghabhála is lú agus gurb é méid an chothromaíocht fócas-chomhthéacs.
- [ ] Tá a fhios agam cén fáth a chuireann Forluí cosc ar chaillteanas teorann.
- [ ] Is féidir liom idirdhealú a dhéanamh idir smután bunaithe ar lúibíní, shéimeantach agus smután atá feasach ar struchtúir.
- [ ] Is féidir liom an straitéis a oiriúnú le haghaidh tábla, cód agus comhrá.
- [ ] Treisím an aisghabháil trí mheiteashonraí agus teideal caibidle a chur le gach rian.