Hagnaður:
- Metið tölulega stærð bita, skörun og merkingarfræðilega skiptingu á bútum
- Velja viðeigandi klumpastefnu fyrir mismunandi skjalagerðir (PDF, tafla, kóða, spjallskrá)
- Styrktu gæði og síun með því að bæta lýsigögnum við hvern hluta
Þetta er mest gleymast en mest afgerandi skref í RAG: hvernig þú brýtur niður skjalið. Þetta er kallað chunking. Jafnvel ef þú gefur sama skjalið til sömu líkansins, vegna slæmrar klumpa skilar endurheimtin röngum hlut og líkanið mun aldrei gefa frábært svar. Í þessari einingu förum við yfir sundrunaraðferðir, hvernig á að laga þær eftir gerð skjala og hvernig á að bæta þýðingarmiklum lýsigögnum við hvert brot.
Af hverju tætum við?
Það eru þrjár ástæður. Í fyrsta lagi umbreyta innfellingarlíkön texta upp að ákveðinni lengd í þýðingarmikinn vektor; Ef heilum 40 síðna kafla er troðið í einn vektor verður merkingin „óljós“. Í öðru lagi viljum við gefa líkaninu aðeins þann hluta sem þarf sem samhengi; að afhenda allt skjalið er dýrt og truflandi. Í þriðja lagi, til að endurheimt sé nákvæm, verður leitareiningin að vera lítil og einbeitt.
Svo klumpur er minnsta einingin til að sækja. Það ætti ekki að vera of stórt eða of lítið - bara rétt.
Hlutastærð og skörunarjafnvægi
Það eru tvær meginstillingar: stærð hluta (hversu mörg tákn/orð verða í bút) og skörun (hlutinn sem nálægir bitar deila).
Mjög litlir klumpur (t.d. 100 tákn): einbeitt en ótengdur samhengi. Hann segir „í 14 daga“ en hvað 14 dagar eru er eftir í fyrri setningunni. Mjög stórir bitar (t.d. 2000 tákn): varðveitir samhengi en mörgum þráðum er blandað saman; innfellingin ruglast og óviðkomandi efni koma saman.
Skörun leysir landamæravandann. Ef setning fellur nákvæmlega á mörk tveggja hluta er henni skipt í tvennt án þess að skarast og merking hennar glatast. Skörun 50-100 tákna tryggir að upplýsingarnar sem falla innan markanna haldist ósnortnar í að minnsta kosti einum hluta.
Kubbastærð
Kostur
Ókostur
viðeigandi efni
Lítil (100-250 tákn)
Mikil næmi, einbeittur
Samhengi getur rofnað
Algengar spurningar, stuttar greinar, skilgreiningar
Miðlungs (300-600 tákn)
Jafnvægi; flestar aðstæður
—
Verklagsreglur, stefnutextar
Stór (800-1500 tákn)
Samhengi heilindi
óskýr innfelling
Frásögn, langar skýringar
Ábending: Ef þú veist ekki hvar þú átt að byrja skaltu byrja með 400-500 token chunk og 50-80 token skörun; mæliðu síðan og stilltu með eigin gögnum. „Rétta“ stærðin er ekki algild, hún fer eftir samhenginu.
Chunking aðferðir
Föst stærð: Klippir textann á hvert N tákn. Það er einfalt og hratt, en getur truflað miðja setningu.
Separator-based (endurkvæmur/separator): Skiptir eftir málsgrein og síðan setningamörkum; Það varðveitir betur heilleika merkingar. Flest framleiðslukerfi byrja á þessu.
Merkingarfræðileg klumpur: Það skoðar innfellingar setninganna og skiptir þeim þar sem efnisbreytingin á sér stað. Það er hágæða en dýrasta aðferðin; Með miklu magni eykst viðskiptakostnaður.
Byggingarmeðvituð: Notar skjalaskipulag eins og fyrirsagnir, hluta, töflur. Til dæmis, að skipta Markdown skjali eftir fyrirsögnum tryggir að hver hluti beri sína eigin fyrirsögn.
Aðlögun eftir gerð skjala
Ekki eru öll skjal eins. Stefna er mismunandi eftir tegundum:
- PDF/stefnutexti: Byggt á bókamerkjum, meðalstærð. Hreinsaðu endurtekningar efst/neðst á síðu (haus/fótur).
- Töflur: Ekki taka línuna úr samhengi; geymdu hverja röð með hausupplýsingum ("Atriði: X, Verð: Y, Lager: Z"). Oft er nauðsynlegt að breyta hráu töflunni í venjulegan texta.
- Kóði: Skipt eftir mörkum falls/flokks; Ekki skera fall úr vegi.
- Spjall/miðaupptaka: Skipt með skilaboðum eða samtalslotu; Viðhalda þekkingu á því hver sagði hvað.
# klumpur (hugmyndir) sem byggja á sviga = bol( texti, target_size=450, # táknskörun=70, # táknsvigar=["\n\n", "\n", ". ", " "] # málsgrein fyrst, orð síðast)
Bættu lýsigögnum við hvert lag
Chunking er ekki bara "deila"; er að auðga hvert stykki. Hvert merki sem þú festir á brautina er gulls virði fyrir síun og heimildatilvísun í framtíðinni.
# Enriched chunk (conceptual){ "text": "Árlegt launað leyfi er 14 dagar með 1-5 ára starf...", "metadata": { "source": "ik_el_kitabi_v7.pdf", "section": "5.2 Árlegt leyfi", "page": 23, "date": "6", "IKA:privacy", "2025": "privacy" "innri" }}
Önnur öflug tækni er að bæta við samhengishaus: að skrifa titil kaflans sem hann tilheyrir í upphafi hvers verks. Þannig er jafnvel sundurlaust verk eins og "Í 14 daga" bæði betur innbyggt og innihaldsríkara sem "Árlegt leyfi - 14 dagar."
Veik klumpur / Sterk klumpur
Veik (blind hardcut, engin lýsigögn):
Stytta texta á 1000 stafa fresti. Haltu aðeins textanum.# Niðurstaða: töflum er skipt í miðjuna, "14 dagar" er áfram án samhengis,# það er ekki vitað úr hvaða skjal það kom, engin sía er hægt að búa til.
Öflugt (skipulagsvitund + haus + lýsigögn):
Skiptu skjalinu eftir fyrirsögnum; bæta hlutatitil við hvern hluta; hengja við uppruna, síðu, dagsetningu og lýsigögn persónuverndar; umbreyttu töfluröðum í venjulegan texta með hausum sínum.# Niðurstaða: einbeittur, samhengisbundinn, síunarhæfur, heimildarhæfur.
Þrjú Mini Cass
Mál 1 - Málverksslys. Fjármálateymi skipti 200 blaðsíðna verðskrá með blindum harðskurði; töflulínum var skipt af handahófi. "Hvað er verð á vöru X?" Líkanið las ranga línu og gaf rangt verð (9 af 12 tilfellum eru rangar). Þegar ég breytti töflulínunum í venjulegan texta á sniðinu „Vara: … | Verð: … | Eining: …“ minnkaði villan í 0 af 12.
Tilfelli 2 - Mjög stór klumpur. Í wiki er hver síða gerð úr einum bita (sumir segja 3.000 tákn). Innfellingin er óskýr vegna þess að það er "leyfi", "yfirvinna" og "launaskrá" á einni síðu; Vinnutímakaflinn kom einnig við sögu varðandi orlofsspurninguna. Þegar síðunum var skipt í meðalstærð eftir titli jókst recall@5 úr 64% í 91%.
Mál 3 — Stypt setning án skörunar. 250 token fast cut fyrir löglegt lið, engin skörun. Gagnrýn skilgreining féll beint á mörk tveggja hluta og klofnaði í tvennt; Hvorki eitt né annað inniheldur fullkomið svar. Þegar 60 tákna skörun var bætt við hélst sama skilgreiningin ósnortin í einu lagi og rétta svarið var skilað.
Algeng mistök
- Blind fastur skurður: Skiptir setningum og töflum í miðju; merking glatast.
- Skörun skilin eftir á núlli: Upplýsingar sem falla á mörkin er skipt og glatast.
- Ekki bætt við lýsigögnum: Sía og upprunabirting verða ómöguleg.
- Að skilja töflur eftir óunnar: Líkanið getur ekki leyst töflubygginguna; Umbreyttu línum í venjulegan texta.
- Að setja eina stefnu: PDF, kóða og töflu er ekki skipt með sömu aðferð; Aðlagast tegund.
Varúð: Ekki stilla Chunking einu sinni og gleyma því. Mældu aftur gæði endurheimtar þegar nýjar skjalagerðir berast (miðar úr nýju kerfi, skannaðar PDF-skjöl). Slæm inntaksgögn þýðir slæm viðbrögð ("sorp inn, sorp út").
Í stuttu máli
- Chunk er minnsta einingin til að sækja; Hvorki of stór né of lítill - það ætti að vera í jafnvægi í samræmi við innihaldið.
- Hlutastærð gefur til kynna jafnvægi í fókus-samhengi; Skörun stjórnar landamæratapi.
- Bracket-undirstaða og uppbyggingu meðvituð klumpur er upphafspunktur flestra kynslóðarkerfa; merkingarfræðileg chunking er góð gæði en dýr.
- Tegundir eins og borð, handrit og spjall krefjast eigin aðferða; Umbreyttu töflum í venjulegan texta.
- Bættu uppruna/dagsetningu/kafla/næðislýsigögnum og kaflaheiti við hvert lag; Þetta er grundvöllur síunar og tilvitnunar.
Umsóknarverkefni
Brjóttu hluta skjalsins sem þú velur á þrjá mismunandi vegu: (1) litla bita með 200 táknum, (2) meðalstórir hlutar með 500 táknum (70 tákn skarast), (3) stakir stórir bitar. Spyrðu sömu 3 spurninganna fyrir hverja stefnu, merktu handvirkt hvaða verk á að koma með og skrifaðu niður rökin fyrir því hvaða stefnu hentar best fyrir það skjal. Bættu síðan við að minnsta kosti fjórum lýsigagnareitum og „kaflaheiti“ við hvert lag. Ef skjalið inniheldur töflu, umbreyttu töflulínu í venjulegan texta á sniðinu „reitur:gildi“.
gátlisti
- [ ] Ég get sagt að klumpur er minnsta einingin til að sækja og stærð er fókus-samhengisjafnvægið.
- [ ] Ég veit hvers vegna Skörun kemur í veg fyrir tap á mörkum.
- [ ] Ég get greint á milli klumpa sem byggir á sviga, merkingarfræði og uppbyggingu meðvituðum.
- [ ] Ég get aðlagað stefnuna fyrir borð, kóða og spjall.
- [ ] Ég styrki sókn með því að bæta lýsigögnum og kaflaheiti við hvert lag.