Girdeji:
- Bölümiň ululygyna, bir-birine gabat gelmegine we semantik bölek satuwyna san taýdan baha beriň
- Dürli resminama görnüşleri üçin (PDF, tablisa, kod, söhbetdeşlik gündeligi) degişli strategiýany saýlamak
- Her bölüme metadata goşup, gözlegiň hilini we süzgüçini güýçlendiriň
Bu RAG-da iň ähmiýet berilmedik, ýöne iň aýgytly ädim: resminamany nädip bozýarsyňyz. Muňa böleklemek diýilýär. Şol bir resminamany şol bir modele berseňizem, gözlegiň nädogry bolmagy sebäpli gözleg nädogry eseri yzyna gaýtaryp berýär we model hiç haçan uly jogap bermez. Bu bölümde böleklere bölüniş strategiýalaryny, resminama görnüşine görä nädip uýgunlaşdyrmalydygyny we her bölege manyly meta-maglumaty nädip goşmalydygyny öz içine alýarys.
Näme üçin bölekleýäris?
Üç sebäp bar. Birinjiden, içerki modeller teksti belli bir uzynlyga çenli manyly wektora öwürýär; 40 sahypalyk bir bölümiň hemmesi bir wektora bölünen bolsa, manysy "bulaşýar". Ikinjiden, modele diňe kontekst hökmünde zerur bölegi bermek isleýäris; resminamanyň hemmesini tabşyrmak gaty gymmat we ünsüňi sowýar. Üçünjiden, gözlegiň takyk bolmagy üçin gözleg bölümi kiçi we ünsi jemlemeli.
Şonuň üçin bölek gözlegiň iň kiçi bölümi. Gaty uly ýa-da gaty kiçi bolmaly däl - dogry.
Bölümiň ululygy we deňagramlylygy
Iki sany esasy sazlama bar: bölek ululygy (bir bölekde näçe bellik / söz bolar) we biri-birine gabat gelmek (goňşy bölekleriň paýlaşýan bölegi).
Örän kiçijik bölekler (meselem, 100 belgi): gönükdirilen, ýöne kontekstden kesilen. "14 gün" diýýär, ýöne 14 gün galan zat öňki sözlemde galdy. Örän uly bölekler (meselem, 2000 belgisi): konteksti saklaýar, ýöne köp sapaklar garylýar; ornaşdyrmak bulaşýar we ähmiýetsiz mowzuklar birleşýär.
Gabat gelmek serhet meselesini çözýär. Bir sözlem iki bölek araçägine düşse, bir-birine gabat gelmän ikä bölünýär we manysy ýitýär. 50-100 belginiň gabat gelmegi, çäkden çykýan maglumatlaryň azyndan bir böleginde saklanmagyny üpjün edýär.
Bölümiň ululygy
Üstünlik
Adetmezçiligi
degişli mazmun
Kiçi (100-250 belgi)
Highokary duýgurlyk, gönükdirilen
Kontekst bozup biler
Sorag-jogap, gysga makalalar, kesgitlemeler
Orta (300-600 belgi)
Balans; senariýalaryň köpüsi
-
Amallar, syýasat tekstleri
Uly (800-1500 belgi)
Kontekstiň bitewiligi
bulaşyk goýmak
Hekaýa, uzyn düşündirişler
Maslahat: Nireden başlajagyňyzy bilmeseňiz, 400-500 belgili bölekden we 50-80 belgili gabat gelmekden başlaň; soň öz maglumatlaryňyz bilen ölçäň we sazlaň. "Dogry" ululyk ähliumumy däl, kontekste bagly.
Çank strategiýalary
Kesgitlenen ululyk: Teksti her N belgisi bilen kesýär. Bu ýönekeý we çalt, ýöne orta sözlemi kesip biler.
Aýryjy esasly (gaýtalanýan / bölüji): abzas boýunça bölünýär we sözlemiň çäkleri; Manysynyň bitewiligini has gowy saklaýar. Önümçilik ulgamlarynyň köpüsi şundan başlaýar.
Semantik bölünişik: Sözlemleriň ýerleşdirilmegine seredýär we mowzuk üýtgän ýerinde bölýär. Iň ýokary hilli, ýöne iň gymmat usul; Uly göwrüm bilen geleşik çykdajylary ýokarlanýar.
Gurluşy bilýän: sözbaşylar, bölümler, tablisalar ýaly resminama gurluşyny ulanýar. Mysal üçin, Markdown resminamasyny sözbaşylara bölmek, her bölümiň öz sözbaşysyny üpjün edýär.
Resminamanyň görnüşi boýunça uýgunlaşma
Her resminama birmeňzeş däl. Strategiýa görnüşi boýunça üýtgeýär:
- PDF / syýasat teksti: Bellik esasly, orta ölçeg. Sahypanyň ýokarky / aşaky gaýtalanmalaryny arassalaň (sözbaşy / aşaky sözbaşy).
- Tablisa: Çyzygy kontekstden çykarmaň; her hatary sözbaşy maglumatlary bilen saklaň ("Haryt: X, Baha: Y, Bir Stocka: Z"). Çig tablisany ýönekeý tekste öwürmek köplenç zerurdyr.
- Kod: Funksiýa / synp çäkleri boýunça bölmek; Bir funksiýany kesmäň.
- Söhbet / bilet ýazgysy: Habar ýa-da söhbet boýunça bölün; Kimiň näme diýendigini bilmek.
# ýaýly esasly bölek (düşünjeli) bölekler = bol (tekst, maksat_size = 450, # belgi bir-birine gabat gelmek = 70, # bellikli ýaýlar = ["\ n \ n", "\ n", ".", ""] # birinji abzas, soňky söz)
Her tracke Metadata goşuň
Çekmek diňe "bölmek" däl; her bir bölegi baýlaşdyrmakdyr. Trackoluňyza dakylýan her bir bellik, geljekde süzmek we çeşmä salgylanmak üçin altyn bilen agramyna deňdir.
# Baýlaşdyrylan bölek (konseptual) text "tekst": "annualyllyk tölegli dynç alyş 1-5 ýyl hyzmat bilen 14 gün ...", "metadata": {"çeşme": "ik_el_kitabi_v7.pdf", "bölüm": "5.2 ualyllyk rugsat", "sahypa": 23, "sene": "2025-06", "bölüm": "IK"
Anotherene bir güýçli usul, kontekstli sözbaşy goşmak: her bölümiň başynda özüne degişli bapyň adyny ýazmak. Şeýlelik bilen, "14 günüň dowamynda" ýaly göwnüçökgün eser hem has gowy ýerleşdirilip, "ualyllyk dynç alyş - 14 gün" ýaly has manyly.
Gowşak bölek / güýçli bölek
Gowşak (kör gaty, metadata ýok):
Her 1000 simwoldan tekst kesiň. Diňe teksti saklaň. # Netije: tablisalar ortada bölünýär, "14 gün" kontekstsiz galýar, # haýsy resminamadan gelendigi belli däl, süzgüç edip bolmaýar.
Güýçli (gurluşdan habarly + sözbaşy + metadata):
Resminamany sözbaşylara bölüň; her bölüme bölümiň adyny goşuň; çeşmesini, sahypasyny, senesini we gizlinlik meta-maglumatyny goşuň; tablisalary sözbaşylary bilen ýönekeý tekste öwüriň. # Netije: gönükdirilen, kontekstli, süzgüçli, çeşme.
Üç kiçi waka
1-nji waka - Reňk betbagtlygy. Maliýe topary 200 sahypalyk baha sanawyny kör gaty kesmek bilen böldi; stol hatarlary tötänleýin bölündi. "X önümiň bahasy näme?" Model nädogry setiri okady we nädogry baha berdi (12 hadysanyň 9-sy nädogry). Tablisa hatarlaryny "Önüm:… | Bahasy:… | Bölüm:…" formatda ýönekeý tekste öwürenimde, ýalňyşlyk 12-den 0-a çenli azaldy.
2-nji hadysa - Örän uly bölek. Wikide her sahypa bir bölekden ýasalýar (käbirleri 3000 belgi diýýär). Goýmak bulaşyk, sebäbi bir sahypada "rugsat", "iş wagtyndan artyk" we "aýlyk" bar; Dynç alyş meselesi bilen baglanyşykly iş wagty bölümi hem güýje girdi. Sahypalar ady boýunça orta ululyga bölünende, @ 5-i 64% -den 91% -e çenli ýokarlandyryň.
3-nji hadysa - Bir-birine gabat gelmedik kesilen söz. Hukuk topary üçin 250 bellikli kesilen, bir-birine gabat gelmeýän. Tankytly kesgitleme iki bölek araçägine düşdi we iki bölege bölündi; Bularyň birinde-de, beýlekisinde-de doly jogap ýok. 60 belgi bir-birine gabat gelende, şol kesgitleme bir bölekde üýtgemedi we dogry jogap yzyna berildi.
Adaty ýalňyşlyklar
- Kör kesgitlenen kesiş: Jümleleri we tablisalary ortada bölýär; manysy ýitýär.
- Gabat gelşini nola goýmak: Serhede düşýän maglumatlar bölünýär we ýitýär.
- Metadata goşmazlyk: Süzmek we çeşme görkezmek mümkin däl bolýar.
- Stollary çig goýmak: Model tablisanyň gurluşyny çözüp bilmez; Setirleri ýönekeý tekste öwüriň.
- Bir strategiýany girizmek: PDF, kod we tablisa birmeňzeş usul bilen bölünmeýär; Reanrlara uýgunlaşyň.
Üns beriň: Çunkingi bir gezek goýmaň we ýatdan çykaryň. Täze resminama görnüşleri gelende gözleg hilini täzeden ölçäň (täze ulgamdan biletler, skanirlenen PDF). Erbet giriş maglumatlary erbet jogap bermegi aňladýar ("zibil, zibil").
Gysgaça
- Çunk gözlegiň iň kiçi birligi; Ne uly, ne-de kiçi - mazmuna görä deňagramly bolmaly.
- Bölümiň ululygy fokus-kontekst balansyny görkezýär; Gabat gelmek serhet ýitgilerini dolandyrýar.
- Garaşsyz we gurluşdan habarly bölekler köp nesil ulgamlarynyň başlangyç nokadydyr; semantik bölek gowy hilli, ýöne gymmat.
- Stol, skript we söhbet ýaly görnüşler öz strategiýalaryny talap edýär; Tablisalary ýönekeý tekste öwüriň.
- Her ýoda çeşme / sene / bap / gizlinlik meta-maglumatyny we bölümiň adyny goşuň; Süzmek we sitata bermek üçin esas şu.
Programma meselesi
Saýlan resminamanyňyzyň bir bölümini üç dürli ýol bilen bölüň: (1) 200 nyşanyň ownuk bölekleri, (2) 500 belginiň orta bölekleri (70 belgi bir-birine gabat gelýär), (3) ýekeje uly bölek. Her strategiýa üçin birmeňzeş 3 sorag beriň, haýsy eseri getirmelidigini el bilen belläň we şol resminama üçin haýsy strategiýanyň iň oňat işleýändigini ýazyň. Soňra her ýoda azyndan dört metadata meýdany we “bap ady” goşuň. Resminamada tablisa bar bolsa, tablisanyň hataryny "meýdan: baha" formatda ýönekeý tekste öwüriň.
gözegçilik sanawy
- [] Gözlegiň iň kiçi birligi we ululygy fokus-kontekst balansydygyny aýdyp bilerin.
- [] Näme üçin Overlap serhet ýitgileriniň öňüni alýandygyny bilýärin.
- [] Men ýaýyň esasly, semantik we gurluşdan habarly böleklerini tapawutlandyryp bilerin.
- [] Stol, kod we söhbetdeşlik strategiýasyny uýgunlaşdyryp bilerin.
- [] Her trekde metadata we bap adyny goşup, gözlemegi güýçlendirýärin.