ஆதாயங்கள்:
- துண்டின் அளவு, ஒன்றுடன் ஒன்று மற்றும் சொற்பொருள் துண்டிப்பு பரிமாற்றங்களை எண்ணியல் ரீதியாக மதிப்பிடுங்கள்
- வெவ்வேறு ஆவண வகைகளுக்கு (PDF, அட்டவணை, குறியீடு, அரட்டைப் பதிவு) பொருத்தமான துண்டிப்பு உத்தியைத் தேர்ந்தெடுப்பது
- மீட்டெடுப்பு தரத்தை வலுப்படுத்தவும், ஒவ்வொரு துண்டிலும் மெட்டாடேட்டாவைச் சேர்ப்பதன் மூலம் வடிகட்டவும்
RAG இல் இது மிகவும் கவனிக்கப்படாத ஆனால் மிகவும் தீர்க்கமான படி: நீங்கள் ஆவணத்தை எவ்வாறு உடைக்கிறீர்கள். இது சண்டிங் என்று அழைக்கப்படுகிறது. அதே மாதிரிக்கு நீங்கள் அதே ஆவணத்தைக் கொடுத்தாலும், மோசமான துண்டிப்பு காரணமாக, மீட்டெடுப்பு தவறான பகுதியைத் திருப்பித் தருகிறது மற்றும் மாடல் ஒருபோதும் சிறந்த பதிலைத் தராது. இந்த யூனிட்டில், துண்டு துண்டான உத்திகள், ஆவண வகைக்கு ஏற்ப அவற்றை எவ்வாறு மாற்றியமைப்பது மற்றும் ஒவ்வொரு துண்டுக்கும் அர்த்தமுள்ள மெட்டாடேட்டாவை எவ்வாறு சேர்ப்பது என்பதையும் நாங்கள் உள்ளடக்குகிறோம்.
நாம் ஏன் துண்டாக்குகிறோம்?
மூன்று காரணங்கள் உள்ளன. முதலாவதாக, உட்பொதித்தல் மாதிரிகள் ஒரு குறிப்பிட்ட நீளம் வரையிலான உரையை அர்த்தமுள்ள வெக்டராக மாற்றுகின்றன; 40 பக்க அத்தியாயம் முழுவதையும் ஒரே திசையனுக்குள் அடைத்தால், பொருள் "மங்கலாக" மாறும். இரண்டாவதாக, மாதிரிக்கு தேவையான பகுதியை மட்டுமே சூழலாகக் கொடுக்க விரும்புகிறோம்; முழு ஆவணத்தையும் ஒப்படைப்பது விலை உயர்ந்தது மற்றும் கவனத்தை சிதறடிக்கும். மூன்றாவதாக, மீட்டெடுப்பு துல்லியமாக இருக்க, தேடல் அலகு சிறியதாகவும் ஒருமுகப்படுத்தப்பட்டதாகவும் இருக்க வேண்டும்.
எனவே துண்டானது மீட்டெடுப்பின் மிகச்சிறிய அலகு. இது மிகவும் பெரியதாகவோ அல்லது மிகச் சிறியதாகவோ இருக்கக்கூடாது - சரி.
துண்டின் அளவு மற்றும் ஒன்றுடன் ஒன்று இருப்பு
இரண்டு முக்கிய அமைப்புகள் உள்ளன: துண்டின் அளவு (ஒரு துண்டில் எத்தனை டோக்கன்கள்/சொற்கள் இருக்கும்) மற்றும் ஒன்றுடன் ஒன்று (அண்டை துகள்களால் பகிரப்பட்ட பகுதி).
மிகச் சிறிய துண்டுகள் (எ.கா. 100 டோக்கன்கள்): கவனம் ஆனால் சூழலில் இருந்து துண்டிக்கப்பட்டது. அவர் "14 நாட்களுக்கு" என்று கூறுகிறார், ஆனால் 14 நாட்கள் என்பது முந்தைய வாக்கியத்தில் உள்ளது. மிகப் பெரிய துகள்கள் (எ.கா. 2000 டோக்கன்கள்): சூழலைப் பாதுகாக்கிறது ஆனால் பல நூல்கள் கலக்கப்படுகின்றன; உட்பொதித்தல் குழப்பமடைகிறது மற்றும் பொருத்தமற்ற தலைப்புகள் ஒன்றிணைகின்றன.
ஒன்றுடன் ஒன்று எல்லைச் சிக்கலைத் தீர்க்கிறது. ஒரு வாக்கியம் இரண்டு பகுதிகளின் எல்லையில் சரியாக விழுந்தால், அது ஒன்றுடன் ஒன்று இல்லாமல் இரண்டாகப் பிரிக்கப்பட்டு அதன் பொருள் இழக்கப்படும். 50-100 டோக்கன்களின் ஒன்றுடன் ஒன்று வரம்பிற்குள் வரும் தகவல்கள் குறைந்தபட்சம் ஒரு பகுதியிலாவது அப்படியே இருப்பதை உறுதி செய்கிறது.
துண்டு அளவு
நன்மை
பாதகம்
பொருத்தமான உள்ளடக்கம்
சிறியது (100-250 டோக்கன்கள்)
அதிக உணர்திறன், கவனம்
சூழல் உடைந்து போகலாம்
அடிக்கடி கேட்கப்படும் கேள்விகள், சிறு கட்டுரைகள், வரையறைகள்
நடுத்தர (300-600 டோக்கன்கள்)
இருப்பு; பெரும்பாலான காட்சிகள்
—
நடைமுறைகள், கொள்கை நூல்கள்
பெரியது (800-1500 டோக்கன்கள்)
சூழல் ஒருமைப்பாடு
மங்கலான உட்பொதித்தல்
கதை, நீண்ட விளக்கங்கள்
உதவிக்குறிப்பு: எங்கு தொடங்குவது என்று உங்களுக்குத் தெரியாவிட்டால், 400-500 டோக்கன் துண்டையும் 50-80 டோக்கன் ஒன்றுடன் ஒன்றும் தொடங்கவும்; பின்னர் உங்கள் சொந்த தரவை அளந்து சரிசெய்யவும். "சரியான" அளவு உலகளாவியது அல்ல, அது சூழலைப் பொறுத்தது.
துண்டிக்கும் உத்திகள்
நிலையான அளவு: ஒவ்வொரு N டோக்கன்களிலும் உரையை ஒழுங்கமைக்கிறது. இது எளிமையானது மற்றும் வேகமானது, ஆனால் வாக்கியத்தின் நடுவில் குறுக்கிடலாம்.
பிரிப்பான்-அடிப்படையிலான (சுழற்சி/பிரிப்பான்): பத்தியின்படி பிரித்து பின்னர் வாக்கிய எல்லைகள்; இது அர்த்தத்தின் ஒருமைப்பாட்டை சிறப்பாகப் பாதுகாக்கிறது. பெரும்பாலான உற்பத்தி அமைப்புகள் இதனுடன் தொடங்குகின்றன.
சொற்பொருள் துண்டிப்பு: இது வாக்கியங்களின் உட்பொதிவுகளைப் பார்த்து, பொருள் மாற்றம் நிகழும் இடத்தில் அவற்றைப் பிரிக்கிறது. இது மிக உயர்ந்த தரம் ஆனால் மிகவும் விலையுயர்ந்த முறையாகும்; பெரிய அளவுகளுடன், பரிவர்த்தனை செலவுகள் அதிகரிக்கும்.
கட்டமைப்பு-அறிவு: தலைப்புகள், பிரிவுகள், அட்டவணைகள் போன்ற ஆவணக் கட்டமைப்பைப் பயன்படுத்துகிறது. எடுத்துக்காட்டாக, ஒரு மார்க் டவுன் ஆவணத்தை தலைப்புகள் மூலம் பிரிப்பது ஒவ்வொரு பகுதியும் அதன் சொந்த தலைப்பைக் கொண்டிருப்பதை உறுதி செய்கிறது.
ஆவண வகை மூலம் தழுவல்
எல்லா ஆவணங்களும் ஒரே மாதிரி இருப்பதில்லை. மூலோபாயம் வகையைப் பொறுத்து மாறுபடும்:
- PDF/கொள்கை உரை: புக்மார்க் அடிப்படையிலான, நடுத்தர அளவு. பக்கத்தின் மேல்/கீழே மீண்டும் மீண்டும் (தலைப்பு/அடிக்குறிப்பு) அழி.
- அட்டவணைகள்: சூழலில் இருந்து வரி எடுக்க வேண்டாம்; தலைப்புத் தகவலுடன் ஒவ்வொரு வரிசையையும் வைத்திருங்கள் ("பொருள்: X, விலை: Y, பங்கு: Z"). மூல அட்டவணையை எளிய உரைக்கு மாற்றுவது பெரும்பாலும் அவசியம்.
- குறியீடு: செயல்பாடு/வகுப்பு எல்லைகளால் பிரிக்கப்பட்டது; ஒரு செயல்பாட்டைக் குறைக்க வேண்டாம்.
- அரட்டை/டிக்கெட் பதிவு: செய்தி அல்லது உரையாடல் சுற்று மூலம் பிரிக்கப்பட்டது; யார் என்ன சொன்னார்கள் என்ற அறிவைப் பேணுங்கள்.
# அடைப்புக்குறி அடிப்படையிலான துண்டிப்பு (கருத்து சார்ந்த) துகள்கள் = போல்(உரை, இலக்கு_அளவு=450, # டோக்கன் ஒன்றுடன் ஒன்று=70, # டோக்கன் அடைப்புக்குறிகள்=["\n\n", "\n", ". ", " "] # பத்தி முதல், கடைசி வார்த்தை
ஒவ்வொரு டிராக்கிலும் மெட்டாடேட்டாவைச் சேர்க்கவும்
துண்டித்தல் என்பது "வகுத்தல்" மட்டுமல்ல; ஒவ்வொரு பகுதியையும் வளப்படுத்துவதாகும். ட்ராக்குடன் நீங்கள் இணைக்கும் ஒவ்வொரு குறிச்சொல்லும் எதிர்கால வடிகட்டுதல் மற்றும் ஆதாரத்தை மேற்கோள் காட்டுவதற்காக அதன் எடைக்கு மதிப்புள்ளது.
# செறிவூட்டப்பட்ட பகுதி (கருத்து){ "உரை": "1-5 வருட சேவையுடன் 14 நாட்கள் ஊதியத்துடன் கூடிய விடுப்பு...", "மெட்டாடேட்டா": { "source": "ik_el_kitabi_v7.pdf", "section": "5.2 வருடாந்திர விடுப்பு", "பக்கம்": 23, "தேதி, 25-0:" "தனியுரிமை": "உள்" }}
மற்றொரு சக்திவாய்ந்த நுட்பம் ஒரு சூழ்நிலை தலைப்பைச் சேர்ப்பதாகும்: ஒவ்வொரு பகுதியின் தொடக்கத்திலும் அத்தியாயத்தின் தலைப்பை எழுதுதல். எனவே, "14 நாட்களுக்கு" போன்ற ஒரு முரண்பாடான பகுதி கூட "வருடாந்திர விடுப்பு - 14 நாட்கள்" என சிறப்பாக உட்பொதிக்கப்பட்டு அர்த்தமுள்ளதாக இருக்கிறது.
பலவீனமான துண்டித்தல் / வலுவான துண்டித்தல்
பலவீனமான (குருட்டு ஹார்ட்கட், மெட்டாடேட்டா இல்லை):
ஒவ்வொரு 1000 எழுத்துகளுக்கும் உரையை துண்டிக்கவும். உரையை மட்டும் வைத்திருங்கள்
சக்திவாய்ந்த (கட்டமைப்பு-அறிவு + தலைப்பு + மெட்டாடேட்டா):
ஆவணத்தை தலைப்புகளால் பிரிக்கவும்; ஒவ்வொரு பகுதிக்கும் பிரிவின் தலைப்பைச் சேர்க்கவும்;மூலம், பக்கம், தேதி மற்றும் தனியுரிமை மெட்டாடேட்டாவை இணைக்கவும்; அட்டவணையை அவற்றின் தலைப்புகளுடன் எளிய உரையாக மாற்றவும்
மூன்று சிறிய வழக்குகள்
வழக்கு 1 - ஓவியம் பேரழிவு. ஒரு நிதிக் குழு 200 பக்க விலைப் பட்டியலை குருட்டு கடின வெட்டுடன் பிரித்தது; அட்டவணை வரிசைகள் தோராயமாக பிரிக்கப்பட்டன. "எக்ஸ் தயாரிப்பின் விலை என்ன?" மாதிரி தவறான வரியைப் படித்து தவறான விலையைக் கொடுத்தது (12 இல் 9 வழக்குகள் தவறானவை). நான் அட்டவணை வரிசைகளை "தயாரிப்பு: … | விலை: … | அலகு: ..." வடிவத்தில் எளிய உரைக்கு மாற்றியபோது பிழை 12 இல் 0 ஆக குறைந்தது.
வழக்கு 2 - மிகவும் பெரிய துண்டு. ஒரு விக்கியில், ஒவ்வொரு பக்கமும் ஒரு துண்டால் ஆனது (சிலர் 3,000 டோக்கன்கள் என்று கூறுகிறார்கள்). ஒரு பக்கத்தில் "விடுப்பு", "ஓவர் டைம்" மற்றும் "ஊதியம்" இருப்பதால் உட்பொதித்தல் மங்கலாக உள்ளது; விடுமுறை கேள்வி தொடர்பாக வேலை நேரப் பிரிவும் செயல்பட்டது. தலைப்பின் அடிப்படையில் பக்கங்களை நடுத்தர அளவுகளாகப் பிரித்தபோது, recall@5 64% இலிருந்து 91% ஆக அதிகரித்தது.
வழக்கு 3 - ஒன்றுடன் ஒன்று இல்லாமல் துண்டிக்கப்பட்ட வாக்கியம். ஒரு சட்டக் குழுவிற்கு 250 டோக்கன் நிலையான வெட்டு, ஒன்றுடன் ஒன்று இல்லை. ஒரு முக்கியமான வரையறை இரண்டு பகுதிகளின் எல்லையில் சரியாக விழுந்து இரண்டாகப் பிரிந்தது; ஒன்று அல்லது மற்றொன்று முழுமையான பதிலைக் கொண்டிருக்கவில்லை. 60 டோக்கன் ஒன்றுடன் ஒன்று சேர்க்கப்படும் போது, அதே வரையறை ஒரு துண்டில் அப்படியே இருந்தது மற்றும் சரியான பதில் அளிக்கப்பட்டது.
பொதுவான தவறுகள்
- குருட்டு நிலையான வெட்டு: வாக்கியங்களையும் அட்டவணைகளையும் நடுவில் பிரிக்கிறது; அர்த்தம் இழக்கப்படுகிறது.
- ஒன்றுடன் ஒன்று பூஜ்ஜியத்தில் விடுதல்: எல்லையில் விழும் தகவல் பிரிக்கப்பட்டு இழக்கப்படுகிறது.
- மெட்டாடேட்டாவைச் சேர்க்கவில்லை: வடிகட்டுதல் மற்றும் மூலக் காட்சி சாத்தியமற்றது.
- அட்டவணைகளை பச்சையாக விட்டுவிடுதல்: மாதிரியானது அட்டவணை அமைப்பைத் தீர்க்க முடியாது; வரிகளை எளிய உரையாக மாற்றவும்.
- ஒரு உத்தியை சுமத்துதல்: PDF, குறியீடு மற்றும் அட்டவணை ஆகியவை ஒரே முறையில் பிரிக்கப்படவில்லை; வகைக்கு ஏற்ப.
எச்சரிக்கை: சங்கிங்கை ஒருமுறை அமைத்து மறந்துவிடாதீர்கள். புதிய ஆவண வகைகள் வரும்போது மீட்டெடுப்பின் தரத்தை மீண்டும் அளவிடவும் (புதிய அமைப்பிலிருந்து டிக்கெட்டுகள், ஸ்கேன் செய்யப்பட்ட PDFகள்). மோசமான உள்ளீட்டு தரவு என்பது மோசமான பதில் ("குப்பை உள்ளே, குப்பை வெளியே").
சுருக்கமாக
- சங்க் என்பது மீட்டெடுப்பின் மிகச்சிறிய அலகு; மிகப் பெரியதாகவோ அல்லது சிறியதாகவோ இல்லை - உள்ளடக்கத்திற்கு ஏற்ப அது சமநிலைப்படுத்தப்பட வேண்டும்.
- துண்டின் அளவு கவனம்-சூழல் சமநிலையைக் குறிக்கிறது; ஒன்றுடன் ஒன்று எல்லை இழப்பை நிர்வகிக்கிறது.
- அடைப்பு-அடிப்படையிலான மற்றும் கட்டமைப்பு-விழிப்புணர்வு துண்டித்தல் என்பது பெரும்பாலான தலைமுறை அமைப்புகளின் தொடக்கப் புள்ளியாகும்; சொற்பொருள் துண்டித்தல் நல்ல தரம் ஆனால் விலை உயர்ந்தது.
- அட்டவணை, ஸ்கிரிப்ட் மற்றும் அரட்டை போன்ற வகைகளுக்கு அவற்றின் சொந்த உத்திகள் தேவை; அட்டவணைகளை எளிய உரையாக மாற்றவும்.
- ஒவ்வொரு டிராக்கிலும் மூல/தேதி/அத்தியாயம்/தனியுரிமை மெட்டாடேட்டா மற்றும் பிரிவின் தலைப்பைச் சேர்க்கவும்; இது வடிகட்டுதல் மற்றும் மேற்கோள் ஆகியவற்றின் அடிப்படையாகும்.
விண்ணப்ப பணி
நீங்கள் தேர்ந்தெடுக்கும் ஆவணத்தின் ஒரு பகுதியை மூன்று வெவ்வேறு வழிகளில் பிரிக்கவும்: (1) 200 டோக்கன்களின் சிறிய துண்டுகள், (2) 500 டோக்கன்களின் நடுத்தர துண்டுகள் (70 டோக்கன் ஒன்றுடன் ஒன்று), (3) ஒற்றை பெரிய துண்டுகள். ஒவ்வொரு மூலோபாயத்திற்கும் அதே 3 கேள்விகளைக் கேளுங்கள், எந்தப் பகுதியைக் கொண்டு வர வேண்டும் என்பதைக் கைமுறையாகக் குறிக்கவும், அந்த ஆவணத்திற்கு எந்த உத்தி சிறப்பாகச் செயல்படும் என்பதற்கான காரணத்தை எழுதவும். ஒவ்வொரு டிராக்கிலும் குறைந்தது நான்கு மெட்டாடேட்டா புலங்கள் மற்றும் ஒரு "அத்தியாய தலைப்பு" சேர்க்கவும். ஆவணத்தில் அட்டவணை இருந்தால், அட்டவணை வரிசையை "புலம்:மதிப்பு" வடிவத்தில் எளிய உரையாக மாற்றவும்.
சரிபார்ப்பு பட்டியல்
- [ ] துண்டானது மீட்டெடுப்பின் மிகச்சிறிய அலகு என்றும் அளவு என்பது கவனம்-சூழல் சமநிலை என்றும் என்னால் சொல்ல முடியும்.
- [ ] ஓவர்லேப் ஏன் எல்லை இழப்பைத் தடுக்கிறது என்பது எனக்குத் தெரியும்.
- [ ] அடைப்புக்குறி அடிப்படையிலான, சொற்பொருள் மற்றும் கட்டமைப்பு-விழிப்புணர்வு துண்டிப்பதை என்னால் வேறுபடுத்தி அறிய முடியும்.
- [ ] அட்டவணை, குறியீடு மற்றும் அரட்டைக்கான உத்தியை என்னால் மாற்றியமைக்க முடியும்.
- [ ] ஒவ்வொரு டிராக்கிலும் மெட்டாடேட்டா மற்றும் அத்தியாயத்தின் தலைப்பைச் சேர்ப்பதன் மூலம் மீட்டெடுப்பை வலுப்படுத்துகிறேன்.