చంకింగ్ మరియు డాక్యుమెంట్ తయారీ

లాభాలు:

• భాగం పరిమాణం, అతివ్యాప్తి మరియు సెమాంటిక్ ఛంకింగ్ ట్రేడ్‌ఆఫ్‌లను సంఖ్యాపరంగా మూల్యాంకనం చేయండి
• వివిధ డాక్యుమెంట్ రకాలు (PDF, టేబుల్, కోడ్, చాట్ లాగ్) కోసం తగిన చంకింగ్ వ్యూహాన్ని ఎంచుకోవడం
• ప్రతి భాగానికి మెటాడేటాను జోడించడం ద్వారా తిరిగి పొందే నాణ్యత మరియు ఫిల్టరింగ్‌ను బలోపేతం చేయండి

RAGలో ఇది చాలా విస్మరించబడిన కానీ అత్యంత నిర్ణయాత్మకమైన దశ: మీరు పత్రాన్ని ఎలా విచ్ఛిన్నం చేస్తారు. దీనినే చంకింగ్ అంటారు. మీరు అదే మోడల్‌కు ఒకే డాక్యుమెంట్‌ని ఇచ్చినప్పటికీ, చెడ్డ చంకింగ్ కారణంగా తిరిగి పొందడం తప్పు భాగాన్ని అందిస్తుంది మరియు మోడల్ ఎప్పటికీ గొప్ప సమాధానాన్ని అందించదు. ఈ యూనిట్‌లో, మేము ఫ్రాగ్మెంటేషన్ వ్యూహాలను కవర్ చేస్తాము, డాక్యుమెంట్ రకం ప్రకారం వాటిని ఎలా స్వీకరించాలి మరియు ప్రతి ఫ్రాగ్‌మెంట్‌కు అర్థవంతమైన మెటాడేటాను ఎలా జోడించాలి.

మనం ఎందుకు ముక్కలు చేస్తాము?

మూడు కారణాలున్నాయి. మొదట, పొందుపరిచే నమూనాలు నిర్దిష్ట పొడవు వరకు ఉన్న వచనాన్ని అర్ధవంతమైన వెక్టర్‌గా మారుస్తాయి; మొత్తం 40-పేజీల అధ్యాయాన్ని ఒకే వెక్టార్‌లో ఉంచినట్లయితే, అర్థం "అస్పష్టంగా ఉంటుంది." రెండవది, మేము మోడల్‌కు సందర్భోచితంగా అవసరమైన భాగాన్ని మాత్రమే ఇవ్వాలనుకుంటున్నాము; మొత్తం పత్రాన్ని అందజేయడం ఖరీదైనది మరియు అపసవ్యంగా ఉంటుంది. మూడవది, తిరిగి పొందడం ఖచ్చితంగా ఉండాలంటే, శోధన యూనిట్ తప్పనిసరిగా చిన్నదిగా మరియు కేంద్రీకృతమై ఉండాలి.

కాబట్టి భాగం అనేది తిరిగి పొందే అతి చిన్న యూనిట్. ఇది చాలా పెద్దదిగా లేదా చాలా చిన్నదిగా ఉండకూడదు - సరిగ్గా.

భాగం పరిమాణం మరియు అతివ్యాప్తి బ్యాలెన్స్

రెండు ప్రధాన సెట్టింగ్‌లు ఉన్నాయి: భాగం పరిమాణం (ఒక భాగంలో ఎన్ని టోకెన్లు/పదాలు ఉంటాయి) మరియు అతివ్యాప్తి (పొరుగు భాగాలు పంచుకున్న భాగం).

చాలా చిన్న భాగాలు (ఉదా. 100 టోకెన్‌లు): ఫోకస్ చేయబడింది కానీ సందర్భం నుండి డిస్‌కనెక్ట్ చేయబడింది. అతను "14 రోజులు" అని చెప్పాడు, అయితే 14 రోజులు అంటే మునుపటి వాక్యంలో మిగిలి ఉంది. చాలా పెద్ద భాగాలు (ఉదా. 2000 టోకెన్లు): సందర్భాన్ని సంరక్షిస్తుంది కానీ చాలా థ్రెడ్‌లు మిళితం చేయబడ్డాయి; పొందుపరచడం గజిబిజి అవుతుంది మరియు అసంబద్ధమైన విషయాలు కలిసి వస్తాయి.

అతివ్యాప్తి సరిహద్దు సమస్యను పరిష్కరిస్తుంది. ఒక వాక్యం సరిగ్గా రెండు భాగాల సరిహద్దులో పడితే, అది అతివ్యాప్తి చెందకుండా రెండుగా విభజించబడింది మరియు దాని అర్థం పోతుంది. 50-100 టోకెన్‌ల అతివ్యాప్తి పరిమితిలో ఉన్న సమాచారం కనీసం ఒక భాగంలో చెక్కుచెదరకుండా ఉండేలా చేస్తుంది.

భాగం పరిమాణం

అడ్వాంటేజ్

ప్రతికూలత

తగిన కంటెంట్

చిన్నది (100-250 టోకెన్లు)

అధిక సున్నితత్వం, దృష్టి

సందర్భం విచ్ఛిన్నం కావచ్చు

తరచుగా అడిగే ప్రశ్నలు, చిన్న కథనాలు, నిర్వచనాలు

మధ్యస్థం (300-600 టోకెన్లు)

సంతులనం; చాలా దృశ్యాలు

-

విధానాలు, విధాన గ్రంథాలు

పెద్ద (800-1500 టోకెన్లు)

సందర్భ సమగ్రత

అస్పష్టంగా పొందుపరచడం

కథనం, సుదీర్ఘ వివరణలు

చిట్కా: ఎక్కడ ప్రారంభించాలో మీకు తెలియకపోతే, 400-500 టోకెన్ భాగం మరియు 50-80 టోకెన్ అతివ్యాప్తితో ప్రారంభించండి; ఆపై మీ స్వంత డేటాతో కొలవండి మరియు సర్దుబాటు చేయండి. "కుడి" పరిమాణం సార్వత్రికమైనది కాదు, ఇది సందర్భంపై ఆధారపడి ఉంటుంది.

చంకింగ్ వ్యూహాలు

స్థిర-పరిమాణం: ప్రతి N టోకెన్ల వచనాన్ని ట్రిమ్ చేస్తుంది. ఇది సరళమైనది మరియు వేగవంతమైనది, కానీ మధ్య వాక్యానికి అంతరాయం కలిగించవచ్చు.

సెపరేటర్-ఆధారిత (పునరావృత/విభజన): పేరా ప్రకారం విభజించి ఆపై వాక్య సరిహద్దులు; ఇది అర్థం యొక్క సమగ్రతను బాగా సంరక్షిస్తుంది. చాలా ఉత్పత్తి వ్యవస్థలు దీనితో ప్రారంభమవుతాయి.

సెమాంటిక్ చంకింగ్: ఇది వాక్యాల ఎంబెడ్డింగ్‌లను చూస్తుంది మరియు విషయ మార్పు సంభవించే చోట వాటిని విభజిస్తుంది. ఇది అత్యధిక నాణ్యత కానీ అత్యంత ఖరీదైన పద్ధతి; పెద్ద వాల్యూమ్‌లతో, లావాదేవీ ఖర్చులు పెరుగుతాయి.

నిర్మాణం-అవగాహన: శీర్షికలు, విభాగాలు, పట్టికలు వంటి డాక్యుమెంట్ నిర్మాణాన్ని ఉపయోగిస్తుంది. ఉదాహరణకు, మార్క్‌డౌన్ డాక్యుమెంట్‌ను హెడ్డింగ్‌ల ద్వారా విభజించడం వలన ప్రతి భాగం దాని స్వంత శీర్షికను కలిగి ఉండేలా చేస్తుంది.

డాక్యుమెంట్ రకం ద్వారా అనుసరణ

ప్రతి పత్రం ఒకేలా ఉండదు. వ్యూహం రకాన్ని బట్టి మారుతుంది:

• PDF/పాలసీ వచనం: బుక్‌మార్క్ ఆధారిత, మధ్యస్థ పరిమాణం. పేజీ ఎగువ/దిగువ పునరావృతాలను క్లియర్ చేయండి (హెడర్/ఫుటర్).
• పట్టికలు: సందర్భం నుండి లైన్‌ను తీసుకోవద్దు; ప్రతి అడ్డు వరుసను హెడర్ సమాచారంతో ఉంచండి ("అంశం: X, ధర: Y, స్టాక్: Z"). ముడి పట్టికను సాదా వచనానికి మార్చడం తరచుగా అవసరం.
• కోడ్: ఫంక్షన్/క్లాస్ సరిహద్దుల ద్వారా విభజించబడింది; ఒక ఫంక్షన్‌ను అడ్డుకోవద్దు.
• చాట్/టికెట్ రికార్డింగ్: సందేశం లేదా సంభాషణ రౌండ్ ద్వారా విభజించబడింది; ఎవరు ఏమి చెప్పారు అనే జ్ఞానం కలిగి ఉండండి.

# బ్రాకెట్-ఆధారిత చంకింగ్ (సంభావిత) భాగాలు = బోల్ (టెక్స్ట్, టార్గెట్_సైజ్=450, # టోకెన్ అతివ్యాప్తి=70, # టోకెన్ బ్రాకెట్‌లు=["\n\n", "\n", ". ", " "] # పేరా మొదటి, చివరి పదం)

ప్రతి ట్రాక్‌కి మెటాడేటాను జోడించండి

చంకింగ్ అనేది కేవలం "విభజన" కాదు; ప్రతి భాగాన్ని సుసంపన్నం చేయడం. మీరు ట్రాక్‌కి జోడించిన ప్రతి ట్యాగ్ భవిష్యత్తులో ఫిల్టరింగ్ మరియు మూలాధారాన్ని ఉదహరించడం కోసం దాని బరువు విలువను కలిగి ఉంటుంది.

# సుసంపన్నమైన భాగం (సంభావితం){ "వచనం": "1-5 సంవత్సరాల సేవతో వార్షిక చెల్లింపు సెలవు 14 రోజులు...", "మెటాడేటా": { "source": "ik_el_kitabi_v7.pdf", "section": "5.2 వార్షిక సెలవు", "పేజీ": 23, "తేదీ, 25-0:" "గోప్యత": "అంతర్గతం" }}

మరొక శక్తివంతమైన సాంకేతికత సందర్భోచిత హెడర్‌ను జోడించడం: ప్రతి భాగం ప్రారంభంలో అధ్యాయం యొక్క శీర్షికను వ్రాయడం. అందువల్ల, "14 రోజుల పాటు" వంటి విడదీయబడిన భాగం కూడా "వార్షిక సెలవు - 14 రోజులు"గా బాగా పొందుపరచబడింది మరియు మరింత అర్థవంతంగా ఉంటుంది.

బలహీనమైన చంకింగ్ / బలమైన చంకింగ్

బలహీనమైన (బ్లైండ్ హార్డ్‌కట్, మెటాడేటా లేదు):

ప్రతి 1000 అక్షరాలకు వచనాన్ని కత్తిరించండి. వచనాన్ని మాత్రమే ఉంచండి.# ఫలితం: పట్టికలు మధ్యలో విభజించబడ్డాయి, సందర్భం లేకుండా "14 రోజులు" మిగిలి ఉన్నాయి,# ఇది ఏ పత్రం నుండి వచ్చిందో తెలియదు, ఫిల్టర్ చేయలేరు.

శక్తివంతమైన (నిర్మాణం-అవేర్ + హెడర్ + మెటాడేటా):

శీర్షికల ద్వారా పత్రాన్ని విభజించండి; ప్రతి భాగానికి విభాగం శీర్షికను జోడించండి;మూలం, పేజీ, తేదీ మరియు గోప్యత మెటాడేటాను అటాచ్ చేయండి; టేబుల్‌రోస్‌ను వాటి హెడర్‌లతో సాదా వచనంగా మార్చండి.# ఫలితం: దృష్టి కేంద్రీకరించబడిన, సందర్భోచిత, ఫిల్టరబుల్, మూలాధారం.

మూడు మినీ కేసులు

కేస్ 1 - పెయింటింగ్ డిజాస్టర్. ఒక ఫైనాన్స్ బృందం 200-పేజీల ధరల జాబితాను బ్లైండ్ హార్డ్ కటింగ్‌తో విభజించింది; పట్టిక వరుసలు యాదృచ్ఛికంగా విభజించబడ్డాయి. "ఉత్పత్తి X ధర ఎంత?" మోడల్ తప్పు లైన్ చదివి, తప్పుడు ధరను ఇచ్చింది (12 కేసుల్లో 9 తప్పులు). నేను "ఉత్పత్తి: … | ధర: … | యూనిట్: ..." ఆకృతిలో పట్టిక వరుసలను సాదా వచనానికి మార్చినప్పుడు లోపం 12లో 0కి తగ్గింది.

కేసు 2 - చాలా పెద్ద భాగం. వికీలో, ప్రతి పేజీ ఒకే భాగంతో తయారు చేయబడింది (కొందరు 3,000 టోకెన్లు అని అంటారు). ఒక పేజీలో "సెలవు", "ఓవర్ టైం" మరియు "పేరోల్" ఉన్నందున పొందుపరచడం అస్పష్టంగా ఉంది; సెలవు ప్రశ్నకు సంబంధించి పని గంటల విభాగం కూడా అమలులోకి వచ్చింది. శీర్షిక ద్వారా పేజీలను మధ్యస్థ పరిమాణంలో విభజించినప్పుడు, రీకాల్@5 64% నుండి 91%కి పెరిగింది.

కేసు 3 - అతివ్యాప్తి లేకుండా కుదించబడిన వాక్యం. చట్టపరమైన బృందానికి 250 టోకెన్ ఫిక్స్‌డ్ కట్, అతివ్యాప్తి లేదు. ఒక క్లిష్టమైన నిర్వచనం రెండు భాగాల సరిహద్దులో పడి రెండుగా విభజించబడింది; ఒకటి లేదా మరొకటి పూర్తి సమాధానాన్ని కలిగి ఉండదు. 60 టోకెన్ అతివ్యాప్తి జోడించబడినప్పుడు, అదే నిర్వచనం ఒక ముక్కలో అలాగే ఉండి, సరైన సమాధానం తిరిగి ఇవ్వబడింది.

సాధారణ తప్పులు

• బ్లైండ్ స్థిర కట్: మధ్యలో వాక్యాలను మరియు పట్టికలను విభజించడం; అర్థం పోతుంది.
• అతివ్యాప్తిని సున్నా వద్ద వదిలివేయడం: సరిహద్దుపై పడే సమాచారం విభజించబడింది మరియు పోతుంది.
• మెటాడేటాను జోడించడం లేదు: ఫిల్టరింగ్ మరియు సోర్స్ డిస్‌ప్లే అసాధ్యం.
• పట్టికలను పచ్చిగా వదిలివేయడం: మోడల్ టేబుల్ నిర్మాణాన్ని పరిష్కరించదు; పంక్తులను సాదా వచనంగా మార్చండి.
• ఒక వ్యూహాన్ని విధించడం: PDF, కోడ్ మరియు పట్టిక ఒకే పద్ధతిలో విభజించబడవు; శైలికి అనుగుణంగా.

జాగ్రత్త: ఒకసారి చంకింగ్‌ని సెట్ చేసి మరచిపోకండి. కొత్త డాక్యుమెంట్ రకాలు (కొత్త సిస్టమ్ నుండి టిక్కెట్లు, స్కాన్ చేసిన PDFలు) వచ్చినప్పుడు తిరిగి పొందే నాణ్యతను తిరిగి కొలవండి. చెడ్డ ఇన్‌పుట్ డేటా అంటే చెడు ప్రతిస్పందన ("గార్బేజ్ ఇన్, గార్బేజ్ అవుట్").

సారాంశంలో

• చంక్ అనేది తిరిగి పొందే అతి చిన్న యూనిట్; చాలా పెద్దది కాదు లేదా చాలా చిన్నది కాదు - ఇది కంటెంట్ ప్రకారం బ్యాలెన్స్ చేయాలి.
• భాగం పరిమాణం దృష్టి-సందర్భ సమతుల్యతను సూచిస్తుంది; అతివ్యాప్తి సరిహద్దు నష్టాన్ని నిర్వహిస్తుంది.
• బ్రాకెట్-ఆధారిత మరియు నిర్మాణం-అవగాహన చంకింగ్ అనేది చాలా తరం వ్యవస్థల ప్రారంభ స్థానం; సెమాంటిక్ చంకింగ్ మంచి నాణ్యత కానీ ఖరీదైనది.
• పట్టిక, స్క్రిప్ట్ మరియు చాట్ వంటి రకాలు వాటి స్వంత వ్యూహాలు అవసరం; పట్టికలను సాదా వచనంగా మార్చండి.
• ప్రతి ట్రాక్‌కి మూలం/తేదీ/అధ్యాయం/గోప్యత మెటాడేటా మరియు విభాగం శీర్షికను జోడించండి; ఇది వడపోత మరియు అనులేఖనం యొక్క ఆధారం.

అప్లికేషన్ టాస్క్

మీరు ఎంచుకున్న పత్రంలోని ఒక విభాగాన్ని మూడు రకాలుగా విభజించండి: (1) 200 టోకెన్‌ల చిన్న ముక్కలు, (2) 500 టోకెన్‌ల మధ్యస్థ ముక్కలు (70 టోకెన్ అతివ్యాప్తి), (3) ఒకే పెద్ద ముక్కలు. ప్రతి వ్యూహం కోసం అదే 3 ప్రశ్నలను అడగండి, ఏ భాగాన్ని తీసుకురావాలో మాన్యువల్‌గా గుర్తించండి మరియు ఆ పత్రానికి ఏ వ్యూహం ఉత్తమంగా పనిచేస్తుందో దాని కోసం తార్కికతను వ్రాయండి. ఆపై ప్రతి ట్రాక్‌కి కనీసం నాలుగు మెటాడేటా ఫీల్డ్‌లు మరియు “అధ్యాయం శీర్షిక” జోడించండి. పత్రం పట్టికను కలిగి ఉంటే, "ఫీల్డ్:విలువ" ఆకృతిలో పట్టిక వరుసను సాదా వచనంగా మార్చండి.

చెక్లిస్ట్

• [ ] భాగం అనేది తిరిగి పొందే అతి చిన్న యూనిట్ మరియు పరిమాణం అనేది ఫోకస్-కాంటెక్స్ట్ బ్యాలెన్స్ అని నేను చెప్పగలను.
• [ ] అతివ్యాప్తి ఎందుకు సరిహద్దు నష్టాన్ని నిరోధిస్తుందో నాకు తెలుసు.
• [ ] నేను బ్రాకెట్-ఆధారిత, సెమాంటిక్ మరియు స్ట్రక్చర్-అవేర్ చంకింగ్ మధ్య తేడాను గుర్తించగలను.
• [ ] నేను టేబుల్, కోడ్ మరియు చాట్ కోసం వ్యూహాన్ని స్వీకరించగలను.
• [ ] నేను ప్రతి ట్రాక్‌కి మెటాడేటా మరియు అధ్యాయం శీర్షికను జోడించడం ద్వారా తిరిగి పొందడాన్ని బలపరుస్తాను.