ትርፍ፡
- የጭራሹን መጠን፣ መደራረብን እና የትርጉም መቆራረጥን በቁጥር ይገምግሙ
- ለተለያዩ የሰነድ ዓይነቶች (ፒዲኤፍ፣ ሠንጠረዥ፣ ኮድ፣ የውይይት መዝገብ) ተገቢውን የመቁረጥ ስልት መምረጥ
- በእያንዳንዱ ቁራጭ ላይ ሜታዳታ በማከል የመልሶ ጥራትን እና ማጣሪያን ያጠናክሩ
ይህ በ RAG ውስጥ በጣም የተዘነጋው ግን በጣም ወሳኝ እርምጃ ነው፡ ሰነዱን እንዴት እንደሚያፈርሱ። ይህ መቆራረጥ ይባላል። ተመሳሳዩን ሰነድ ለተመሳሳይ ሞዴል ቢሰጡም በመጥፎ መቁረጥ ምክንያት መልሶ ማግኘቱ የተሳሳተውን ክፍል ይመልሳል እና ሞዴሉ ጥሩ መልስ አይሰጥም። በዚህ ክፍል ውስጥ የመከፋፈያ ስልቶችን፣ በሰነድ ዓይነት እንዴት ማስማማት እንደሚቻል እና በእያንዳንዱ ቁራጭ ላይ ትርጉም ያለው ሜታዳታ እንዴት ማከል እንደሚቻል እንሸፍናለን።
ለምን እንቆርጣለን?
ሦስት ምክንያቶች አሉ። በመጀመሪያ, ሞዴሎችን መክተት ጽሑፍን እስከ የተወሰነ ርዝመት ወደ ትርጉም ያለው ቬክተር ይለውጣሉ; አንድ ሙሉ ባለ 40 ገጽ ምዕራፍ በአንድ ቬክተር ውስጥ ከተጨናነቀ ትርጉሙ “ደብዝዟል” ይሆናል። ሁለተኛ, እኛ ሞዴሉን እንደ አውድ አስፈላጊ የሆነውን ክፍል ብቻ መስጠት እንፈልጋለን; ሙሉውን ሰነድ ማስረከብ ውድ እና ትኩረት የሚስብ ነው። ሶስተኛ፣ ሰርስሮ ማውጣት ትክክለኛ እንዲሆን፣ የፍለጋ ክፍሉ ትንሽ እና ያተኮረ መሆን አለበት።
ስለዚህ ቸንክ በጣም ትንሹ የማግኛ አሃድ ነው። በጣም ትልቅ ወይም ትንሽ መሆን የለበትም - ልክ ነው.
ቸንክ መጠን እና መደራረብ ሚዛን
ሁለት ዋና ቅንጅቶች አሉ፡ የቁርጥ መጠን (ምን ያህል ቶከኖች/ቃላቶች በአንድ ክፍል ውስጥ ይሆናሉ) እና መደራረብ (በአጎራባች ቁርጥራጮች የተጋራው ክፍል)።
በጣም ትንሽ ቁርጥራጮች (ለምሳሌ 100 ቶከኖች)፡ ያተኮረ ግን ከዐውደ-ጽሑፉ የተቋረጠ። እሱ "ለ14 ቀናት" ይላል, ነገር ግን 14 ቀን የቀረው ባለፈው ዓረፍተ ነገር ውስጥ ነው. በጣም ትላልቅ ቁርጥራጮች (ለምሳሌ 2000 ቶከኖች): አውድ ይጠብቃል ነገር ግን ብዙ ክሮች ይደባለቃሉ; መክተት ጭቃ ይሆናል እና ተዛማጅነት የሌላቸው ርዕሶች ይሰባሰባሉ።
መደራረብ የድንበሩን ችግር ይፈታል። አንድ ዓረፍተ ነገር በትክክል በሁለት ክፍሎች ድንበር ላይ ከወደቀ, ሳይደራረብ ለሁለት ይከፈላል እና ትርጉሙ ይጠፋል. ከ50-100 ቶከኖች መደራረብ በገደቡ ውስጥ የሚወድቀው መረጃ ቢያንስ በአንድ ክፍል ውስጥ ሳይበላሽ መቆየቱን ያረጋግጣል።
ቁራጭ መጠን
ጥቅም
ጉዳቱ
ተገቢ ይዘት
ትንሽ (100-250 ቶከኖች)
ከፍተኛ ትብነት, ትኩረት
አውድ ሊሰበር ይችላል።
ተደጋጋሚ ጥያቄዎች፣ አጫጭር መጣጥፎች፣ ትርጓሜዎች
መካከለኛ (300-600 ቶከኖች)
ሚዛን; አብዛኞቹ ሁኔታዎች
-
ሂደቶች, የፖሊሲ ጽሑፎች
ትልቅ (800-1500 ቶከኖች)
የአውድ ታማኝነት
ብዥታ መክተት
ትረካ፣ ረጅም ማብራሪያዎች
ጠቃሚ ምክር: የት እንደሚጀመር ካላወቁ ከ400-500 ቶከን ቻንክ እና ከ50-80 ቶከን መደራረብ ይጀምሩ; ከዚያ ይለኩ እና በራስዎ ውሂብ ያስተካክሉ። "ትክክለኛው" መጠን ዓለም አቀፋዊ አይደለም, በዐውደ-ጽሑፉ ላይ የተመሰረተ ነው.
የመቁረጥ ስልቶች
ቋሚ መጠን፡ ጽሑፉን በየ N ቶከኖች ይከርክማል። ቀላል እና ፈጣን ነው፣ ግን የአረፍተ ነገሩን መሀል ሊያቋርጥ ይችላል።
መለያየትን መሰረት ያደረገ (ተደጋጋሚ/መለያ): በአንቀጽ እና ከዚያም በአረፍተ ነገር ወሰኖች መሰረት ይከፋፈላል; የትርጉም ትክክለኛነትን በተሻለ ሁኔታ ይጠብቃል. አብዛኛዎቹ የምርት ስርዓቶች በዚህ ይጀምራሉ.
የትርጓሜ መቆራረጥ፡- የአረፍተ ነገሮችን መካተት ይመለከታል እና የርዕሰ-ጉዳዩ ለውጥ በሚከሰትበት ቦታ ይከፋፍላቸዋል። ከፍተኛ ጥራት ያለው ነገር ግን በጣም ውድ የሆነ ዘዴ ነው; በትላልቅ መጠኖች ፣ የግብይት ወጪዎች ይጨምራሉ።
አወቃቀሩን ጠንቅቆ የሚያውቅ፡ እንደ አርእስት፣ ክፍሎች፣ ሠንጠረዦች ያሉ የሰነድ መዋቅር ይጠቀማል። ለምሳሌ የማርክዳውን ሰነድ በአርእስቶች መከፋፈል እያንዳንዱ ክፍል የራሱን ርዕስ መያዙን ያረጋግጣል።
በሰነድ ዓይነት ማስተካከል
እያንዳንዱ ሰነድ ተመሳሳይ አይደለም. ስልቱ በአይነቱ ይለያያል፡-
- ፒዲኤፍ/የመመሪያ ጽሑፍ፡ በዕልባት ላይ የተመሰረተ፣ መካከለኛ መጠን። የገጽ የላይኛው/የታች ድግግሞሾችን አጽዳ (ራስጌ/ግርጌ)።
- ሰንጠረዦች፡ መስመሩን ከዐውደ-ጽሑፉ አይውሰዱ; እያንዳንዱን ረድፍ ከራስጌ መረጃ ጋር ያቆዩ ("እቃ: X, ዋጋ: Y, ክምችት: Z"). ጥሬ ሰንጠረዡን ወደ ግልጽ ጽሑፍ መቀየር ብዙ ጊዜ አስፈላጊ ነው።
- ኮድ: በተግባር / ክፍል ወሰኖች የተከፈለ; ከመንገድ ላይ አንድ ተግባር አይቁረጡ.
- የውይይት/የቲኬት ቀረጻ፡ በመልዕክት ወይም በንግግር ዙርያ የተከፋፈለ፤ ማን ምን እንዳለ ዕውቀትን ጠብቅ።
# በቅንፍ ላይ የተመሰረተ መቆራረጥ (ፅንሰ-ሀሳብ) ቁርጥራጭ = ቦል (ጽሑፍ ፣ target_size=450 ፣ # token overlap=70 ፣ # token brackets=["\n\n", "\n", "."," "] # አንቀጽ መጀመሪያ ፣ የመጨረሻ ቃል)
በእያንዳንዱ ትራክ ላይ ሜታዳታ ያክሉ
መቆራረጥ "መከፋፈል" ብቻ አይደለም; እያንዳንዱን ቁራጭ ማበልጸግ ነው. ከትራኩ ጋር የሚያያይዙት እያንዳንዱ መለያ ለወደፊት ማጣሪያ እና ምንጭ ለመጥቀስ ክብደቱ በወርቅ ነው።
# የበለፀገ ቸንክ (ፅንሰ-ሀሳብ){"ጽሑፍ"፡ "የዓመታዊ ክፍያ ፈቃድ 14 ቀናት ከ1-5 አመት አገልግሎት ጋር..."፣ "ሜታዳታ"፡ {"ምንጭ"፡ "ik_el_kitabi_v7.pdf"፣ "ክፍል"፡ "5.2 አመታዊ ፈቃድ"፣ "ገጽ"፡ 23፣ "ቀን"፡- 0፡2025 ኪ. "ውስጣዊ"}}
ሌላው ኃይለኛ ቴክኒክ የዐውደ-ጽሑፉን ርዕስ መጨመር ነው፡ በእያንዳንዱ ክፍል መጀመሪያ ላይ የምዕራፉን ርዕስ መፃፍ። ስለዚህ፣ እንደ "ለ14 ቀናት" ያለ የተበጣጠሰ ቁራጭ እንኳን በተሻለ ሁኔታ የተካተተ እና የበለጠ ትርጉም ያለው እንደ "ዓመታዊ ፈቃድ - 14 ቀናት" ነው።
ደካማ ጩኸት / ጠንካራ መቆራረጥ
ደካማ (ዓይነ ስውር፣ ምንም ሜታዳታ የለም)
ጽሑፍ በየ1000 ቁምፊዎች ይከርክሙ። ጽሑፉን ብቻ አቆይ።# ውጤት፡ ሰንጠረዦች በመሃል ተከፍለዋል፣ "14 ቀናት" ያለ አውድ ይቀራሉ፣ # ከየትኛው ሰነድ እንደመጣ አይታወቅም፣ ማጣሪያም ሊሠራ አይችልም።
ኃይለኛ (መዋቅርን የሚያውቅ + ራስጌ + ዲበ ውሂብ)፡
ሰነዱን በርዕሶች ይከፋፍሉት; በእያንዳንዱ ክፍል ላይ የክፍል ርዕስ ጨምር፤ ምንጭ፣ ገጽ፣ ቀን እና የግላዊነት ዲበ ውሂብ ያያይዙ፤ የጠረጴዛ ረድፎችን ከራስጌዎቻቸው ጋር ወደ ግልጽ ጽሑፍ ይቀይሩ።
ሶስት ሚኒ ጉዳዮች
ጉዳይ 1 - የስዕል አደጋ. አንድ የፋይናንስ ቡድን ባለ 200 ገጽ የዋጋ ዝርዝርን በጭፍን መቁረጥ ተከፋፍሏል; የጠረጴዛ ረድፎች በዘፈቀደ ተከፋፈሉ። "የምርት ኤክስ ዋጋ ስንት ነው?" ሞዴሉ የተሳሳተ መስመር አንብቦ የተሳሳተ ዋጋ ሰጠ (ከ 12 ጉዳዮች 9ኙ የተሳሳቱ ናቸው)። የጠረጴዛ ረድፎችን ወደ "ምርት፥ … | ዋጋ፥…
ጉዳይ 2 - በጣም ትልቅ ቁራጭ። በዊኪ ውስጥ እያንዳንዱ ገጽ ከአንድ ቁራጭ የተሰራ ነው (አንዳንዶች 3,000 ቶከን ይላሉ)። መክተቱ ደብዝዟል ምክንያቱም በአንድ ገጽ ላይ "መልቀቅ" "የትርፍ ሰዓት" እና "የደመወዝ ክፍያ" አለ; የስራ ሰዓቱ ክፍል የእረፍት ጥያቄን በተመለከተም ስራ ላይ ውሏል። ገጾቹ በርዕስ ወደ መካከለኛ መጠን ሲከፋፈሉ፣ recall@5 ከ 64% ወደ 91% ጨምሯል።
ጉዳይ 3 - የተቆራረጡ ዓረፍተ ነገሮች ሳይደራረቡ. 250 ቶከን ለህጋዊ ቡድን ቋሚ መቆረጥ፣ መደራረብ የለም። አንድ ወሳኝ ፍቺ በሁለት ክፍሎች ድንበር ላይ በትክክል ወድቆ ለሁለት ተከፈለ; አንዱም ሆነ ሌላው ሙሉውን መልስ አልያዘም። 60 የማስመሰያ መደራረብ ሲታከል ያው ፍቺ በአንድ ቁራጭ ሳይበላሽ ቀርቷል እና ትክክለኛው መልስ ተመለሰ።
የተለመዱ ስህተቶች
- ዓይነ ስውር ቋሚ ቁረጥ: በመሃል ላይ ዓረፍተ ነገሮችን እና ጠረጴዛዎችን ይከፋፍላል; ትርጉም ጠፍቷል።
- መደራረብን በዜሮ መተው፡ በድንበሩ ላይ የሚደርሰው መረጃ ተከፋፍሎ ይጠፋል።
- ሜታዳታ አለመጨመር፡ ማጣሪያ እና የምንጭ ማሳያ የማይቻል ሆነዋል።
- ጠረጴዛዎችን በጥሬው መተው: ሞዴሉ የጠረጴዛውን መዋቅር መፍታት አይችልም; መስመሮችን ወደ ግልጽ ጽሑፍ ቀይር።
- አንድ ስልት መጫን፡ ፒዲኤፍ፣ ኮድ እና ሠንጠረዥ በተመሳሳይ ዘዴ አልተከፋፈሉም። ከዘውግ ጋር መላመድ።
ይጠንቀቁ፡ ቹንኪንግ አንዴ አያስቀምጡ እና ይርሱት። አዲስ የሰነድ ዓይነቶች ሲመጡ የመልሶ ጥራትን እንደገና ይለኩ (ከአዲስ ሥርዓት ቲኬቶች፣ የተቃኙ ፒዲኤፎች)። መጥፎ የግቤት ውሂብ ማለት መጥፎ ምላሽ ማለት ነው ("ቆሻሻ ውስጥ, ቆሻሻ መጣያ").
በማጠቃለያው
- ቸንክ በጣም ትንሹ የመመለሻ ክፍል ነው; በጣም ትልቅም ትንሽም አይደለም - እንደ ይዘቱ ሚዛናዊ መሆን አለበት.
- የቻንክ መጠን የትኩረት-አውድ ሚዛንን ያመለክታል; መደራረብ የድንበር መጥፋትን ይቆጣጠራል።
- በቅንፍ ላይ የተመሰረተ እና በመዋቅር ላይ የተመሰረተ መቆራረጥ የአብዛኞቹ የትውልድ ስርዓቶች መነሻ ነው; የትርጉም መቆራረጥ ጥሩ ጥራት ያለው ግን ውድ ነው።
- እንደ ጠረጴዛ፣ ስክሪፕት እና ቻት ያሉ የየራሳቸው ስልቶች ያስፈልጋቸዋል። ሠንጠረዦችን ወደ ግልጽ ጽሑፍ ይለውጡ።
- በእያንዳንዱ ትራክ ላይ የምንጭ/ቀን/ምዕራፍ/የግላዊነት ሜታዳታ እና የክፍል ርዕስ አክል፤ ይህ የማጣራት እና የጥቅስ መሰረት ነው.
የመተግበሪያ ተግባር
የመረጡትን ሰነድ ክፍል በሦስት የተለያዩ መንገዶች ይሰብሩ፡ (1) ትናንሽ 200 ቶከኖች፣ (2) መካከለኛ 500 ቶከኖች (70 ቶከን መደራረብ)፣ (3) ነጠላ ትላልቅ ቁርጥራጮች። ለእያንዳንዱ ስትራቴጂ ተመሳሳይ 3 ጥያቄዎችን ይጠይቁ፣ የትኛውን ክፍል እንደሚያመጣ በእጅ ምልክት ያድርጉ እና የትኛው ስልት ለዚያ ሰነድ በተሻለ ሁኔታ እንደሚሰራ ምክንያቱን ይፃፉ። ከዚያም በእያንዳንዱ ትራክ ላይ ቢያንስ አራት የሜታዳታ መስኮችን እና "የምዕራፍ ርዕስ" ያክሉ። ሰነዱ ሠንጠረዥ ከያዘ፣ የሠንጠረዡን ረድፍ በ"field:value" ቅርጸት ወደ ግልጽ ጽሑፍ ይለውጡ።
የማረጋገጫ ዝርዝር
- [ ] ቁርጥራጭ በጣም ትንሹ የመመለሻ አሃድ እና መጠን የትኩረት-ዐውድ ሚዛን እንደሆነ መናገር እችላለሁ።
- [ ] መደራረብ ለምን የድንበር መጥፋትን እንደሚከላከል አውቃለሁ።
- [] በቅንፍ ላይ የተመሰረተ፣ የትርጉም እና የመዋቅርን ጠንቅቆ ማወቅ እችላለሁ።
- [] እኔ ሰንጠረዥ ለ ስትራቴጂ ማስማማት ይችላሉ, ኮድ እና ውይይት.
- [ ] በእያንዳንዱ ትራክ ላይ ሜታዳታ እና የምዕራፍ ርዕስ በመጨመር መልሶ ማግኘትን አጠናክራለሁ።