ትርፍ፡
- RAG የአምሳያው ክብደት ሳይለውጥ አውድ ውስጥ እንደሚያስገባ እና በ'open book exam' ሎጂክ እንደሚሰራ በማብራራት
- እንደ ወጪ፣ ወቅታዊነት እና የአጠቃቀም ሁኔታ RAGን በጥሩ ማስተካከያ እና ረጅም አውድ አቀራረቦችን ማወዳደር
- የመረጃ ጠቋሚ እና የጥያቄ ደረጃዎችን ያካተተ የተለመደ የ RAG ቧንቧ ደረጃዎችን መዘርዘር
የቋንቋ ሞዴል የቱንም ያህል ኃይለኛ ቢሆን (ጽሑፍን የሚረዳ እና የሚያዘጋጅ አርቴፊሻል ኢንተለጀንስ፤ ከአሁን በኋላ ሞዴል እንላለን)፣ ኩባንያዎ ትናንት የተፈራረመውን ውል፣ የእርስዎን የውስጥ ዊኪ (የውስጥ ዕውቀት መሠረት) ገጽ፣ ወይም ዛሬ ጠዋት የታተመውን የመልቀቂያ ማስታወሻ አያውቅም። አምሳያው እስከ ሰለጠነበት ቀን ድረስ ለጠቅላላ ዕውቀት የተገደበ ነው; ይህ "የትምህርት መቋረጥ ቀን" ይባላል. RAG (Retrieval-Augmented Generation) ይህንን ክፍተት በትክክል ያሟላል፡ ከጥያቄው ጋር የተያያዙ የኩባንያውን ሰነዶች ፈልጎ ለሞዴሉ እንደ አውድ (ማለትም መልሱን ሲያወጣ የሚነበበው ተጨማሪ ጽሑፍ) እና መልሱን በዚህ አውድ ላይ ተመስርቷል።
በዚህ ክፍል ውስጥ, RAG ምን እንደሆነ, በየትኞቹ አማራጮች ላይ ሲመረጥ እና የተለመደው የ RAG ቧንቧ መስመር ደረጃዎችን በግልፅ እንመለከታለን. ሁሉም ተከታይ ክፍሎች የዚህን ካርታ ክፍሎች አንድ በአንድ ያጠልቃሉ.
የ RAG መሰረታዊ ሀሳብ፡ ክፍት የመጽሐፍ ፈተና
RAGን በአንድ ዓረፍተ ነገር እናብራራ፡ "መጀመሪያ ተገቢውን ሰነድ አግኝ፣ ከዚያም ሞዴሉ ያንን ሰነድ አንብቦ መልሱን በዚሁ መሰረት አትም"።
በጣም ጠቃሚው ተመሳሳይነት ይህ ነው፡ RAG ሞዴሉን ከ"ዝግ መጽሐፍ ፈተና" ወደ "ክፍት መጽሐፍ ፈተና" ያንቀሳቅሰዋል። በተዘጋው የመፅሃፍ ፈተና, ተማሪው ከማስታወስ ብቻ መልስ ይሰጣል; የማታስታውሰውን ነገር የማዘጋጀት እድሉ ከፍተኛ ነው። በክፍት መጽሐፍ ፈተና ውስጥ ተማሪው በፊቱ የተቀመጠውን ምንጭ በማየት ይመልሳል። በ RAG ውስጥ, ሞዴሉ ከአሁን በኋላ ከራሱ ማህደረ ትውስታ መልስ አይሰጥም, ነገር ግን አሁን ካለው እና የተለየ ጽሑፍ ይሰጡታል.
ወሳኝ ነጥብ: RAG የአምሳያው ክብደትን አይቀይርም, ማለትም, ሞዴሉ የተማረውን በቢሊዮኖች የሚቆጠሩ የቁጥር መለኪያዎች. ሞዴሉን እንደገና አታሰለጥኑም። ለእያንዳንዱ ጥያቄ፣ ከጥያቄው ጋር ተዛማጅነት ያላቸውን የጽሑፍ ቁርጥራጮች ወደ መጠየቂያው ያስገባሉ (ወደ ሞዴሉ የተላከ የማስተማሪያ ጽሑፍ)። ስለዚህ አንድ ሰነድ ሲዘመን ሞዴሉን እንደገና ማሰልጠን የለብዎትም; በፍለጋ ዳታቤዝ ውስጥ ተገቢውን መዝገብ በቀላሉ ያድሳሉ።
ፍንጭ፡ ሁለት ጥያቄዎች የ RAGን ጥራት ይወስናሉ፡ (1) ትክክለኛውን ሰነድ አግኝተዋል? (2) ሞዴሉ በትክክል አንብቦታል? የመጀመሪያው "የመልሶ ጥራት" ሲሆን ሁለተኛው "የትውልድ ጥራት" ነው. ሁለቱ ይለካሉ እና ይሻሻላሉ ለየብቻ.
RAG፣ ጥሩ ማስተካከያ ወይስ ረጅም አውድ?
ለድርጅታዊ ችግር መፍትሄ ሲፈልጉ ሶስት መንገዶች ብዙውን ጊዜ ግራ ይጋባሉ. ልዩነታቸውን እናብራራ። በጥሩ ሁኔታ ማስተካከል የአምሳያውን ክብደት በመረጃዎ ማዘመን እና አዲስ ባህሪ/ዘይቤ ማስተማር ነው። ረጅም አውድ ማለት ያለ ምንም ምርጫ ሁሉንም ሰነዶች በቀጥታ ወደ መጠየቂያው መሙላት ማለት ነው።
አቀራረብ
ምን ያደርጋል
መቼ ተገቢ ነው?
ወጪ / አደጋ
RAG
ተገቢውን ሰነድ እንደ አውድ ያስገባል።
በተደጋጋሚ የሚለዋወጥ፣ ሰፊ፣ የተለየ መረጃ
ዝቅተኛ; ለማዘመን ቀላል, ምንጩን መጥቀስ ይቻላል
ጥሩ ማስተካከያ
ክብደቶችን በአዲስ ውሂብ ያዘምናል።
ቋሚ ዘይቤ/ቅርጸት/ቋንቋ ማስተማር
ከፍተኛ; በእያንዳንዱ ዝማኔ እንደገና ማሰልጠን ያስፈልጋል
ረጅም አውድ ብቻ
በጥያቄው ውስጥ ሁሉንም ሰነዶች ይሞላል
አነስተኛ ፣ የማይንቀሳቀስ ሰነድ ስብስብ
የማስመሰያ ዋጋ እና "የመካከለኛውን ክፍል የማጣት" አደጋ ይጨምራል
እንደ አንድ ደንብ: ጥሩ ማስተካከያ ሞዴሉን እንዴት ማውራት እንዳለበት ያስተምራል; RAG ሞዴሉን ምን ማወቅ እንዳለበት ይነግረዋል. በአብዛኛዎቹ የድርጅት ሁኔታዎች፣ RAG መጀመሪያ የሚሞከረው ርካሽ፣ ሊዘመን የሚችል እና የመልሱን ምንጭ ሊያሳይ ስለሚችል ነው። የሰነዱ ስብስብ በእውነት ትንሽ እና ቋሚ ከሆነ ረጅም አውድ ምክንያታዊ ነው (ለምሳሌ አንድ ባለ 20 ገጽ መመሪያ); ነገር ግን በሺዎች ከሚቆጠሩ ገፆች ጋር, ውድ ነው እና ሞዴሉ በረዥም ጽሑፍ መካከል መረጃን ሊያመልጥ ይችላል.
አንድ የተለመደ RAG ቧንቧ
RAG ሁለት ዋና ዋና ደረጃዎችን ያቀፈ ነው፡ መረጃ ጠቋሚ (ዝግጅት፣ አንድ ጊዜ ወይም በየጊዜው የተደረገ) እና መጠይቅ (በእያንዳንዱ የተጠቃሚ ጥያቄ ላይ ይሰራል)።
ደረጃ በደረጃ መረጃ ጠቋሚ (ከመስመር ውጭ፣ ተጠቃሚ ሳይጠብቅ)፡
- መሰብሰብ፡ ሰነዶችን ከምንጮች (ፒዲኤፍ፣ ዊኪ፣ ቲኬት ሲስተም፣ ዳታቤዝ፣ ኢሜል) ይሳቡ።
- መቆራረጥ፡ ረጅም ጽሑፍን ወደ ትናንሽ ማቀናበር ወደሚችሉ ክፍሎች ይሰብሩ።
- መክተት፡ እያንዳንዱን ክፍል ወደ መክተት ቀይር (የጽሁፉን ትርጉም የያዘው ቬክተር ቁጥር)።
- አስቀምጥ፡ ቬክተሮችን ከጽሑፍ እና ከሜታዳታ (ምንጭ፣ ቀን፣ የፈቃድ መረጃ) ጋር ወደ ቬክተር ዳታቤዝ ይፃፉ።
የደረጃ በደረጃ ጥያቄ (በመስመር ላይ፣ ተጠቃሚው እየጠበቀ ሳለ)
- የተጠቃሚውን ጥያቄ ወደ መክተት ቀይር።
- በጣም ተመሳሳይ የሆኑትን ክፍሎች ከቬክተር ዳታቤዝ ያውጡ።
- እነዚህን ቁርጥራጮች + ጥያቄ ወደ ፈጣን አብነት ያስቀምጡ።
- የአውድ መልሱን እና ምንጮቹን ከአምሳያው ያግኙ።
# የጥያቄው ደረጃ ጽንሰ-ሀሳብ (በቋንቋ ላይ የተመሰረተ አይደለም)ጥያቄ = "የዓመት ፈቃድ ስንት ቀናት?"question_vektor = embed(question)parts = vektor_db.search(question_vektor, top_k=4) # most similar partsprompt = f"""ይህን ዐውድ በመጠቀም QUESTIONን CONTEXTI በመጠቀም መልስ ከሌለው መልሱ ከሌለ። Fitting.CONTEXT፡{parts}QUESTION፡ {ጥያቄ}""መልስ = model.uret(ጥያቄ) # ለምሳሌ፡ ሞዴል: claude-opus-4-8
ይህ ፍሰት የእያንዳንዱ ደረጃ ካርታ ነው, እሱም በሚቀጥሉት ክፍሎች አንድ በአንድ እንከፍታለን.
ደካማ ፈጣን/ጠንካራ ፍጥነት
በተመሳሳዩ የ RAG አውድ እንኳን የጥያቄው ጥራት መልሱን ይለውጣል።
ደካማ መጠየቂያ (ለሞዴል መግጠሚያ ክፍት ፣ ሀብቶችን አያስፈልገውም)
ይህንን መረጃ ተጠቀም እና የዓመት እረፍት፡ {ክፍሎች} ይበሉ። ጥያቄ፡ {ጥያቄ}
ኃይለኛ ጥያቄ (መሬት ላይ + "አላውቅም" ፍቃድ + የንብረት ጥያቄ)
ከታች ባለው CONTEXT ላይ ተመስርተው መልሱ። በዐውደ-ጽሑፉ ውስጥ ግልጽ የሆነ መልስ ከሌለ "በሰነዱ ውስጥ ስለዚህ ጉዳይ መረጃ ማግኘት አልቻልኩም" ብለው ይፃፉ; እንዳትገምቱ። በመልስዎ መጨረሻ ላይ የሚተማመኑበትን ቁራጭ [ምንጭ ፋይል_ስም] መለያ ያክሉ። ዐውድ፡ {pieces} QUESTION፡ {ጥያቄ}
ሶስት ሚኒ ጉዳዮች
ጉዳይ 1 - የሰው ኃይል ረዳት (የሰው ሀብት). አንድ ኩባንያ ባለ 340 ገጽ የሰው ሰራሽ ደብተር ያለው ሲሆን ሰራተኞች በቀን በአማካይ 90 ጥያቄዎችን ይጠይቃሉ። በጥሩ ሁኔታ ማስተካከል ተሞክሯል, ነገር ግን መመሪያው በየወሩ ስለተሻሻለ, በእያንዳንዱ ጊዜ እንደገና ማሰልጠን ያስፈልጋል; ወጪው በወር በሺዎች የሚቆጠር ዶላር ደርሷል። ወደ RAG ከተቀየረ በኋላ ዝመናው ወደ "ሰነዱ እንደገና ጠቋሚ" ደረጃ (ደቂቃዎች) ቀንሷል እና ትክክለኛው የመልስ መጠን በእጅ መለኪያ ከ 71% ወደ 93% ጨምሯል።
ጉዳይ 2 - የደንበኛ ድጋፍ. የድጋፍ ቡድኑ 12,000 የተፈቱ ቲኬቶች እና 800 የእርዳታ መጣጥፎች አሉት። አንድ ተወካይ በእጅ መልስ ለማግኘት በአማካይ 4 ደቂቃ ይወስዳል። የ RAG ረዳት 5 በጣም አስፈላጊ የሆኑትን መዛግብት ሲያመጣ እና ረቂቅ ምላሽ ሲሰጥ, ጊዜው ወደ 40 ሰከንድ ቀንሷል; ነገር ግን ቡድኑ "የተሳሳተ ጽሁፍ በማምጣት እርግጠኛ አለመሆን" ያለውን አደጋ ተገንዝቦ ምንጩን መጥቀስ አስገዳጅ አድርጎታል።
ጉዳይ 3 - ህግ. አንድ የኮንትራት ቡድን "በየትኞቹ ኮንትራቶች ውስጥ የምስጢራዊነት አንቀጽ ለ 5 ዓመታት ይቆያል?" የሚለውን ጥያቄ ይጠይቃል። በረጅም አውድ ሙከራ ውስጥ 60 ኮንትራቶች በአንድ ጊዜ ተሞልተዋል ። ሞዴሉ መካከለኛውን ሁለቱን ኮንትራቶች አልፏል. ከ RAG ጋር ተዛማጅነት ያላቸው ነገሮች ብቻ ሲተዋወቁ የማስመሰያው ዋጋ በ80% ቀንሷል እና የጠፋው መዝለል እንደገና ተጀምሯል።
RAG ለምን ያስፈልጋል?
- ወቅታዊነት፡ ከስልጠናው ማብቂያ ቀን በኋላ መረጃ ያገኛሉ።
- ልዩ መረጃ: የእርስዎ የውስጥ ሰነዶች በማንኛውም ሞዴል ስልጠና ውስጥ አይካተቱም; እርስዎ ብቻ መስጠት ይችላሉ.
- ማረጋገጥ፡ የመልሱን ምንጭ (ጥቅስ) መጥቀስ ትችላለህ - ለኦዲት እና እምነት አስፈላጊ።
- የቅዠት ቁጥጥር፡- ሞዴል ከመፍጠር ይልቅ በፊቱ በተቀመጠው ጽሑፍ ላይ ይመሰረታል።
- ወጪ፡- ከጥሩ ማስተካከያ ይልቅ ወደ ሥራ ለማስገባት በጣም ርካሽ እና ፈጣን ነው።
ጥንቃቄ: RAG አስማት አይደለም. የተሳሳተ ቁራጭ ካመጣህ፣ ሞዴሉ “በመተማመን” የሚል የተሳሳተ መልስ ላይ ይደርሳል። "የመልሶ ጥራት = RAG ጥራት" የሚለውን ሐረግ አስታውስ.
የተለመዱ ስህተቶች
- RAG ለጥሩ ማስተካከያ ስህተት: RAG ክብደቶችን አይለውጥም; አውድ ብቻ ይጨምራል። እነዚህን ሁለቱ ግራ መጋባት የተሳሳተ የስነ-ህንፃ ንድፍ ወደመምረጥ ይመራል.
- "አላውቅም"ን አለመፍቀድ፡ መጠየቂያው ሞዴሉን ባዶውን እንዲሞላ ነጻ ከለቀቀው ይሟላል።
- ምንጮችን አለመጥቀስ፡- ምንጭ የሌለው መልስ ሊረጋገጥ አይችልም; ተጠቃሚው ስህተቱን ማየት አይችልም.
- ሁሉንም ነገር ወደ አንድ ጥያቄ መጠቅለል፡ ረጅም አውድ ርካሽ ይመስላል ነገር ግን ውድ ነው እና መካከለኛውን መረጃ ያጣል።
- መልሶ ማግኘትን ሳይለኩ በትውልድ ውስጥ መጣበቅ፡ መልሱ መጥፎ ከሆነ በመጀመሪያ "ትክክለኛው ክፍል መጣ?" የሚል ጥያቄ ሊነሳ ይገባል።
በማጠቃለያው
- RAG ከጥያቄው ጋር ተዛማጅነት ያላቸውን ሰነዶች ወደ ሞዴል እንደ አውድ የሚያስገባ አቀራረብ ነው; ክብደቱን አይለውጥም ("ክፍት መጽሐፍ ፈተና").
- በጥሩ ሁኔታ ማስተካከል ዘይቤን / ቅርጸትን ያስተምራል ፣ RAG ወቅታዊ እና የተወሰነ መረጃ ይሰጣል ። ረጅም አውድ ለአነስተኛ ቋሚ ስብስቦች በደንብ ይሰራል. በአብዛኛዎቹ ሁኔታዎች RAG መጀመሪያ ይሞከራል።
- የቧንቧ መስመር ሁለት ደረጃዎች አሉት፡ ከመስመር ውጭ መረጃ ጠቋሚ (ቸንክ + መክተት + ማስቀመጥ) እና የመስመር ላይ መጠይቅ (ማስወጣት + ፈጣን + ማመንጨት)።
- RAG ወቅታዊነትን፣ የተለየ መረጃን፣ ማረጋገጥን፣ የቅዠት ቁጥጥርን እና ዝቅተኛ ወጪን ያቀርባል።
- የስርዓቱ ጥራት በቀጥታ በማገገሚያው ጥራት ላይ የተመሰረተ ነው-የተሳሳተ ቁራጭ ማለት የተሳሳተ መልስ ማለት ነው.
የመተግበሪያ ተግባር
ከቡድንዎ እውነተኛ የመረጃ ምንጭ ይምረጡ (ለምሳሌ የሥርዓት ሰነድ ወይም የሚጠየቁ ጥያቄዎች ገጽ)። (1) ስለዚህ ምንጭ 5 ትክክለኛ ጥያቄዎችን ጻፍ። (2) ለእያንዳንዱ ጥያቄ ትክክለኛው መልስ የትኛው የሰነዱ ክፍል እንደያዘ ልብ ይበሉ - ይህ የእርስዎ “ወርቃማ መልስ” ዝርዝር ይሆናል። (3) ከላይ ያለውን "ጠንካራ መጠየቂያ" አብነት በመጠቀም የሚመለከተውን ክፍል እራስዎ እንደ አውድ ይለጥፉ እና ሞዴል ይጠይቁ። (4) በአምሳያው የተሰጠውን መልስ ከወርቃማው መልስ ጋር አወዳድር እና እውነት/ሐሰት ብለህ ምልክት አድርግ። ይህ ወደፊት በሚመጡት ክፍሎች ውስጥ በራስ-ሰር የሚያደርጉት የመጀመሪያው በእጅ የሚሰራ የግምገማ ስሪት ነው።
የማረጋገጫ ዝርዝር
- [ ] RAG ክብደቶችን እንደማይለውጥ በአንድ ዓረፍተ ነገር ማስረዳት እችላለሁ፣ አውድ ይጨምራል።
- [] በ RAG ፣ በጥሩ ሁኔታ ማስተካከል እና ረጅም አውድ እና መቼ ተገቢ እንደሆነ መለየት እችላለሁ።
- [] መረጃ ጠቋሚውን (ሰብስብ- shred-embed-save) እና መጠይቁን (መክተት-አምጣ-ፈጣን-ማመንጨት) ደረጃዎችን በቅደም ተከተል መቁጠር እችላለሁ።
- [ ] "በዐውደ-ጽሑፉ ካልሆነ፣ አላውቀውም" እና "ምንጭ ጥቀስ" የሚለውን መመሪያ ወደ መጠየቂያው ለምን እንደጨመርኩ አውቃለሁ።
- [ ] "የመልሶ ጥራት = RAG ጥራት" የሚለውን መርህ ከራሴ ጉዳይ ጋር ማስማማት እችላለሁ።