የእውቀት መሰረት እና RAG፡ Bot እና ወኪል እንዴት ትክክለኛውን መልስ አገኙ

ትርፍ፡

• RAG (መከፋፈል፣ ተደራሽነት፣ ሃብት ላይ የተመሰረተ ትውልድ) እንዴት እንደሚሰራ እና ቅዠትን እንዴት እንደሚቀንስ ይረዱ
• ወቅታዊ፣ ግልጽ፣ ግጭት የሌለበት እና አንድ ትክክለኛ ምንጭ ያለው የእውቀት መሰረት በማቋቋም የመልሶችን ጥራት የማሳደግ ችሎታ።
• ሞዴሉን 'ምንጭ ከሌለ አታውቁምን ንገረኝ' የማስተማር ችሎታ እና ሊመልስ የማይችለውን ጥያቄዎች ወደ እውቀት መሠረት ማሻሻል

አንድ ቦት ወይም ወኪል ረዳት የሚሰጠው መልስ የተመሰረተበትን መረጃ ያህል ጥሩ ነው። ደንበኛው "ዘመቻው እየቀጠለ ነው?" ብሎ ሲጠይቅ, ትክክለኛው መልስ በአምሳያው ትውስታ ውስጥ ሳይሆን አሁን ባለው የተቋሙ የእውቀት መሰረት ነው. ለዚህም ነው የጥሪ ማዕከል አርቴፊሻል ኢንተለጀንስ (KB) የእውቀት መሰረት ነው፡- ምርቶች፣ ፖሊሲዎች፣ ተደጋጋሚ ጥያቄዎች፣ ሂደቶች እና ደንቦች በጽሁፍ የሚቀመጡበት ወቅታዊ መረጃ። እና ይህን የእውቀት መሰረት ከአርቴፊሻል ኢንተለጀንስ ጋር ደህንነቱ በተጠበቀ ሁኔታ የሚያገናኘው ዘዴ RAG: Retrieval-Augmented Generation ይባላል - መልሱን ከራሱ ማህደረ ትውስታ ከማዘጋጀት ይልቅ, ሞዴሉ መጀመሪያ አስፈላጊ የሆኑትን መረጃዎች ከምንጩ አውጥቷል (መልሶ ማግኘት) ከዚያም በእነዚያ ቁርጥራጮች (ትውልድ) ላይ በመመስረት መልሱን ያመነጫል.

RAG ቅዠትን ለመከላከል በጣም ኃይለኛ ዘዴ ነው. ሞዴሉ "የብድር ወለድ መጠን ምን ያህል ነው?" ለሚለው ጥያቄ በራሱ ውስጥ ቁጥር አያመነጭም. የወቅቱን የፍላጎት ጽሑፍ ከእውቀት መሰረት ሰርስሮ ያወጣል እና በእሱ ላይ የተመሰረተ መልስ ይሰጣል። በዚህ ክፍል ውስጥ የእውቀት መሰረትን እንዴት ማዘጋጀት እንዳለብን, RAG እንዴት እንደሚሰራ እና ጥሩ የእውቀት መሰረት የመልሶችን ጥራት እንዴት እንደሚወስን እንመለከታለን.

RAG እንዴት እንደሚሰራ: አራት ደረጃዎች

RAGን እንደ ቤተመጽሐፍት ያስቡ። ደንበኛው ጥያቄዎችን ይጠይቃል; ስርዓቱ መጀመሪያ ከቤተመፃህፍቱ ትክክለኛው መደርደሪያ ላይ ተዛማጅ ገጾችን ያገኛል, ከዚያም እነዚያን ገጾች አንብቦ መልሱን ይጽፋል. የቴክኒካዊ ደረጃዎች እንደሚከተለው ናቸው.

1. መቆራረጥ፡ በእውቀት መሰረቱ ውስጥ ያሉ ረጅም ሰነዶች በትናንሽ እና ትርጉም ያላቸው ቁርጥራጮች ተከፋፍለዋል (ለምሳሌ፡ እያንዳንዱ የሚጠየቁ ጥያቄዎች አንድ ቁራጭ ነው)። ምክንያቱም ሞዴሉ በተያያዙ ትናንሽ ክፍሎች አንድን ጥያቄ በትክክል ይመልሳል.
2. መክተት እና ማመላከቻ፡ እያንዳንዱ ቁራጭ ትርጉሙን ወደ ሚወክል አሃዛዊ ቅርፅ ተተርጉሟል (መክተት - የፅሁፉን ትርጉም የሚወክሉ የቁጥሮች ቅደም ተከተል) እና ሊፈለግ በሚችል የውሂብ ጎታ ውስጥ ይቀመጣል። ስለዚህም "የቃላት ግጥሚያ" ሳይሆን "ትርጉም ግጥሚያ" ነው; ምንም እንኳን ደንበኛው "ገንዘቤ መቼ ነው የሚቀመጠው?" ብሎ ቢጠይቅ እንኳን "የተመላሽ ገንዘብ ጊዜ" ክፍል ሊገኝ ይችላል.
3. ሰርስሮ ማውጣት፡- ለደንበኛው ጥያቄ በትርጉም በጣም ቅርብ የሆኑት ክፍሎች ተሰርስረዋል (ለምሳሌ በጣም ቅርብ የሆኑት 3-5 ክፍሎች)።
4. ትውልድ፡ አምሳያው መልሱን የሚጽፈው የተሳሉትን ክፍሎች ብቻ ነው እና ከተቻለ ምንጩን ይጠቁማል።

ወሳኙ ነጥብ በደረጃ 4 ላይ ነው፡ ሞዴሉ "በተሰጡት ቁርጥራጮች ላይ ብቻ መተማመን ወይም አታውቁም በል" የሚል መመሪያ ተሰጥቶታል. ያለዚህ መመሪያ, RAG ሞዴሉን ከመገጣጠም አያግደውም.

ፍንጭ፡ የ RAG ወርቃማ ህግ፡ "በምንጩ ውስጥ ካልሆነ ምንም መልስ የለም።" ጥሩ የ RAG ስርዓት በእውቀት መሰረት ላልሆነ ጥያቄ "ስለዚህ በእርግጠኝነት አላውቅም" ይላል; ክፍተቱን በግምታዊ ስራ ፈጽሞ አይሞላውም። አንድ ቦት “አላውቅም” የማለት ችሎታ የደህንነት ባህሪ እንጂ ድክመት አይደለም።

ጥሩ የእውቀት መሰረት፡ ትክክለኛው የመልስ ጥራት ምንጭ

RAG የቱንም ያህል ጥሩ ቢሆን የእውቀት መሰረቱ መጥፎ ከሆነ መልሱ መጥፎ ነው። የእውቀት መሰረት ጥራት የሚለካው በ:

ባህሪ

መጥፎ የእውቀት መሠረት

ጥሩ የእውቀት መሠረት

ወቅታዊነት

ለወራት አልዘመነም።

ሲቀየር ወዲያውኑ ተዘምኗል

ግልጽነት

ረጅም፣ የተጠማዘዘ ጽሑፍ

አጭር፣ ባለአንድ ርዕስ መጣጥፎች

መዋቅር

ምስቅልቅል ፒዲኤፍ ክምር

ሊበላሹ የሚችሉ ንጥረ ነገሮች ምልክት የተደረገባቸው

ወጥነት

ሁለት የሚጋጩ መልሶች

ነጠላ የእውነት ምንጭ

ወሰን

ብዙ ክፍተቶች አሉ።

በተደጋጋሚ የሚጠየቁ ጥያቄዎችን ይሸፍናል።

ባለቤትነት

ማንም ተጠያቂ አይደለም

እያንዳንዱ ርዕስ ባለቤት አለው።

በጥሪ ማእከል አውድ ውስጥ በጣም አደገኛው ችግር ተቃርኖ ነው፡ በእውቀት መሰረት ሁለት የተለያዩ የመመለሻ ጊዜዎች ከተፃፉ RAG የትኛውንም እንደሚወስድ ይነግረናል እና ወጥ ያልሆነ መልስ ለደንበኛው ይላካል። ለዚህም ነው "ነጠላ የእውነት ምንጭ" መርህ ወሳኝ የሆነው፡ መረጃ በአንድ ቦታ ላይ ወቅታዊ ሆኖ ይቆያል; የዚያ ምንጭ ማጣቀሻዎች ጥቅም ላይ ይውላሉ እንጂ ቅጂዎች አይደሉም።

ደረጃ በደረጃ፡ በRAG የሚደገፍ የምላሽ ስርዓት መገንባት

1. የእውቀት መሰረቱን ያጽዱ፡ ጊዜ ያለፈባቸው፣ የሚጋጩ፣ የተባዙ ጽሑፎችን ያስወግዱ። እያንዳንዱን መጣጥፍ አጭር እና ነጠላ ርዕስ አድርግ።
2. ይከፋፍሉት እና መለያ ይስጡት፡ በእያንዳንዱ መጣጥፍ ላይ የርዕስ መለያ እና የመጨረሻ የዘመነ ቀን ያክሉ።
3. መዳረሻን ይመሰርቱ፡ ሲጠየቁ ተዛማጅ ክፍሎችን የሚጎትት ዘዴን ያገናኙ (የድርጅት RAG መሳሪያዎች ይህንን ያቀርባሉ)።
4. ጥብቅ ጥያቄን ይፃፉ፡ ሞዴሉን "በቀረቡት ክፍሎች ላይ ብቻ ተመርኩዞ ምንጩን ጥቀስ ወይም አታውቁም በለው" ንገሩት።
5. ምንጩን ጥቀስ፡ መልሱ የተመሰረተበትን ጽሁፍ አሳይ፤ ሁለቱም በራስ መተማመንን ይሰጣሉ እና ማረጋገጥን ያመቻቻል.
6. ክፍተቶችን ይመልከቱ: ቦቱ "አላውቅም" የሚልባቸውን ጥያቄዎች ይሰብስቡ; እነዚህ በእውቀቱ መሠረት ጉድለቶችን ያሳያሉ, ከዚያ ይመግቡ.

አራት ሊገለበጡ የሚችሉ አብነቶች

1) ጥብቅ የ RAG መልስ ጥያቄ፡-

በሚከተሉት [ምንጭ] ክፍሎች ላይ የተመሰረተ መልስ። ሕጎች፡- (1) በምንጩ ውስጥ ያለውን መረጃ ብቻ መጠቀም፣ (2) በመነሻው ውስጥ ካልሆነ፣ “ስለዚህ የተወሰነ መረጃ የለኝም፣ ከተወካዩ ጋር ላገናኛችሁ” ይበሉ፣ (3) በየትኛው አንቀጽ ላይ የተመሠረተ እንደሆነ ይገልጻሉ [ምንጭ፡ ንጥል-አይ]፣ (4) መጠኑን/የቆይታውን/ሁኔታውን በትክክል ከምንጩ ይጥቀሱ፣ አይዙሩ/አትሠሩ። [ምንጭ]፡ <<የተጎተቱ ክፍሎች>>ጥያቄ፡- "<<የደንበኛ ጥያቄ>>"

2) የእውቀት መሠረት ጽሑፍ;

የሚከተለውን የተበታተነ የፖሊሲ ጽሑፍ ለRAG ተስማሚ ወደሆነ ተደጋጋሚ ጥያቄዎች ቀይር። ቅርጸት: ጥያቄ (በደንበኛ ቋንቋ) / አጭር መልስ (2-3 ዓረፍተ ነገሮች) / ሁኔታዎች (አንቀጽ) / የመጨረሻ የዘመነ ቀን / ርዕስ መለያ. ማናቸውንም አሻሚ ነጥቦች እንደ "መብራራት" ብለው ምልክት ያድርጉበት፣ ማመን። ጥሬ ጽሑፍ፡ << ጽሑፍ>>

3) ቅራኔዎችን እና ክፍተቶችን መፈተሽ;

የሚከተሉትን የእውቀት መሰረት መጣጥፎችን መርምር። (1) እርስ በእርሳቸው የሚጋጩትን መጣጥፎች ጥንዶች ምልክት ያድርጉ (ለምሳሌ የተለያዩ የመመለሻ ጊዜ)። (2) በተደጋጋሚ የሚጠየቁትን ነገር ግን ምንም መልስ የሌላቸውን ርዕሶች ገምት። የተሰጡትን ጽሑፎች ብቻ ይመልከቱ; አዲስ ፖሊሲ በማውጣት ላይ። መጣጥፎች፡ << ዝርዝር>>

4) ከ"አላውቅም" ምዝግብ ማስታወሻ መሻሻል፡-

ከዚህ በታች ቦት ሊመልስ ያልቻለው (ምንጭ ማግኘት አልቻለም) ጥያቄዎች አሉ። ወደ አርእስቶች ይመድቧቸው እና ለእያንዳንዱ ቡድን በእውቀት ላይ መጨመር ያለበትን የጽሁፉን ርዕስ ይጠቁሙ። የመልሱን ይዘት አታድርጉ፣ የትኛው ንጥል እንደጎደለ ብቻ ንገረኝ፡ ጥያቄዎች፡ << ዝርዝር>>

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ ጥያቄ፡

የደንበኛውን የመመለሻ ጥያቄ ይመልሱ።

ምንጭ የለም; ሞዴሉ ከማህደረ ትውስታ ጋር ሊጣጣም ይችላል, መጠኑ / ቆይታው የተሳሳተ ሊሆን ይችላል, ሊረጋገጥ አይችልም.

ኃይለኛ ጥያቄ፡-

ከዚህ በታች ባለው የመመለሻ ፖሊሲ አንቀጽ ላይ በመመስረት ብቻ መልሱ። ከምንጩ የማይገኝ ከሆነ "በእርግጠኝነት አላውቅም" ይበሉ። ጊዜውን እና ሁኔታውን በቃል ጥቀስ፣ በ[ምንጭ RETURN-03] መልክ ማጣቀሻ ይስጡ። ጥያቄ፡ "ከ20 ቀናት በፊት የገዛሁትን ግላዊ ምርት መመለስ እችላለሁ?"

ልዩነት: የምንጭ ጥገኛ, የማጣቀሻ አስገዳጅ, የማምረት እገዳ ግልጽ; ሞዴሉ ትክክለኛውን መልስ ከምንጩ ያመነጫል ("14 ቀናት አልፈዋል እና ግላዊ፣ የማይመለስ")።

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - ቅዠትን ማብቃት. ለዘመቻ ጥያቄዎች የቴሌኮም ቦት መልስ ትክክለኛነት 71% በ no-RAG ማዋቀር ነበር፤ ሞዴሉ አንዳንድ ጊዜ የድሮ ዘመቻዎችን ሠራ። አሁን ያሉት የዘመቻ ገፆች ከ RAG ጋር ሲገናኙ እና "ምንጭ ከሌለ አትበል" የሚለው ህግ ሲታከል ትክክለኛነት ወደ 96% ከፍ ብሏል እና "የተሳሳቱ የዘመቻ ቃላት" ቅሬታዎች ሊጠናቀቁ ተቃርበዋል.

ጉዳይ 2 - የተቃራኒው ዋጋ. በኢ-ኮሜርስ ኩባንያ የእውቀት መሰረት ሁለት የተለያዩ የማጓጓዣ ወጪዎች በሁለት ገፆች (አንድ የአሁኑ, አንድ አሮጌ የተረሳ ገጽ) ተጽፈዋል. ቦቱ በዘፈቀደ የሆነ ሰው እየጎተተ ለአንዳንድ ደንበኞች የተሳሳተ ዋጋ እየነገራቸው ነበር። የድሮው ገጽ በነጠላ ትክክለኛ ምንጭ መርህ ሲቀመጥ፣ አለመመጣጠኑ ጠፋ። ትምህርት: RAG ተቃርኖውን አይፈታውም, እንደ ተቃርኖው ያሰራጫል.

ጉዳይ 3 - የ "አላውቅም" ምዝግብ ማስታወሻ ዋጋ. በአንድ ባንክ ውስጥ ቦት በወር ~ 4,000 ጥያቄዎችን "በእርግጠኝነት አላውቅም" እያለ ነበር። እነዚህ ጥያቄዎች በቡድን ሲከፋፈሉ 40% የሚሆኑት ስለ "ዓለም አቀፍ የካርድ አጠቃቀም" እንደሆኑ ታይቷል; ስለ እሱ ምንም ጽሑፍ አልነበረም. አስፈላጊ ነገሮች ሲጨመሩ እነዚህ ጥያቄዎች ተፈትተዋል እና በዚህ ርዕሰ ጉዳይ ላይ የሰዎች ዝውውር በ 55% ቀንሷል. ቦት አላውቀውም ማለታቸው የማሻሻያ ፍኖተ ካርታ ሆነ።

የተለመዱ ስህተቶች

• ከምንጩ ጋር ሳይገናኝ መልስ መስጠት። ያለ RAG, ሞዴሉ ተጨባጭ መረጃን ያሟላል; ማንኛውም ተጨባጭ መልስ በምንጩ ላይ የተመሰረተ መሆን አለበት.
• "አላውቅም" የሚለውን አማራጭ በማጥፋት ላይ። ሞዴሉን እያንዳንዱን ጥያቄ እንዲመልስ ማስገደድ ተስማሚ መሆኑን ያረጋግጣል.
• የሚጋጩ/የቆዩ መረጃዎችን አለማፅዳት። RAG ተቃርኖን ያስፋፋል; ነጠላ ትክክለኛ ምንጭ አስፈላጊ ነው.
• መቆራረጥን ችላ ማለት። ትላልቅ ፒዲኤፎችን ወደ ውጭ መላክ ትክክለኛ መዳረሻን ይረብሸዋል; አጭር፣ ባለአንድ ርዕስ መጣጥፎችን ተጠቀም።
• ምንጩን መደበቅ. መልሱ ምን ላይ የተመሰረተ እንደሆነ አለማመልከት ማረጋገጥ እና መተማመንን ያዳክማል።

ጥንቃቄ፡ RAG ትክክለኛነትን ያሻሽላል ነገር ግን 100% ዋስትና አይሰጥም። ሞዴሉ አንዳንድ ጊዜ የተያዘውን ክፍል በተሳሳተ መንገድ ሊተረጉም ይችላል. ስለዚህ የፋይናንስ፣ የህግ እና የጸጥታ ጉዳዮች ምንጩ ቢጠቀስም የሰውን ይሁንታ ይሻሉ። RAG ቅዠትን ይቀንሳል ነገር ግን ኃላፊነትን አያስወግድም.

በማጠቃለያው

የእውቀት መሰረት እና RAG የጥሪ ማእከል AI ትክክለኛነት መሰረት ናቸው. RAG በአብዛኛው ሞዴሉ መልሱን ከማስታወስ ጋር እንዳይገጣጠም እና አሁን ባለው ምንጭ ላይ ብቻ በመተማመን ቅዠትን ይከላከላል. ነገር ግን RAG የእውቀት መሰረትን ያህል ጥሩ ነው፡ ወቅታዊ፣ ግልጽ፣ የተዋቀረ፣ ግጭት የሌለበት እና አንድ የእውነት ምንጭ ያለው የእውቀት መሰረት አስፈላጊ ነው። ሞዴሉን "በምንጩ ውስጥ ካልሆነ, እንደማታውቁት ንገሩኝ" ይንገሩ, ምንጩን ይጠቁሙ እና የእውቀት መሰረቱን ለማሻሻል ቦት ሊመልሷቸው የማይችሉትን ጥያቄዎች ይጠቀሙ. ከፍ ባለ ጉዳዮች ላይ ምንጭ ቢኖርም የሰውን ፈቃድ አስጠብቅ።

የመተግበሪያ ተግባር

ከኢንዱስትሪዎ 8 እውነተኛ/ተጨባጭ የደንበኛ ጥያቄዎችን እና 8 ተጓዳኝ አጭር የእውቀት መሰረት መጣጥፎችን ይፃፉ (እያንዳንዱ ጽሑፍ፡ ጥያቄ፣ አጭር መልስ፣ ሁኔታዎች፣ ቀን፣ መለያ)። ከዚያም ሞዴሉ "አላውቅም" ማለት ይችል እንደሆነ ፈትኑ "1) Tight RAG መልስ መጠየቂያ" ንድፍን በመጠቀም እና እንዲሁም ጥያቄን በመጠየቅ, ከነዚህም ውስጥ አንዱ በእውቀት ላይ አይደለም. በመጨረሻም ጽሑፎቻችሁን በ"3) ተቃርኖ እና ክፍተት መቃኘት" ያረጋግጡ።

የማረጋገጫ ዝርዝር

• [] በቦት/ረዳት የሚሰጠው እያንዳንዱ ተጨባጭ መልስ አሁን ባለው የእውቀት መሰረት (በ RAG በኩል) ይወሰናል።
• [ ] ሞዴሉን "ምንጭ ውስጥ ከሌለ አታውቁምን ንገረኝ" በማለት መመሪያ ሰጥቼ ሞከርኩት።
• [ ] የእኔ እውቀት መሰረት ወቅታዊ፣ ግልጽ፣ ነጠላ-ርዕስ መጣጥፎችን ያካትታል።
• [ ] የሚጋጩትን እና የቆዩ መጣጥፎችን አጸዳሁ; ለሁሉም መረጃ ትክክለኛ ምንጭ አንድ ብቻ ነው።
• [ ] ምላሾች በየትኛው ጽሁፍ ላይ የተመሰረተ እንደሆነ ያሳያሉ.
• [ ] "አላውቅም" ጥያቄዎችን ሰብስቤ የእውቀት መሰረቱን እመገባለሁ።