ትርፍ፡
- የቅዠት መንስኤዎችን እና የመሬቱን ሚና ይግለጹ
- ሞዴሉን በአውድ ውስጥ ካልሆነ 'አላውቅም' እንዲል የሚያደርጉ ቴክኒኮችን መተግበር
- ምላሾች ላይ የተረጋገጡ ምንጮች/ጥቅሶችን በመጨመር እምነትን እና ኦዲትነትን ማረጋገጥ
የቋንቋ ሞዴል በጣም አደገኛ ባህሪ እሱ የማያውቀውን ነገር በራስ መተማመን እና አሳማኝ በሆነ ድምጽ ማዘጋጀት ነው። ይህ ቅዠት ይባላል። በድርጅት ረዳት ውስጥ ማሞኘት የሚያበሳጭ ብቻ ሳይሆን በጣም አደገኛ ነው፡ የተሳሳተ የዕረፍት ቀን፣ የተሳሳተ ዋጋ፣ የተሳሳተ ህጋዊ ይዘት ሰራተኛን ወይም ደንበኛን ሊጎዳ ይችላል። በዚህ ክፍል ውስጥ ቅዠቶች ለምን እንደተከሰቱ፣ በ RAG ውስጥ እንዴት እንደሚቀነሱ እና መልሱን እንዴት ማረጋገጥ እንደሚቻል እንሸፍናለን።
ቅዠትን የሚያመጣው ምንድን ነው?
ሞዴሉ ቀጣዩን በጣም ሊሆን የሚችል ቃል ለማምረት የሰለጠነ ነው; "እውነትን ተናገር" ሳይሆን "አቀላጥፎ እና ምክንያታዊ ጽሑፍ አዘጋጅ"። መረጃ ከጠፋ ክፍተቱን በስታቲስቲክስ አሳማኝ ነገር ግን በተጨባጭ የተሳሳተ ነገር ሊሞላው ይችላል። ሶስት የተለመዱ ቀስቅሴዎች፡-
- በዐውደ-ጽሑፉ ውስጥ ምንም መልስ የለም, ነገር ግን ሞዴሉ የሆነ ነገር ለመናገር ይገደዳል.
- ዐውደ-ጽሑፉ እርስ በርሱ የሚጋጭ ወይም በቂ ያልሆነ ነው; ሞዴሉ በመተንበይ ክፍተቱን ይዘጋል.
- ጥያቄው ከአውድ በላይ ነው; ሞዴሉ ወደ ራሱ አጠቃላይ (እና ምናልባትም ጊዜው ያለፈበት) እውቀት ይመለሳል.
RAG ቅዠትን ይቀንሳል ምክንያቱም ሞዴሉን እውነተኛ ምንጭ ስለሚሰጠው - ግን ዳግም አያስጀምረውም። የተሳሳተውን ክፍል ካመጡ ወይም ሞዴሉን "ክፍተቱን ለመሙላት ነፃነት" ከለቀቀ, ከ RAG ጋር ያለው ስርዓትም ሊስማማ ይችላል.
የቅዠት ዓይነት
ምልክት
መነሻ ምክንያት
የመፍትሄው ንብርብር
ከማስመለስ የመነጨ
ትክክለኛው መልስ በሰነዱ ውስጥ አለ ግን አልደረሰም
የተሳሳተ/የጎደለ ክፍል ቀርቧል
መቆራረጥ፣ ድብልቅ፣ ዳግም ደረጃ መስጠት (ክፍል 3-4)
የትውልድ ምንጭ
ትክክለኛው ክፍል ደርሷል ግን መልሱ የተሳሳተ ነው/መጨመር አለበት።
ሞዴሉ ክፍተቱን በመተንበይ ሞላው።
መሬት ላይ, "እኔ አላውቅም" ፈቃድ, ዝቅተኛ ፈጠራ
ጥቅስ የተወሰደ
መልሱ ትክክል ነው ምንጩ ግን የተሳሳተ ነው።
ሞዴል የተሳሳተ ክፍል ተጠቅሷል
የጥቅስ ማረጋገጫ (ክፍል 8 ይመልከቱ)
ፍንጭ፡ ቅዠቱን በሁለት ክፍሎች ይከፋፍሉት። ከመልሶ የተገኘ፡ የተሳሳተ/የጠፋው ክፍል ደረሰ (መፍትሄው፡ መልሶ ማግኘትን ማሻሻል)። የትውልድ ምንጭ፡ ትክክለኛው ክፍል ደርሷል፣ ግን ሞዴሉ በስህተት አንብቦ/ጨምሯል (መፍትሄው፡ ፈጣን እና መሬት ላይ)። የትኛው እንደሆነ ካላወቁ በስተቀር ማስተካከል አይችሉም።
መሬት ላይ፡ መልሱን በዐውደ-ጽሑፉ መቸብቸብ
መሬቲንግ ሞዴሉን ለመንገር ሁሉም ቴክኒኮች የተሰጠ ስም ነው "በምሰጥህ ጽሑፍ ላይ ብቻ ተመካ፣ ከሱ አትለፍ"። የእሱ በጣም መሠረታዊ እና በጣም ውጤታማ ቴክኒክ፡- ሞዴሉን 'አላውቅም' እንዲል በግልፅ ፍቃድ መስጠት። ሞዴሉ ልክ እንደ ሰው "አላውቅም" ለማለት ያመነታል; ይህንን ለማድረግ በግልጽ ፍቃድ መስጠት አለብህ።
ከታች ባለው CONTEXT ላይ ተመስርተው መልሱ። መልሱ በዐውደ-ጽሑፉ ውስጥ ግልጽ ካልሆነ፣ በትክክል ይህንን ይጻፉ፡- "በዚህ ላይ በቂ መረጃ በሰነዱ ውስጥ ማግኘት አልቻልኩም።" በዐውደ-ጽሑፉ ውስጥ የሌሉ ቁጥሮች፣ ቀኖች ወይም ስሞች አያካትቱ። እንዳትገምቱ።
ተጨማሪ የመሠረት ዘዴዎች;
- የጥቅስ መስፈርት፡ ከእያንዳንዱ የይገባኛል ጥያቄ በፊት፣ አውዱን በቃል ጥቀስ (“ሰነዱ ይላል፡ '...'”)። የተሰሩ ጥቅሶችን ማምረት ለአምሳያው የበለጠ ከባድ ነው።
- ዝቅተኛ የሙቀት መጠን: የሙቀት መጠኑ (የሙቀት መጠን, የፈጠራ / የዘፈቀደ አቀማመጥ) ዝቅተኛ መሆን አለበት. ማሳሰቢያ: በአንዳንድ የአሁኑ ሞዴሎች ይህ ግቤት ተወግዷል; በእነሱ ውስጥ ፣መሬትን በጥያቄ ያቅርቡ። ከፍተኛ ፈጠራ የድርጅት ታማኝነት ጠላት ነው።
- የወሰን ገደብ፡ "የፈቃድ ፖሊሲ ጉዳዮችን ብቻ ምላሽ ይስጡ፤ በትህትና መርጦ ለመውጣት እምቢ ማለት።"
ጥቅስ
ቅዠትን ለመከላከል በጣም ጠንካራው የስርዓት መከላከያ መልሱን ማረጋገጥ ነው. ተጠቃሚው የትኛው ሰነድ እንደሆነ ማየት ከቻለ፡ (1) ስህተቱን እራሱ መያዝ ይችላል፣ (2) ኦዲት ማድረግ ይቻላል፣ (3) እምነት ይጨምራል፣ እና (4) ሞዴሉ “ምንጩን መጥቀስ አለብኝ” በሚል ግንዛቤ የበለጠ በጥንቃቄ ያዘጋጃል።
ሁለት የተለመዱ ዘዴዎች:
የመስመር ውስጥ መለያ ባህሪ፡ ከእያንዳንዱ የይገባኛል ጥያቄ ቀጥሎ የምንጭ መለያ። "የዓመት እረፍት 14 ቀናት ነው." ከታች ያለው የ [1] ሙሉ ሰነድ ነው።
የተዋቀረ ውፅዓት፡ ሞዴሉን መልሱን እና የምንጭ ዝርዝሩን በተለያዩ መስኮች እንዲያዘጋጅ መጠየቅ; በበይነገጽ ውስጥ መርጃዎችን እንደ ጠቅ ሊደረጉ የሚችሉ አገናኞችን በማሳየት ላይ።
# በአምሳያው ላይ ተመስርቶ የተዋቀረ መልስ መስጠት (ፅንሰ-ሀሳብ) መልስዎን በሚከተለው መዋቅር ይስጡ፡- መልስ፡- <በአውድ ላይ የተመሰረተ መልስ>- ምንጮች፡- [{"ክፍል_ቁጥር"፡ 1፣ "ፋይል"፡ "..."፣ "ክፍል"፡ "..."}] - እምነት፡ <high|መካከለኛ|ዝቅተኛ> # ዐውደ ጽሑፉ እንዴት በግልፅ ይደግፈዋል? አውድ መልሱን የማይደግፍ ከሆነ በመልሱ መስክ ላይ "ምንም መረጃ አልተገኘም" ብለው ይፃፉ እና ምንጮቹን ባዶ ይተዉት.
ጥቅስ በትክክል እንዲሰራ፣ መለያው ትክክል መሆኑን ማረጋገጥ ያስፈልጋል። ሞዴሉ አንዳንድ ጊዜ ትክክለኛውን መልስ ሊሰጥ ይችላል ነገር ግን የተሳሳተ ምንጭ ይሰጣል. የላቁ ስርዓቶች እያንዳንዱ የሚቀርበው የይገባኛል ጥያቄ በተጠቀሰው ቁራጭ (በሚቀጥለው ክፍል ያለው የ"ታማኝነት" ልኬት) የተደገፈ መሆኑን በራስ-ሰር ያረጋግጣሉ።
ደካማ/ጠንካራ፡ በቅዠት ላይ ፈጣን
ደካማ (ባዶውን ለመሙላት ግብዣ)፡-
ባለዎት መረጃ በተቻለዎት መጠን ጥያቄውን ይመልሱ፡ {context} ጥያቄ፡ {ጥያቄ}# "በተቻለዎት መጠን" ማለት ለአምሳያው "ካላወቁ ገምቱ" ማለት ነው።
ጠንካራ (መሬት ላይ ማውጣት + ፍቃድ የማያውቁ + ምንጭ + እምነት):
በCONTEXT ላይ ብቻ ተመካ። አለበለዚያ "ምንም መረጃ ማግኘት አልቻልኩም" ይበሉ; ቁጥር/ቀን/ስም ፍጠር። ለእያንዳንዱ የይገባኛል ጥያቄ ምንጭ ቁጥር ጨምር። በዐውደ-ጽሑፉ የተደገፈ የመተማመን ደረጃን ይግለጹ። CONTEXT: [1]... [2]... ጥያቄ፡ {ጥያቄ}
ሶስት ሚኒ ጉዳዮች
ጉዳይ 1 - የተሰራ ንጥል ቁጥር. የሕግ ባለሞያው ከዐውደ-ጽሑፉ ውጪ የሆነ "አንቀጽ 17/ለ" መግለጫ አውጥቶ ለሠራተኛው የተሳሳተ መረጃ ሰጥቷል። መመሪያው "በዐውደ-ጽሑፉ ውስጥ የሌለውን የአንቀጽ ቁጥር አትስጡ, አለበለዚያ አላውቅም በል" + የመጥቀስ ግዴታ ሲጨመር, የተቀነባበሩ ጽሑፎች ጉዳዮች በ 40 ምሳሌዎች ከ 11 ወደ 0 ቀንሰዋል.
ጉዳይ 2 - ትክክለኛ መልስ ፣ የተሳሳተ ምንጭ። የድጋፍ ረዳት ትክክለኛውን የመመለሻ ጊዜ ቢገልጽም የተሳሳተ ጽሑፍን ጠቅሷል; ደንበኛው አገናኙን ጠቅ ሲያደርግ፣ ተዛማጅነት የሌለው ገጽ ተከፈተ። የጥቅስ ማረጋገጫ (የይገባኛል ጥያቄው በተጠቀሰው ክፍል ውስጥ መገኘቱን ማረጋገጥ) ሲታከል፣ የውሸት ጥቅስ መጠኑ ከ23% ወደ 2% ወርዷል።
ጉዳይ 3 — “አላውቅም” ፈቃድ አልተሰጠም። የHR ረዳት በሰነዱ ውስጥ ላልሆነ ጥያቄ አሳማኝ ነገር ግን የተሳሳተ መልስ ሰጥቷል። ግልጽ የሆነ "አላውቅም" ስምምነት እና ሙሉ ጽሁፍ ("ስለዚህ መረጃ በሰነዱ ውስጥ ማግኘት አልቻልኩም") ወደ ጥያቄው ሲጨመሩ, ምንም አይነት መልስ የሌላቸው ጥያቄዎች, ከመፍጠር ይልቅ, ከ 8% ወደ 95% ጨምሯል.
የተለመዱ ስህተቶች
- "አላውቅም" አለመፍቀድ፡ ሞዴሉ ክፍተቱን በፈጠራ ይሞላል።
- ፈጠራን ከፍ ማድረግ፡ የዘፈቀደ መሆን የድርጅት ታማኝነትን ይጎዳል።
- ምንጩን ሳያረጋግጡ ማመን፡ ሞዴሉ የተሳሳተውን ምንጭ ከትክክለኛው መልስ ጋር ማያያዝ ይችላል።
- በሁለቱ አይነት ቅዠቶች መካከል አለመለየት፡- የተሳሳተውን ቦታ በማንሳት ወይም በማፍለቅ ምክንያት እንደሆነ ሳታውቅ ታስተካክላለህ።
- ለመዋቢያዎች የተሳሳተ ጥቅስ፡- ምንጭን መጥቀስ ሁለቱም ማረጋገጫ እና መከላከያዎች ናቸው። በቁም ነገር ይውሰዱት።
ጥንቃቄ: "ሞዴሉ በጣም በራስ የመተማመን ስሜት ያለው ይመስላል" ከ "ሞዴሉ ትክክለኛ ነው" ጋር አንድ አይነት አይደለም. ቅዠቶች በአጠቃላይ በጣም አቀላጥፈው እና በራስ መተማመን ያላቸው ዓረፍተ ነገሮች ናቸው። አደራውን ከአረፍተ ነገሩ ቃና ሳይሆን ከሚጠቁመው ምንጭ አንብብ።
በማጠቃለያው
- ቅዠት ሞዴሉ የመረጃ ክፍተቱን በአሳማኝ ነገር ግን በውሸት ሲሞላ ነው; RAG ይቀንሳል ግን ዳግም አይጀምርም።
- ቅዠቱ በማገገም (የተሳሳተ ክፍል) ወይም ትውልድ (የተሳሳተ ንባብ) ሊከሰት ይችላል; መጀመሪያ የትኛውን ይወስኑ።
- የ Grounding በጣም ኃይለኛ ቴክኒክ ሞዴል ግልጽ "እኔ አላውቅም" ፈቃድ መስጠት ነው; እንዲሁም የጥቅስ ፍላጎት እና ዝቅተኛ ፈጠራ.
- ጥቅስ መልሱን የተረጋገጠ ያደርገዋል; ሁለቱም በራስ መተማመንን ይሰጣሉ እና ሞዴሉን በጥንቃቄ እንዲመረቱ ይገፋፋቸዋል.
- የጥቅሱ ትክክለኛነትም መረጋገጥ አለበት; የተሳሳተ ምንጭ ከትክክለኛው መልስ ጋር ሊጣመር ይችላል.
የመተግበሪያ ተግባር
(1) ረዳትዎን ለመጠየቅ 4 ጥያቄዎችን ያዘጋጁ, በሰነዶቹ ውስጥ የሌሉ መልሶች (ወጥመድ ጥያቄዎች). እያንዳንዱን በደካማ እና በጠንካራ ፍጥነት ፈትኑ እና ሞዴሉ የሚስማማ መሆኑን ወይም አለመሆኑን ምልክት ያድርጉበት። (2) መልሶቻቸው በሰነዱ ውስጥ ላሉት 4 ጥያቄዎች ሞዴሉ የመበየጃውን ቁጥር እንዲያመነጭ እና የሚያሳየው ትክክለኛ ክፍል መሆኑን በእጅ ያረጋግጡ። (3) ሞዴሉ ቢያንስ በአንድ ጉዳይ ላይ "ትክክለኛ መልስ, የተሳሳተ ምንጭ" መስጠቱን ያረጋግጡ እና ይህን በራስ-ሰር እንዴት እንደሚይዙ በአንድ ዓረፍተ ነገር ውስጥ ይፃፉ.
የማረጋገጫ ዝርዝር
- [ ] ቅዠቱ ለምን እየተፈጠረ እንደሆነ እና RAG እንደሚቀንስ ነገር ግን ዳግም እንደማያስጀመረው መናገር እችላለሁ።
- [ ] በማገገም እና በትውልድ-የተፈጠሩ ቅዠቶች መካከል መለየት እና ትክክለኛውን ቦታ ማስተካከል እችላለሁ።
- [ ] በጥያቄው ላይ ግልጽ የሆነ "አላውቅም" ፍቃድ እና መሰረታዊ ህጎችን እየጨመርኩ ነው።
- [ ] ለመልሱ የተረጋገጠ ምንጭ (ጥቅስ) እየጨመርኩ ነው።
- [ ] የመገለጫውን ትክክለኛነት የበለጠ ማረጋገጥ እንደሚያስፈልግ ተረድቻለሁ።