የስነ-ጽሁፍ ግምገማ እና የእውቀት ውህደት፡ RAG፣ ስልታዊ ማጠናቀር እና መላምት ማመንጨት

ትርፍ፡

• ግልጽ የውይይት መሳሪያዎች የውሸት ማጣቀሻዎችን እንደሚያመርቱ የመረዳት ችሎታ እና እያንዳንዱን ምንጭ በእውነተኛው የውሂብ ጎታ ውስጥ የማረጋገጥ ዲሲፕሊን መተግበር።
• የስነ-ጽሁፍ ውህደትን ከትክክለኛ ሰነዶች ከ RAG (የሃብት ጥገኛ ትውልድ) አቀራረብ ጋር በማገናኘት ቅዠትን የመቀነስ ችሎታ.
• በስልታዊ ግምገማ ውስጥ ለቅድመ ምርመራ አርቴፊሻል ኢንተለጀንስ በመጠቀም እና የመጨረሻውን ውሳኔ እና ግልፅነት በሰው እጅ ውስጥ በማስቀመጥ መላምቶችን ከማስረጃ ይልቅ እንደ መጀመሪያ የመተርጎም ችሎታ።

በባዮኢንጂነሪንግ ውስጥ የእውቀት ፍንዳታ እውነተኛ ችግር ነው-በአንድ ርዕስ ላይ በሺዎች የሚቆጠሩ ጥናቶችን በማሰባሰብ በመቶ ሺዎች የሚቆጠሩ ጽሑፎች በየዓመቱ ይታተማሉ። አንድ መሐንዲስ መላምት ከመመሥረቱ፣ ዘዴ ከመምረጥ ወይም ውጤቱን ከመተርጎም በፊት ተዛማጅ ጽሑፎችን መቃኘት አለበት። ግን ይህ በእጅ ሳምንታት ይወስዳል። በሥነ ጽሑፍ ግምገማ ፣ ማጠቃለያ እና የመረጃ ውህደት ውስጥ ብዙ ጊዜ ከሚቆጥብባቸው አካባቢዎች አንዱ AI ነው። ግን እሱ ደግሞ በጣም አደገኛው የቅዠት ምንጭ ነው፡ AI የማይገኙ መጣጥፎችን፣ የተፈበረኩ DOIs እና አስመሳይ ግኝቶችን ማምረት ይችላል። የዚህ ክፍል ዋና ትምህርት AI በሥነ ጽሑፍ ውስጥ ሲጠቀሙ እያንዳንዱን የይገባኛል ጥያቄ ከዋናው ምንጭ ጋር የማገናኘት ተግሣጽ ነው።

በዚህ ክፍል ውስጥ AI እንዴት በደህና ስነ-ጽሁፍ ግምገማ ውስጥ እንዴት እንደሚጠቀሙ ይማራሉ, ለምን RAG (Retrieval-Augmented Generation — AI ፈልጎ ያገኘው እና ከትክክለኛው የሰነድ ዳታቤዝ መልሱን ያመጣል, ከማስታወሻው አይደለም) አቀራረብ የበለጠ አስተማማኝ, ስልታዊ ግምገማ ድጋፍ እና መላምት ማመንጨት.

ለምን ግልጽ ውይይት መሣሪያ አደገኛ ነው?

የቋንቋ ሞዴልን ሲነግሩ "ስለ ይህ ማለት ፈሳሽ ነገር ግን የተሰሩ ማጣቀሻዎች: የጸሐፊ ስሞች, መጽሔቶች, ዓመታት እና DOIs እውን እንደሆኑ አድርገው ይናገሩ. ስለዚህ, በሥነ ጽሑፍ ግምገማ ውስጥ ሁለት ደንቦችን ፈጽሞ አይጥሱ: (1) እያንዳንዱን ማጣቀሻ በትክክለኛው የውሂብ ጎታ (PubMed, Google ምሁር, የመጽሔት ገጽ), (2) ከተቻለ በ RAG ላይ የተመሰረቱ መሳሪያዎችን ከእውነተኛ መጣጥፎች ጋር የተገናኙትን ይጠቀሙ (scite).

ማስጠንቀቂያ፡ የ AI ምስክርነት እውነተኛ ሊመስል ይችላል - በትክክለኛው ቅርጸት፣ በሚታወቀው ጆርናል፣ ምክንያታዊ አመት። ይህ ማለት ግን አለ ማለት አይደለም። አንድን መጣጥፍ በPubMed/DOI ስታገኙት እና ሲከፍቱት ብቻ እንዳለ አስቡበት። በሕትመትዎ ውስጥ የፈጠራ ማጣቀሻን ማካተት ሳይንሳዊ ስምዎን ሊያጠፋ የሚችል ስህተት ነው።

RAG: በንብረት ላይ የተመሰረተ ምርት

በ RAG አቀራረብ ፣ AI በመጀመሪያ ተዛማጅ ምንባቦችን ከእውነተኛ ሰነድ ማከማቻ (ከሰቀሏቸው ፒዲኤፍ ወይም ሳይንሳዊ ዳታቤዝ) ያገኛል ፣ ከዚያ በእነዚያ ምንባቦች ላይ በመመርኮዝ መልሱን ያመነጫል እና ወደ ምንጩ ይጠቁማል። ይህ ቅዠትን በእጅጉ ይቀንሳል ምክንያቱም ሞዴሉ "ማሰብ" ሳይሆን "መጥቀስ" አለበት. የእራስዎን የፒዲኤፍ ቤተ-መጽሐፍት ለ RAG መሳሪያ መስጠት እና "እነዚህ 40 መጣጥፎች ስለ ስለዚህ እና ስለ ምን ይላሉ" ብሎ መጠየቅ ከቀጥታ ውይይት የበለጠ አስተማማኝ ነው; ሆኖም የእያንዳንዱን ጥቅስ ምንባብ በእውነተኛው መጣጥፍ ውስጥ ተመልከት።

ጠቃሚ ምክር፡ RAGን በሚጠቀሙበት ጊዜ እንኳን “ምንጩን ጥቀሱ እና እኔ ካቀረብኩት ሰነድ ብቻ መልሱን፣ የሰነድ ያልሆኑ መረጃዎችን እንዳትጨምሩ” በማለት በግልፅ ያስተምሩ። ከዚያም ሞዴሉ የሚያመለክተውን ምንባቡን በእውነተኛው ሰነድ ውስጥ ያግኙ. እነዚህ ሁለት ደረጃዎች የእርስዎን ውህደት ተከላካይ ያደርጉታል።

ስልታዊ ግምገማ እና መላምት ማመንጨት

ስልታዊ ግምገማ - ሁሉንም ተዛማጅ ጽሑፎችን በግልፅ እና ሊባዛ በሚችል ዘዴ በመቃኘት ለአንድ የተወሰነ ጥያቄ መልስ መስጠት - ከፍተኛ ዘዴያዊ ጥብቅነትን ይፈልጋል፡ የፍለጋ ስልት፣ የማካተት/የማግለያ መስፈርት፣ የውሂብ ማውጣት። AI የዚህን ሂደት ሜካኒካል ክፍሎችን ያፋጥናል (የአብስትራክት ማጣሪያ, የመጀመሪያ ደረጃ ማጣሪያ, የውሂብ ማውጣት ረቂቅ), ነገር ግን የእያንዳንዱ ውሳኔ ሃላፊነት እና ግልጽነት (ወረቀትን ማካተት ወይም ማግለል) በተመራማሪው ላይ ነው. AI በተጨማሪም የስነ-ጽሑፍ ክፍተቶችን በመጠቆም መላምት ማመንጨትን ያነሳሳል; ነገር ግን የሚያመጣው መላምት መነሻ እንጂ ማስረጃ አይደለም።

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - መቃኘት 10x አፋጠነ። የግምገማ ቡድን 1,850 መጣጥፎችን ማጣራት ነበረበት። በRAG ላይ በተመሰረተ መሳሪያ፣የማካተት/የማግለል ቅድመ-ብቃት ከ3 ቀን ወደ 5 ሰአታት አልፏል። ነገር ግን ሁለት ተመራማሪዎች AI "የተገለሉ" ብሎ የጠረጣቸውን 120 ጽሑፎችን ፈትሸው 9 የውሸት ማስወገጃዎችን አገግሟል። AI ምርጫውን አደረገ, የሰው ልጅ የመጨረሻውን ውሳኔ አደረገ.

ጉዳይ 2 - የተሰራ ማመሳከሪያ ተያዘ. አንድ ፒኤችዲ ተማሪ ለመመረቂያው መግቢያ 15 ማጣቀሻዎችን YZ ጠየቀ። PubMed ላይ ሲፈተሽ 6ቱ በፍፁም እንዳልነበሩ እና 3ቱ በተሳሳተ ደራሲ ተጠርጥረው ተደርገዋል። ግልጽ የውይይት መሣሪያ እውነተኛ ግን የውሸት መጽሐፍ ቅዱሳዊ ጽሑፍን አዘጋጀ። ማረጋገጥ የአካዳሚክ አደጋን አስቀርቷል።

ጉዳይ 3 - መላምት መነሳሳት. የሜታቦሊክ ኢንጂነሪንግ ቡድን ለ AI የ 60 ወረቀቶችን ኮርፐስ ሰጠው እና "የትኞቹ መንገዶች አልተማሩም?" AI ወደ ያልተረጋገጠ የኢንዛይም ውህደት አመልክቷል። ቡድኑ ይህንን እንደ መላምት ወስዶ በስነ-ጽሁፍ ውስጥ አረጋግጧል እና ሙከራን ነድፏል; በመጨረሻም ምርታማነትን የሚጨምር እውነተኛ ግኝት አመጡ። ተመስጦ የመጣው ከ AI፣ ማስረጃው ከሙከራ የመጣ ነው።

አራት ሊገለበጡ የሚችሉ አብነቶች

1) ከምንጭ ጋር የተያያዘ የስነ-ጽሁፍ ውህደት (RAG)፡-

የእርስዎ ሚና፡ የሳይንሳዊ ግምገማ ረዳት። ከሰቀልኳቸው ሰነዶች ብቻ መልስ; ምንም ተጨማሪ የሰነድ መረጃ አይጨምሩ። ለእያንዳንዱ የይገባኛል ጥያቄ የምንጩን ሰነድ ስም እና ተዛማጅ ምንባብ ይስጡ። በሰነዶቹ ውስጥ መልስ ለሌለው ጥያቄ "በሰነዶቹ ውስጥ የለም" ይበሉ. ማጣቀሻ፣ DOI ወይም FITTING ማግኘት።ጥያቄ፡ [ጥያቄ]

2) የማጣቀሻ ዲሲፕሊን;

ርዕስ እሰጥሃለሁ። ሊሆኑ የሚችሉ ቁልፍ ቃላትን እና የፍለጋ ስልትን (ከPubMed አገባብ ጋር) ይጠቁሙ። ግን የአንተ መጣጥፍ ዝርዝር የውሸት ነው; እኔ እራሴ እደውላለሁ ። በምትኩ መጠቀም ያለብኝን ውሎች፣ ማጣሪያዎች እና የማካተት/የማግለያ መስፈርቶችን ንገረኝ።

3) ስልታዊ ማጠናቀር የማስወገድ እርዳታ፡

የጽሑፉን ርዕስ+ ማጠቃለያዎችን እሰጥዎታለሁ። የሚከተሉትን የማካተት መመዘኛዎች መሰረት በማድረግ ለእያንዳንዳቸው ማካተት/ማግለል/ግልጽ አለማድረግ ይጠቁሙ (ያካትተው፡ [መስፈርት]) እና RATIONALEን ይፃፉ። “እርግጠኛ ያልሆኑትን” እጄን እገመግማለሁ። ውሳኔው የመጀመሪያ እንጂ የመጨረሻ እንዳልሆነ አስተውል; ያለ ማመካኛ ማንኛውንም ጽሑፍ አያስወግዱ።

4) መላምት ማመንጨት (በጥንቃቄ)፡-

በአንድ ርዕስ ላይ የግኝቶችን ማጠቃለያ እሰጥዎታለሁ። በጂኤፒኤስ ላይ የተመሠረቱ 3 ሊፈተኑ የሚችሉ መላምቶችን በስነ-ጽሁፍ እና ያልተሞከሩ ውህዶች ጠቁሙኝ። ለእያንዳንዱ መላምት፡ መሰረቱን፣ እንዴት እንደሚሞከር እና START እንጂ ማስረጃ እንዳልሆነ ይግለጹ። በሌሉ ማስረጃዎች ላይ አትመኑ.

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ ጥያቄ፡

ስለ ኢንዛይም ምህንድስና ከ CRISPR ጋር 10 መጣጥፎችን ፈልጉ እና ጠቅለል አድርጉልኝ።

ሞዴሉ ትክክለኛ ፍለጋዎችን አያደርግም; ምናልባት የውሸት ማጣቀሻዎችን ያመነጫል።

ኃይለኛ ጥያቄ፡-

የእርስዎ ሚና፡ ረዳት ይገንቡ። በሰቀልኳቸው 12 ፒዲኤፍዎች ብቻ፣ በ"CRISPR ላይ የተመሰረተ ኢንዛይም ኢንጂነሪንግ" በሚለው ርዕሰ ጉዳይ ላይ ዋና ግኝቶችን አሰባስባለሁ። ለእያንዳንዱ ግኝት ከየትኛው ፒዲኤፍ እንደመጣ እና ሙሉውን ምንባብ አሳይ። በፒዲኤፍ ውስጥ የሌሉ ጥናቶችን፣ DOIs ወይም ውጤቶችን አትጨምሩ። ያልተሸፈኑ ማናቸውንም ንዑስ ርዕሶች "በእነዚህ ሰነዶች ውስጥ ያልተካተቱ" ብለው ምልክት ያድርጉባቸው።

ልዩነት፡ ከትክክለኛ ሰነዶች ጋር ማገናኘት፣የምንጭ+መተላለፊያ መስፈርት፣በመፍጠር ላይ መከልከል እና የወሰን ታማኝነት።

የስነ-ጽሁፍ ስራዎች እና አስተማማኝ አቀራረብ

ተልዕኮ

አደገኛ መንገድ

አስተማማኝ መንገድ

ማረጋገጥ

አንድ ጽሑፍ ያግኙ

ወደ ቻቱ "ፈልግ" በማለት

PubMed + RAG መሣሪያ

በ DOI ውስጥ ማረጋገጫ

ማጠቃለል

ያለ ሰነድ ማጠቃለያ

ከተጫነ ፒዲኤፍ ማጠቃለያ

ሓቂ እዩ።

ማስወገድ

በ AI ላይ ዕውር እምነት

AI ቅድመ-ብቃት + የሰው

ሁለተኛ ገምጋሚ

ውህደት

ነጻ ምርት

ምንጭ ጥገኛ ውህደት

የጥቅስ ማረጋገጫ

መላምት

"ማስረጃ" ብሎ በመሳሳት

መነሻ ነጥብ

የሙከራ ፈተና

የተለመዱ ስህተቶች

• ማጣቀሻዎችን አለማረጋገጥ። AI ተጨባጭ ግን የውሸት ሀብቶችን ያመነጫል; እያንዳንዳቸው በመረጃ ቋቱ ውስጥ መታየት አለባቸው.
• ለጥሪ የተሳሳተ ግልጽ ውይይት። ሞዴሉ ከማስታወስ ያመነጫል; ትክክለኛ ፍለጋ RAG/database ያስፈልገዋል።
• የማስወገጃ ውሳኔን ሙሉ በሙሉ ማስተላለፍ. ትክክል ያልሆነ መወገድ ስብስቡን ይሰብራል; ሁለተኛ ገምጋሚ ​​ያስፈልጋል።
• ለመረጃ የሚሆን መላምት ስህተት። በ AI የተፈጠረው መላምት በሙከራ እስኪሞከር ድረስ መላምት ነው።
• ወሰን ማጋነን. AI "ሁሉንም ነገር ቃኘሁ" የሚል ስሜት ሊሰጥ ይችላል; ትክክለኛውን ወሰን ሰነዱ።

በማጠቃለያው

የስነ-ጽሁፍ ግምገማ AI ብዙ ጊዜ የሚቆጥብበት ነገር ግን ብዙ ቅዠቶችን የሚያመርትበት አካባቢ ነው። ግልጽ የውይይት መሳሪያዎች እውነተኛ ግን የውሸት ምስክርነቶችን ሊሰጡ ይችላሉ; ስለዚህ እያንዳንዱን ምንጭ ከእውነተኛው የውሂብ ጎታ ጋር ያረጋግጡ እና ከተቻለ በ RAG ላይ የተመሰረቱ መሳሪያዎችን በእውነተኛ ሰነዶች ላይ ይጠቀሙ። ስልታዊ ግምገማ ውስጥ, AI የመጀመሪያ ደረጃ ምርመራን ያከናውናል, ነገር ግን የመጨረሻው ውሳኔ እና ግልጽነት የተመራማሪው ነው. AI መላምት ማመንጨት ያነሳሳል; ያ መላ ምት በሙከራ እስካልተረጋገጠ ድረስ መነሻ እንጂ ማስረጃ አይደለም።

የመተግበሪያ ተግባር

አንድ ርዕስ ይምረጡ እና AI (በግልጽ የውይይት መሣሪያ) “በዚህ ርዕስ ላይ 8 መጣጥፎችን ይፈልጉ እና ጠቅለል ያድርጉ” ይበሉ። በPubMed ወይም DOI ላይ የሚሰጠውን እያንዳንዱን ማመሳከሪያ አንድ በአንድ ያረጋግጡ እና ምን ያህል እውነተኛ እንደሆኑ ይቁጠሩ። ከዚያ በ RAG መሳሪያ ወይም እራስዎን ያወረዷቸውን ጥቂት ፒዲኤፍዎች በመጫን እና "ከእነዚህ ሰነዶች ብቻ መልስ" በሚለው መመሪያ ተመሳሳይ ተግባር ይድገሙት. የሁለቱን አቀራረቦች አስተማማኝነት አጭር ንጽጽር ይጻፉ.

የማረጋገጫ ዝርዝር

• [ ] AI የሰጠውን እያንዳንዱን ማጣቀሻ ከእውነተኛው የውሂብ ጎታ ጋር አረጋግጫለሁ።
• [] በሥነ ጽሑፍ ውህደት ውስጥ ከምንጭ-ጥገኛ (RAG/የተጫነ ሰነድ) አካሄድ ተጠቀምኩ።
• [ ] የማጣራት ውሳኔዎቹን ከሁለተኛ ገምጋሚ ​​ጋር ኦዲት አድርጌያለሁ።
• [ ] በ AI የተፈጠረውን መላምት እንደ ማስረጃ ሳይሆን ለመፈተሽ ጅምር ነው የወሰድኩት።
• [ ] በዋናው መጣጥፍ ውስጥ የእያንዳንዱን ጥቅስ ምንባብ አየሁ።
• [ ] የፍተሻውን ትክክለኛ መጠን እና ውስንነት በሐቀኝነት መዝግቤአለሁ።