ማረጋገጫ፣ ቅዠት እና ሳይንሳዊ ታማኝነት

ትርፍ፡

• ቅዠት በቋንቋ ሞዴል ውስጥ እንዳለ የመረዳት ችሎታ እና ለእያንዳንዱ የውጤት አይነት ተገቢውን የማረጋገጫ ዘዴ ይምረጡ።
• ወሳኝ እሴቶችን በሁለት ገለልተኛ መንገዶች በሶስት ጎንዮሽ ያረጋግጡ እና ቅልጥፍናን ከትክክለኛነት ጋር አያምታቱ
• የሳይንሳዊ ታማኝነት መሰረት የሆነውን ግልጽነት፣ ክትትል፣ የውሂብ ታማኝነት እና የሰውን ሃላፊነት የመተግበር ችሎታ

በዚህ ሞጁል ውስጥ አንድ ነጠላ ሀረግ ደጋግሞ ተመልሷል፡ “AI ያዘጋጃል፣ ሰዎች ያረጋግጣሉ። በዚህ ክፍል ውስጥ, ያንን ዓረፍተ ነገር ወደ ስርዓት እንለውጣለን. አላማው ቅዠትን ማወቅ (ሀሰት/የተሰራ መረጃን በራስ መተማመን በማመንጨት)፣ የ AI በጣም አደገኛ ባህሪ የሆነውን፣ ለእያንዳንዱ የውጤት አይነት ተጨባጭ የማረጋገጫ ዘዴን መመስረት እና እነዚህን ሁሉ በሳይንሳዊ ታማኝነት ማዕቀፍ ውስጥ ማስቀመጥ (ታማኝነት፣ ግልጽነት፣ መከታተያ) ነው። በኬሚስትሪ ውስጥ ያልተረጋገጠ የ AI ውፅዓት ስህተት ብቻ አይደለም; እሱ የሚፈነዳ ሙከራ፣ አንድ ሰው ተመርዞ ወይም የሚገለበጥ ወረቀት ሊሆን ይችላል።

ለምን ቅዠት የማይቀር ነው?

ትልቁ የቋንቋ ሞዴል "ቀጣዩ በጣም ሊሆን የሚችል ቃል" ይፈጥራል; እውነት የሆነውን ሳይሆን የሚቻለውን ላይ ያነጣጠረ ነው። ስለዚህ ሞለኪውላዊ ክብደት፣ DOI ወይም የፈላ ነጥብ “ምክንያታዊ የሚመስለውን” እሴት መሙላት ይችላል - እውነት መሆኑን ሳያጣራ። ቅዠቱ ብልሽት አይደለም, ነገር ግን የዚህ ቴክኖሎጂ ተፈጥሮ ውጤት ነው. መፍትሄው ሞዴሉን "ለመስተካከል መሞከር" አይደለም, ነገር ግን በእያንዳንዱ ውፅዓት ዙሪያ የማረጋገጫ ቅርፊት መገንባት ነው.

በጣም ተንኮለኛው የቅዠት ገጽታ በራስ የመተማመን ቋንቋ ነው። ትክክል ያልሆነ ሞለኪውላዊ ክብደት ልክ እንደ ትክክለኛ በራስ መተማመን ቀርቧል። ስለዚህ "የሚተማመን ይመስላል" በጭራሽ "ትክክል" ማለት አይደለም.

ትኩረት፡ AI በአንድ ርዕሰ ጉዳይ ላይ ምን ያህል አቀላጥፎ እና በራስ መተማመን እንዳለው ከመረጃው ትክክለኛነት ጋር የተገናኘ አይደለም። ቅልጥፍና ያሳምናል; ትክክለኛነትን የሚወስነው ገለልተኛ ምንጭ ብቻ ነው።

በኬሚስትሪ የውጤት አይነት ማረጋገጥ

እያንዳንዱ የውጤት አይነት የራሱ የማረጋገጫ ዘዴ አለው. ነጠላ ህግን ከማስታወስ ይልቅ ለውጤቱ ተገቢውን መሳሪያ ይጠቀሙ፡-

የውጤት አይነት

የማረጋገጫ ዘዴ

ተሽከርካሪ

ሞለኪውላዊ ክብደት, ቀመር

ከቀመር እንደገና አስላ

RDKit / በእጅ

ፈገግታዎች/መዋቅር

መተንተን + ቀኖናዊ አድርግ

RDKit

ዋቢ/DOI

በውሂብ ጎታ ውስጥ ይፍቱ

doi.org፣ ክሮስሬፍ

አካላዊ ቋሚ (kn, pKa)

የማጣቀሻ ዳታቤዝ

PubChem፣ የእጅ መጽሐፍ

የቁጥር ስሌት

ኮድ ፃፍ+አሂድ

ፒዘን

ምላሽ / ሁኔታ

የስነ-ጽሁፍ ማረጋገጫ

Reaxys, ጽሑፍ

የደህንነት ጥያቄ

ኤስዲኤስ/ጂኤችኤስ

ኦፊሴላዊ ኤስ.ዲ.ኤስ

የ Spectrum ምደባ

ባለብዙ ቴክኒካል + ሰው

የሙከራ ስፔክትረም

ይህ ሰንጠረዥ በእውነቱ የዚህ ሞጁል ማጠቃለያ ነው፡ እያንዳንዱ ክፍል አንድ ረድፍ ነው።

ሶስት ማዕዘን: ሶስት ገለልተኛ መንገዶች

በጣም ኃይለኛው የማረጋገጫ ዘዴ "triangulation" ነው: በሦስት ገለልተኛ መንገዶች ተመሳሳይ መደምደሚያ ላይ መድረስ. ለምሳሌ ለሞለኪውላዊ ክብደት፡ (1) YZ ምን እንደሚል፣ (2) የ RDKit ስሌት፣ (3) ከቀመሩ በእጅ ስሌት። ሦስቱ ከተደራረቡ, መተማመን ከፍተኛ ነው; አንድ ሰው እየጠፋ ከሆነ ቆም ብለው ይመርምሩ። በኬሚስትሪ ውስጥ በአንድ ምንጭ ላይ በጭራሽ አይታመኑ; ቢያንስ ሁለት ገለልተኛ መንገዶችን ይፈልጉ።

ደረጃ በደረጃ፡ የማረጋገጫ የስራ ፍሰት

1. ውጽኢቱውን መደብ፡ ቍጽሪ፡ ውቅር፡ ምምሕዳር፡ ጸጥታውን መረጋገጺን?
2. ተገቢውን መሳሪያ ይምረጡ፡ ለውጤቱ አይነት ተገቢውን የማረጋገጫ መንገድ ከላይ ካለው ሰንጠረዥ ያግኙ።
3. አስላ/ በተናጥል ፈልግ፡ ተሽከርካሪውን ከአይ.አይ. ውጤቱን ማወዳደር.
4. ልዩነት ካለ፣ አቁም፡ እሴቶቹ የማይዛመዱ ከሆነ የትኛው ትክክል እንደሆነ ሳትመረምር አትቀጥል።
5. ምልክትዎን ይተው፡ ያረጋገጡትን እና እንዴት (ሳይንሳዊ ታማኝነት) ይመዝግቡ።
6. እርግጠኛ አለመሆንን ይግለጹ፡ ሊረጋገጥ የማይችልን ነገር እንደ "ያልተረጋገጠ" ምልክት አድርግበት፣ አትደብቀው።

አራት ሊገለበጡ የሚችሉ አብነቶች

1) ራስን ማረጋገጥ;

ልክ የሚከተለውን ውጤት ሰጥተሃል፡ [OUTPUT]። ተግባር፡ የእያንዳንዱን የቁጥር/የእውነታ ማረጋገጫ በተለየ መስመር ይዘርዝሩ። ለእያንዳንዱ አባባል፡ "እንዴት በገለልተኛነት ማረጋገጥ ይቻላል?" የመጻፍ ዘዴ (የትኛው መሣሪያ / የውሂብ ጎታ)። የይገባኛል ጥያቄው እውነት ነው ብለህ አትበል; እሱን ለማረጋገጥ መንገድ ብቻ ይስጡ።

2) የሶስት ማዕዘን መቆጣጠሪያ;

የሚከተለውን ሞለኪውል ክብደት በሶስት መንገዶች ማረጋገጥ እፈልጋለሁ፡ [SMILES]። ተግባር፡ 1) ሞለኪውላዊ ፎርሙላውን አውጣ።2) የሞለኪውላዊ ክብደት ስሌት አቶም በአተም አሳይ (የእያንዳንዱ ንጥረ ነገር መዋጮ)።ማስታወሻ፡ እኔም በ RDKit ውስጥ አስላዋለሁ እና በሶስተኛ ደረጃ ከሰጠኸው ጋር አወዳድር። ሶስቱ ካልተደራረቡ አስጠንቅቁ።

3) ግልጽ ያልሆነ ምልክት;

በሚከተለው ጽሁፍ ውስጥ በርካታ የይገባኛል ጥያቄዎች አሉ፡[TEXT] ተግባር፡ የመተማመን ደረጃ መለያ ከእያንዳንዱ የይገባኛል ጥያቄ ቀጥሎ፡[VERIFIED] / [VERIFIED] / [UNCERTAIN] ያድርጉ።እርግጠኛ ካልሆኑ ምንም [የተረጋገጠ] ምልክት አታድርጉ።

4) የወጥነት መስቀለኛ ጥያቄ፡-

ተመሳሳይ ጥያቄን በሁለት የተለያዩ መንገዶች እጠይቃለሁ; መልሶችዎ ወጥነት ያላቸው መሆናቸውን ይመልከቱ። ጥያቄ ሀ፡ የውሁድ ሞለኪውላዊ ቀመር ምንድነው?

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ፡

ስለዚህ ግቢ የሚያውቁትን ሁሉ ይጻፉ።

AI ያለአንዳች ልዩነት የተረጋገጠ እና የፈጠራ መረጃን ያቀላቅላል; የትኛው እውነት እንደሆነ ግልጽ አይደለም።

ጠንካራ፡

ስለዚህ ግቢ መረጃ ያቅርቡ፣ ነገር ግን እያንዳንዱን የይገባኛል ጥያቄ እንደሚከተለው ሰይመው፡[DETERMINISTIC - በመሳሪያ የተረጋገጠ] ለምሳሌ፡ ሞለኪውላር ፎርሙላ፣[ሙከራ - ጥቅስ ያስፈልጋል] ለምሳሌ መቅለጥ ነጥብ፣[ያልተረጋገጠ - እርግጠኛ አይደለም]። ምንም ያልተሰየሙ የይገባኛል ጥያቄዎችን አይጻፉ።

ልዩነት: AI በራሱ እርግጠኛ አለመሆንን እንዲያመለክት አስገድደናል; የማረጋገጫ ስራውን በዕቅድ አደረግን።

ሳይንሳዊ ታማኝነት: ታማኝነት እና ክትትል

ማረጋገጥ ቴክኒካል እርምጃ ብቻ ሳይሆን የስነምግባር ጉዳይ ነው። ሳይንሳዊ ታማኝነት የሚከተሉትን ይጠይቃል

• ግልጽነት: AI እየተጠቀሙ እንደሆነ አይደብቁ; በእርስዎ የህትመት/ሪፖርት ፖሊሲ መሰረት ይግለጹ።
• የመከታተያ ችሎታ፡ ከ AI ምን ውፅዓት እንደመጣ እና እንዴት እንደተረጋገጠ ይመዝግቡ።
• የውሂብ ታማኝነት፡ በ AI ውጤትን ማስዋብ፣ ያለምክንያት መውጣት ማጭበርበር ነው።
• ኃላፊነት: ለመጨረሻው ውጤት ተጠያቂው እርስዎ ነዎት; “ኤአይኤ እንዲህ ብሏል” ሰበብ አይደለም።

ጠቃሚ ምክር፡- በሪፖርትም ሆነ በመከላከያ ውስጥ “ኤአይኤ እንዲህ አለ” የሚለውን ሐረግ በጭራሽ መጠቀም እንደማትችል ከመጀመሪያው ተቀበል። ይህ ተቀባይነት በራስ-ሰር እያንዳንዱን ምርት የማረጋገጥ ልማድ ያመጣል።

አነስተኛ ጉዳዮች

ጉዳይ 1 - የሶስት ማዕዘን ቅርጽ ስህተት ተይዟል. አንድ ተማሪ ሞለኪውላዊ ክብደትን በሶስት መንገድ አረጋግጧል፡ YZ አለ 178.2፣ በእጅ ስሌት 180.16 ሰጥቷል፣ RDKit 180.16 ሰጥቷል። ሁለት ገለልተኛ ዱካዎች ተደራራቢ እና AI ተወግደዋል። ትምህርት፡ ሁለት ገለልተኛ ማረጋገጫዎች አንድ የውሸት ውጤት በጸጥታ አሸንፈዋል።

ጉዳይ 2 - ደህንነቱ የተጠበቀ ቋንቋ ፣ የተሳሳተ መረጃ። AI ምላሽ "በቤት ሙቀት ውስጥ በድንገት ይሰራል" በማለት በጣም በራስ መተማመን ጽፏል. ጽሑፎቹ እንደሚያሳዩት ይህ ማሞቂያ እና ማነቃቂያ ያስፈልገዋል. ተማሪው አስተማማኝ ቋንቋ ሳይሆን ምንጩን ያምናል። ትምህርት: ቅልጥፍና ትክክለኛነት አይደለም.

ጉዳይ 3 - ግልጽነት አግኝቷል. በጽሑፋቸው ዘዴ ክፍል ውስጥ አንድ ተመራማሪ AI (የጽሑፍ አርትዖት, ኮድ ማርቀቅ) የትኞቹን እርምጃዎች እንደተጠቀመ በግልጽ ተናግሯል እና ሁሉንም የቁጥር ውጤቶችን በራሱ አረጋግጧል. የዳኝነት ሒደቱ ያለችግር ሄደ። ትምህርት፡ ግልጽነት መተማመንን ይፈጥራል፣ መደበቅ አደጋን ይፈጥራል።

የተለመዱ ስህተቶች

• ደህንነቱ የተጠበቀ ቋንቋ ማመን። የ AI በራስ የመተማመን ቃና ትክክለኛነት አመላካች አይደለም።
• በአንድ ምንጭ ላይ መታመን. ሶስት ማዕዘን ሳይኖር አንድ ነጠላ ውጤት መቀበል.
• የውጤት አይነት አለመለያየት። ቁጥሩን፣ መለያውን እና የደህንነት ማረጋገጫውን በተመሳሳዩ ዘዴ "ፈትሸው" ብዬ በማሰብ።
• እርግጠኛ አለመሆንን መደበቅ። እርግጠኛ ሆኖ ሊረጋገጥ የማይችል ነገር ሪፖርት ማድረግ።
• የ AI አጠቃቀምን መደበቅ. ግልጽነት ማጣት ሳይንሳዊ ታማኝነትን ያዳክማል።
• ኃላፊነት መስጠት. “AI እንዲህ አለ” የሚለው ሰበብ ልክ ያልሆነ ነው፤ ኃላፊነቱ በሰውየው ላይ ነው።

በማጠቃለያው

• ቅዠት በቋንቋ ሞዴል ውስጥ ተፈጥሯዊ ነው; መፍትሄው በእያንዳንዱ ውፅዓት ዙሪያ የማረጋገጫ ቅርፊት መገንባት ነው.
• እያንዳንዱ የውጤት አይነት የራሱ የማረጋገጫ ዘዴ አለው; ውጤቱን ይመድቡ እና ተገቢውን መሳሪያ ይጠቀሙ.
• ትሪያንግል (ሁለት ገለልተኛ መንገዶች) በጣም ጠንካራ ቁጥጥር ነው; አንድን ምንጭ አትመኑ።
• ቅልጥፍና እና በራስ የመተማመን ቋንቋ ከትክክለኛነት ጋር የተገናኘ አይደለም.
• ሳይንሳዊ ታማኝነት ግልጽነት፣ ክትትል፣ የውሂብ ታማኝነት እና የሰው ሃላፊነት ይጠይቃል።

የመተግበሪያ ተግባር

ሆን ተብሎ በ AI ክፍለ ጊዜ ውስጥ የተለያዩ ውጤቶችን ያመርቱ፡ ሞለኪውላዊ ክብደት፣ ማጣቀሻ፣ አካላዊ ቋሚ፣ የደህንነት ጥያቄ፣ የቁጥር ስሌት። እያንዳንዱን በተናጥል በትክክለኛው ዘዴ ያረጋግጡ (ሰንጠረዡን ይመልከቱ)። ቢያንስ አንድ ቅዠትን ለመያዝ ይሞክሩ። ከዚያም "የማረጋገጫ ማትሪክስ" ያዘጋጁ: የረድፎች ውጤቶች, ዓምዶች (AI እሴት / ገለልተኛ እሴት / ተደራራቢ አደረገው / እንዴት እንዳረጋገጥኩት). ይህን ክፍለ ጊዜ ከሳይንሳዊ ታማኝነት አንፃር እንዴት ሪፖርት ያደርጋሉ?

የማረጋገጫ ዝርዝር

• [ ] ለምን ቅዠት የማይቀር እንደሆነ ይገባኛል።
• [ ] እያንዳንዱን ውፅዓት እንደየአይነቱ እከፋፍላለሁ እና በተገቢው ዘዴ አረጋግጣለሁ።
• [] ወሳኝ በሆኑ እሴቶች ላይ ሶስት ማዕዘን (ሁለት ገለልተኛ መንገዶች) አደርጋለሁ።
• [ ] አስተማማኝ ቋንቋ ሳይሆን ምንጭን አምናለሁ።
• [ ] ሊረጋገጥ የማይችለውን እንደ "ያልተረጋገጠ" ምልክት አደርጋለሁ።
• [ ] በ AI አጠቃቀሜ ግልፅ ነኝ እና ለውጤቱ እራሴን ተጠያቂ አድርጌያለሁ።