ትርፍ፡
- p-hacking፣ HARKing፣ መራጭ ሪፖርት ማድረግ እና የሹካ ጎዳናዎች የአትክልት ስፍራ የውሸት ግኝቶችን እንደሚያወጡ ይረዱ እና አርቴፊሻል ኢንተለጀንስ እነዚህን ወጥመዶች እንዴት እንደሚያፋጥን ይመልከቱ።
- እንደ ቅድመ-ምዝገባ ፣ የትንታኔ እቅድ ፣ በርካታ የንፅፅር ዲሲፕሊን እና የስሜታዊነት ትንተና ያሉ መከላከያዎችን በሰው ሰራሽ የማሰብ ድጋፍ የማቋቋም ችሎታ።
- አርቴፊሻል ኢንተለጀንስ 'ትርጉም ያለው ውጤት ለማግኘት' አይነት ጥያቄዎችን ውድቅ እንዲያደርግ እና የመጨረሻው ኃላፊነት በተመራማሪው ላይ መሆኑን የታማኝነት ጥያቄን ንድፍ ወደ ውስጥ ማስገባት መቻል።
በቀደመው ክፍል ውስጥ p-value ምን እንደሆነ እና ምን እንዳልሆነ አይተናል. በዚህ ክፍል ውስጥ የስታቲስቲካዊ ታማኝነትን አደጋ ላይ የሚጥሉ ስልታዊ ወጥመዶችን የጠቆረውን ርዕስ እንመለከታለን። ከእነዚህ ውስጥ አብዛኞቹ ሆን ተብሎ ማጭበርበር አይደሉም; እነዚህ ጥሩ ዓላማ ያላቸው ተመራማሪዎች ሳይቀሩ የሚወድቁባቸው መሠሪ ዘዴዎች ናቸው። እና አርቴፊሻል ኢንተለጀንስ (AI) በደርዘን የሚቆጠሩ ትንታኔዎችን በሰከንዶች ውስጥ ለማካሄድ ስለሚያስችል እነዚህን ችግሮች ቀላል እና ፈጣን ያደርጋቸዋል። የዚህ ክፍል አላማ AIን ከ"ትርጉም የውጤት መፈለጊያ ማሽን" ወደ ታማኝ ረዳትነት የሚቀይር ዲሲፕሊን ማቋቋም ነው።
መሰረታዊ ወጥመዶች
p-hacking (p-value Hunt): ጉልህ የሆነ ውጤት (p<0.05) እስኪገኝ ድረስ ትንታኔውን በተለያየ መንገድ እንደገና እየሞከረ ነው. ተለዋዋጮችን ማከል እና ማስወገድ ፣ ንዑስ ናሙናዎችን መምረጥ ፣ የውጪዎችን ትርጉም መለወጥ ፣ የተለያዩ ለውጦችን መሞከር ፣ የተለያዩ የውጤት ተለዋዋጮችን መጠቀም ፣ ትርጉም ያለው በሚሆንበት ጊዜ የመረጃ መሰብሰብን ማቆም ... እያንዳንዱ ሙከራ አዲስ “ዕድል” ይሰጣል ። በበቂ ሁኔታ ከሞከርክ፣ ምንም እንኳን ውጤት ባይኖረውም ከመካከላቸው አንዱ ትርጉም ያለው ይሆናል። ውጤቱ፡ የታተሙ ግን ሊባዙ የማይችሉ አስመሳይ ግኝቶች።
HARKing (ውጤቱ ከታወቀ በኋላ መላምት)፡- ውጤቱን አይቶ መላምት ማድረግ እና “ከመጀመሪያው እንደዚህ ተንብየዋለሁ” ብሎ አቅርቧል። ውሂቡን ይመለከታሉ እና በጣም የሚያስደንቀውን ግንኙነት ያገኛሉ፣ ከዚያ ያንን መላምት ለመፈተሽ እንደተሰራ ወረቀቱን ይፃፉ። ይህ ግኝቱ እንደ ማረጋገጫ እንዲመስል በማድረግ አንባቢውን ያሳስታል።
የተመረጠ ሪፖርት ማድረግ (የቼሪ መልቀም)፡- “ጥሩ” የሆኑትን ብቻ ከብዙ ትንታኔዎች ሪፖርት ማድረግ እና የቀረውን በጸጥታ መቅበር። ይህ ደግሞ "የፋይል መሳቢያ ችግር" በመባልም ይታወቃል፡ ትርጉም የለሽ ውጤቶች በመሳቢያው ውስጥ ይቀራሉ፣ ይህም ጽሑፎቹን ስልታዊ በሆነ መልኩ ያዳላ ያደርገዋል።
የመንጠፊያ መንገዶች የአትክልት ስፍራ: የአንድሪው ጌልማን ቃል. አንድ ሆን ተብሎ p-ጠለፋ ባይኖርም, ተመራማሪው በመረጃው ላይ ተመስርተው ብዙ ምክንያታዊ ምርጫዎችን ያደርጋል (የትኛው ተለዋዋጭ, የትኛው ገደብ, የትኛው ንዑስ ቡድን, የትኛው ለውጥ). እነዚህ የምርመራ የነፃነት ደረጃዎች በጣም ብዙ ከመሆናቸው የተነሳ ትርጉም ያለው ከብዙ ትንታኔዎች ውስጥ ውጤታማ በሆነ መንገድ እየመረጡ ነው - ምንም እንኳን ያለ ምንም ዓላማ። ውጤቱ እንደገና እየጨመረ የውሸት አዎንታዊ መጠን ነው።
ይጠንቀቁ፡ አብዛኛዎቹ እነዚህ ወጥመዶች ሆን ተብሎ የሚደረግ ተንኮል አይደሉም። እንደ “ተጨማሪ ጥቂት ሞዴሎችን ሞክሬያለሁ”፣ “ውጫዊውን ሳወጣ የበለጠ ንፁህ ነበር”፣ “በዚህ ንዑስ ቡድን ውስጥ ያለው ተፅዕኖ የበለጠ ግልፅ ነው” የመሳሰሉ ንፁሀን የሚመስሉ እርምጃዎች ድምር አጭበርባሪ ግኝት ሊፈጥር ይችላል። ታማኝነት ዘዴ እንጂ አላማ አይደለም።
ለምን AI እነዚህን ወጥመዶች ያሰፋዋል?
3 ሞዴሎችን በእጅ መሞከር ጊዜ ይወስዳል; YZ 50 የሞዴል ተለዋጮችን፣ 10 የተለያዩ ልወጣዎችን፣ 8 ንዑስ ቡድኖችን በደቂቃዎች ውስጥ ያዘጋጃል። ይህ ኃይል ያለ ሐቀኛ ዕቅድ አስከፊ ነው፡- “በዚህ ውሂብ ውስጥ ትርጉም ያለው ግንኙነት ፈልግ” ወይም “ይህን መላምት የሚደግፍ ሞዴል ገንባ” የሚለው ጥያቄ AI ን በቀጥታ ወደ p-hacking ሞተር ይለውጠዋል። AI ደግሞ አጋዥ መሆን ይፈልጋል; እርስዎን የሚያረካ "ትርጉም" ውጤት የማግኘት አዝማሚያ አለው። ለዚህ ነው የፈጣን ንድፍህ የሐቀኝነት ቀዳሚው የመከላከያ መስመር የሆነው።
መከላከያዎች፡ ፍትሃዊ የንግድ ሥራ
1. ቅድመ-ምዝገባ፡- ትንተናውን ከማካሄድዎ በፊት የእርስዎን መላምት፣ ተለዋዋጮች፣ ሞዴል እና ፈተናዎች በጽሁፍ (ምናልባትም በጊዜ ማህተም በተዘጋጀ መድረክ ላይ) መመዝገብ ማለት ነው። ስለዚህ, ግኝት ከማረጋገጫ ተለይቷል; ከዚያ በኋላ የሚቀይሩት ማንኛውም ነገር እንደ "አሳሽ" ተሰጥቷል.
2. የትንታኔ እቅድ፡ ቅድመ-መመዝገብ ባይችሉም ወደ መረጃው ከመጥለቅዎ በፊት የትንታኔ እቅድ ይፃፉ፡ የመጀመሪያ ደረጃ መላምት፣ የመጀመሪያ ደረጃ የውጤት ተለዋዋጭ፣ ዋና ሞዴል። በ "ዋና ትንተና" እና "ተጨማሪ / ገላጭ ትንተና" መካከል ያለውን ልዩነት ከመጀመሪያው ጀምሮ ያዘጋጁ እና በሪፖርቱ ውስጥ ያስቀምጡት.
3. ሁሉንም ነገር ሪፖርት አድርግ፡ የሞከርካቸውን ሞዴሎች አትደብቅ። በ "የስሜታዊነት ትንተና" (የጥንካሬ ፍተሻ) ክፍል ውስጥ የተለያዩ ዝርዝሮች ውጤቱን እንዴት እንደሚቀይሩ ያሳዩ. ግኝቱ ጠንካራ የሚሆነው በብዙ አሳማኝ ምርጫዎች ስር የሚይዝ ከሆነ ብቻ ነው።
4. ብዙ የንጽጽር ዲሲፕሊን፡ ብዙ ፈተናዎችን ካደረጋችሁ አስተካክሏቸው (ክፍል 6)። "ምን ያህል ሙከራዎችን አድርጌያለሁ?" የሚለውን ጥያቄ ይመልሱ. በእውነት።
5. የስሜታዊነት ትንተና፡ ዋና ግኝትዎን በተለየ ናሙና፣ በተለያየ የቁጥጥር ስብስብ እና በተለያየ ለውጥ ይድገሙት። ውጤቱ ከተለወጠ, አይደብቁት, ሪፖርት ያድርጉ.
የንጽጽር ገበታ፡ ሐቀኛ እና ወጥመድ
መተግበሪያ
ወጥመድ ቅርጽ
ሐቀኛ አቻ
ሞዴል ምርጫ
ትርጉም እስኪሰጥ ድረስ መሞከር (p-hacking)
አስቀድሞ የታቀደ ዋና ሞዴል
መላምት
ከእውነታው በኋላ ተስማሚ (HARKing)
አስቀድሞ የተቀዳ፣ ከውሂቡ በፊት
ሪፖርት ማድረግ
ቆንጆዎቹን ብቻ አታሳይ
ሁሉም ዝርዝሮች + ትብነት
ንዑስ ቡድን
በጣም የሚያስደንቀውን መምረጥ
አስቀድሞ የተገለጸ፣ የሚስተካከል
መረጃ መሰብሰብ
ትርጉም በሚሰጥበት ጊዜ አቁም
አስቀድሞ የተወሰነ ናሙና
አራት ሊገለበጡ የሚችሉ ጥያቄዎች
1. ታማኝ የይገባኛል ጥያቄ ማዕቀፍ፡-
የእርስዎ ሚና፡ ሐቀኛ ስታስቲክስ ረዳት። ግቤ ትርጉም ያለው ውጤት ለማግኘት ሳይሆን ትክክለኛውን ውጤት ለማግኘት ነው። ሕጎች: - አትስጠኝ "ምልክት እስኪያደርግ ድረስ ሞዴሎችን ሞክር" የአስተያየት ጥቆማዎችን ይተይቡ - ብዙ ዝርዝሮችን ከጠቆምክ ሁሉም ሪፖርት ሊደረግባቸው ይገባል - ወደ p-hacking ሊያመራ የሚችል ማንኛውንም እርምጃ አስጠንቅቅኝ. መጀመሪያ ዋናውን ሞዴሌን እንዳብራራ እርዳኝ፣ ግኝቱን ከማረጋገጫ ለይ።
2. የትንታኔ እቅድ ረቂቅ፡-
ለጥናት የመጀመሪያ ደረጃ ትንተና እቅድ እንድቀርጽ እርዳኝ፡ የመጀመሪያ ደረጃ መላምት፣ የመጀመሪያ ደረጃ የውጤት ተለዋዋጭ፣ ዋና ሞዴል ዝርዝር መግለጫ፣ አስቀድሞ የተገለጹ ንዑስ ቡድኖች፣ በርካታ የንፅፅር ስትራቴጂ። "ገላጭ" እና "የተረጋገጠ" ትንታኔዎችን በተለየ ርዕስ ውስጥ ያስቀምጡ። ውሂቡን ሳልመለከት ይህን እንድሞላ አስታውሰኝ።
3. የስሜታዊነት ትንተና፡-
ዋናው ግኝቴ የስሜታዊነት ትንተና ኮድ (R) መፃፍ ነው አላማዬ ውጤቱ ምን ያህል ጠንካራ እንደሆነ ለማየት እንጂ ምርጡን ላለመምረጥ ነው። ሁሉንም ውጤቶች አሳይ.
4. ራስን መቆጣጠር;
የትንታኔን ሂደት እገልጻለሁ; ለ p-hacking / HARKing / መራጭ ሪፖርት ማድረግ የማረጋገጫ ዝርዝር ስጠኝ እና የትኛው እርምጃዬ አደገኛ እንደሆነ ምልክት አድርግልኝ። ምን ያህል ሞዴሎችን እንደሞከርኩ እና የትኞቹን ሪፖርት ለማድረግ እንዳቀድኩ ጠይቁኝ።
ደካማ ጥያቄ / ጠንካራ ጥያቄ
ደካማ ጥያቄ፡
የትኞቹ ተለዋዋጮች በዚህ ውሂብ ውስጥ ጉልህ የሆኑ ግንኙነቶችን ያሳያሉ, ምርጡን ሞዴል ያግኙ.
ይህ ጥያቄ ቀጥተኛ የፒ-ጠለፋ መመሪያ ነው፡ AI በደርዘን የሚቆጠሩ ውህዶችን ሞክሮ "በጣም ትርጉም ያለው" የሚለውን ያቀርባል። ውጤቱ በእርግጠኝነት ሊደገም የማይችል አስመሳይ ግኝት ነው።
ኃይለኛ ጥያቄ፡-
የእርስዎ ሚና፡ ታማኝ ረዳት። አስቀድሜ የወሰንኩት ዋና ሞዴል፡ Y ~ X + መቆጣጠሪያዎች ነው። ይህንን ሞዴል የሚተነብይ ኮድ ይፃፉ. ሌላ "ይበልጥ ትርጉም ያለው" ሞዴል አትፈልግ። የውጤቱን ጥንካሬ ለማየት እንድችል የትብነት ትንታኔን ጠቁም ነገር ግን ሁሉንም ውጤቶች እንደማዘግብ ይወቁ እንጂ ምርጡን አልመረጥኩም። ማንኛውንም የምርመራ ግኝቶች 'እንደተረጋገጠ' እንድጽፍ አትፍቀድ።
ልዩነት፡ ጠንከር ያለ ዋናውን ሞዴል ያስተካክላል፣ ፍለጋን ይከለክላል እና ሁሉንም ውጤቶች ሪፖርት እንዲያደርጉ ይጠይቃል።
ሶስት ጥቃቅን ጉዳዮች
ጉዳይ 1 - ንዑስ ቡድን አደን. አንድ ተመራማሪ በአጠቃላይ ናሙና ውስጥ ምንም ውጤት አላገኘም; AI “በየትኛው ንዑስ ቡድን ውስጥ ጠቃሚ ነው?” ሲል ጠየቀ። YZ የእድሜን፣ የፆታ እና የክልል ጥምርን በመቃኘት "p = 0.03 በከተማ ሴቶች ከ35-44" ተገኝቷል። ጽሑፉ የተመሠረተው በዚህ ንዑስ ቡድን ላይ ነው። የእሱ ማባዛት ምንም ውጤት አላገኘም፡ ይህ በደርዘን የሚቆጠሩ ንዑስ ቡድኖች በአጋጣሚ የተገኘ ውጤት ነው። ትምህርት፡ ከመረጃ በኋላ የተመረጠው ንዑስ ቡድን HARKing እንጂ አያረጋግጥም።
ጉዳይ 2 - የልወጣ አደን. በተማሪ ደረጃ ቅፅ ውስጥ ትርጉም የለሽ ሆኖ የሚወጣው ግንኙነት; በሎግ, ካሬ ሥር, ካሬ እና ላግ ቅርጾች ውስጥ ሞክረው; በሎግ ሎግ ቅጽ p=0.048 አግኝቶ ያንን ብቻ ነው የዘገበው። እንደ እድል ሆኖ፣ ከተሞከሩት 5 ቅጾች ውስጥ አንዱ ጣራውን አልፏል። ትክክለኛው መንገድ ቅጹን በፅንሰ-ሀሳብ ቅድመ-መምረጥ እና የሁሉንም ቅጾች ውጤት በስሜታዊነት ሰንጠረዥ ውስጥ ማሳየት። ትምህርት፡- የተመረጠ ሪፖርት ማድረግ የውሸት ትርጉምን ያመጣል።
ጉዳይ 3 - ሐቀኛ ክፈፍ እንዴት እንደሚሰራ። አንድ ቡድን ከመተንተን በፊት ቀድሞ ተመዝግቧል፡ ነጠላ ቀዳሚ መላምት፣ ነጠላ ዋና ሞዴል፣ ሁለት አስቀድሞ የተገለጹ ንዑስ ቡድኖች፣ ቦንፌሮኒ እርማት። ዋናው ውጤት ጉልህ አልነበረም, ነገር ግን ቡድኑ በሐቀኝነት ሪፖርት አድርጓል; መርማሪው ግለሰብ አንድ ግኝት “ወደፊት መሞከር አለበት” ሲል ጠቁሟል። ጥናቱ ሊባዛ የሚችል እና አስተማማኝ ነበር. ትምህርት፡ በታማኝነት ማቀድ የ"ውድቀት" ውጤትን እንኳን ጠቃሚ ያደርገዋል።
የተለመዱ ስህተቶች
- AI “ጠቃሚ ውጤት እንዲያገኝ” መንገር። ይህ በቀጥታ p-ጠለፋ ነው; AI በታማኝነት ፍሬም ውስጥ አስገባ፣ ለትክክለኛነት ጠይቅ እንጂ ውጤትን አትጠይቅ።
- ግኝቱን እንደ ማረጋገጫ (HARKing) በማቅረብ ላይ። ከመረጃው በኋላ የተቋቋመውን መላምት "ከመጀመሪያው ጀምሮ ተንብየዋለሁ" ብሎ መጻፍ አሳሳች ነው; የአሳሽ ግኝቱን ምልክት ያድርጉበት።
- ጥሩ ውጤቶችን ብቻ ሪፖርት ማድረግ. የተሞከሩትን ሁሉንም ዝርዝሮች አሳይ; ስሜትን መደበቅ ንፁህነትን ይጎዳል።
- የንዑስ ቡድን/የልወጣ ማጣሪያ። በደርዘን የሚቆጠሩ ንዑስ ቡድኖች ወይም ትራንስፎርሜሽን በጣም ጉልህ የሆኑትን መምረጥ አጉል ግኝቶችን ያስገኛል፤ አስቀድመው መለየት እና ማስተካከል.
- ምን ያህል ሙከራዎችን እንዳደረጉ በመርሳት ላይ። አጠቃላይ ሙከራዎችን ይከታተሉ; ይህን ቁጥር ሳያውቅ ምንም p-value በቅንነት ሊተረጎም አይችልም።
ጠቃሚ ምክር፡ ግኝቱን ከመጻፍዎ በፊት እራስዎን ይጠይቁ፡ "ይህን ውጤት እስካገኝ ድረስ ስንት መንገዶችን በፀጥታ ሞክሬያለሁ እና ሁሉንም ሪፖርት አደርጋለሁ?" አንዳንድ ድርሰቶች በመሳቢያው ውስጥ ከቆዩ፣ የእርስዎ ሪፖርት ከእሱ የበለጠ ጠንካራ ይመስላል።
በማጠቃለያው
p-hacking፣ HARKing፣ መራጭ ሪፖርት ማድረግ እና የሹካ መንገዶች አትክልት፤ ብዙዎቹ ሳያውቁ የሚሠሩ ወጥመዶች ናቸው ነገር ግን ውሸታም እና የማይደገሙ ግኝቶችን ያስገኛሉ። AI እነዚህን ወጥመዶች ያፋጥናል ምክንያቱም ወዲያውኑ በደርዘን የሚቆጠሩ ትንታኔዎችን መሞከር ይችላል; "ትርጉም ውጤቶችን አግኝ" አይነት ጥያቄዎች AI ወደ p-hacking ሞተር ይለውጠዋል. መከላከያ; ከቅድመ-ምዝገባ እና የትንታኔ እቅድ ጋር ግኝትን ከማረጋገጫ መለየት፣ ሁሉንም ዝርዝሮች እና የትብነት ትንተና ሪፖርት ማድረግ፣ በርካታ ንፅፅሮችን ማረም እና AI "ትክክለኛውን ውጤት" በሚፈልግ ቅን ማዕቀፍ ውስጥ ማስቀመጥ። የመጨረሻው ሃላፊነት ሁልጊዜ በተመራማሪው ላይ ነው.
የመተግበሪያ ተግባር
የጥናት ጥያቄን ይምረጡ እና መረጃውን ከመመልከትዎ በፊት አጭር የትንታኔ እቅድ ይፃፉ፡ ዋና መላምት፣ ዋና ሞዴል፣ የመጀመሪያ ደረጃ የውጤት ተለዋዋጭ፣ አስቀድሞ የተገለጹ ንዑስ ቡድኖች፣ በርካታ የንፅፅር ስትራቴጂ። ከዚያም ዋናውን ሞዴል ይገምቱ. ከዚያ የስሜታዊነት ትንተና (የተለያዩ ቁጥጥሮች፣ ከውጪ የተካተቱ/የተካተቱ፣የተለያዩ የተግባር ቅፅ) ያድርጉ እና ሁሉንም ውጤቶች በአንድ ሠንጠረዥ ያሳዩ። በአንድ አንቀፅ ውስጥ የትኞቹ እርምጃዎች የp-hacking አደጋን እንደሚፈጥሩ እና የእርስዎ ታማኝ ማዕቀፍ እንዴት እንደሚገድባቸው ይገምግሙ።
የማረጋገጫ ዝርዝር
- [] ወደ ውሂቡ ውስጥ ከመጥለቋ በፊት የትንታኔ እቅድ/ዋና ሞዴሉን ጻፍኩ።
- [] የዳሰሳ እና የማረጋገጫ ትንታኔዎችን ለየብቻ ሰይሜአለሁ፤ እኔ HARK አልነበረም።
- [] የሞከርኳቸውን ሁሉንም ዝርዝሮች ሪፖርት አድርጌያለሁ; ቆንጆዋን ብቻ አልመረጥኩም።
- [] ንዑስ ቡድኖችን እና ለውጦችን አስቀድሜ ገለጽኳቸው፣ ከውሂቡ በኋላ አልቃኘኋቸውም።
- [ ] ምን ያህል ፈተናዎች እንዳሮጥኩ ተከታተልኩ እና አስፈላጊውን እርማት ተጠቀምኩ።
- [ ] እኔ AI ተጠቀምኩበት "እውነትን ፈልግ" ይልቅ "ትርጉም ያለው ማግኘት"; ኃላፊነቱን ወስጃለሁ።