പി-ഹാക്കിംഗ്, ഹാർക്കിംഗ്, സ്റ്റാറ്റിസ്റ്റിക്കൽ ഇൻ്റഗ്രിറ്റി: കൃത്രിമ ബുദ്ധിയുടെ യുഗത്തിലെ അപകടങ്ങൾ

നേട്ടങ്ങൾ:

• പി-ഹാക്കിംഗ്, ഹാക്കിംഗ്, സെലക്ടീവ് റിപ്പോർട്ടിംഗ്, ഫോർക്കിംഗ് പാതകളുടെ പൂന്തോട്ടം എന്നിവ തെറ്റായ കണ്ടെത്തലുകൾ സൃഷ്ടിക്കുന്നുവെന്ന് മനസിലാക്കുക, കൃത്രിമബുദ്ധി ഈ കെണികളെ എങ്ങനെ ത്വരിതപ്പെടുത്തുമെന്ന് കാണുക
• പ്രീ-രജിസ്ട്രേഷൻ, വിശകലന പദ്ധതി, മൾട്ടിപ്പിൾ താരതമ്യ അച്ചടക്കം, ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസ് പിന്തുണയുള്ള സെൻസിറ്റിവിറ്റി വിശകലനം തുടങ്ങിയ പ്രതിരോധങ്ങൾ സ്ഥാപിക്കാനുള്ള കഴിവ്
• 'അർഥവത്തായ ഫലം കണ്ടെത്തുക' എന്ന തരത്തിലുള്ള അഭ്യർത്ഥനകൾ നിരസിക്കാൻ കൃത്രിമബുദ്ധിയെ പ്രാപ്തമാക്കുന്ന സത്യസന്ധമായ അഭ്യർത്ഥന രൂപകൽപ്പനയെ ആന്തരികവൽക്കരിക്കാൻ കഴിയുന്നു, അന്തിമ ഉത്തരവാദിത്തം ഗവേഷകനായിരിക്കും.

മുൻ യൂണിറ്റിൽ p-value എന്താണെന്നും അത് എന്തല്ലെന്നും ഞങ്ങൾ കണ്ടു. ഈ യൂണിറ്റിൽ ഞങ്ങൾ ഇരുണ്ട വിഷയത്തിലേക്ക് നോക്കും, സ്ഥിതിവിവരക്കണക്കുകളുടെ സമഗ്രതയെ ഭീഷണിപ്പെടുത്തുന്ന വ്യവസ്ഥാപിതമായ കെണികൾ. ഇതിൽ ഭൂരിഭാഗവും മനഃപൂർവമായ തട്ടിപ്പുകളല്ല; സദുദ്ദേശ്യമുള്ള ഗവേഷകർ പോലും അറിയാതെ വീഴുന്ന വഞ്ചനാപരമായ സംവിധാനങ്ങളാണിവ. കൂടാതെ ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസ് (AI) ഈ അപകടങ്ങളെ എളുപ്പവും വേഗത്തിലാക്കുന്നു, കാരണം ഇത് സെക്കൻഡുകൾക്കുള്ളിൽ ഡസൻ കണക്കിന് വിശകലനങ്ങൾ പ്രവർത്തിപ്പിക്കുന്നത് സാധ്യമാക്കുന്നു. ഈ യൂണിറ്റിൻ്റെ ലക്ഷ്യം, AI-യെ ഒരു "അർഥപൂർണമായ ഫലം കണ്ടെത്തുന്ന യന്ത്രം" എന്നതിൽ നിന്ന് സത്യസന്ധനായ ഒരു അസിസ്റ്റൻ്റാക്കി മാറ്റുന്ന അച്ചടക്കം സ്ഥാപിക്കുക എന്നതാണ്.

അടിസ്ഥാന പോരായ്മകൾ

p-ഹാക്കിംഗ് (p-value hunting): ഒരു കാര്യമായ ഫലം (p<0.05) ലഭിക്കുന്നതുവരെ ഇത് വീണ്ടും വ്യത്യസ്ത രീതികളിൽ വിശകലനം ചെയ്യാൻ ശ്രമിക്കുന്നു. വേരിയബിളുകൾ ചേർക്കുകയും നീക്കം ചെയ്യുകയും ചെയ്യുന്നു, ഉപസാമ്പിളുകൾ തിരഞ്ഞെടുക്കുന്നു, ഔട്ട്‌ലയറുകളുടെ നിർവചനം മാറ്റുന്നു, വ്യത്യസ്ത രൂപാന്തരങ്ങൾ പരീക്ഷിക്കുന്നു, വ്യത്യസ്ത ഫല വേരിയബിളുകൾ ഉപയോഗിക്കുന്നു, അത് അർത്ഥപൂർണമാകുമ്പോൾ ഡാറ്റ ശേഖരണം നിർത്തുന്നു... ഓരോ ശ്രമവും ഒരു പുതിയ "അവസരം" നൽകുന്നു; നിങ്ങൾ വേണ്ടത്ര പരിശ്രമിക്കുകയാണെങ്കിൽ, അവയിലൊന്ന് അർത്ഥവത്തായി മാറും, അത് യഥാർത്ഥത്തിൽ ഫലമുണ്ടാക്കില്ലെങ്കിലും. ഫലം: പ്രസിദ്ധീകരിച്ചതും എന്നാൽ പുനർനിർമ്മിക്കാനാകാത്തതുമായ വ്യാജ കണ്ടെത്തലുകൾ.

HARKing (Hypothesizing after the Results are known): ഫലങ്ങൾ കണ്ടതിന് ശേഷം ഒരു സിദ്ധാന്തം ഉണ്ടാക്കി "ഞാൻ തുടക്കം മുതൽ ഇങ്ങനെ പ്രവചിച്ചു" എന്ന് അവതരിപ്പിക്കുക. നിങ്ങൾ ഡാറ്റ നോക്കുകയും ഏറ്റവും ശ്രദ്ധേയമായ ബന്ധം കണ്ടെത്തുകയും ചെയ്യുക, തുടർന്ന് ആ സിദ്ധാന്തം പരീക്ഷിക്കാൻ രൂപകൽപ്പന ചെയ്തതുപോലെ പേപ്പർ എഴുതുക. കണ്ടെത്തൽ സ്ഥിരീകരണമായി തോന്നിപ്പിച്ചുകൊണ്ട് ഇത് വായനക്കാരനെ തെറ്റിദ്ധരിപ്പിക്കുന്നു.

സെലക്ടീവ് റിപ്പോർട്ടിംഗ് (ചെറി-പിക്കിംഗ്): ഡസൻ കണക്കിന് വിശകലനങ്ങളിൽ നിന്ന് "നല്ലത്" മാത്രം റിപ്പോർട്ടുചെയ്യുകയും ബാക്കിയുള്ളവ നിശബ്ദമായി കുഴിച്ചിടുകയും ചെയ്യുന്നു. ഇത് "ഫയൽ ഡ്രോയർ പ്രശ്നം" എന്നും അറിയപ്പെടുന്നു: അർത്ഥശൂന്യമായ ഫലങ്ങൾ ഡ്രോയറിൽ അവശേഷിക്കുന്നു, ഇത് സാഹിത്യത്തെ വ്യവസ്ഥാപിതമായി പക്ഷപാതപരമാക്കുന്നു.

ഫോർക്കിംഗ് പാഥുകളുടെ പൂന്തോട്ടം: ആൻഡ്രൂ ഗെൽമാൻ്റെ പദം. ഒരു മനഃപൂർവമായ പി-ഹാക്കിംഗ് ഇല്ലാതെ പോലും, ഡാറ്റയെ അടിസ്ഥാനമാക്കി ഗവേഷകൻ ന്യായമായ നിരവധി തിരഞ്ഞെടുപ്പുകൾ നടത്തുന്നു (ഏത് വേരിയബിൾ, ഏത് പരിധി, ഏത് ഉപഗ്രൂപ്പ്, ഏത് പരിവർത്തനം). ഈ അന്വേഷണാത്മകമായ സ്വാതന്ത്ര്യങ്ങൾ വളരെയധികം ഉള്ളതിനാൽ, അനവധി വിശകലനങ്ങളിൽ നിന്ന് അർത്ഥവത്തായ ഒന്ന് നിങ്ങൾ ഫലപ്രദമായി തിരഞ്ഞെടുക്കുന്നു-ഒരു ദുരുദ്ദേശ്യവുമില്ലാതെ പോലും. ഫലം വീണ്ടും ഉയരുന്ന തെറ്റായ പോസിറ്റീവ് നിരക്കാണ്.

മുന്നറിയിപ്പ്: ഈ കെണികളിൽ ഭൂരിഭാഗവും ബോധപൂർവമായ തന്ത്രങ്ങളല്ല. "ഞാൻ കുറച്ച് മോഡലുകൾ കൂടി പരീക്ഷിച്ചു", "ഞാൻ ഔട്ട്‌ലിയർ നീക്കം ചെയ്തപ്പോൾ അത് വൃത്തിയുള്ളതായിരുന്നു", "ഈ ഉപഗ്രൂപ്പിൽ ഇഫക്റ്റ് കൂടുതൽ വ്യക്തമാണ്" തുടങ്ങിയ നിരപരാധികളെന്ന് തോന്നുന്ന ഘട്ടങ്ങളുടെ ആകെത്തുക ഒരു വ്യാജ കണ്ടെത്തൽ ഉണ്ടാക്കും. സത്യസന്ധത ഒരു രീതിയാണ്, ഉദ്ദേശ്യമല്ല.

എന്തുകൊണ്ടാണ് AI ഈ കെണികൾ വലുതാക്കുന്നത്?

കൈകൊണ്ട് 3 മോഡലുകൾ പരീക്ഷിക്കാൻ സമയമെടുക്കും; YZ 50 മോഡൽ വേരിയൻ്റുകൾ, 10 വ്യത്യസ്ത പരിവർത്തനങ്ങൾ, മിനിറ്റുകൾക്കുള്ളിൽ 8 ഉപഗ്രൂപ്പുകൾ എന്നിവ നിർമ്മിക്കുന്നു. സത്യസന്ധമായ ഒരു പദ്ധതിയില്ലാതെ ഈ ശക്തി വിനാശകരമാണ്: "ഈ ഡാറ്റയിൽ അർത്ഥവത്തായ ഒരു ബന്ധം കണ്ടെത്തുക" അല്ലെങ്കിൽ "ഈ സിദ്ധാന്തത്തെ പിന്തുണയ്ക്കുന്ന ഒരു മോഡൽ നിർമ്മിക്കുക" പോലുള്ള അഭ്യർത്ഥന AI-യെ നേരിട്ട് ഒരു p-ഹാക്കിംഗ് എഞ്ചിനാക്കി മാറ്റുന്നു. സഹായകരമാകാൻ AI ആഗ്രഹിക്കുന്നു; നിങ്ങളെ തൃപ്തിപ്പെടുത്തുന്ന ഒരു "അർഥവത്തായ" ഫലം കണ്ടെത്താൻ ശ്രമിക്കുന്നു. അതുകൊണ്ടാണ് നിങ്ങളുടെ പ്രോംപ്റ്റ് ഡിസൈൻ സത്യസന്ധതയുടെ ആദ്യ പ്രതിരോധം.

പ്രതിരോധം: ന്യായമായ ബിസിനസ്സ്

1. പ്രീ-രജിസ്‌ട്രേഷൻ: വിശകലനം നടത്തുന്നതിന് മുമ്പ് നിങ്ങളുടെ സിദ്ധാന്തം, വേരിയബിളുകൾ, മോഡൽ, ടെസ്റ്റുകൾ എന്നിവ രേഖാമൂലം (ഒരു സമയ സ്റ്റാമ്പ് ചെയ്ത പ്ലാറ്റ്‌ഫോമിൽ) രേഖപ്പെടുത്തുക എന്നാണ് ഇതിനർത്ഥം. അങ്ങനെ, കണ്ടെത്തൽ സ്ഥിരീകരണത്തിൽ നിന്ന് വേർതിരിച്ചിരിക്കുന്നു; നിങ്ങൾ പിന്നീട് മാറ്റുന്നതെന്തും "എക്സ്പ്ലോറർ" എന്ന് ടാഗ് ചെയ്യപ്പെടും.

2. അനാലിസിസ് പ്ലാൻ: നിങ്ങൾക്ക് മുൻകൂട്ടി റെക്കോർഡ് ചെയ്യാൻ കഴിയുന്നില്ലെങ്കിലും, ഡാറ്റയിലേക്ക് ഡൈവിംഗ് ചെയ്യുന്നതിന് മുമ്പ് ഒരു വിശകലന പ്ലാൻ എഴുതുക: പ്രാഥമിക സിദ്ധാന്തം, പ്രാഥമിക ഫല വേരിയബിൾ, പ്രധാന മോഡൽ. "പ്രധാന വിശകലനം", "അധിക/പര്യവേക്ഷണ വിശകലനം" എന്നിവ തമ്മിലുള്ള വ്യത്യാസം തുടക്കം മുതൽ സ്ഥാപിക്കുകയും റിപ്പോർട്ടിൽ അത് നിലനിർത്തുകയും ചെയ്യുക.

3. എല്ലാം റിപ്പോർട്ട് ചെയ്യുക: നിങ്ങൾ പരീക്ഷിച്ച മോഡലുകൾ മറയ്ക്കരുത്. "സെൻസിറ്റിവിറ്റി വിശകലനം" (ദൃഢത പരിശോധന) വിഭാഗത്തിൽ, വ്യത്യസ്ത സവിശേഷതകൾ എങ്ങനെ ഫലത്തെ മാറ്റുന്നുവെന്ന് കാണിക്കുക. വിശ്വസനീയമായ പല തിരഞ്ഞെടുപ്പുകൾക്കും കീഴിലാണെങ്കിൽ മാത്രമേ കണ്ടെത്തൽ ശക്തമാകൂ.

4. ഒന്നിലധികം താരതമ്യ അച്ചടക്കം: നിങ്ങൾ വളരെയധികം പരിശോധനകൾ നടത്തിയിട്ടുണ്ടെങ്കിൽ, അവ ശരിയാക്കുക (യൂണിറ്റ് 6). "ഞാൻ എത്ര ടെസ്റ്റുകൾ നടത്തി?" എന്ന ചോദ്യത്തിന് ഉത്തരം നൽകുക. സത്യസന്ധമായി.

5. സെൻസിറ്റിവിറ്റി വിശകലനം: മറ്റൊരു സാമ്പിൾ, വ്യത്യസ്ത നിയന്ത്രണ സെറ്റ്, വ്യത്യസ്ത പരിവർത്തനം എന്നിവ ഉപയോഗിച്ച് നിങ്ങളുടെ പ്രധാന കണ്ടെത്തൽ ആവർത്തിക്കുക. ഫലം മാറുകയാണെങ്കിൽ, അത് മറയ്ക്കരുത്, അത് റിപ്പോർട്ട് ചെയ്യുക.

താരതമ്യ ചാർട്ട്: സത്യസന്ധത vs. ട്രാപ്പ്

അപേക്ഷ

കെണി ആകൃതി

സത്യസന്ധമായ തുല്യത

മോഡൽ തിരഞ്ഞെടുക്കൽ

ഇത് അർത്ഥമാക്കുന്നത് വരെ ശ്രമിക്കുന്നു (പി-ഹാക്കിംഗ്)

മുൻകൂട്ടി ആസൂത്രണം ചെയ്ത മാസ്റ്റർ മോഡൽ

അനുമാനം

വസ്തുതയ്ക്ക് ശേഷം ഫിറ്റിംഗ് (ഹാർക്കിംഗ്)

ഡാറ്റയ്‌ക്ക് മുമ്പ് മുൻകൂട്ടി റെക്കോർഡുചെയ്‌തു

റിപ്പോർട്ട് ചെയ്യുന്നു

ഭംഗിയുള്ളവ മാത്രം കാണിക്കരുത്

എല്ലാ സ്പെസിഫിക്കേഷനുകളും + സെൻസിറ്റിവിറ്റി

ഉപഗ്രൂപ്പ്

ഏറ്റവും ശ്രദ്ധേയമായത് തിരഞ്ഞെടുക്കുന്നു

മുൻകൂട്ടി നിശ്ചയിച്ചത്, തിരുത്താവുന്നത്

വിവരശേഖരണം

അർത്ഥമുള്ളപ്പോൾ നിർത്തുക

മുൻകൂട്ടി നിശ്ചയിച്ച സാമ്പിൾ

പകർത്താവുന്ന നാല് നിർദ്ദേശങ്ങൾ

1. സത്യസന്ധമായ ക്ലെയിം ചട്ടക്കൂട്:

നിങ്ങളുടെ റോൾ: സത്യസന്ധമായ സ്ഥിതിവിവരക്കണക്ക് സഹായി. എൻ്റെ ലക്ഷ്യം അർത്ഥവത്തായ ഫലം കണ്ടെത്തുകയല്ല, മറിച്ച് ശരിയായ ഫലം കണ്ടെത്തുക എന്നതാണ്. നിയമങ്ങൾ:- "അത് അർത്ഥമാക്കുന്നത് വരെ മോഡലുകൾ പരീക്ഷിക്കുക" എന്ന തരത്തിലുള്ള നിർദ്ദേശങ്ങൾ എനിക്ക് നൽകരുത്,- നിങ്ങൾ ഒന്നിലധികം സ്പെസിഫിക്കേഷനുകൾ നിർദ്ദേശിക്കുകയാണെങ്കിൽ അവയെല്ലാം റിപ്പോർട്ട് ചെയ്യപ്പെടേണ്ടതുണ്ടെന്ന് എന്നോട് പറയുക,- p-ഹാക്കിംഗിലേക്ക് നയിച്ചേക്കാവുന്ന ഏതെങ്കിലും ഘട്ടങ്ങളെക്കുറിച്ച് എനിക്ക് മുന്നറിയിപ്പ് നൽകുക. ആദ്യം എൻ്റെ പ്രധാന മോഡൽ വ്യക്തമാക്കാൻ എന്നെ സഹായിക്കൂ, സ്ഥിരീകരണത്തിൽ നിന്ന് വേറിട്ട് കണ്ടെത്തൽ.

2. അനാലിസിസ് പ്ലാൻ ഡ്രാഫ്റ്റ്:

ഒരു പഠനത്തിനായി ഒരു പ്രാഥമിക വിശകലന പദ്ധതി തയ്യാറാക്കാൻ എന്നെ സഹായിക്കൂ: പ്രാഥമിക സിദ്ധാന്തം, പ്രാഥമിക ഫല വേരിയബിൾ, പ്രധാന മോഡൽ സ്പെസിഫിക്കേഷൻ, മുൻകൂട്ടി നിശ്ചയിച്ച ഉപഗ്രൂപ്പുകൾ, ഒന്നിലധികം താരതമ്യ തന്ത്രം. "പര്യവേക്ഷണ", "സ്ഥിരീകരണ" വിശകലനങ്ങൾ പ്രത്യേക തലക്കെട്ടുകളിൽ ഇടുക. ഡാറ്റ നോക്കാതെ ഇത് പൂരിപ്പിക്കാൻ എന്നെ ഓർമ്മിപ്പിക്കുക.

3. സെൻസിറ്റിവിറ്റി വിശകലനം:

എൻ്റെ പ്രധാന കണ്ടെത്തൽ സെൻസിറ്റിവിറ്റി അനാലിസിസ് കോഡ് (ആർ) എഴുതുക എന്നതാണ് എൻ്റെ ലക്ഷ്യം, ഫലം എത്രത്തോളം ദൃഢമാണെന്ന് കാണുക എന്നതാണ്, മികച്ചത് തിരഞ്ഞെടുക്കുക എന്നല്ല; എല്ലാ ഫലങ്ങളും കാണിക്കുക.

4. സ്വയം നിരീക്ഷണം:

എൻ്റെ വിശകലന പ്രക്രിയ ഞാൻ വിശദീകരിക്കും; പി-ഹാക്കിംഗ് / ഹാക്കിംഗ് / സെലക്ടീവ് റിപ്പോർട്ടിംഗ് എന്നിവയ്‌ക്കായി എനിക്ക് ഒരു ചെക്ക്‌ലിസ്റ്റ് നൽകൂ, ഒപ്പം എൻ്റെ ഘട്ടങ്ങളിൽ ഏതാണ് അപകടകരമെന്ന് അടയാളപ്പെടുത്തുക. ഞാൻ എത്ര മോഡലുകൾ/ടെസ്റ്റുകൾ പരീക്ഷിച്ചുവെന്നും ഏതൊക്കെയാണ് ഞാൻ റിപ്പോർട്ട് ചെയ്യാൻ ഉദ്ദേശിക്കുന്നതെന്നും എന്നോട് തിരികെ ചോദിക്കുക.

ദുർബലമായ പ്രോംപ്റ്റ് / ശക്തമായ പ്രോംപ്റ്റ്

ദുർബലമായ പ്രോംപ്റ്റ്:

ഈ ഡാറ്റയിൽ പ്രധാനപ്പെട്ട ബന്ധങ്ങൾ കാണിക്കുന്ന വേരിയബിളുകൾ, മികച്ച മോഡൽ കണ്ടെത്തുക.

ഈ നിർദ്ദേശം നേരിട്ടുള്ള പി-ഹാക്കിംഗ് നിർദ്ദേശമാണ്: AI ഡസൻ കണക്കിന് കോമ്പിനേഷനുകൾ പരീക്ഷിക്കുകയും "ഏറ്റവും അർത്ഥവത്തായത്" അവതരിപ്പിക്കുകയും ചെയ്യുന്നു. ഫലം തീർച്ചയായും ആവർത്തിക്കാൻ കഴിയാത്ത ഒരു വ്യാജ കണ്ടെത്തലാണ്.

ശക്തമായ നിർദ്ദേശം:

നിങ്ങളുടെ റോൾ: സത്യസന്ധനായ അസിസ്റ്റൻ്റ്. ഞാൻ മുൻകൂട്ടി നിശ്ചയിച്ചിട്ടുള്ള പ്രധാന മോഡൽ ഇതാണ്: Y ~ X + നിയന്ത്രണങ്ങൾ. ഈ മോഡൽ പ്രവചിക്കുന്ന കോഡ് എഴുതുക. മറ്റൊരു "കൂടുതൽ അർത്ഥവത്തായ" മോഡലിനായി നോക്കരുത്. ഒരു സെൻസിറ്റിവിറ്റി വിശകലനം നിർദ്ദേശിക്കുക, അതുവഴി ഫലത്തിൻ്റെ ദൃഢത എനിക്ക് കാണാൻ കഴിയും, എന്നാൽ ഞാൻ എല്ലാ ഫലങ്ങളും റിപ്പോർട്ടുചെയ്യുമെന്ന് അറിയുക, മികച്ചത് തിരഞ്ഞെടുക്കില്ല. അന്വേഷണാത്മകമായ കണ്ടെത്തലുകളൊന്നും 'സ്ഥിരീകരിച്ചത്' എന്ന് എഴുതിത്തള്ളാൻ എന്നെ അനുവദിക്കരുത്.

വ്യത്യാസം: ശക്തമായ ഇച്ഛാശക്തി പ്രധാന മോഡൽ ശരിയാക്കുന്നു, തിരയുന്നത് നിരോധിക്കുന്നു, എല്ലാ ഫലങ്ങളും റിപ്പോർട്ടുചെയ്യേണ്ടതുണ്ട്.

മൂന്ന് മിനി കേസുകൾ

കേസ് 1 - ഉപഗ്രൂപ്പ് വേട്ട. ഒരു ഗവേഷകൻ മൊത്തത്തിലുള്ള സാമ്പിളിൽ ഫലമൊന്നും കണ്ടെത്തിയില്ല; അദ്ദേഹം AI യോട് ചോദിച്ചു "ഏത് ഉപഗ്രൂപ്പിലാണ് ഇത് പ്രാധാന്യമുള്ളത്?" YZ പ്രായം, ലിംഗഭേദം, പ്രദേശ കോമ്പിനേഷനുകൾ എന്നിവ സ്കാൻ ചെയ്യുകയും 35-44 വയസ് പ്രായമുള്ള നഗര സ്ത്രീകളിൽ "p = 0.03" കണ്ടെത്തുകയും ചെയ്തു. ഈ ഉപഗ്രൂപ്പിനെ അടിസ്ഥാനമാക്കിയുള്ളതാണ് ലേഖനം. അദ്ദേഹത്തിൻ്റെ ആവർത്തനത്തിന് യാതൊരു ഫലവുമില്ല: ഇത് ഡസൻ കണക്കിന് ഉപഗ്രൂപ്പുകളിൽ നിന്നുള്ള അവസരത്തിൻ്റെ ഫലമാണ്. പാഠം: ഡാറ്റയ്ക്ക് ശേഷം തിരഞ്ഞെടുത്ത ഉപഗ്രൂപ്പ് HARKing ആണ്, സ്ഥിരീകരിക്കുന്നില്ല.

കേസ് 2 - പരിവർത്തന വേട്ട. വിദ്യാർത്ഥി തല രൂപത്തിൽ അർത്ഥശൂന്യമായി മാറുന്ന ബന്ധം; ലോഗ്, സ്ക്വയർ റൂട്ട്, സ്ക്വയർ, ലാഗ് ഫോമുകളിൽ ഇത് പരീക്ഷിച്ചു; ലോഗ്-ലോഗ് രൂപത്തിൽ അദ്ദേഹം p=0.048 കണ്ടെത്തി, അത് മാത്രം റിപ്പോർട്ട് ചെയ്തു. ഭാഗ്യവശാൽ, പരീക്ഷിച്ച 5 ഫോമുകളിൽ ഒന്ന് പരിധി കടന്നു. ശരിയായ മാർഗം ഇതായിരുന്നു: സിദ്ധാന്തം ഉപയോഗിച്ച് ഫോം മുൻകൂട്ടി തിരഞ്ഞെടുത്ത് സെൻസിറ്റിവിറ്റി ടേബിളിലെ എല്ലാ ഫോമുകളുടെയും ഫലം കാണിക്കുക. പാഠം: തിരഞ്ഞെടുത്ത റിപ്പോർട്ടിംഗ് തെറ്റായ പ്രാധാന്യം നൽകുന്നു.

കേസ് 3 - എങ്ങനെ സത്യസന്ധമായ ഫ്രെയിമിംഗ് പ്രവർത്തിക്കുന്നു. വിശകലനത്തിന് മുമ്പ് ഒരു ടീം മുൻകൂട്ടി രജിസ്റ്റർ ചെയ്തു: ഏക പ്രാഥമിക സിദ്ധാന്തം, ഒരു പ്രധാന മോഡൽ, രണ്ട് മുൻകൂട്ടി നിശ്ചയിച്ച ഉപഗ്രൂപ്പുകൾ, ബോൺഫെറോണി തിരുത്തൽ. പ്രധാന പ്രഭാവം കാര്യമായിരുന്നില്ല, പക്ഷേ ടീം അത് സത്യസന്ധമായി റിപ്പോർട്ട് ചെയ്തു; പര്യവേക്ഷണം നടത്തുന്ന വ്യക്തി ഒരു കണ്ടെത്തൽ "ഭാവിയിൽ പരീക്ഷിക്കേണ്ടതുണ്ട്" എന്ന് ഫ്ലാഗ് ചെയ്തു. പഠനം പുനരുൽപ്പാദിപ്പിക്കാവുന്നതും വിശ്വസനീയവുമായിരുന്നു. പാഠം: സത്യസന്ധമായ ആസൂത്രണം “പരാജയ” ഫലത്തെപ്പോലും വിലമതിക്കുന്നു.

സാധാരണ തെറ്റുകൾ

• "അർഥവത്തായ ഫലങ്ങൾ കണ്ടെത്താൻ" AI-യോട് പറയുന്നു. ഇത് നേരിട്ട് പി-ഹാക്കിംഗ് ആണ്; AI-യെ സത്യസന്ധമായ ഫ്രെയിമിൽ ഇടുക, കൃത്യത ആവശ്യപ്പെടുക, ഫലങ്ങളല്ല.
• കണ്ടെത്തലിനെ സ്ഥിരീകരണമായി അവതരിപ്പിക്കുന്നു (HARKing). ഡാറ്റയ്ക്ക് ശേഷം സ്ഥാപിക്കപ്പെട്ട സിദ്ധാന്തം "ഞാൻ ആദ്യം മുതൽ പ്രവചിച്ചു" എന്ന് എഴുതുന്നത് തെറ്റിദ്ധരിപ്പിക്കുന്നതാണ്; പര്യവേക്ഷണ കണ്ടെത്തൽ ലേബൽ ചെയ്യുക.
• നല്ല ഫലങ്ങൾ മാത്രം റിപ്പോർട്ട് ചെയ്യുന്നു. പരിശോധിച്ച എല്ലാ സവിശേഷതകളും കാണിക്കുക; വികാര വിശകലനം മറയ്ക്കുന്നത് സമഗ്രതയിൽ വിട്ടുവീഴ്ച ചെയ്യുന്നു.
• ഉപഗ്രൂപ്പ്/പരിവർത്തന സ്ക്രീനിംഗ്. ഡസൻ കണക്കിന് ഉപഗ്രൂപ്പുകളിലോ രൂപാന്തരങ്ങളിലോ ഏറ്റവും പ്രധാനപ്പെട്ടത് തിരഞ്ഞെടുക്കുന്നത് വ്യാജമായ കണ്ടെത്തലുകൾ ഉണ്ടാക്കുന്നു; മുൻകൂട്ടി തിരിച്ചറിഞ്ഞ് പരിഹരിക്കുക.
• നിങ്ങൾ എത്ര ടെസ്റ്റുകൾ നടത്തിയെന്ന് മറക്കുന്നു. മൊത്തം ശ്രമങ്ങളുടെ ട്രാക്ക് സൂക്ഷിക്കുക; ഈ സംഖ്യ അറിയാതെ ഒരു പി-മൂല്യവും സത്യസന്ധമായി വ്യാഖ്യാനിക്കാനാവില്ല.

നുറുങ്ങ്: ഒരു കണ്ടെത്തൽ എഴുതുന്നതിന് മുമ്പ്, സ്വയം ചോദിക്കുക: "ഈ ഫലം കണ്ടെത്തുന്നതുവരെ ഞാൻ നിശബ്ദമായി എത്ര വഴികൾ പരീക്ഷിച്ചു, അവയെല്ലാം ഞാൻ റിപ്പോർട്ടുചെയ്യുന്നുണ്ടോ?" ചില ഉപന്യാസങ്ങൾ ഡ്രോയറിൽ തുടരുകയാണെങ്കിൽ, നിങ്ങളുടെ റിപ്പോർട്ട് അതിനെക്കാൾ ശക്തമായി തോന്നുന്നു.

ചുരുക്കത്തിൽ

പി-ഹാക്കിംഗ്, ഹാർക്കിംഗ്, സെലക്ടീവ് റിപ്പോർട്ടിംഗ്, ഫോർക്കിംഗ് പാതകളുടെ പൂന്തോട്ടം; പലതും അവിചാരിതമായി പ്രവർത്തിക്കുന്ന കെണികളാണ്, പക്ഷേ വ്യാജവും പുനർനിർമ്മിക്കാനാവാത്തതുമായ കണ്ടെത്തലുകൾ ഉണ്ടാക്കുന്നു. AI ഈ അപകടങ്ങളെ ത്വരിതപ്പെടുത്തുന്നു, കാരണം ഇതിന് ഡസൻ കണക്കിന് വിശകലനങ്ങൾ തൽക്ഷണം പരീക്ഷിക്കാൻ കഴിയും; "അർഥവത്തായ ഫലങ്ങൾ കണ്ടെത്തുക" തരത്തിലുള്ള അഭ്യർത്ഥനകൾ AI-യെ ഒരു p-ഹാക്കിംഗ് എഞ്ചിനാക്കി മാറ്റുന്നു. പ്രതിരോധം; ഒരു പ്രീ-രജിസ്‌ട്രേഷൻ, വിശകലന പ്ലാൻ ഉപയോഗിച്ച് സ്ഥിരീകരണത്തിൽ നിന്ന് കണ്ടെത്തലിനെ വേർതിരിക്കുന്നു, എല്ലാ സവിശേഷതകളും സെൻസിറ്റിവിറ്റി വിശകലനവും റിപ്പോർട്ടുചെയ്യുക, ഒന്നിലധികം താരതമ്യങ്ങൾ ശരിയാക്കുക, കൂടാതെ "ശരിയായ ഫലം" ആവശ്യപ്പെടുന്ന ഒരു സത്യസന്ധമായ ചട്ടക്കൂടിൽ AI-യെ ഉൾപ്പെടുത്തുക. അന്തിമ ഉത്തരവാദിത്തം എല്ലായ്പ്പോഴും ഗവേഷകനാണ്.

ആപ്ലിക്കേഷൻ ടാസ്ക്

ഒരു ഗവേഷണ ചോദ്യം തിരഞ്ഞെടുത്ത് ഡാറ്റ നോക്കുന്നതിന് മുമ്പ് ഒരു ഹ്രസ്വ വിശകലന പ്ലാൻ എഴുതുക: പ്രാഥമിക സിദ്ധാന്തം, പ്രധാന മോഡൽ, പ്രാഥമിക ഫല വേരിയബിൾ, മുൻകൂട്ടി നിശ്ചയിച്ച ഉപഗ്രൂപ്പുകൾ, ഒന്നിലധികം താരതമ്യ തന്ത്രം. തുടർന്ന് പ്രധാന മോഡൽ കണക്കാക്കുക. തുടർന്ന് ഒരു സെൻസിറ്റിവിറ്റി വിശകലനം നടത്തുക (വ്യത്യസ്‌ത നിയന്ത്രണങ്ങൾ, ഔട്ട്‌ലിയർ ഉൾപ്പെടുത്തി/ഒഴിവാക്കിയത്, വ്യത്യസ്‌ത ഫംഗ്‌ഷൻ ഫോം) കൂടാതെ എല്ലാ ഫലങ്ങളും ഒരൊറ്റ പട്ടികയിൽ കാണിക്കുക. ഒരു ഖണ്ഡികയിൽ, പി-ഹാക്കിംഗിൻ്റെ അപകടസാധ്യത ഏതൊക്കെ ഘട്ടങ്ങളാണെന്നും നിങ്ങളുടെ സത്യസന്ധമായ ചട്ടക്കൂട് അവയെ എങ്ങനെ പരിമിതപ്പെടുത്തുന്നുവെന്നും വിലയിരുത്തുക.

ചെക്ക്ലിസ്റ്റ്

• [ ] ഡാറ്റയിലേക്ക് കടക്കുന്നതിന് മുമ്പ് ഞാൻ വിശകലന പ്ലാൻ/മാസ്റ്റർ മോഡൽ എഴുതി.
• [ ] ഞാൻ പര്യവേക്ഷണവും സ്ഥിരീകരണ വിശകലനങ്ങളും വെവ്വേറെ ലേബൽ ചെയ്തു; ഞാൻ ഹാർക്കിംഗ് ആയിരുന്നില്ല.
• [] ഞാൻ പരീക്ഷിച്ച എല്ലാ സവിശേഷതകളും ഞാൻ റിപ്പോർട്ട് ചെയ്തിട്ടുണ്ട്; ഞാൻ സുന്ദരിയെ മാത്രം തിരഞ്ഞെടുത്തില്ല.
• [ ] ഞാൻ ഉപഗ്രൂപ്പുകളും പരിവർത്തനങ്ങളും മുമ്പ് നിർവചിച്ചു, ഡാറ്റയ്ക്ക് ശേഷം ഞാൻ അവയെ സ്കാൻ ചെയ്തില്ല.
• [ ] ഞാൻ എത്ര ടെസ്റ്റുകൾ നടത്തി എന്നതിൻ്റെ ട്രാക്ക് സൂക്ഷിക്കുകയും ആവശ്യമായ തിരുത്തലുകൾ പ്രയോഗിക്കുകയും ചെയ്തു.
• [ ] "അർഥവത്തായി കണ്ടെത്തുക" എന്നതിലുപരി "സത്യം കണ്ടെത്തുക" എന്നതിൻ്റെ പശ്ചാത്തലത്തിലാണ് ഞാൻ AI ഉപയോഗിച്ചത്; ഞാൻ ഉത്തരവാദിത്തം ഏറ്റെടുത്തു.