Табыстар:
- p-hacking, HARKing, селективті есеп беру және айырықша жолдар бағы жалған тұжырымдар жасайтынын түсініңіз және жасанды интеллект бұл тұзақтарды қалай тездететінін көріңіз.
- Жасанды интеллект қолдауымен алдын ала тіркеу, талдау жоспары, бірнеше салыстыру пәні және сезімталдық талдауы сияқты қорғаныстарды орнату мүмкіндігі
- Жасанды интеллектке «мағыналы нәтижені табу» түріндегі сұраулардан бас тартуға мүмкіндік беретін және түпкілікті жауапкершілік зерттеушіге жүктелетін шынайы сұраныс дизайнын іштей білу.
Алдыңғы бөлімде біз p-мәнінің не екенін және ол не екенін көрдік. Бұл бөлімде біз қараңғы тақырыпты, статистикалық тұтастыққа қауіп төндіретін жүйелі тұзақтарды қарастырамыз. Олардың көпшілігі қасақана алдау емес; Бұл тіпті ізгі ниетті зерттеушілер де байқамай түсіп қалатын жасырын механизмдер. Ал жасанды интеллект (AI) бұл қателерді жеңілдетеді және жылдамырақ етеді, өйткені секундтарда ондаған талдауларды орындауға мүмкіндік береді. Бұл бөлімнің мақсаты AI-ны «мағыналы нәтижелерді іздеу машинасынан» адал көмекшіге айналдыратын тәртіпті орнату болып табылады.
Негізгі қателіктер
p-бұзу (p-мәнін іздеу): Маңызды нәтиже (p<0,05) алынғанша талдауды әртүрлі тәсілдермен қайталап көреді. Айнымалыларды қосу және жою, ішкі үлгілерді таңдау, шектен тыс мәндердің анықтамасын өзгерту, әртүрлі түрлендірулерді сынау, әртүрлі нәтиже айнымалыларын пайдалану, мәнді болған кезде деректер жинауды тоқтату... Әрбір әрекет жаңа «мүмкіндік» береді; Егер сіз жеткілікті түрде тырыссаңыз, олардың біреуі әсер етпесе де, мағыналы болып шығады. Нәтиже: жарияланған, бірақ қайталанбайтын жалған тұжырымдар.
HARKing (Нәтижелер белгілі болғаннан кейін гипотеза жасау): Нәтижелерді көргеннен кейін гипотеза жасау және оны «Мен оны басынан осылай болжадым» деп ұсыну. Сіз деректерге қарап, ең таңқаларлық қатынасты табасыз, содан кейін қағазды сол гипотезаны тексеруге арналған сияқты жазыңыз. Бұл жаңалықты растау сияқты көрініп, оқырманды жаңылыстырады.
Таңдамалы есеп беру (шие жинау): Ондаған талдаулардың тек «жақсыларын» хабарлау және қалғандарын үнсіз көму. Бұл «файл тартпасының мәселесі» ретінде де белгілі: әдебиеттің жүйелі түрде біржақты болуына әкелетін жәшікте мағынасыз нәтижелер қалады.
Айналмалы жолдар бағы: Эндрю Гельманның термині. Тіпті бір рет әдейі п-бұзу болмаса да, зерттеуші деректер негізінде көптеген ақылға қонымды таңдау жасайды (қай айнымалы, қандай шек, қай топша, қандай түрлендіру). Бұл тергеулік еркіндік дәрежелерінің көптігі сонша, сіз көптеген талдаулардың ішінен маңыздысын тиімді таңдайсыз, тіпті жаман ниет болмаса да. Нәтиже тағы да жалған оң көрсеткіштің жоғарылауы болып табылады.
Абайлаңыз: Бұл тұзақтардың көпшілігі әдейі жасалған амалдар емес. «Мен тағы да бірнеше үлгіні қолданып көрдім», «Мен шектен шыққан мәнді алып тастаған кезде ол таза болды», «бұл кіші топта әсер айқынырақ» сияқты көрінетін кінәсіз қадамдардың қосындысы жалған тұжырым тудыруы мүмкін. Адалдық – ниет емес, әдіс мәселесі.
Неліктен AI бұл тұзақтарды үлкейтеді?
3 үлгіні қолмен сынап көру уақытты алады; YZ бірнеше минут ішінде 50 үлгі нұсқаларын, 10 түрлі түрлендірулерді, 8 ішкі топты шығарады. Адал жоспарсыз бұл қуат апатты: «осы деректерден мағыналы қарым-қатынас табу» немесе «осы гипотезаны қолдайтын модель құру» сияқты сұрау AI-ді тікелей p-бұзу қозғалтқышына айналдырады. AI да пайдалы болғысы келеді; сізді қанағаттандыратын «мағыналы» нәтиже табуға ұмтылады. Сондықтан сіздің жылдам дизайныңыз адалдықтың бірінші қорғаныс желісі болып табылады.
Қорғаныс: бизнестің әділ барысы
1. Алдын ала тіркеу: талдауды орындамас бұрын гипотезаны, айнымалыларды, үлгіні және сынақтарды жазбаша (мүмкін уақыт белгісі бар платформада) жазуды білдіреді. Осылайша, ашу растаудан бөлінеді; кейін өзгерткен кез келген нәрсе «барлаушы» ретінде белгіленеді.
2. Талдау жоспары: Алдын ала жаза алмасаңыз да, деректерге кіріспес бұрын талдау жоспарын жазыңыз: бастапқы гипотеза, бастапқы нәтиже айнымалысы, негізгі үлгі. «Негізгі талдау» мен «қосымша/барлау талдауы» арасындағы айырмашылықты басынан бастап анықтаңыз және оны есепте сақтаңыз.
3. Барлығын хабарлаңыз: қолданып көрген үлгілерді жасырмаңыз. «Сезімталдық талдау» (беріктікті тексеру) бөлімінде әртүрлі сипаттамалар нәтижені қалай өзгертетінін көрсетіңіз. Егер ол көптеген ықтимал таңдауларға сәйкес келсе ғана нәтиже күшті болады.
4. Бірнеше салыстыру пәні: Егер сіз тым көп сынақ орындаған болсаңыз, оларды түзетіңіз (6 бірлік). «Мен қанша сынақ жасадым?» деген сұраққа жауап беріңіз. шынымды айтсам.
5. Сезімталдық талдауы: негізгі қорытындыңызды басқа үлгімен, басқа басқару жиынтығымен және басқа түрлендірумен қайталаңыз. Егер нәтиже өзгерсе, оны жасырмаңыз, хабарлаңыз.
Салыстыру кестесі: адал және тұзақ
Қолданба
тұзақ пішіні
Адал баламасы
Модель таңдау
Мәнді болғанша әрекет ету (p-бұзу)
Алдын ала жоспарланған мастер-модель
гипотеза
Фактіден кейін орнату (HARKing)
Алдын ала жазылған, деректерден бұрын
Есеп беру
Тек әдемілерді көрсетпеңіз
Барлық сипаттамалар + сезімталдық
кіші топ
Ең әсерлісін таңдау
Алдын ала анықталған, түзетілетін
деректер жинау
Ақылға қонымды болған кезде тоқтаңыз
алдын ала анықталған үлгі
Көшірілетін төрт шақыру
1. Адал шағым шеңбері:
Сіздің рөліңіз: шынайы статистикалық көмекші. Менің мақсатым мәнді нәтиже табу ЕМЕС, дұрыс нәтиже табу. ЕРЕЖЕЛЕР:- Маған "мағынасы барша үлгілерді қолданып көріңіз" түрі бойынша ұсыныстар бермеңіз, - егер сіз олардың барлығы хабарлануы керек бірнеше техникалық сипаттама ұсынсаңыз, айтыңыз, - p-бұзушылыққа әкелуі мүмкін кез келген қадамдар туралы ескертіңіз. Алдымен менің негізгі үлгімді түсіндіруге көмектесіңіз, ашуды растаудан бөлек.
2. Талдау жоспарының жобасы:
Маған зерттеуге алдын ала талдау жоспарының жобасын жасауға көмектесіңіз: бастапқы гипотеза, бастапқы нәтиже айнымалысы, негізгі үлгі сипаттамасы, алдын ала анықталған ішкі топтар, бірнеше салыстыру стратегиясы. «Барлау» және «растау» талдауларын бөлек тақырыптарға қойыңыз. Деректерге қарамай толтыру керектігін ескертіңіз.
3. Сезімталдықты талдау:
Менің басты тұжырымым - сезімталдық талдау кодын жазу (R) Менің мақсатым - ең жақсысын таңдау ЕМЕС, нәтиженің қаншалықты берік екенін КӨРУ; барлық нәтижелерді көрсету.
4. Өзін-өзі бақылау:
Мен талдау процесін түсіндіремін; Маған p-hacking / HARKing / таңдаулы есеп беру үшін бақылау тізімін беріңіз және менің қадамдарымның қайсысы қауіпті екенін белгілеңіз. Мен қанша үлгі/сынақ қолданып көргенімді және қайсысы туралы хабарлауды жоспарлап отырғанымды сұраңыз.
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Бұл деректерде қандай айнымалылар маңызды қатынастарды көрсетеді, ең жақсы үлгіні табыңыз.
Бұл нұсқау тікелей p-бұзу туралы нұсқау: AI ондаған комбинацияларды қолданып көреді және «ең мағынасы бар» біреуін ұсынады. Нәтиже, әрине, қайталанбайтын жалған тұжырым.
Күшті шақыру:
Сіздің рөліңіз: адал көмекші. Мен алдын ала анықтаған НЕГІЗГІ үлгі: Y ~ X + басқару элементтері. Осы үлгіні болжайтын кодты жазыңыз. Басқа «мағыналы» үлгіні іздемеңіз. Нәтиженің сенімділігін көру үшін сезімталдық талдауын ұсыныңыз, бірақ мен ең жақсысын таңдамай, БАРЛЫҚ нәтижелерді хабарлайтынымды біліңіз. Кез келген зерттеу нәтижелерін «расталған» деп жазуыма рұқсат етпеңіз.
Айырмашылық: күшті ерік негізгі үлгіні бекітеді, іздеуге тыйым салады және барлық нәтижелерді хабарлауды талап етеді.
үш шағын іс
1-жағдай – топша аңшылық. Бір зерттеуші жалпы үлгіде ешқандай әсер таппады; Ол AI-дан «қай топшада маңызды?» Деп сұрады. YZ жас, жыныс және аймақтық комбинацияларды сканерлеп, «35-44 жастағы қалалық әйелдерде p = 0,03» деп тапты. Мақала осы кіші топқа негізделген. Оның қайталануы ешқандай нәтиже бермеді: бұл ондаған кіші топтардың кездейсоқ нәтижесі болды. Сабақ: деректер HARKing болғаннан кейін таңдалған ішкі топ растамайды.
2-жағдай – Конверсиялық аңшылық. Студенттік деңгейдегі формада мағынасыз болып шығатын қарым-қатынас; оны лог, квадрат түбір, квадрат және лаг формаларында сынап көрді; Ол log-log түрінде p=0,048 деп тапты және тек соны хабарлады. Бақытымызға орай, сыналған 5 форманың бірі табалдырықтан өтті. Дұрыс жол болды: теориямен пішінді алдын ала таңдау және сезімталдық кестесінде барлық пішіндердің нәтижесін көрсету. Сабақ: таңдаулы есеп беру жалған мән береді.
3-жағдай - Адал жақтау қалай жұмыс істейді. Талдау алдында алдын ала тіркелген бір команда: бір бастапқы гипотеза, бір негізгі модель, алдын ала анықталған екі топша, Bonferroni түзетуі. Негізгі әсер айтарлықтай болмады, бірақ команда бұл туралы шынайы хабарлады; Зерттеуші адам бір тұжырымды «болашақта сынақтан өткізу қажет» деп белгіледі. Зерттеу қайталанатын және сенімді болды. Сабақ: адал жоспарлау тіпті «сәтсіз» нәтижені де құнды етеді.
Жалпы қателер
- AI-ға «мағыналы нәтижелерді табуды» айту. Бұл тікелей p-hacking; Нәтижелерді емес, дәлдікті сұрап, AI-ны шынайы шеңберге қойыңыз.
- Жаңалықты растау ретінде ұсыну (HARKing). Деректерден кейін орнатылған гипотезаны «Мен оны басынан бастап болжадым» деп жазу жаңылыс; Зерттеу нәтижесін белгілеңіз.
- Тек жақсы нәтижелер туралы хабарлау. Тексерілген барлық сипаттамаларды көрсету; Сезім талдауын жасыру тұтастықты бұзады.
- Ішкі топ/түрлендіру скринингі. Ондаған кіші топтардың немесе түрлендірулердің ішінен ең маңыздысын таңдау жалған тұжырымдар жасайды; алдын ала анықтап, түзетіңіз.
- Қанша сынақ жасағаныңызды ұмытып кетесіз. Әрекеттердің жалпы санын қадағалаңыз; Бұл санды білмей, ешқандай p-мәнін шынайы түсіндіру мүмкін емес.
Кеңес: Нәтижені жазбас бұрын, өзіңізден сұраңыз: «Мен осы нәтижені тапқанша неше жолды үнсіз сынап көрдім және олардың барлығын хабарлап отырмын ба?» Кейбір эсселер жәшікте қалса, баяндамаңыз бұрынғыдан күштірек көрінеді.
Қысқаша айтқанда
p-hacking, HARKing, таңдаулы есеп беру және айыр жолдар бағы; Олардың көпшілігі байқаусызда жұмыс істейтін, бірақ жалған, қайталанбайтын тұжырымдар жасайтын тұзақтар. AI бұл тұзақтарды тездетеді, өйткені ол бірден ондаған талдауларды орындай алады; «Мағыналы нәтижелерді табу» түріндегі сұраулар AI-ді p-бұзу қозғалтқышына айналдырады. қорғаныс; алдын ала тіркеу және талдау жоспарымен растаудан ашуды бөлу, барлық сипаттамалар мен сезімталдық талдауын хабарлау, бірнеше салыстыруларды түзету және AI-ны «дұрыс нәтижені» талап ететін адал негізге қою. Соңғы жауапкершілік әрқашан зерттеушіге жүктеледі.
Қолданбалы тапсырма
Деректерді қарау алдында зерттеу сұрағын таңдап, қысқаша талдау жоспарын жазыңыз: бастапқы гипотеза, негізгі модель, бастапқы нәтиже айнымалысы, алдын ала анықталған ішкі топтар, бірнеше салыстыру стратегиясы. Содан кейін негізгі модельді бағалаңыз. Содан кейін сезімталдық талдауын жасаңыз (әртүрлі басқару элементтері, шектен тыс мәндер енгізілген/шығарылған, әртүрлі функция пішіні) және барлық нәтижелерді бір кестеде көрсетіңіз. Бір абзацта қандай қадамдар p-бұзу қаупін тудыратынын және сіздің адал жүйеңіз оларды қалай шектейтінін бағалаңыз.
бақылау парағы
- [ ] Деректерге кіріспес бұрын талдау жоспарын/бас үлгісін жаздым.
- [ ] Мен барлау және растау талдауларын бөлек белгіледім; Мен ХАРкинг емес едім.
- [ ] Мен қолданып көрген барлық техникалық сипаттамалар туралы хабарладым; Мен жай ғана әдемісін таңдаған жоқпын.
- [ ] Мен ішкі топтар мен түрлендірулерді алдын ала анықтадым, деректерден кейін оларды сканерлеген жоқпын.
- [ ] Мен қанша сынақ өткізгенімді қадағалап отырдым және қажетті түзетуді қолдандым.
- [ ] Мен AI-ны «мағыналы табу» емес, «шындықты табу» контекстінде қолдандым; Мен жауапкершілікті өз мойныма алдым.