Пайдалар:
- p-hacking, HARKing, тандалма отчеттуулук жана айры жолдордун бакчасы жалган тыянактарды чыгарарын түшүнүңүз жана жасалма интеллект бул тузактарды кантип тездете аларын көрүңүз
- Жасалма интеллект колдоосу менен алдын ала каттоо, талдоо планы, бир нече салыштыруу дисциплинасы жана сезгичтик талдоо сыяктуу коргонууларды түзүү мүмкүнчүлүгү
- Жасалма интеллектке "маанилүү натыйжаны табуу" түрүндөгү суроо-талаптарды четке кагууга жана акыркы жоопкерчилик изилдөөчүгө жүктөлгөн чынчыл суроо-талаптын дизайнын өздөштүрө алуу.
Мурунку бөлүмдө биз p-мааниси эмне экенин жана эмне эмес экенин көрдүк. Бул бөлүмдө биз караңгы теманы, статистикалык бүтүндүккө коркунуч келтирген системалуу тузактарды карайбыз. Булардын көбү атайылап алдамчылык эмес; Булар жакшы ниеттүү изилдөөчүлөр да байкабай кирип кеткен тымызын механизмдер. Ал эми жасалма интеллект (AI) бул тузактарды оңой жана тезирээк кылат, анткени секунданын ичинде ондогон анализдерди жүргүзүүгө мүмкүнчүлүк берет. Бул бөлүмдүн максаты - AIны "маанилүү жыйынтык табуу машинасынан" чынчыл жардамчыга айландыра турган тартипти орнотуу.
Негизги тузактар
p-хакердик (p-баалуу аңчылык): олуттуу натыйжа (p<0.05) алынганга чейин анализди ар кандай жолдор менен кайра сынап жатат. Өзгөрмөлөрдү кошуу жана алып салуу, чакан үлгүлөрдү тандоо, четтөөчүлөрдүн аныктамасын өзгөртүү, ар кандай трансформацияларды сынап көрүү, ар кандай жыйынтык өзгөрмөлөрдү колдонуу, мааниге ээ болгондо маалыматтарды чогултууну токтотуу... Ар бир аракет жаңы "шанс" берет; Эгер сиз жетиштүү аракет кылсаңыз, алардын бири эч кандай натыйжа бербесе да, маанисиз болуп чыгат. Натыйжа: жарыяланган, бирок кайра чыгарууга мүмкүн болбогон жалган жыйынтыктар.
HARKing (Натыйжалар белгилүү болгондон кийин гипотеза жасоо): Жыйынтыктарды көргөндөн кийин гипотеза жасап, аны "мен башынан эле ушинтип алдын ала айттым" деп көрсөтүү. Сиз маалыматтарды карап, эң таң калыштуу байланышты табасыз, анан кагазды ошол гипотезаны текшерүү үчүн жасалгандай жазыңыз. Бул ачылыш тастыктагандай сезилип, окурманды адаштырууда.
Тандалма репортаж (алча терүү): ондогон анализдердин ичинен “жакшыларын” гана билдирүү, калганын унчукпай көмүү. Бул ошондой эле "файл суурмасынын көйгөйү" деп аталат: маанисиз натыйжалар тартмада калып, адабиятты системалуу түрдө бир жактуу кылат.
Айрылуу жолдор бакчасы: Эндрю Гельмандын мөөнөтү. Бир да атайылап p-hacking болбосо да, изилдөөчү маалыматтардын негизинде көптөгөн акылга сыярлык тандоолорду жасайт (кайсы өзгөрмө, кайсы босого, кайсы подгруппа, кайсы трансформация). Эркиндиктин бул тергөө даражалары ушунчалык көп болгондуктан, сиз көптөгөн анализдердин ичинен эч кандай жаман ниети жок болсо да, эффективдүү тандап жатасыз. Натыйжада, кайрадан жалган оң көрсөткүчтүн жогорулашы.
Абайлаңыз: Бул тузактардын көбү атайылап жасалган амалдар эмес. "Мен жаңы эле бир нече моделди сынап көрдүм", "чыгармаларды алып салганда тазараак болду", "бул подгруппада эффект айкыныраак" деген сыяктуу күнөөсүз көрүнгөн кадамдардын жыйындысы жалган жыйынтык чыгарышы мүмкүн. Чынчылдык - бул ниет эмес, ыкма маселеси.
Эмне үчүн AI бул тузактарды кеңейтет?
Кол менен 3 моделди сынап көрүү убакытты талап кылат; YZ 50 моделдин вариантын, 10 түрдүү конверсияны, 8 подгруппаны мүнөттүн ичинде чыгарат. Бул күч чынчыл плансыз каргашалуу: "бул маалыматтардан маңыздуу мамилени табуу" же "бул гипотезаны колдогон моделди түзүү" сыяктуу өтүнүч AI түз эле p-hacking кыймылдаткычына айланат. AI да пайдалуу болгусу келет; сени канааттандыра турган "маанилүү" натыйжаны табууга умтулат. Ошондуктан сиздин ыкчам дизайныңыз – чынчылдыктын биринчи коргонуу линиясы.
Коргоо: бизнестин адилет курсу
1. Алдын ала каттоо: Бул сиздин гипотезаңызды, өзгөрмөлөрүңүздү, моделиңизди жана тесттериңизди жазуу жүзүндө (мүмкүн убакыт мөөрү бар платформада) талдоо жүргүзүүдөн мурун жазууну билдирет. Ошентип, ачылыш ырастоодон бөлүнөт; кийин өзгөрткөн нерсеңиз "изилдөөчү" деп белгиленет.
2. Талдоо планы: Алдын ала жаздыра албасаңыз да, берилиштерге кирүүдөн мурун талдоо планын жазыңыз: негизги гипотеза, негизги жыйынтык өзгөрмө, негизги модель. "Негизги талдоо" менен "кошумча/чалгындоочу анализдин" ортосундагы айырманы башынан эле белгилеңиз жана аны отчетто сактаңыз.
3. Баарын кабарлаңыз: Сынап көргөн моделдериңизди жашырбаңыз. "Сезгичтикти талдоо" (бекемдүүлүктү текшерүү) бөлүмүндө түрдүү спецификациялар натыйжаны кандайча өзгөртөрүн көрсөтүңүз. Изилдөө көптөгөн акылга сыярлык тандоолордун астында турганда гана күчтүү болот.
4. Көптөгөн салыштыруу дисциплина: Эгер сиз өтө көп тест жасасаңыз, аларды оңдоңуз (6-бирдик). "Мен канча тест тапшырдым?" деген суроого жооп бериңиз. чынчылдык менен.
5. Сезимталдыкты талдоо: Негизги табылгаңызды башка үлгү, башка башкаруу топтому жана башка трансформация менен кайталаңыз. Эгер натыйжа өзгөрсө, аны жашырбаңыз, кабарлаңыз.
Салыштыруу диаграммасы: чынчыл жана тузак
Колдонмо
капкан формасы
Чынчыл эквивалент
Моделди тандоо
Маанилүү болгонго чейин аракет кылуу (p-hacking)
Алдын ала пландалган мастер модел
гипотеза
Факттан кийин тууралоо (HARKing)
Алдын ала жазылган, маалыматтардан мурун
Отчет берүү
Жөн эле сулууларды көрсөтпө
Бардык спецификациялар + сезгичтик
подгруппа
Эң таасирдүүсүн тандоо
Алдын ала аныкталган, оңдоого болот
маалыматтарды чогултуу
Мааниси келгенде токто
алдын ала белгиленген үлгү
Төрт көчүрүүгө болот
1. Чынчыл дооматтын негизи:
Сиздин ролуңуз: чынчыл статистикалык жардамчы. Менин максатым маңыздуу жыйынтык табуу ЭМЕС, туура жыйынтык табуу. ЭРЕЖЕЛЕР:- Мага "моделдерди акылга сыймайынча сынап көрүңүз" түрүндөгү сунуштарды бербеңиз, - эгер сиз бир нече спецификацияларды сунуштасаңыз, алардын бардыгына билдирилиши керек деп айтыңыз, - p-хакердикке алып келе турган кадамдар жөнүндө эскертиңиз. Алгач менин негизги моделимди тактап, ачылышты ырастоодон бөлүүгө жардам бериңиз.
2. Талдоо планынын долбоору:
Мага изилдөө үчүн алдын ала талдоо планын түзүүгө жардам бериңиз: негизги гипотеза, негизги жыйынтык өзгөрмөсү, негизги моделдин спецификациясы, алдын ала аныкталган подгруппалар, бир нече салыштыруу стратегиясы. "Изилдөөчү" жана "Ырастоочу" талдоолорду өзүнчө рубрикаларга коюңуз. Маалыматтарга КАРАБАЙ ушуну толтурууну эскертип коюңуз.
3. Сезимталдуулукту талдоо:
Менин негизги табылгам - сезгичтик талдоо кодун жазуу (R) үчүн Менин максатым - эң жакшысын тандоо ЭМЕС, натыйжанын канчалык бекем экенин КӨРҮҮ; бардык натыйжаларды көрсөтүү.
4. Өзүн өзү көзөмөлдөө:
Мен өзүмдүн анализ процессимди түшүндүрөм; Мага p-hacking / HARKing / тандалма отчеттуулук үчүн текшерүү тизмесин бериңиз жана менин кадамдарымдын кайсынысы кооптуу экенин белгилеңиз. Мен канча моделди/сынакты сынап көргөнүмдү жана кайсынысын кабарлоону пландаштырып жатканымды сура.
Алсыз тездик / Күчтүү тездик
Алсыз билдирүү:
Кайсы өзгөрмөлөр бул маалыматтарда олуттуу мамилелерди көрсөтөт, эң жакшы моделди табыңыз.
Бул түздөн-түз p-hacking көрсөтмөсү: AI ондогон комбинацияларды сынап көрүп, "эң мааниге ээ" болгонду көрсөтөт. Натыйжа дээрлик, албетте, кайталанбай турган жалган ачылыш.
Күчтүү билдирүү:
Сиздин ролуңуз: чынчыл жардамчы. Мен алдын ала аныктаган НЕГИЗГИ модель: Y ~ X + башкаруу. Бул моделди болжолдоочу кодду жазыңыз. Башка "маанилүү" моделди издебеңиз. Ошондой эле сезгичтиктин анализин сунуштаңыз, ошондо мен натыйжанын бекемдигин көрө алам, бирок мен эң жакшысын эмес, БАРДЫК жыйынтыктарды билдирээримди билиңиз. Эч кандай чалгындоо жыйынтыктарын "тастыкталган" деп жазууга уруксат бербеңиз.
Айырмасы: күчтүү эрк негизги моделди оңдоп, издөөгө тыюу салат жана бардык жыйынтыктарды билдирүүнү талап кылат.
үч мини учурлар
1-жагдай — подгруппалык аңчылык. Бир изилдөөчү жалпы үлгүдө эч кандай таасир тапкан жок; Ал AIдан "бул кайсы подгруппада маанилүү?" YZ жашын, жынысын жана аймактын айкалышын сканерлеп, "35-44 жаштагы шаардык аялдарда p = 0,03" деп тапты. Макала ушул подгруппага негизделген. Анын кайталанышы эч кандай натыйжа берген жок: бул ондогон чакан топтордун кокустуктарынын натыйжасы болгон. Сабак: маалыматтар HARKing болгондон кийин тандалган подгруппа ырастабайт.
2-жагдай — Конверсиялык аңчылык. Студенттик деңгээлдеги формада маанисиз болуп чыккан мамиле; аны лог, квадраттык тамыр, квадрат жана лаг формасында сынап көрдү; Ал лог-лог формасында p=0,048 таап, ошону гана билдирди. Бактыга жараша, аракет кылган 5 форманын бири босогодон өттү. Туура жол болгон: форманы теория менен алдын ала тандап алуу жана сезгичтик таблицасында бардык формалардын жыйынтыгын көрсөтүү. Сабак: тандалма отчеттуулук жалган мааниге ээ.
3-жагдай - Чынчыл кадр түзүү кантип иштейт. Талдоодон мурун бир команда алдын ала катталган: жалгыз негизги гипотеза, бир негизги модель, эки алдын ала аныкталган подгруппа, Bonferroni коррекциясы. Негизги эффект олуттуу болгон жок, бирок команда аны чынчылдык менен билдирди; Чалгындоочу адам бир табылганы "келечекте сыналышы керек" деп белгиледи. Изилдөө кайталануучу жана ишенимдүү болгон. Сабак: чынчыл пландаштыруу, атүгүл “иштей албаган” жыйынтыкты да пайдалуу кылат.
Жалпы каталар
- AIга "маанилүү натыйжаларды табууну" айтуу. Бул түз эле p-hacking болуп саналат; Натыйжаларды эмес, тактыкты сурап, AIны чынчыл рамкага салыңыз.
- Табылды тастыктоо катары көрсөтүү (HARKing). Берилгенден кийин түзүлгөн гипотезаны «мен башынан эле алдын ала айттым» деп жазуу адашуу; Чалгындоочу табылганы белгиле.
- Жөн гана жакшы натыйжаларды билдирүү. Сыналган бардык спецификацияларды көрсөтүү; Сезим талдоо жашыруу бүтүндүккө доо кетирет.
- Чакан топтун/конверсиянын скрининги. Ондогон подгруппалардын же трансформациялардын ичинен эң маанилүүсүн тандоо жалган жыйынтыктарды берет; алдын ала аныктоо жана оңдоо.
- Канчалаган сыноолоруңузду унутуп калдыңыз. Аракеттердин жалпы санын көзөмөлдөңүз; Бул санды билбестен эч бир p-бааны чынчылдык менен чечмелей албайт.
Кеңеш: Табылды жазуудан мурун, өзүңүзгө суроо бериңиз: "Мен бул натыйжаны тапканга чейин канча жолу унчукпай аракет кылдым жана алардын баарын айтып жатамбы?" Эгерде кээ бир эсселер тартмада калса, сиздин баяндамаңыз андан күчтүүрөөк көрүнөт.
Кыскача айтканда
p-hacking, HARKing, тандалма отчеттуулук жана айры жолдордун бакчасы; Көптөгөн тузактар атайын иштебей, бирок жасалма, кайталангыс табылгаларды жаратат. AI бул тузактарды тездетет, анткени ал ондогон анализдерди заматта сынап көрө алат; "Маанилүү натыйжаларды табуу" түрүндөгү суроо-талаптар AIди p-хакердик кыймылдаткычка айлантат. коргонуу; алдын ала каттоо жана талдоо планы менен ачылышты тастыктоодон бөлүү, бардык спецификацияларды жана сезгичтик талдоолорун билдирүү, бир нече салыштырууларды оңдоо жана AIны "туура жыйынтыкты" талап кылган чынчыл негизге салуу. Акыркы жоопкерчилик ар дайым изилдөөчүгө жүктөлөт.
Колдонмо тапшырмасы
Изилдөө суроосун тандап, маалыматтарды карап чыгуудан мурун кыскача талдоо планын жазыңыз: негизги гипотеза, негизги модель, негизги жыйынтык өзгөрмө, алдын ала аныкталган подгруппалар, бир нече салыштыруу стратегиясы. Андан кийин негизги моделди баалоо. Андан кийин сезгичтиктин анализин жасаңыз (башкача башкаруу элементтери, четтөөлөр камтылган/чыгарылган, башка функция формасы) жана бардык натыйжаларды бир таблицада көрсөтүңүз. Бир абзацта, кайсы кадамдар p-hacking коркунучун туудурарын жана чынчыл алкакыңыз аларды кандайча чектеп жатканын баалаңыз.
текшерүү тизмеси
- [ ] Мен талдоо планын/мастер моделин маалыматтарга кирүүдөн мурун жаздым.
- [ ] Мен чалгындоо жана ырастоочу анализдерди өзүнчө белгилеп койдум; Мен ХАРКинг эмес болчумун.
- [ ] Мен аракет кылган бардык спецификацияларды билдирдим; Мен жөн эле сулуусун тандаган жокмун.
- [ ] Мен подгруппаларды жана трансформацияларды алдын ала аныктадым, маалыматтардан кийин аларды сканерлеген жокмун.
- [ ] Мен канча тест өткөргөнүмдү көзөмөлдөп турдум жана керектүү оңдоолорду киргиздим.
- [ ] Мен интеллектти “маңыздуу табуу” эмес, “чындыкты табуу” контекстинде колдондум; Мен жоопкерчиликти алдым.