Daromadlar:
- P-hacking, HARKing, selektiv hisobotlar va yo'llarni kesish noto'g'ri xulosalar chiqarishini tushuning va sun'iy intellekt bu tuzoqlarni qanday tezlashtirishi mumkinligini ko'ring.
- Oldindan ro'yxatdan o'tish, tahlil rejasi, bir nechta taqqoslash intizomi va sun'iy intellekt yordamida sezgirlik tahlili kabi himoya vositalarini o'rnatish qobiliyati
- Sun'iy intellektga "mazmunli natijani topish" so'rovlarini rad etishga imkon beradigan halol so'rov dizaynini o'z ichiga olish imkoniyatiga ega bo'lish va yakuniy javobgarlik tadqiqotchi zimmasiga tushadi.
Oldingi birlikda biz p-qiymati nima ekanligini va u nima emasligini ko'rib chiqdik. Ushbu bo'limda biz qorong'u mavzuni, statistik yaxlitlikka tahdid soluvchi tizimli tuzoqlarni ko'rib chiqamiz. Bularning aksariyati qasddan aldash emas; Bu hiyla-nayrang mexanizmlar bo'lib, hatto yaxshi niyatli tadqiqotchilar ham buni tushunmasdan tushib qoladilar. Va sun'iy intellekt (AI) bu tuzoqlarni ham oson va tezroq qiladi, chunki u soniyalarda o'nlab tahlillarni amalga oshirish imkonini beradi. Ushbu bo'limning maqsadi AIni "ma'noli natijalarni topuvchi mashina" dan halol yordamchiga aylantiradigan intizomni o'rnatishdir.
Asosiy tuzoqlar
p-hacking (p-qiymatini ovlash): Muhim natija (p<0,05) olinmaguncha tahlilni turli yo'llar bilan qaytadan sinab ko'radi. O‘zgaruvchilarni qo‘shish va o‘chirish, kichik namunalarni tanlash, chetdagi qiymatlar ta’rifini o‘zgartirish, turli transformatsiyalarni sinab ko‘rish, turli natija o‘zgaruvchilardan foydalanish, ma’lumotlar mazmunli bo‘lganda ma’lumotlarni yig‘ishni to‘xtatish... Har bir urinish yangi “imkoniyat” beradi; Agar siz etarlicha harakat qilsangiz, ulardan biri hech qanday ta'sir ko'rsatmasa ham, mazmunli bo'lib chiqadi. Natija: chop etilgan, ammo takrorlanmaydigan soxta topilmalar.
HARKing (Natijalar ma'lum bo'lgandan keyin faraz qilish): Natijalarni ko'rgandan so'ng gipoteza qo'yish va uni "Men buni boshidan shunday bashorat qilganman" deb taqdim etish. Siz ma'lumotlarga qaraysiz va eng ajoyib munosabatni topasiz, so'ngra qog'ozni xuddi shu gipotezani sinab ko'rish uchun mo'ljallangandek yozing. Bu kashfiyotni tasdiqlashdek tuyulishi bilan o'quvchini chalg'itadi.
Tanlangan hisobot (gilos terish): o'nlab tahlillardan faqat "yaxshi"larini xabar qilish va qolganlarini jimgina ko'mish. Bu, shuningdek, "fayllar tortmasi muammosi" sifatida ham tanilgan: ma'nosiz natijalar tortmada qolib, adabiyotni tizimli ravishda tarafkash qiladi.
Yo'llar bog'i: Endryu Gelmanning atamasi. Hatto bitta qasddan p-hacking bo'lmasa ham, tadqiqotchi ma'lumotlar (qaysi o'zgaruvchi, qaysi chegara, qaysi kichik guruh, qaysi transformatsiya) asosida ko'plab oqilona tanlovlarni amalga oshiradi. Ushbu tergov erkinlik darajalari shunchalik ko'pki, siz ko'plab tahlillar orasidan, hatto hech qanday yomon niyatsiz ham samaralini tanlaysiz. Natijada yana noto'g'ri ijobiy ko'rsatkich ko'tariladi.
Diqqat: Bu tuzoqlarning aksariyati ataylab qilingan hiylalar emas. "Men yana bir nechta modellarni sinab ko'rdim", "Men chetni olib tashlaganimda toza bo'ldi", "bu kichik guruhda ta'sir aniqroq" kabi begunoh tuyulgan qadamlar yig'indisi soxta topilmaga olib kelishi mumkin. Halollik niyat emas, balki usul masalasidir.
Nega AI bu tuzoqlarni kengaytiradi?
3 ta modelni qo'lda sinab ko'rish vaqt talab etadi; YZ bir necha daqiqada 50 ta model variantini, 10 xil konvertatsiyani, 8 ta kichik guruhni ishlab chiqaradi. Bu kuch halol rejasiz halokatli: "ushbu ma'lumotlarda mazmunli munosabatlarni toping" yoki "ushbu farazni qo'llab-quvvatlaydigan modelni yaratish" kabi so'rov AIni to'g'ridan-to'g'ri p-hacking dvigateliga aylantiradi. AI ham foydali bo'lishni xohlaydi; sizni qoniqtiradigan “mazmunli” natijani topishga intiladi. Shuning uchun sizning tezkor dizayningiz halollikning birinchi himoya chizig'idir.
Himoya: biznesning adolatli yo'nalishi
1. Oldindan ro'yxatdan o'tish: Bu tahlilni amalga oshirishdan oldin gipoteza, o'zgaruvchilar, model va testlarni yozma ravishda (ehtimol vaqt tamg'asi bilan belgilangan platformada) yozib olishni anglatadi. Shunday qilib, kashfiyot tasdiqlashdan ajratiladi; keyin o'zgartirgan har qanday narsa "explorer" sifatida belgilanadi.
2. Tahlil rejasi: Agar siz oldindan yozib bo'lmasangiz ham, ma'lumotlarga sho'ng'ishdan oldin tahlil rejasini yozing: asosiy gipoteza, asosiy natija o'zgaruvchisi, asosiy model. "Asosiy tahlil" va "qo'shimcha/izlanish tahlili" o'rtasidagi farqni boshidan belgilang va uni hisobotda saqlang.
3. Hammasi haqida xabar bering: sinab ko'rgan modellaringizni yashirmang. "Sezuvchanlik tahlili" (mustahkamlikni tekshirish) bo'limida turli spetsifikatsiyalar natijani qanday o'zgartirishini ko'rsating. Agar topilma ko'plab mantiqiy tanlovlar ostida bo'lsa, kuchli bo'ladi.
4. Bir nechta taqqoslash intizomi: Agar siz juda ko'p testlarni bajargan bo'lsangiz, ularni to'g'rilang (6-birlik). "Men nechta test o'tkazdim?" Degan savolga javob bering. halol.
5. Sezuvchanlik tahlili: Asosiy topilmangizni boshqa namuna, boshqa nazorat majmuasi va boshqa transformatsiya bilan takrorlang. Agar natija o'zgarsa, uni yashirmang, xabar bering.
Taqqoslash jadvali: halol va tuzoq
Ilova
tuzoq shakli
Halol ekvivalent
Model tanlash
Mantiqiy bo'lguncha harakat qilish (p-hacking)
Oldindan rejalashtirilgan asosiy model
gipoteza
Haqiqatdan keyin moslash (HARKing)
Oldindan yozib olingan, ma'lumotlardan oldin
Hisobot
Faqat chiroylilarni ko'rsatmang
Barcha spetsifikatsiyalar + sezgirlik
kichik guruh
Eng hayratlanarlisini tanlash
Oldindan belgilangan, tuzatilishi mumkin
ma'lumotlar yig'ish
Mantiqiy bo'lganda to'xtating
oldindan belgilangan namuna
To'rtta nusxa ko'chirish taklifi
1. Halol da'vo doirasi:
Sizning rolingiz: halol statistika yordamchisi. Mening maqsadim mazmunli natija topish EMAS, balki to'g'ri natijani topishdir. QOIDALAR:- Menga “modellarni mantiqiy bo'lguncha sinab ko'ring” turidagi takliflarni bermang,- agar siz bir nechta spetsifikatsiyalarni taklif qilsangiz, ular haqida xabar berilishi kerakligini ayting,- meni p-hackingga olib kelishi mumkin bo'lgan har qanday qadamlar haqida ogohlantiring. Avval mening asosiy modelimni aniqlashga yordam bering, kashfiyotni tasdiqlashdan ajrating.
2. Tahlil rejasi loyihasi:
Tadqiqot uchun dastlabki tahlil rejasini tuzishda menga yordam bering: asosiy gipoteza, asosiy natija o'zgaruvchisi, asosiy model spetsifikatsiyasi, oldindan belgilangan kichik guruhlar, bir nechta taqqoslash strategiyasi. "Tadqiqot" va "tasdiqlovchi" tahlillarni alohida sarlavhalarga qo'ying. Buni ma'lumotlarga qaramasdan to'ldirishimni eslatib qo'ying.
3. Sezuvchanlik tahlili:
Mening asosiy topilmam - sezgirlikni tahlil qilish kodini yozish (R) uchun Mening maqsadim - eng yaxshisini tanlash EMAS, natija qanchalik mustahkam ekanligini KO'RING; barcha natijalarni ko'rsatish.
4. O'z-o'zini nazorat qilish:
Men tahlil jarayonimni tushuntiraman; Menga p-hacking / HARKing / tanlab hisobot berish uchun nazorat ro'yxatini bering va mening qaysi qadamlarim xavfli ekanligini belgilang. Qancha model/sinovlarni sinab ko'rganligim va qaysi biri haqida xabar berishni rejalashtirayotganimni so'rang.
Zaif taklif / Kuchli taklif
Zaif taklif:
Qaysi o'zgaruvchilar ushbu ma'lumotlarda muhim munosabatlarni ko'rsatadi, eng yaxshi modelni toping.
Bu so'rov to'g'ridan-to'g'ri p-hacking ko'rsatmasi: AI o'nlab kombinatsiyalarni sinab ko'radi va "eng mantiqiy" bo'lganini taqdim etadi. Natija deyarli takrorlanmaydigan soxta topilmadir.
Kuchli so'rov:
Sizning rolingiz: halol yordamchi. Men oldindan belgilagan ASOSIY model: Y ~ X + boshqaruvlari. Ushbu modelni taxmin qiladigan kodni yozing. Boshqa "mazmunliroq" modelni qidirmang. Natijaning mustahkamligini ko'rishim uchun sezgirlik tahlilini ham taklif qiling, lekin bilingki, men eng yaxshisini tanlamasdan, HAMMA natijalar haqida xabar beraman. Har qanday tadqiqot natijalarini "tasdiqlangan" deb yozishimga ruxsat bermang.
Farqi: kuchli iroda asosiy modelni tuzatadi, qidirishni taqiqlaydi va barcha natijalar haqida xabar berishni talab qiladi.
uchta mini holat
1-holat - kichik guruhlarda ov qilish. Bir tadqiqotchi umumiy namunada hech qanday ta'sir ko'rsatmadi; U AIdan "bu qaysi kichik guruhda muhim?" YZ yosh, jins va mintaqa kombinatsiyalarini skanerdan o'tkazdi va "35-44 yoshdagi shahar ayollarida p = 0,03" ni topdi. Maqola ushbu kichik guruhga asoslangan edi. Uning replikatsiyasi hech qanday ta'sir ko'rsatmadi: bu o'nlab kichik guruhlarning tasodifiy natijasi edi. Dars: ma'lumotlar HARKingdan so'ng tanlangan kichik guruh tasdiqlanmaydi.
2-holat - konversion ov. Talabalar darajasidagi shaklda ma'nosiz bo'lib chiqadigan munosabatlar; log, kvadrat ildiz, kvadrat va lag shakllarida sinab ko'rdi; U log-log shaklida p = 0,048 ni topdi va faqat bu haqda xabar berdi. Yaxshiyamki, sinab ko'rilgan 5 ta shakldan biri eshikni kesib o'tdi. To'g'ri yo'l: nazariya bilan shaklni oldindan tanlash va sezgirlik jadvalidagi barcha shakllarning natijasini ko'rsatish. Dars: tanlangan hisobot noto'g'ri ma'noni keltirib chiqaradi.
3-holati - Halol ramkalar qanday ishlaydi. Tahlil qilishdan oldin bir guruh oldindan ro'yxatdan o'tgan: bitta asosiy gipoteza, bitta asosiy model, ikkita oldindan belgilangan kichik guruh, Bonferroni tuzatish. Asosiy ta'sir sezilarli emas edi, lekin jamoa buni halollik bilan bildirdi; Tadqiqotchi bir topilmani "kelajakda sinab ko'rish kerak" deb belgiladi. Tadqiqot takrorlanadigan va ishonchli edi. Dars: halol rejalashtirish hatto "muvaffaqiyatsiz" natijani ham foydali qiladi.
Umumiy xatolar
- AIga "mazmunli natijalarni toping" deyish. Bu to'g'ridan-to'g'ri p-xakerlik; Natijalarni emas, balki aniqlikni so'rab, AIni halol doiraga qo'ying.
- Tasdiq sifatida kashfiyotni taqdim etish (HARKing). Ma'lumotlardan keyin o'rnatilgan gipotezani "boshidan bashorat qilganman" deb yozish noto'g'ri; Izlanish topilmasini belgilang.
- Faqat yaxshi natijalar haqida xabar berish. Sinov qilingan barcha texnik xususiyatlarni ko'rsatish; Tuyg'u tahlilini yashirish butunlikni buzadi.
- Kichik guruh/konversiya skriningi. O'nlab kichik guruhlar yoki o'zgarishlardan eng muhimini tanlash soxta topilmalarni keltirib chiqaradi; oldindan aniqlash va tuzatish.
- Qancha sinovdan o'tganingizni unutasiz. Urinishlarning umumiy sonini kuzatib boring; Bu raqamni bilmasdan turib, hech qanday p-qiymatini halol talqin qilib bo'lmaydi.
Maslahat: Topilmani yozishdan oldin o'zingizdan so'rang: "Men bu natijani topgunimcha qancha yo'lni indamay sinab ko'rdim va hammasini xabar qilyapmanmi?" Agar ba'zi insholar tortmada qolsa, sizning hisobotingiz undan kuchliroq ko'rinadi.
Xulosa
p-hacking, HARKing, tanlab hisobot berish va vilkalar bog'i; Ko'p tuzoqlar beixtiyor ishlaydi, lekin soxta, takrorlanmaydigan topilmalarni keltirib chiqaradi. AI bu tuzoqlarni tezlashtiradi, chunki u bir zumda o'nlab tahlillarni sinab ko'rishi mumkin; "Ma'noli natijalarni toping" so'rovlari AIni p-xakerlik mexanizmiga aylantiradi. mudofaa; Oldindan ro'yxatdan o'tish va tahlil rejasi bilan kashfiyotni tasdiqlashdan ajratish, barcha spetsifikatsiyalar va sezgirlik tahlili haqida hisobot berish, bir nechta taqqoslashlarni tuzatish va AIni "to'g'ri natija" ni talab qiladigan halol asosga qo'yish. Yakuniy javobgarlik har doim tadqiqotchi zimmasiga tushadi.
Ilova vazifasi
Ma'lumotlarga qarashdan oldin tadqiqot savolini tanlang va qisqacha tahlil rejasini yozing: asosiy gipoteza, asosiy model, asosiy natija o'zgaruvchisi, oldindan belgilangan kichik guruhlar, bir nechta taqqoslash strategiyasi. Keyin asosiy modelni baholang. Keyin sezgirlik tahlilini o'tkazing (turli xil boshqaruv elementlari, o'z ichiga olgan/chiqib chiqarilgan, turli funktsiyalar shakli) va barcha natijalarni bitta jadvalda ko'rsating. Bitta xatboshida, qaysi qadamlar p-xakerlik xavfini tug'dirishini va sizning halol tizimingiz ularni qanday cheklashini baholang.
nazorat ro'yxati
- [ ] Ma'lumotlarga sho'ng'ishdan oldin tahlil rejasini/master modelini yozdim.
- [ ] Men tadqiqot va tasdiqlovchi tahlillarni alohida belgiladim; Men HARKing emas edim.
- [ ] Men sinab ko'rgan barcha texnik xususiyatlar haqida xabar berdim; Men shunchaki chiroylisini tanlaganim yo'q.
- [ ] Men kichik guruhlar va transformatsiyalarni oldindan aniqladim, maʼlumotlardan keyin ularni skanerlamadim.
- [ ] Men qancha test oʻtkazganimni kuzatib turdim va kerakli tuzatishni qoʻlladim.
- [ ] Men sun'iy intellektni "mazmunli topish" o'rniga "haqiqatni topish" kontekstida ishlatganman; Men mas'uliyatni o'z zimmamga oldim.