Добивки:
- Разберете дека п-хакирањето, HARKing, селективно известување и градината на патеките за чатање произведуваат лажни наоди и видете како вештачката интелигенција може да ги забрза овие стапици
- Способност да се воспостават одбрани како што се претходна регистрација, план за анализа, дисциплина за повеќекратна споредба и анализа на чувствителност со поддршка за вештачка интелигенција
- Можност за интернализирање на дизајнот на искрени барања што ќе и овозможи на вештачката интелигенција да ги отфрли барањата од типот „пронајди значаен резултат“ и дека конечната одговорност е на истражувачот.
Во претходната единица видовме што е p-вредност, а што не е. Во оваа единица ќе разгледаме една помрачна тема, систематските замки кои го загрозуваат статистичкиот интегритет. Повеќето од нив не се намерно мамење; Тоа се подмолни механизми во кои дури и добронамерните истражувачи запаѓаат без да го сфатат тоа. А вештачката интелигенција (ВИ) ги прави овие замки и полесни и побрзи, бидејќи овозможува извршување на десетици анализи во секунди. Целта на оваа единица е да се воспостави дисциплина која ќе ја трансформира вештачката интелигенција од „машина за пронаоѓање значајни резултати“ во чесен асистент.
Основни стапици
p-hacking (p-value hunting): Повторно се обидува анализата на различни начини додека не се добие значителен резултат (p<0,05). Додавање и отстранување на променливи, избирање подпримероци, менување на дефиницијата за оддалечени, обиди за различни трансформации, користење на различни променливи на исходот, запирање на собирањето податоци кога тоа ќе стане значајно... Секој обид дава нова „шанса“; Ако се трудите доволно, еден од нив ќе испадне значаен, дури и ако всушност нема ефект. Резултат: лажни наоди кои беа објавени, но не може да се репродуцираат.
HARKing (Hypothesizing After the Results Known): Правење хипотеза откако ќе се видат резултатите и ќе се претстави како „Јас го предвидов вака од самиот почеток“. Ги гледате податоците и ја наоѓате највпечатливата врска, а потоа напишете го трудот како да е дизајниран да ја тестира таа хипотеза. Ова го доведува читателот во заблуда со тоа што откривањето изгледа како потврда.
Селективно известување (берење цреши): Пријавување само на „добрите“ од десетици анализи и тивко закопување на останатите. Ова е познато и како „проблем со фиоката на датотеки“: бесмислените резултати остануваат во фиоката, што ја прави литературата систематски пристрасна.
Градина со патеки за раздвојување: Терминот на Ендрју Гелман. Дури и без едно намерно p-хакирање, истражувачот прави многу разумни избори врз основа на податоците (која променлива, кој праг, која подгрупа, која трансформација). Овие истражувачки степени на слобода се толку многубројни што ефективно го избирате значајниот од мноштво анализи - дури и без никаква лоша намера. Резултатот е повторно растечка лажна позитивна стапка.
Внимание: Повеќето од овие стапици не се намерни трикови. Збирот на навидум невини чекори како што се „штотуку пробав уште неколку модели“, „беше почисто кога го отстранив надворешното“, „ефектот е појасен во оваа подгрупа“ може да даде лажен наод. Искреноста е прашање на метод, а не на намера.
Зошто вештачката интелигенција ги зголемува овие стапици?
Рачното пробување на 3 модели бара време; YZ произведува 50 варијанти на модели, 10 различни конверзии, 8 подгрупи за неколку минути. Оваа моќ е катастрофална без искрен план: барање како „пронајдете значајна врска во овие податоци“ или „изградете модел што ја поддржува оваа хипотеза“ ја претвора вештачката интелигенција директно во мотор за хакирање p. ВИ исто така сака да биде од помош; има тенденција да најде „значаен“ исход што ќе ве задоволи. Затоа вашиот брз дизајн е првата линија на одбрана на искреноста.
Одбрани: фер тек на деловното работење
1. Пред-регистрација: Тоа значи да ги снимите вашите хипотези, променливи, модел и тестови во писмена форма (најверојатно на платформа со временски печат) пред да ја извршите анализата. Така, откритието е одвоено од потврдата; сè што ќе промените потоа е означено како „истражувач“.
2. План за анализа: Дури и ако не можете однапред да снимате, напишете план за анализа пред да нурнете во податоците: примарна хипотеза, променлива за примарен исход, главен модел. Воспоставете ја разликата помеѓу „главна анализа“ и „дополнителна/истражувачка анализа“ од самиот почеток и одржувајте ја во извештајот.
3. Пријавете сè: Не ги кријте моделите што сте ги пробале. Во делот „анализа на чувствителност“ (проверка на издржливост), покажете како различните спецификации го менуваат резултатот. Наодот е силен само ако се држи под многу веродостојни избори.
4. Дисциплина за повеќекратна споредба: Ако сте направиле премногу тестови, поправете ги (единица 6). Одговорете на прашањето „Колку тестови имам направено? искрено.
5. Анализа на чувствителност: Повторете го вашиот главен наод со различен примерок, различен контролен сет и различна трансформација. Ако резултатот се промени, не кријте го, пријавете го.
Табела за споредување: искрена наспроти стапица
Апликација
форма на стапица
Чесен еквивалент
Избор на модел
Обидувајќи се додека нема смисла (п-хакирање)
Однапред планиран главен модел
хипотеза
Местење по фактот (HARKing)
Претходно снимено, пред податоците
Известување
Не ги покажувајте само убавите
Сите спецификации + чувствителност
подгрупа
Избор на највпечатливите
Предефинирано, исправно
собирање податоци
Престанете кога ќе има смисла
предодреден примерок
Четири потсетници за копирање
1. Рамка за чесни барања:
Вашата улога: искрен асистент за статистика. Мојата цел НЕ е да најдам значаен резултат, туку да го најдам вистинскиот резултат. ПРАВИЛА:- НЕ ми давајте предлози за типот „пробајте модели додека не има смисла“, - кажете ми дали предлагате повеќе спецификации, сите тие треба да се пријават, - предупредете ме за какви било чекори што може да доведат до хакирање p. Помогнете ми прво да го разјаснам мојот главен модел, одделете го откритието од потврдата.
2. Нацрт план за анализа:
Помогнете ми да изготвувам план за прелиминарна анализа за студија: примарна хипотеза, променлива за примарен исход, спецификација на главен модел, однапред дефинирани подгрупи, стратегија за повеќекратна споредба. Ставете ги „истражувачките“ и „потврдните“ анализи во посебни наслови. Потсети ме да го пополнам ова БЕЗ ДА ГИ ГЛЕДАМ податоците.
3. Анализа на чувствителност:
Моето главно откритие е да напишам код за анализа на чувствителност (R) за Мојата цел е да видам колку е солиден резултатот, НЕ да го изберам најдобриот; покажете ги сите резултати.
4. Самоследење:
Ќе го објаснам мојот процес на анализа; Дајте ми листа за проверка за p-hacking / HARKing / селективно известување и означете кои од моите чекори се ризични. Прашајте ме назад колку модели/тестови пробав и кои планирам да ги пријавам.
Слаб промпт / Силен промпт
Слаба навестување:
Кои променливи покажуваат значајни односи во овие податоци, пронајдете го најдобриот модел.
Овој потсетник е директна инструкција за хакирање p: вештачката интелигенција пробува десетици комбинации и ја прикажува онаа што „има најмногу смисла“. Резултатот е речиси сигурно лажно откритие што не може да се повтори.
Моќен потсетник:
Вашата улога: чесен асистент. ГЛАВНИОТ модел што го предодредив е: Y ~ X + контроли. Напишете код што го предвидува овој модел. НЕ барајте друг „позначаен“ модел. Предложете и анализа на чувствителност за да можам да ја видам робусноста на резултатот, но знајте дека ќе ги пријавам СИТЕ резултати, а не да го изберам најдобриот. Не ми дозволувајте да отпишам никакви истражувачки наоди како „потврдени“.
Разлика: силната волја го поправа главниот модел, забранува пребарување и бара да се пријават сите резултати.
три мини футроли
Случај 1 — Подгрупен лов. Еден истражувач не најде ефект во целокупниот примерок; Тој ја праша вештачката интелигенција „во која подгрупа е тоа значајно? YZ ги скенирал комбинациите на возраст, пол и регион и открил „p = 0,03 кај урбаните жени на возраст од 35-44 години“. Статијата се базираше на оваа подгрупа. Неговата репликација не најде ефект: ова беше резултат на случајност од десетици подгрупи. Лекција: избраната подгрупа откако податоците се „ХАРКИРААТ“, не се потврдуваат.
Случај 2 - Лов за конверзија. Односот што се покажува како бесмислен во форма на студентско ниво; го испробав во форми на дневник, квадратен корен, квадрат и заостанување; Нашол p=0,048 во лог-лог форма и го пријавил само тоа. За среќа, една од 5-те пробани форми го помина прагот. Точниот начин беше: претходно да се избере формата со теорија и да се прикаже резултатот од сите форми во табелата за чувствителност. Поука: селективното известување произведува лажно значење.
Случај 3 - Како функционира искреното кадрирање. Еден тим претходно регистриран пред анализата: единствена примарна хипотеза, единствен главен модел, две претходно дефинирани подгрупи, корекција на Бонферони. Главниот ефект не беше значаен, но тимот го пријави искрено; Истражувачкиот поединец означи еден наод како „треба да се тестира во иднина“. Студијата беше репродуктивна и доверлива. Поука: искреното планирање го прави вреден дури и „неуспешниот“ исход.
Вообичаени грешки
- Кажување на вештачката интелигенција да „најде значајни резултати“. Ова е директно p-хакирање; Ставете ја вештачката интелигенција во искрена рамка, барајќи точност, а не резултати.
- Презентирање на откритието како потврда (HARKing). Заблуда е да се напише хипотезата утврдена по податоците како „Јас ја предвидов од самиот почеток“; Обележете го истражувачкиот наод.
- Само известување за добри резултати. Прикажи ги сите тестирани спецификации; Криењето на анализата на чувствата го загрозува интегритетот.
- Скрининг на подгрупа/конверзија. Изборот на најзначајните од десетици подгрупи или трансформации произведува лажни наоди; идентификувајте и поправете однапред.
- Заборавајќи колку тестови сте направиле. Следете го вкупниот број на обиди; Ниту една p-вредност не може да се толкува искрено без да се знае овој број.
Совет: Пред да запишете наод, запрашајте се: „Колку начини тивко пробав додека не го најдов овој резултат и дали ги пријавувам сите? Ако некои од есеите останат во фиоката, вашиот извештај изгледа посилен отколку што е.
Сумирано
p-хакирање, HARKing, селективно известување и градина со патеки за чатање; Многу од нив се стапици кои функционираат ненамерно, но произведуваат лажни, нерепродуцирани наоди. Вештачката интелигенција ги забрзува овие замки бидејќи може веднаш да испроба десетици анализи; Барањата од типот „најди значајни резултати“ ја претвораат вештачката интелигенција во p-хакерски мотор. Одбрана; одвојување на откритието од потврдата со план за претходна регистрација и анализа, известување за сите спецификации и анализа на чувствителност, корекција на повеќе споредби и ставање на ВИ во искрена рамка која бара „точен резултат“. Конечната одговорност секогаш е на истражувачот.
Задача за апликација
Изберете прашање за истражување и напишете краток план за анализа пред да ги погледнете податоците: примарна хипотеза, главен модел, променлива за примарен исход, однапред дефинирани подгрупи, стратегија за повеќекратна споредба. Потоа проценете го главниот модел. Потоа направете анализа на чувствителност (различни контроли, опфатени/исклучени, различна форма на функција) и прикажете ги сите резултати во една табела. Во еден пасус, проценете кои чекори претставуваат ризик од хакирање на p и како вашата искрена рамка ги ограничува.
листа за проверка
- [ ] Го напишав планот за анализа/мастер моделот пред да нурнам во податоците.
- [ ] Одделно ги означив истражувачките и потврдните анализи; Јас не се налагав.
- [ ] Ги пријавив сите спецификации што ги пробав; Не ја избрав само убавата.
- [ ] Ги дефинирав претходно подгрупите и трансформациите, не ги скенирав по податоците.
- [ ] Следев колку тестови имав извршено и ја применив потребната корекција.
- [ ] Ја користев вештачката интелигенција во контекст на „пронајди ја вистината“ наместо „најди ја значајна“; Ја презедов одговорноста.