Zyski:
- Zrozum, że p-hakowanie, HARKing, selektywne raportowanie i ogród rozwidlających się ścieżek dają fałszywe wyniki i zobacz, jak sztuczna inteligencja może przyspieszyć te pułapki
- Możliwość ustalenia zabezpieczeń, takich jak rejestracja wstępna, plan analizy, dyscyplina wielokrotnych porównań i analiza wrażliwości przy wsparciu sztucznej inteligencji
- Możliwość internalizacji uczciwego projektu żądania, który umożliwi sztucznej inteligencji odrzucenie żądań typu „znajdź znaczący wynik” i że ostateczna odpowiedzialność spoczywa na badaczu.
W poprzedniej części widzieliśmy, czym jest wartość p, a czym nie. W tej części przyjrzymy się ciemniejszemu tematowi, czyli systematycznym pułapkom zagrażającym integralności statystycznej. Większość z nich nie jest celowym oszustwem; Są to podstępne mechanizmy, w które wpadają nawet badacze mający dobre intencje, nie zdając sobie z tego sprawy. Sztuczna inteligencja (AI) sprawia, że te pułapki są zarówno łatwiejsze, jak i szybsze, ponieważ umożliwia przeprowadzenie dziesiątek analiz w ciągu kilku sekund. Celem tej jednostki jest ustanowienie dyscypliny, która przekształci sztuczną inteligencję z „maszyny do wyszukiwania znaczących wyników” w uczciwego asystenta.
Podstawowe pułapki
p-hacking (polowanie na wartość p): Ponawia próbę analizy na różne sposoby, aż do uzyskania znaczącego wyniku (p<0,05). Dodawanie i usuwanie zmiennych, wybieranie podpróbek, zmiana definicji wartości odstających, próbowanie różnych transformacji, używanie różnych zmiennych wynikowych, wstrzymywanie zbierania danych, gdy nabierają one znaczenia... Każda próba daje nową „szansę”; Jeśli wystarczająco się postarasz, jeden z nich okaże się znaczący, nawet jeśli w rzeczywistości nie przyniesie żadnego efektu. Rezultat: fałszywe ustalenia, które zostały opublikowane, ale nie można ich odtworzyć.
HARKing (hipotezowanie po poznaniu wyników): stawianie hipotezy po zobaczeniu wyników i przedstawienie jej w następujący sposób: „Przewidywałem to od początku”. Przyglądasz się danym i znajdujesz najbardziej uderzającą zależność, a następnie piszesz artykuł tak, jakby miał przetestować tę hipotezę. Wprowadza to czytelnika w błąd, sprawiając, że odkrycie wydaje się potwierdzeniem.
Raportowanie selektywne (wybór wiśni): zgłaszanie tylko tych „dobrych” z dziesiątek analiz i ciche zakopywanie reszty. Nazywa się to również „problemem szuflady na dokumenty”: bezsensowne wyniki pozostają w szufladzie, co powoduje, że literatura jest systematycznie stronnicza.
Ogród rozwidlających się ścieżek: termin Andrew Gelmana. Nawet bez ani jednego zamierzonego p-hakowania badacz dokonuje wielu rozsądnych wyborów w oparciu o dane (która zmienna, jaki próg, jaka podgrupa, jaka transformacja). Te stopnie swobody badawczej są tak liczne, że skutecznie wybierasz ten, który ma znaczenie z mnóstwa analiz – nawet bez złych intencji. Rezultatem jest ponownie rosnący odsetek wyników fałszywie dodatnich.
Uwaga: większość z tych pułapek nie jest celowymi sztuczkami. Suma pozornie niewinnych kroków, takich jak „właśnie wypróbowałem jeszcze kilka modeli”, „po usunięciu wartości odstającej było czyściej”, „w tej podgrupie efekt jest wyraźniejszy”, może dać fałszywy wynik. Uczciwość to kwestia metody, a nie intencji.
Dlaczego sztuczna inteligencja powiększa te pułapki?
Ręczne wypróbowanie 3 modeli wymaga czasu; YZ produkuje 50 wariantów modeli, 10 różnych konwersji, 8 podgrup w ciągu kilku minut. Ta moc jest katastrofalna bez uczciwego planu: prośba typu „znajdź znaczącą relację w tych danych” lub „zbuduj model, który potwierdza tę hipotezę” zamienia sztuczną inteligencję bezpośrednio w silnik p-hakerski. AI też chce być pomocna; ma tendencję do znajdowania „znaczących” wyników, które Cię usatysfakcjonują. Dlatego szybki projekt jest pierwszą linią obrony uczciwości.
Obrona: uczciwy przebieg działalności
1. Rejestracja wstępna: oznacza zapisanie hipotezy, zmiennych, modelu i testów na piśmie (ewentualnie na platformie ze znacznikiem czasu) przed wykonaniem analizy. Zatem odkrycie jest oddzielone od potwierdzenia; wszystko, co później zmienisz, zostanie oznaczone jako „eksplorator”.
2. Plan analizy: Nawet jeśli nie możesz dokonać wstępnego zapisu, napisz plan analizy przed zagłębieniem się w dane: hipoteza pierwotna, główna zmienna wynikowa, model główny. Ustal od początku rozróżnienie pomiędzy „analizą główną” a „analizą dodatkową/eksploracyjną” i utrzymuj je w raporcie.
3. Zgłoś wszystko: Nie ukrywaj wypróbowanych modeli. W sekcji „analiza wrażliwości” (sprawdzenie odporności) pokaż, jak różne specyfikacje wpływają na wynik. Odkrycie jest mocne tylko wtedy, gdy sprawdza się w przypadku wielu prawdopodobnych wyborów.
4. Dyscyplina wielokrotnych porównań: Jeśli wykonałeś zbyt wiele testów, popraw je (część 6). Odpowiedz na pytanie „Ile testów zrobiłem?” Szczerze mówiąc.
5. Analiza wrażliwości: Powtórz swoje główne ustalenia z inną próbką, innym zestawem kontrolnym i inną transformacją. Jeśli wynik ulegnie zmianie, nie ukrywaj tego, zgłoś to.
Tabela porównawcza: uczciwość kontra pułapka
Zastosowanie
kształt pułapki
Uczciwy odpowiednik
Wybór modelu
Próbuję, dopóki nie będzie to miało sensu (p-hakowanie)
Wstępnie zaplanowany model główny
hipoteza
Dopasowanie po fakcie (HARKing)
Nagrane wcześniej, przed danymi
Raportowanie
Nie pokazuj tylko tych pięknych
Wszystkie specyfikacje + czułość
podgrupa
Wybór najbardziej uderzającego
Wstępnie zdefiniowane, z możliwością korekty
zbieranie danych
Przestań, kiedy ma to sens
z góry ustalona próbka
Cztery kopiowalne podpowiedzi
1. Ramy uczciwych roszczeń:
Twoja rola: uczciwy asystent statystyczny. Moim celem NIE jest znalezienie znaczącego wyniku, ale znalezienie właściwego wyniku. ZASADY: - NIE dawaj mi sugestii typu „wypróbuj modele, dopóki nie będzie to miało sensu”, - powiedz mi, jeśli zasugerujesz wiele specyfikacji, wszystkie muszą zostać zgłoszone, - ostrzeż mnie o wszelkich krokach, które mogą prowadzić do p-hackowania. Pomóż mi najpierw wyjaśnić mój główny model, oddziel odkrycie od potwierdzenia.
2. Projekt planu analizy:
Pomóż mi przygotować wstępny plan analizy badania: hipoteza główna, główna zmienna wynikowa, specyfikacja głównego modelu, predefiniowane podgrupy, strategia wielokrotnych porównań. Umieść analizy „eksploracyjne” i „konfirmacyjne” w oddzielnych nagłówkach. Przypomnij mi, żebym to wypełnił BEZ SPRAWDZANIA danych.
3. Analiza wrażliwości:
Moim głównym wnioskiem jest napisanie kodu analizy wrażliwości (R). Moim celem jest ZOBACZYĆ, jak solidny jest wynik, a NIE wybrać najlepszy; pokaż wszystkie wyniki.
4. Samokontrola:
Wyjaśnię mój proces analizy; Daj mi listę kontrolną dotyczącą p-hakowania / HARKingu / selektywnego raportowania i zaznacz, które z moich kroków są ryzykowne. Zapytaj mnie, ile modeli/testów wypróbowałem i które planuję zgłosić.
Słaba zachęta/silna zachęta
Słaba zachęta:
Które zmienne wykazują istotne zależności w tych danych, znajdź najlepszy model.
Ten monit jest bezpośrednią instrukcją p-hakowania: sztuczna inteligencja wypróbowuje dziesiątki kombinacji i przedstawia tę, która „ma największy sens”. Rezultatem jest prawie na pewno fałszywe odkrycie, którego nie można powtórzyć.
Potężny monit:
Twoja rola: uczciwy asystent. GŁÓWNY model, który ustaliłem, to: Y ~ X + elementy sterujące. Napisz kod, który przewiduje ten model. NIE szukaj innego „bardziej znaczącego” modelu. Zasugeruj także analizę wrażliwości, abym mógł ocenić solidność wyniku, ale pamiętaj, że zgłoszę WSZYSTKIE wyniki, a nie wybiorę najlepszy. Nie pozwól mi spisać żadnych ustaleń badawczych jako „potwierdzonych”.
Różnica: silna wola naprawia główny model, zabrania wyszukiwania i wymaga raportowania wszystkich wyników.
trzy mini etui
Przypadek 1 – Polowanie na podgrupy. Jeden z badaczy nie stwierdził żadnego efektu w całej próbie; Zapytał AI „w której podgrupie jest to istotne?” YZ przeskanował kombinacje wieku, płci i regionu i odkrył, że „p = 0,03 u kobiet z miast w wieku 35–44 lata”. Artykuł powstał w oparciu o tę podgrupę. Jego replikacja nie przyniosła żadnego efektu: było to wynikiem przypadku kilkudziesięciu podgrup. Lekcja: wybrana podgrupa po wsłuchaniu się w dane, a nie potwierdzeniu.
Przypadek 2 – Polowanie na konwersję. Relacja, która okazuje się bez znaczenia na poziomie studenckim; wypróbowałem to w postaci logarytmicznej, pierwiastkowej, kwadratowej i opóźnionej; Znalazł p=0,048 w formie log-log i tylko to zgłosił. Na szczęście jedna z 5 prób przekroczyła próg. Prawidłowym sposobem było: wstępne wybranie formy z teorią i pokazanie wyników wszystkich form w tabeli wrażliwości. Lekcja: selektywne raportowanie daje fałszywe znaczenie.
Przypadek 3 — Jak działa uczciwe kadrowanie. Przed analizą zarejestrował się jeden zespół: pojedyncza hipoteza pierwotna, pojedynczy model główny, dwie predefiniowane podgrupy, korekta Bonferroniego. Główny efekt nie był znaczący, ale zespół uczciwie to zgłosił; Osoba badawcza oznaczyła jedno z ustaleń jako „wymagające przetestowania w przyszłości”. Badanie było powtarzalne i wiarygodne. Lekcja: uczciwe planowanie sprawia, że nawet „niepowodzenie” jest warte zachodu.
Typowe błędy
- Powiedzenie AI, aby „znalazła znaczące wyniki”. To jest zwykłe p-hakowanie; Umieść sztuczną inteligencję w uczciwych ramach, prosząc o dokładność, a nie wyniki.
- Przedstawienie odkrycia jako potwierdzenie (HARKing). Błędem jest pisanie hipotezy postawionej po danych jako „przewidywałem to od początku”; Oznacz odkrycie badawcze.
- Właśnie zgłaszam dobre wyniki. Pokaż wszystkie przetestowane specyfikacje; Ukrywanie analizy nastrojów zagraża integralności.
- Sprawdzanie podgrup/konwersji. Wybór najważniejszej z kilkudziesięciu podgrup lub transformacji prowadzi do fałszywych wniosków; zidentyfikować i naprawić z wyprzedzeniem.
- Zapominając, ile testów wykonałeś. Śledź całkowitą liczbę prób; Żadna wartość p nie może być uczciwie zinterpretowana bez znajomości tej liczby.
Wskazówka: zanim zapiszesz wynik, zadaj sobie pytanie: „Ile sposobów po cichu próbowałem, aż znalazłem ten wynik, i czy zgłaszam je wszystkie?” Jeśli część esejów pozostanie w szufladzie, Twój raport będzie wyglądał lepiej, niż jest w rzeczywistości.
Podsumowując
p-hakowanie, HARKing, raportowanie selektywne i ogród rozwidlających się ścieżek; Wiele z nich to pułapki, które działają niezamierzenie, ale dają fałszywe, niemożliwe do odtworzenia wyniki. Sztuczna inteligencja przyspiesza te pułapki, ponieważ może natychmiast wypróbować dziesiątki analiz; Żądania typu „znajdź znaczące wyniki” zamieniają sztuczną inteligencję w silnik p-hakerski. Obrona; oddzielenie odkrycia od potwierdzenia za pomocą planu rejestracji wstępnej i analizy, raportowanie wszystkich specyfikacji i analizy wrażliwości, korygowanie wielokrotnych porównań i umieszczanie sztucznej inteligencji w uczciwych ramach, które wymagają „poprawnego wyniku”. Ostateczna odpowiedzialność zawsze spoczywa na badaczu.
Zadanie aplikacji
Wybierz pytanie badawcze i napisz krótki plan analizy przed przyjrzeniem się danym: hipoteza pierwotna, model główny, główna zmienna wynikowa, predefiniowane podgrupy, strategia wielokrotnych porównań. Następnie oszacuj model główny. Następnie wykonaj analizę wrażliwości (różne kontrole, uwzględnione/wykluczone wartości odstające, inna postać funkcji) i pokaż wszystkie wyniki w jednej tabeli. W jednym akapicie oceń, które kroki stwarzają ryzyko p-hakowania i jak Twoje uczciwe ramy je ograniczają.
lista kontrolna
- [ ] Napisałem plan analizy/model główny przed zagłębieniem się w dane.
- [ ] Odrębnie oznaczyłem analizy eksploracyjne i potwierdzające; Nie HARKowałem.
- [ ] Zgłosiłem wszystkie specyfikacje, które wypróbowałem; Nie wybrałem tylko tej pięknej.
- [ ] Podgrupy i przekształcenia zdefiniowałem wcześniej, nie skanowałem ich po danych.
- [ ] Śledziłem, ile testów przeprowadziłem i zastosowałem niezbędne poprawki.
- [ ] Użyłem sztucznej inteligencji w kontekście „znajdź prawdę”, a nie „znajdź ją sensowną”; Wziąłem na siebie odpowiedzialność.