Zyski:
- Umiejętność prawidłowego zdefiniowania hipotezy zerowej, wartości p, przedziału ufności i mocy statystycznej oraz wykorzystania sztucznej inteligencji w doborze i interpretacji testów.
- Umiejętność rozróżnienia, co jest wartością p, a co nie (nie wielkość efektu, a nie prawdopodobieństwo dokładności) i zrozumienia, dlaczego konieczna jest korekta wielokrotnych porównań
- Umiejętność rozpoznawania komentarzy sztucznej inteligencji, które mylą sensowność z materialnością i raportowania ich z wielkością efektu i niepewnością
Najczęściej używanym i najbardziej niezrozumiałym narzędziem statystyki jest testowanie hipotez. Podstawowa idea jest prosta: mamy twierdzenie (np. „średnia z tych dwóch grup jest inna”) i jego przeciwieństwo, czyli hipotezę zerową (H0 – „właściwie nie ma różnicy”). Test mierzy, jak dobrze dane zgadzają się z hipotezą zerową. W tej części zobaczymy, jak sztuczna inteligencja (AI) ułatwia wybór i interpretację testów, ale dlaczego pułapki związane z wartością p są tak powszechne i niebezpieczne. Zacznijmy od początku: AI wie, jaką składnię testu napisać; ale Twoim zadaniem jest zinterpretowanie, czy założenia testu są spełnione i co tak naprawdę oznacza wynik.
Czym właściwie jest wartość p?
Wartość p to prawdopodobieństwo, że zaobserwowany wynik lub bardziej ekstremalny wynik wystąpi przypadkowo, gdy hipoteza zerowa jest prawdziwa (tj. w rzeczywistości nie ma żadnego efektu). Mała wartość p (0,05 to tradycyjny próg) oznacza, że „byłoby zaskakujące zobaczyć takie dane, gdyby naprawdę nie było żadnego efektu”; Jest to uważane za dowód przeciwko hipotezie zerowej.
Teraz wyjaśnijmy, czym nie jest wartość p – którą sztuczna inteligencja często myli:
- Wartość p nie jest prawdopodobieństwem, że hipoteza zerowa jest prawdziwa. p=0,03 nie oznacza, że „istnieje 3% prawdopodobieństwo braku efektu”.
- Wartość p nie wskazuje wielkości efektu. Bardzo mały efekt może dawać niewielką wartość p w dużej próbce.
- Wartość p nie dowodzi, że odkrycie jest znaczące lub realne. „Istotny” to termin statystyczny, „istotny” to ocena.
- p>0,05 nie oznacza „braku efektu”; Oznacza to, że „nie mogliśmy pokazać efektu na podstawie tych danych”. Brak dowodów nie jest dowodem nieobecności.
Uwaga: najczęstszym błędem w interpretacji sztucznej inteligencji jest przedstawianie słowa „znaczący” jako „znaczący/silny/poważny wpływ”. Znaczenie statystyczne i znaczenie praktyczne to dwie różne rzeczy; Zawsze zgłaszaj oba przypadki osobno.
Przedział ufności i wielkość efektu: bogatsze informacje
Zamiast pojedynczej wartości p, przedział ufności ma znacznie więcej informacji: daje wiarygodny zakres wartości dla twojego oszacowania. Zdanie „Efekt 1200, 95% przedział ufności [300, 2100]” pokazuje zarówno kierunek, wielkość, jak i niepewność; „p <0,05” oznacza po prostu „daleko od zera”. Współczesna praktyka statystyczna wykorzystuje nie tylko wartość p; zaleca raportowanie składające się z trzech wielkości efektu + przedziału ufności + wartości p.
Moc statystyczna i próbka
Moc statystyczna to prawdopodobieństwo wykrycia efektu, który faktycznie istnieje (1 minus prawdopodobieństwo błędu II rodzaju, tj. „pominięcia rzeczywistego efektu”). Badanie o niewystarczającej mocy jest podatne na dwa ryzyka: (1) pomija prawdziwe efekty (fałszywie negatywne); (2) nieliczne wyniki, które okazują się znaczące, niosą ze sobą zawyżone wielkości — jest to tak zwane przekleństwo zwycięzcy, ponieważ tylko zawyżone prognozy mogą przekroczyć próg. Dlatego dobrą praktyką jest obliczenie mocy/próbki przed analizą. AI generuje kod dla tego konta; Docelową wielkość efektu określasz za pomocą teorii.
Problem z wielokrotnym porównaniem
Podczas wykonywania testu próg 0,05 oznacza „5% ryzyko fałszywych alarmów”. Ale jeśli wykonasz 20 testów, średnio można się spodziewać, że jeden przypadkowo da p<0,05, nawet jeśli wszystkie są faktycznie nieskuteczne. Nazywa się to problemem wielokrotnego porównania. Prawdopodobieństwo wyników fałszywie dodatnich szybko wzrasta, gdy testowana jest duża liczba zmiennych, podgrup lub zmiennych wynikowych. Rozwiązaniem jest skorygowanie progu: metodą Bonferroniego (dzielenie progu przez liczbę testów – ścisła), metodą Holma lub Benjaminiego-Hochberga kontrolującą współczynnik fałszywych odkryć (FDR). Ryzyko to staje się jeszcze większe w dobie sztucznej inteligencji, ponieważ sztuczna inteligencja może wyprodukować dziesiątki testów w ciągu kilku sekund — jest to bezpośredni temat następnej części (p-hakowanie).
Tabela porównawcza: co mówi wartość p, a czego nie
wyrażenie
Czy to prawda?
Opis
„p=0,02, prawdopodobieństwo braku efektu wynosi 2%”
źle
p nie jest prawdopodobieństwem H0
„p<0,05, efekt jest duży”
źle
p nie wskazuje rozmiaru
„p=0,20, brak efektu”
źle
Brak możliwości pokazania się nie jest nieobecnością
„p<0,05, istnieją dowody przeciwko H0”
Prawda
Ostrożnie i na temat
„Efekt 1,200 [300;2,100], p=0,01”
najlepiej
Rozmiar + niepewność + dowody
Cztery kopiowalne podpowiedzi
1. Wybór odpowiedniego testu:
Twoja rola: asystent ds. testów statystycznych. Chcę porównać średnią z dwóch niezależnych grup (zmienna ciągła). Podaj: który test jest odpowiedni (wraz z założeniami: normalność, równość wariancji), alternatywę w przypadku niespełnienia założenia (np. Welch, Mann-Whitney) i kod R. Sprawdzę wynik i sprawdzę założenia.
2. Prawidłowe zgłaszanie wartości p:
Poniżej zapisz wyniki testu, ale ZASADY: - NIE przedstawiaj wartości p jako „prawdopodobieństwa H0” lub „wielkości efektu”, – pamiętaj o uwzględnieniu wielkości efektu i 95% przedziału ufności, – napisz osobno „istotne” i „istotne”, – jeśli p > 0,05, NIE mów „brak efektu”, powiedz „nie mogliśmy wykazać”. Wynik: [wklej]
3. Obliczenie mocy/próbki:
Planuję eksperyment: dwie grupy, oczekiwana wielkość efektu (d Cohena) ~0,4, moc 0,80, alfa 0,05. Napisz kod w R, który obliczy wymaganą wielkość próby (pakiet pwr) i wyjaśnij ryzyko związane z badaniem o małej mocy (przekleństwo zwycięzcy).
4. Korekta porównania wielokrotnego:
Zrobiłem 15 oddzielnych testów hipotez i mam wartości p. Napisz kod w języku R, który zastosuje poprawki Bonferroniego i Benjamina-Hochberga (FDR), wyjaśnij różnicę między obiema metodami i podsumuj w jednym zdaniu, dlaczego nie powinienem ufać samemu p<0,05.
Słaba zachęta/silna zachęta
Słaba zachęta:
Czy wynik tego testu jest miarodajny? Skomentuj wynik.
To twierdzenie zamyka sztuczną inteligencję w układzie binarnym „znaczące/bezsensowne”; najprawdopodobniej tworzy zdanie, które myli wielkość ze znaczeniem, na przykład „tak, jest znaczące, efekt jest silny”.
Potężny monit:
Twoja rola: uważny asystent statystyczny. Zinterpretuj wynik, ale: (1) podaj łącznie wielkość efektu + 95% przedział ufności + wartość p, (2) oddziel istotność od istotności, (3) p > 0,05 w „nie udało się wykazać”, (4) zapytaj, ile testów wykonałem; Jeżeli jest ich więcej, zasugeruj korektę przez porównanie wielokrotne, (5) przypomnij, że należy sprawdzić założenia testu.
Różnica: silny monit wymusza bogate raportowanie i chroni przed pułapkami wartości p.
trzy mini etui
Przypadek 1 — Nieistotna „istotność” w dużej próbie. Jeden z analityków stwierdził, że średnia różnica między obiema grupami jest „wysoce istotna” przy p <0,001 w danych obejmujących 500 000 obserwacji. Ale różnica wynosiła tylko 0,3 punktu (na 100) i była praktycznie bez znaczenia. Ogromna próbka sprawiła, że nawet niewielka różnica stała się „znacząca”. Kiedy podano wielkość efektu, odkrycie okazało się nieistotne. Lekcja: znaczenie nie jest wielkością; Jeśli n jest duże, każda różnica jest znacząca.
Przypadek 2 — Iluzja wielokrotnego testowania. Jeden zespół przetestował 22 zmienne wynikowe; Jeden z nich wykazał p=0,04 i ogłoszono, że „znaleźliśmy efekt”. Po korekcie Bonferroniego próg spadł do 0,05/22 = 0,0023; 0,04 nie przekroczyło tego progu. Jedynym „znaczącym” wynikiem byłby przypadek z 22 prób. Lekcja: przy częstym testowaniu konieczna jest korekta.
Przypadek 3 — Słabość i przekleństwo zwycięzcy. Małe badanie pilotażowe (n=15 na grupę) wykazało, że efekt jest bardzo duży (d=0,9) i znaczący. Duże badanie replikacyjne zmniejszyło efekt do d = 0,2. Mała próbka pozwoliła jedynie na przekroczenie progu zawyżenia. Lekcja: Nie można ufać znaczącym rozmiarom efektów przy małej mocy.
Typowe błędy
- Mylenie znaczenia z ważnością/wielkością. Efekt nie jest duży tylko dlatego, że p jest małe; Zgłoś wielkość efektu osobno.
- Mylenie wartości p z prawdopodobieństwem H0. p nie jest „prawdopodobieństwem braku efektu”; jest koncepcyjnie inny.
- Odczyt p>0,05 jako „brak efektu”. Niestawienie się nie jest dowodem nieobecności; Podaj niepewność.
- Nie koryguje się pod kątem wielokrotnego testowania. Zbyt wiele testów daje fałszywie pozytywne wyniki; Zastosuj Bonferroni/FDR.
- Ignorowanie władzy. Znaczący wpływ w małej próbie jest przesadzony; Oblicz moc przed analizą.
Wskazówka: Zanim uznasz wynik za „znaczący”, zadaj dwa pytania: „Czy efekt jest praktycznie znaczący (wielkość)?” i „Ile testów wykonałem, zanim znalazłem ten wynik?” Drugie pytanie to papierek lakmusowy uczciwości.
Podsumowując
Testowanie hipotez i wartość p to potężne, ale źle rozumiane narzędzia. Wartość p to prawdopodobieństwo zobaczenia danych, gdy hipoteza zerowa jest prawdziwa; Prawdopodobieństwo H0 nie jest wielkością efektu ani znaczeniem ustalenia. Zawsze podawaj istotność wraz z wielkością efektu i przedziałem ufności; Nie należy odczytywać p>0,05 jako „brak efektu”; zastosuj korekcję wielokrotnego porównania, jeśli wykonałeś wiele testów; Należy pamiętać o ryzyku przesadnych efektów badań o małej mocy. AI tworzy kod testowy i plan; Twoim obowiązkiem jest rozróżnienie między sensownością a materialnością oraz sprawdzenie założeń.
Zadanie aplikacji
Dokonaj porównania średnich między dwiema grupami w zbiorze danych. Poproś AI o odpowiedni test (wraz z jego założeniami) i kod, uruchom go i sprawdź założenia. Podaj wynik z trzema składnikami: wielkością efektu, 95% przedziałem ufności, wartością p. Następnie zastanów się, ile różnych porównań możesz dokonać na tych samych danych; Jeśli przeprowadziłeś wiele testów, zastosuj korekcję Bonferroniego lub FDR i zgłoś, czy wynik nadal się utrzymuje. Na koniec napisz przybliżoną ocenę mocy do swojej analizy.
lista kontrolna
- [ ] Wybrałem test z jego założeniami i sprawdziłem założenia.
- [ ] Wynik przedstawiłem jako wielkość efektu + przedział ufności + wartość p.
- [ ] Oddzieliłem słowa „znaczące” i „ważne”; Nie sądziłem, że p jest prawdopodobieństwem H0.
- [ ] Napisałem p>0,05 jako „nie mogliśmy tego pokazać”, a nie „brak efektu”.
- [ ] Zastosowałem korektę wielokrotnego porównania, jeśli przeprowadziłem wiele testów.
- [ ] Oceniłem moc próbkowania; Byłem ostrożny co do wielkości efektu przy małej mocy.