Nyereség:
- Képes a nullhipotézis, a p-érték, a konfidencia intervallum és a statisztikai teljesítmény helyes meghatározására, valamint a mesterséges intelligencia használatára a tesztek kiválasztásában és értelmezésében.
- Képes megkülönböztetni, hogy mi p-érték és mi nem (nem hatásméret, nem a pontosság valószínűsége), és megérti, miért van szükség többszörös összehasonlító korrekcióra
- Képes felismerni a mesterséges intelligencia által írt megjegyzéseket, amelyek összekeverik az értelmet a lényegességgel, és jelentést tesznek a hatás méretével és bizonytalanságával
A statisztika leggyakrabban használt és leginkább félreértett eszköze a hipotézisvizsgálat. Az alapötlet egyszerű: van egy állításunk (pl. „e két csoport átlaga különbözik”) és ennek ellentéte, egy nullhipotézis (H0 – „nincs különbség”). A teszt azt méri, hogy az adatok mennyire egyeznek a nullhipotézissel. Ebben az egységben látni fogjuk, hogy a mesterséges intelligencia (AI) hogyan teszi könnyebbé a tesztek kiválasztását és értelmezését, de miért olyan gyakoriak és veszélyesek a p-érték körüli buktatók. Kezdjük az elejéről: az AI tudja, melyik tesztszintaxist kell írni; de az Ön feladata annak értelmezése, hogy teljesül-e a teszt feltételezése, és mit jelent valójában az eredmény.
Mi valójában a p-érték?
A p-érték annak a valószínűsége, hogy a megfigyelt eredmény vagy egy szélsőségesebb eredmény véletlenül bekövetkezik, ha a nullhipotézis igaz (vagyis valójában nincs hatás). Egy kis p-érték (0,05 a hagyományos küszöb) azt jelenti, hogy "meglepő lenne ilyen adatokat látni, ha tényleg nem lenne hatás"; Ez bizonyítéknak tekinthető a nullhipotézis ellen.
Most tisztázzuk, mi nem a p-érték – amit az AI gyakran összekever:
- A p-érték nem annak a valószínűsége, hogy a nullhipotézis igaz. p=0,03 nem jelenti azt, hogy "3% a valószínűsége annak, hogy nincs hatás".
- A p-érték nem jelzi a hatás nagyságát. Egy nagyon kis hatás kis p-értéket eredményezhet nagy mintában.
- A p-érték nem bizonyítja, hogy a lelet szignifikáns vagy valós. A „jelentős” egy statisztikai kifejezés, a „jelentős” egy ítélet.
- p>0,05 nem azt jelenti, hogy "nincs hatás"; Ez azt jelenti, hogy "ezekkel az adatokkal nem tudtuk kimutatni a hatást". A bizonyíték hiánya nem bizonyíték a hiányra.
Vigyázat: A leggyakoribb mesterséges intelligencia értelmezési hiba, ha a „jelentős” szót „jelentős/erős/nagy hatás”-ként jelenítik meg. A statisztikai szignifikancia és a gyakorlati jelentősége két különböző dolog; Mindig külön jelentse a kettőt.
Konfidenciaintervallum és hatásméret: gazdagabb információ
Egyetlen p-érték helyett a konfidenciaintervallum sokkal informatívabb: megadja a becslés elfogadható értéktartományát. Az "Effect 1200, 95% konfidencial interval [300, 2,100]" mondat mind az irányt, mind a nagyságot és a bizonytalanságot mutatja; "p<0,05" csak azt mondja, hogy "távol a nullától". A modern statisztikai gyakorlat nem egyedül használja a p-értéket; a hatásméret + konfidenciaintervallum + p-érték hármas jelentését javasolja.
Statisztikai teljesítmény és minta
A statisztikai teljesítmény a ténylegesen létező hatás észlelésének valószínűsége (1 mínusz a II. típusú hiba valószínűsége, azaz „a valós hatás hiánya”). Egy alulteljesített tanulmány két kockázatnak van kitéve: (1) elmulasztja a valódi hatásokat (hamis negatív); (2) az a néhány eredmény, amely jelentősnek bizonyul, felfújt magnitúdókat hordoz – ez az úgynevezett győztes átka, mert csak a felfújt előrejelzések léphetik át a küszöböt. Ezért jó gyakorlat a teljesítmény/minta kiszámítása az elemzés előtt. Az AI generálja a kódot ehhez a fiókhoz; A célhatás méretét elmélettel határozod meg.
Többszörös összehasonlítási probléma
A teszt elvégzésekor a 0,05-ös küszöb azt jelenti, hogy "5%-os a hamis pozitív eredmény kockázata". De ha 20 tesztet végez, átlagosan egy p<0,05-et várna véletlenül, még akkor is, ha mindegyik ténylegesen hatástalan. Ezt többszörös összehasonlítási problémának nevezik. A hamis pozitív eredmények valószínűsége gyorsan növekszik, ha nagyszámú változót, alcsoportot vagy kimeneti változót tesztelnek. A megoldás a küszöb korrigálása: Bonferroni (a küszöböt elosztva a tesztek számával – szigorú), Holm vagy Benjamini-Hochberg módszerek, amelyek a hamis felfedezési arányt (FDR) szabályozzák. Ez a kockázat még nagyobb a mesterséges intelligencia korában, mivel a mesterséges intelligencia több tucat tesztet képes elkészíteni másodpercek alatt – ez a következő egység (p-hacking) közvetlen témája.
Összehasonlító táblázat: mit mond a p-érték és mit nem
kifejezést
igaz?
Leírás
"p=0,02, a hatás hiányának valószínűsége 2%"
rossz
p nem H0 valószínűsége
"p<0,05, a hatás nagy"
rossz
p nem jelöli a méretet
"p=0,20, nincs hatás"
rossz
Az, hogy nem tudunk megmutatni, nem hiányzás
"p<0,05, bizonyíték van a H0 ellen"
Igaz
Óvatos és pontos
"Effect 1,200 [300;2,100], p=0,01"
legjobb
Méret + bizonytalanság + bizonyíték
Négy másolható felszólítás
1. A megfelelő teszt kiválasztása:
Az Ön szerepe: statisztikai tesztelési asszisztens. Két független csoport átlagát szeretném összehasonlítani (folyamatos változó). Adja meg: melyik teszt a megfelelő (feltevéseivel: normalitás, varianciaegyenlőség), az alternatívát, ha a feltevés nem teljesül (pl. Welch, Mann-Whitney), és az R kódot. Lefuttatom az eredményt és ellenőrzöm a feltételezéseket.
2. A p-érték helyes jelentése:
Jelentse alább a teszt kimenetét, de SZABÁLYOK:- NE jelenítse meg a p-értéket "H0 valószínűsége" vagy "hatásméretként",- feltétlenül adja meg a hatás méretét és a 95%-os konfidencia intervallumot,- írja be külön a "szignifikáns" és a "szignifikáns" kifejezést,- ha p>0,05, NE mondja azt, hogy "nincs hatás", mondja azt, hogy "nem tudtuk megmutatni". Kimenet: [beillesztés]
3. Teljesítmény/minta számítás:
Kísérletet tervezek: két csoport, várható hatásméret (Cohen d) ~0,4, teljesítmény 0,80, alfa 0,05. Írjon R kódot, amely kiszámítja a szükséges mintaméretet (pwr csomag), és magyarázza el az alacsony teljesítményű tanulmány kockázatait (győztes átka).
4. Többszörös összehasonlítás korrekciója:
15 különálló hipotézis tesztet végeztem el, és vannak p-értékeim. Írjon R kódot, amely alkalmazza a Bonferroni és Benjamin-Hochberg (FDR) korrekciókat, magyarázza el a két módszer közötti különbséget, és foglalja össze egy mondatban, hogy miért ne bízzam a csupasz p<0,05-ben.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Értelmes ennek a tesztnek az eredménye? Kommentáld az eredményt.
Ez az állítás az AI-t az „értelmes/nem-értelmes” binárisba ejti; nagy valószínűséggel olyan mondatot hoz létre, amely összekeveri a nagyságrendet a szignifikanciával, például "igen, ez jelentős, a hatás erős".
Erőteljes felszólítás:
Az Ön szerepe: figyelmes statisztikai asszisztens. Értelmezze az eredményt, de: (1) adja meg a hatás méretét + 95% konfidencia intervallumot + p-értéket együtt, (2) válassza el a szignifikanciát a szignifikanciatól, (3) p>0,05 a "nem mutatta ki", (4) kérdezze meg, hány tesztet végeztem; Ha egynél több, javasoljon többszörös összehasonlító korrekciót, (5) emlékeztessen arra, hogy a teszt feltevéseit ellenőrizni kell.
Különbség: az erős felszólítás kikényszeríti a gazdag jelentéskészítést és véd a p-érték csapdák ellen.
három mini tok
1. eset – Nem szignifikáns „szignifikancia” nagy mintában. Egy elemző az 500 000 megfigyelés adatai alapján "nagyon szignifikánsnak" találta a két csoport közötti átlagos különbséget p<0,001 értéknél. De a különbség csak 0,3 pont volt (100-ból), és gyakorlatilag értelmetlen volt. A hatalmas minta még az apró különbséget is "jelentőssé" tette. Amikor a hatás mértékét közölték, a lelet jelentéktelennek bizonyult. Tanulság: a jelentőség nem nagyságrend; Ha n nagy, minden különbség szignifikáns.
2. eset – Többszörös tesztelés illúziója. Egy csapat 22 kimeneti változót tesztelt; Egyikük p=0,04-et mutatott, és a "megtaláltuk a hatást"-nak hirdették. Bonferroni korrekcióval a küszöb 0,05/22 = 0,0023-ra csökkent; A 0,04 nem lépte át ezt a küszöböt. Az egyetlen „értelmes” eredmény véletlenül lett volna a 22 próba közül. Tanulság: sok teszteléskor korrekció szükséges.
3. eset – Underpower és a győztes átka. Egy kis kísérleti vizsgálat (n=15 csoportonként) nagyon nagy (d=0,9) és szignifikáns hatást talált. Egy nagy replikációs vizsgálat a hatást d = 0,2-re csökkentette. A kis minta csak a túlbecslést tette lehetővé, hogy átlépje a küszöböt. Tanulság: A jelentős hatásméretekben alacsony teljesítmény mellett nem lehet megbízni.
Gyakori hibák
- Az értelmesség összekeverése a fontossággal/nagyságrenddel. A hatás csak azért nem nagy, mert p kicsi; A hatás méretét külön jelentse.
- A p-érték összetévesztése H0 valószínűségével. p nem a "hatás hiányának valószínűsége"; fogalmilag más.
- A p>0,05 "nincs hatás" olvasása. A bemutatás elmulasztása nem bizonyíték a hiányzásra; Mondja el a bizonytalanságot.
- Nem javítja a többszörös tesztelést. Túl sok teszt téves pozitív eredményt ad; Alkalmazza a Bonferroni/FDR-t.
- A hatalom figyelmen kívül hagyása. A kis mintában a jelentős hatás eltúlzott; Számítsa ki a teljesítményt az elemzés előtt.
Tipp: Mielőtt egy eredményt „jelentős”-ként írna le, tegyünk fel két kérdést: „Gyakorlatilag jelentős-e a hatás (nagyságrendű)?” és „Hány tesztet végeztem el, mielőtt ezt az eredményt találtam?” A második kérdés az őszinteség lakmuszpapírja.
Összefoglalva
A hipotézisvizsgálat és a p-érték hatékony, de félreértett eszközök. A p-érték annak valószínűsége, hogy az adatot látjuk, ha igaz a nullhipotézis; A H0 valószínűsége nem a hatás nagysága vagy a lelet jelentősége. Mindig jelentse a szignifikanciát a hatás méretével és konfidenciaintervallumával együtt; Ne olvassa el a p>0,05-öt "nincs hatás"; alkalmazzon többszörös összehasonlító korrekciót, ha sok tesztet végzett; Legyen tisztában az alacsony teljesítményű vizsgálatok túlzott hatásainak kockázatával. Az AI tesztkódot és tervrajzot készít; Az Ön felelőssége, hogy különbséget tegyen értelmesség és lényegesség között, és ellenőrizze a feltételezéseket.
Pályázati feladat
Hasonlítsa össze az átlagokat egy adathalmaz két csoportja között. Kérje meg az MI-től a megfelelő tesztet (a feltételezéseivel együtt) és a kódot, futtassa és ellenőrizze a feltételezéseket. Jelentse az eredményt három összetevővel: hatásméret, 95%-os konfidencia intervallum, p-érték. Ezután gondolja át, hány különböző összehasonlítást végezhet ugyanazon az adatokon; Ha több tesztet is futtatott, alkalmazzon Bonferroni vagy FDR korrekciót, és jelentse, ha az eredmény továbbra is érvényes. Végül írjon egy hozzávetőleges teljesítményértékelést az elemzéséhez.
ellenőrző lista
- [ ] Kiválasztottam a tesztet a feltevéseivel, és ellenőriztem a feltevéseket.
- [ ] Az eredményt hatásméret + konfidenciaintervallum + p-érték formájában közöltem.
- [ ] Külön tartottam a „jelentős” és a „fontos” dolgokat; Nem gondoltam, hogy p a H0 valószínűsége.
- [ ] A p>0,05-öt úgy írtam, hogy "nem tudtuk megmutatni", nem pedig "nincs hatás".
- [ ] Többszörös összehasonlításkorrekciót alkalmaztam, ha több tesztet futtattam.
- [ ] Kiértékeltem a mintavételi teljesítményt; Óvatos voltam az effektus méretével kapcsolatban alacsony teljesítményen.