Winst:
- Vermogen om de nulhypothese, p-waarde, betrouwbaarheidsinterval en statistische kracht correct te definiëren en kunstmatige intelligentie te gebruiken bij testselectie en interpretatie.
- Vermogen om onderscheid te maken tussen wat wel en niet een p-waarde is (geen effectgrootte, geen waarschijnlijkheid van nauwkeurigheid) en te begrijpen waarom meervoudige vergelijkingscorrectie noodzakelijk is
- Vermogen om opmerkingen van kunstmatige intelligentie te herkennen die betekenis met materialiteit verwarren en deze te rapporteren met effectgrootte en onzekerheid
Het meest gebruikte en meest onbegrepen instrument van de statistiek is het testen van hypothesen. Het basisidee is simpel: we hebben een claim (bijvoorbeeld ‘het gemiddelde van deze twee groepen is verschillend’) en het tegenovergestelde ervan, een nulhypothese (H0 – ‘er is eigenlijk geen verschil’). De test meet hoe goed de gegevens overeenkomen met de nulhypothese. In deze unit zullen we zien hoe kunstmatige intelligentie (AI) de selectie en interpretatie van tests eenvoudiger maakt, maar waarom de valkuilen rond de p-waarde zo vaak voorkomen en gevaarlijk zijn. Laten we bij het begin beginnen: AI weet welke testsyntaxis moet worden geschreven; maar het is jouw taak om te interpreteren of aan de aanname van de test is voldaan en wat het resultaat werkelijk betekent.
Wat is eigenlijk de p-waarde?
De p-waarde is de waarschijnlijkheid dat de uitkomst die je waarneemt, of een extremere uitkomst, bij toeval zou optreden als de nulhypothese waar is (dat wil zeggen: er is feitelijk geen effect). Een kleine p-waarde (0,05 is de traditionele drempelwaarde) betekent dat "het verrassend zou zijn om dergelijke gegevens te zien als er werkelijk geen effect was"; Dit wordt beschouwd als bewijs tegen de nulhypothese.
Laten we nu eens verduidelijken wat de p-waarde niet is - wat AI vaak verwart:
- De p-waarde is niet de waarschijnlijkheid dat de nulhypothese waar is. p=0,03 betekent niet "er is een kans van 3% dat er geen effect is".
- De p-waarde geeft niet de grootte van het effect aan. Een heel klein effect kan in een grote steekproef een kleine p-waarde opleveren.
- De p-waarde bewijst niet dat de bevinding significant of reëel is. ‘Significant’ is een statistische term, ‘significant’ is een oordeel.
- p>0,05 betekent niet "geen effect"; Het betekent "we konden het effect niet aantonen met deze gegevens." Afwezigheid van bewijs is geen bewijs van afwezigheid.
Let op: de meest voorkomende AI-interpretatiefout is de presentatie van het woord ‘significant’ als ‘significante/sterke/grote impact’. Statistische betekenis en praktische betekenis zijn twee verschillende dingen; Rapporteer deze altijd afzonderlijk.
Betrouwbaarheidsinterval en effectgrootte: rijkere informatie
In plaats van een enkele p-waarde is een betrouwbaarheidsinterval veel informatiever: het geeft het plausibele bereik van waarden voor uw schatting. De zin "Effect 1.200, 95% betrouwbaarheidsinterval [300, 2.100]" toont zowel richting, omvang als onzekerheid; "p<0,05" betekent gewoon "verre van nul". De moderne statistische praktijk gebruikt de p-waarde niet alleen; beveelt aan te rapporteren met het trio van effectgrootte + betrouwbaarheidsinterval + p-waarde.
Statistische kracht en steekproef
Statistische power is de waarschijnlijkheid dat een effect wordt gedetecteerd dat daadwerkelijk bestaat (1 minus de waarschijnlijkheid van een type II-fout, dat wil zeggen "het missen van het echte effect"). Een onderzoek met te weinig power is vatbaar voor twee risico's: (1) het mist echte effecten (vals-negatief); (2) de weinige resultaten die wel significant blijken te zijn, hebben een opgeblazen omvang – de zogenaamde winnaarsvloek, omdat alleen opgeblazen voorspellingen de drempel kunnen overschrijden. Daarom is het een goede gewoonte om het vermogen/de steekproef vóór de analyse te berekenen. AI genereert de code voor dit account; Met theorie bepaal je de beoogde effectgrootte.
Probleem met meerdere vergelijkingen
Bij het uitvoeren van een test betekent een drempel van 0,05 "5% risico op valse positieven". Maar als je twintig tests doet, wordt gemiddeld verwacht dat je per ongeluk p<0,05 geeft, ook al zijn ze allemaal ineffectief. Dit wordt het meervoudige vergelijkingsprobleem genoemd. De kans op valse positieven neemt snel toe wanneer grote aantallen variabelen, subgroepen of uitkomstvariabelen worden getest. De oplossing is om de drempel te corrigeren: Bonferroni (de drempel delen door het aantal tests – strikt), Holm- of Benjamini-Hochberg-methoden die het percentage valse ontdekkingen (FDR) controleren. Dit risico wordt zelfs nog groter in het tijdperk van AI, omdat AI binnen enkele seconden tientallen tests kan produceren – dit is het directe onderwerp van de volgende eenheid (p-hacking).
Vergelijkingstabel: wat de p-waarde zegt en wat niet
expressie
Is het waar?
Beschrijving
"p=0,02, kans op geen effect is 2%"
verkeerd
p is niet de waarschijnlijkheid van H0
"p<0,05, het effect is groot"
verkeerd
p geeft geen maat aan
"p=0,20, geen effect"
verkeerd
Het niet kunnen laten zien is geen afwezigheid
"p<0,05, er is bewijs tegen H0"
Waar
Voorzichtig en ter zake
"Effect 1,200 [300;2,100], p=0,01"
beste
Omvang + onzekerheid + bewijs
Vier kopieerbare aanwijzingen
1. De juiste test kiezen:
Jouw rol: statistisch testassistent. Ik wil het gemiddelde van twee onafhankelijke groepen vergelijken (continue variabele). Geef me: welke test geschikt is (met zijn aannames: normaliteit, gelijkheid van variantie), het alternatief als niet aan de aanname wordt voldaan (bijvoorbeeld Welch, Mann-Whitney) en de R-code. Ik zal het resultaat uitvoeren en de aannames controleren.
2. De p-waarde correct rapporteren:
Rapporteer de testresultaten hieronder, maar REGELS: - Presenteer de p-waarde NIET als "waarschijnlijkheid van H0" of "effectgrootte", - zorg ervoor dat u de effectgrootte en het 95% betrouwbaarheidsinterval vermeldt, - schrijf "significant" en "significant" afzonderlijk, - als p>0,05, zeg dan NIET "geen effect", zeg "we konden niet aantonen". Uitvoer: [plakken]
3. Vermogens-/steekproefberekening:
Ik ben een experiment aan het plannen: twee groepen, verwachte effectgrootte (Cohen's d) ~0,4, macht 0,80, alfa 0,05. Schrijf R-code die de vereiste steekproefgrootte berekent (pwr-pakket) en leg de risico's uit van een onderzoek met een lage power (winner's curse).
4. Meerdere vergelijkingscorrecties:
Ik heb vijftien afzonderlijke hypothesetests gedaan en ik heb p-waarden. Schrijf R-code die de correcties van Bonferroni en Benjamin-Hochberg (FDR) toepast, leg het verschil tussen de twee methoden uit en vat in één zin samen waarom ik de kale p<0,05 niet zou moeten vertrouwen.
Zwakke prompt/sterke prompt
Zwakke prompt:
Is het resultaat van deze test zinvol? Geef commentaar op het resultaat.
Deze bewering houdt AI gevangen in het ‘betekenisvolle/niet-betekenisvolle’ binaire getal; levert hoogstwaarschijnlijk een zin op die omvang met betekenis verwart, zoals 'ja, het is significant, het effect is sterk'.
Krachtige prompt:
Jouw rol: attente statistiekassistent. Interpreteer het resultaat, maar: (1) geef de effectgrootte + 95% betrouwbaarheidsinterval + p-waarde samen, (2) scheid significantie van significantie, (3) p>0,05 in "kon niet laten zien", (4) vraag hoeveel tests ik heb gedaan; Als er meer dan één zijn, stel dan meerdere vergelijkingscorrecties voor, (5) herinner eraan dat de aannames van de test moeten worden gecontroleerd.
Verschil: sterke prompt dwingt rijke rapportage af en beschermt tegen p-waarde-valkuilen.
drie minikoffers
Geval 1 – Niet-significante ‘significantie’ in grote steekproef. Eén analist vond het gemiddelde verschil tussen de twee groepen "zeer significant" bij p<0,001 in gegevens met 500.000 waarnemingen. Maar het verschil bedroeg slechts 0,3 punten (van de 100) en was vrijwel zinloos. De enorme steekproef maakte zelfs het kleine verschil ‘significant’. Toen de effectgrootte werd gerapporteerd, bleek de bevinding onbeduidend. Les: betekenis is niet omvang; Als n groot is, is elk verschil significant.
Geval 2 – Illusie van meerdere tests. Eén team testte 22 uitkomstvariabelen; Eén ervan vertoonde p=0,04 en werd aangekondigd als "we hebben het effect gevonden". Met Bonferroni-correctie daalde de drempel naar 0,05/22 = 0,0023; 0,04 heeft deze drempel niet overschreden. Het enige ‘zinvolle’ resultaat zou een toeval uit 22 proeven zijn geweest. Les: bij veel testen is correctie noodzakelijk.
Geval 3 – Ondermacht en de vloek van de winnaar. Een kleine pilotstudie (n=15 per groep) vond een zeer groot (d=0,9) en significant effect. Een groot replicatieonderzoek reduceerde het effect tot d = 0,2. De kleine steekproef had alleen toegestaan dat een overschatting de drempel overschreed. Les: Aanzienlijke effectgroottes bij laag vermogen zijn niet te vertrouwen.
Veel voorkomende fouten
- Zingeving verwarren met belang/omvang. Het effect is niet groot omdat p klein is; Rapporteer de effectgrootte apart.
- De p-waarde verwarren met de waarschijnlijkheid van H0. p is niet de "waarschijnlijkheid dat er geen effect is"; is conceptueel anders.
- P>0,05 wordt gelezen als "geen effect". Het niet komen opdagen is geen bewijs van afwezigheid; Geef de onzekerheid aan.
- Geen correctie voor multitesten. Te veel tests leveren valse positieven op; Bonferroni/FDR toepassen.
- Het negeren van macht. Het significante effect in de kleine steekproef is overdreven; Bereken het vermogen vóór analyse.
Tip: Voordat u een resultaat als ‘significant’ afschrijft, moet u twee vragen stellen: ‘Is het effect praktisch significant (omvang)?’ en “Hoeveel tests heb ik gedaan voordat ik dit resultaat vond?” De tweede vraag is de lakmoesproef van eerlijkheid.
Samengevat
Het testen van hypothesen en de p-waarde zijn krachtige, maar verkeerd begrepen hulpmiddelen. De p-waarde is de waarschijnlijkheid dat de gegevens worden gezien wanneer de nulhypothese waar is; De waarschijnlijkheid van H0 is niet de omvang van het effect of de betekenis van de bevinding. Rapporteer altijd de significantie samen met de effectgrootte en het betrouwbaarheidsinterval; Lees p>0,05 niet als "geen effect"; pas meervoudige vergelijkingscorrectie toe als u veel tests heeft gedaan; Houd rekening met het risico van overdreven effecten uit onderzoeken met een lage power. AI produceert testcode en blauwdruk; Het is uw verantwoordelijkheid om onderscheid te maken tussen betekenis en materialiteit en om aannames te controleren.
Applicatie taak
Maak een vergelijking van gemiddelden tussen twee groepen in een dataset. Vraag de AI om de juiste test (met zijn aannames) en code, voer deze uit en controleer de aannames. Rapporteer het resultaat met drie componenten: effectgrootte, 95% betrouwbaarheidsinterval, p-waarde. Bedenk vervolgens hoeveel verschillende vergelijkingen u kunt maken op basis van dezelfde gegevens; Als u meerdere tests heeft uitgevoerd, pas dan Bonferroni- of FDR-correctie toe en rapporteer of het resultaat nog steeds geldt. Schrijf ten slotte een ruwe machtsbeoordeling voor uw analyse.
controlelijst
- [ ] Ik heb de test met zijn aannames geselecteerd en de aannames gecontroleerd.
- [ ] Ik rapporteerde het resultaat als effectgrootte + betrouwbaarheidsinterval + p-waarde.
- [ ] Ik hield ‘significant’ en ‘belangrijk’ gescheiden; Ik dacht niet dat p de waarschijnlijkheid van H0 was.
- [ ] Ik schreef p>0,05 als "we konden het niet aantonen" in plaats van "geen effect".
- [ ] Ik heb meerdere vergelijkingscorrecties toegepast als ik meerdere tests uitvoerde.
- [ ] Ik heb de sampling power geëvalueerd; Ik was voorzichtig met de effectgrootte bij laag vermogen.