Hypothesentests und p-Wert: Signifikanz, Aussagekraft und Mehrfachvergleiche

Gewinne:

• Fähigkeit, die Nullhypothese, den p-Wert, das Konfidenzintervall und die statistische Aussagekraft korrekt zu definieren und künstliche Intelligenz bei der Testauswahl und -interpretation einzusetzen.
• Fähigkeit zu unterscheiden, was ein p-Wert ist und was nicht (nicht Effektgröße, nicht Wahrscheinlichkeit der Genauigkeit) und zu verstehen, warum eine Mehrfachvergleichskorrektur notwendig ist
• Fähigkeit, Kommentare künstlicher Intelligenz zu erkennen, die Aussagekraft mit Wesentlichkeit verwechseln, und sie mit Effektgröße und Unsicherheit zu melden

Das am häufigsten verwendete und am meisten missverstandene statistische Instrument ist das Testen von Hypothesen. Die Grundidee ist einfach: Wir haben eine Behauptung (z. B. „der Mittelwert dieser beiden Gruppen ist unterschiedlich“) und ihr Gegenteil, eine Nullhypothese (H0 – „es gibt tatsächlich keinen Unterschied“). Der Test misst, wie gut die Daten mit der Nullhypothese übereinstimmen. In dieser Einheit werden wir sehen, wie künstliche Intelligenz (KI) die Testauswahl und -interpretation einfacher macht, aber warum die Fallstricke rund um den p-Wert so häufig und gefährlich sind. Fangen wir von vorne an: Die KI weiß, welche Testsyntax sie schreiben muss; Es ist jedoch Ihre Aufgabe, zu interpretieren, ob die Annahme des Tests erfüllt ist und was das Ergebnis wirklich bedeutet.

Was ist eigentlich der p-Wert?

Der p-Wert ist die Wahrscheinlichkeit, dass das von Ihnen beobachtete Ergebnis oder ein extremeres Ergebnis zufällig eintreten würde, wenn die Nullhypothese wahr ist (d. h. es gibt tatsächlich keinen Effekt). Ein kleiner p-Wert (0,05 ist der traditionelle Schwellenwert) bedeutet: „Es wäre überraschend, solche Daten zu sehen, wenn es tatsächlich keinen Effekt gäbe“; Dies gilt als Beweis gegen die Nullhypothese.

Lassen Sie uns nun klären, was der p-Wert nicht ist – was KI oft verwirrt:

• Der p-Wert ist nicht die Wahrscheinlichkeit, dass die Nullhypothese wahr ist. p=0,03 bedeutet nicht, dass „mit einer Wahrscheinlichkeit von 3 % kein Effekt vorliegt“.
• Der p-Wert gibt keinen Aufschluss über die Größe des Effekts. Ein sehr kleiner Effekt kann in einer großen Stichprobe zu einem winzigen p-Wert führen.
• Der p-Wert beweist nicht, dass der Befund signifikant oder real ist. „Signifikant“ ist ein statistischer Begriff, „signifikant“ ist eine Beurteilung.
• p>0,05 bedeutet nicht „keine Wirkung“; Das bedeutet: „Wir konnten den Effekt mit diesen Daten nicht zeigen.“ Das Fehlen von Beweisen ist kein Beweis für die Abwesenheit.

Achtung: Der häufigste KI-Interpretationsfehler besteht darin, das Wort „erheblich“ als „erhebliche/starke/erhebliche Auswirkung“ darzustellen. Statistische Signifikanz und praktische Signifikanz sind zwei verschiedene Dinge; Melden Sie beides immer getrennt.

Konfidenzintervall und Effektgröße: umfangreichere Informationen

Anstelle eines einzelnen p-Werts ist ein Konfidenzintervall viel aussagekräftiger: Es gibt den plausiblen Wertebereich für Ihre Schätzung an. Der Satz „Effekt 1.200, 95 %-Konfidenzintervall [300, 2.100]“ zeigt sowohl Richtung als auch Größe und Unsicherheit; „p<0,05“ sagt nur „weit von Null entfernt“. Die moderne statistische Praxis verwendet nicht nur den p-Wert; empfiehlt die Berichterstattung mit dem Trio aus Effektgröße + Konfidenzintervall + p-Wert.

Statistische Aussagekraft und Stichprobe

Die statistische Aussagekraft ist die Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt zu erkennen (1 minus der Wahrscheinlichkeit eines Fehlers vom Typ II, d. h. „den tatsächlichen Effekt übersehen“). Eine unzureichend aussagekräftige Studie birgt zwei Risiken: (1) Sie übersieht die wahren Auswirkungen (falsch negativ); (2) Die wenigen Ergebnisse, die sich als signifikant herausstellen, weisen überhöhte Größenordnungen auf – der sogenannte Fluch des Gewinners, da nur überhöhte Vorhersagen die Schwelle überschreiten können. Daher empfiehlt es sich, die Leistung/Probe vor der Analyse zu berechnen. AI generiert den Code für dieses Konto; Die angestrebte Effektgröße ermitteln Sie theoretisch.

Mehrfachvergleichsproblem

Bei der Durchführung eines Tests bedeutet ein Schwellenwert von 0,05 „5 % Risiko für falsch positive Ergebnisse“. Aber wenn man 20 Tests durchführt, würde man im Durchschnitt erwarten, dass einer zufällig p<0,05 ergibt, selbst wenn alle davon tatsächlich unwirksam sind. Dies wird als Mehrfachvergleichsproblem bezeichnet. Die Wahrscheinlichkeit falsch positiver Ergebnisse steigt schnell, wenn eine große Anzahl von Variablen, Untergruppen oder Ergebnisvariablen getestet wird. Die Lösung besteht darin, den Schwellenwert zu korrigieren: Bonferroni (Dividieren des Schwellenwerts durch die Anzahl der Tests – streng), Holm- oder Benjamini-Hochberg-Methoden, die die Falscherkennungsrate (FDR) steuern. Dieses Risiko wird im Zeitalter der KI noch größer, da KI Dutzende von Tests in Sekundenschnelle durchführen kann – dies ist das direkte Thema der nächsten Einheit (P-Hacking).

Vergleichstabelle: Was der p-Wert sagt und was nicht

Ausdruck

Ist es wahr?

Beschreibung

„p=0,02, die Wahrscheinlichkeit, dass kein Effekt auftritt, beträgt 2 %“

falsch

p ist nicht die Wahrscheinlichkeit von H0

„p<0,05, der Effekt ist groß“

falsch

p gibt keine Größe an

„p=0,20, kein Effekt“

falsch

Nicht zeigen zu können ist keine Abwesenheit

„p<0,05, es gibt Hinweise gegen H0“

Stimmt

Vorsichtig und auf den Punkt gebracht

„Effekt 1.200 [300;2.100], p=0,01“

am besten

Größe + Unsicherheit + Beweise

Vier kopierbare Eingabeaufforderungen

1. Auswahl des richtigen Tests:

Ihre Rolle: Assistent für statistische Tests. Ich möchte den Mittelwert zweier unabhängiger Gruppen vergleichen (kontinuierliche Variable). Geben Sie mir an: Welcher Test ist angemessen (mit seinen Annahmen: Normalität, Varianzgleichheit), die Alternative, wenn die Annahme nicht erfüllt ist (z. B. Welch, Mann-Whitney) und den R-Code. Ich werde das Ergebnis ausführen und die Annahmen überprüfen.

2. Den p-Wert korrekt angeben:

Melden Sie die Testausgabe unten, aber REGELN: - Stellen Sie den p-Wert NICHT als „Wahrscheinlichkeit von H0“ oder „Effektgröße“ dar. – Geben Sie unbedingt die Effektgröße und das 95 %-Konfidenzintervall an. – Schreiben Sie „signifikant“ und „signifikant“ getrennt. – Wenn p > 0,05, sagen Sie NICHT „kein Effekt“, sondern „wir konnten nicht zeigen“. Ausgabe: [Einfügen]

3. Leistungs-/Probenberechnung:

Ich plane ein Experiment: zwei Gruppen, erwartete Effektgröße (Cohen's d) ~0,4, Potenz 0,80, Alpha 0,05. Schreiben Sie R-Code, der die erforderliche Stichprobengröße berechnet (pwr-Paket) und erläutern Sie die Risiken einer Studie mit geringer Leistung (Fluch des Gewinners).

4. Mehrfachvergleichskorrektur:

Ich habe 15 separate Hypothesentests durchgeführt und habe p-Werte. Schreiben Sie R-Code, der die Korrekturen von Bonferroni und Benjamin-Hochberg (FDR) anwendet, erklären Sie den Unterschied zwischen den beiden Methoden und fassen Sie in einem Satz zusammen, warum ich dem bloßen p<0,05 nicht vertrauen sollte.

Schwache Eingabeaufforderung / Starke Eingabeaufforderung

Schwache Eingabeaufforderung:

Ist das Ergebnis dieses Tests aussagekräftig? Kommentieren Sie das Ergebnis.

Diese Behauptung hält die KI in der Binärdatei „bedeutungsvoll/nicht bedeutungsvoll“ gefangen; erzeugt höchstwahrscheinlich einen Satz, der Größe mit Bedeutung verwechselt, wie zum Beispiel „Ja, es ist signifikant, die Wirkung ist stark.“

Kraftvolle Aufforderung:

Ihre Rolle: aufmerksamer Statistikassistent. Interpretieren Sie das Ergebnis, aber: (1) geben Sie die Effektgröße + 95 %-Konfidenzintervall + p-Wert zusammen an, (2) trennen Sie die Signifikanz von der Signifikanz, (3) p>0,05 in „konnte nicht angezeigt werden“, (4) fragen Sie, wie viele Tests ich durchgeführt habe; Wenn mehr als eine, schlagen Sie eine Mehrfachvergleichskorrektur vor. (5) Erinnern Sie daran, dass die Annahmen des Tests überprüft werden sollten.

Unterschied: Eine starke Eingabeaufforderung erzwingt umfassende Berichte und schützt vor p-Wert-Fallen.

drei Mini-Koffer

Fall 1 – Nichtsignifikante „Signifikanz“ in einer großen Stichprobe. Ein Analyst stellte fest, dass der mittlere Unterschied zwischen den beiden Gruppen in Daten mit 500.000 Beobachtungen mit p<0,001 „hochsignifikant“ war. Der Unterschied betrug jedoch nur 0,3 Punkte (von 100) und war praktisch bedeutungslos. Die große Stichprobe machte sogar den winzigen Unterschied „signifikant“. Bei der Angabe der Effektgröße wurde festgestellt, dass der Befund unbedeutend war. Lektion: Bedeutung ist nicht Größe; Wenn n groß ist, ist jeder Unterschied signifikant.

Fall 2 – Illusion mehrerer Tests. Ein Team testete 22 Ergebnisvariablen; Einer davon zeigte p=0,04 und wurde mit „Wir haben den Effekt gefunden“ angekündigt. Mit der Bonferroni-Korrektur sank der Schwellenwert auf 0,05/22 = 0,0023; 0,04 hat diesen Schwellenwert nicht überschritten. Das einzig „aussagekräftige“ Ergebnis wäre ein Zufall aus 22 Versuchen gewesen. Lektion: Wenn viel getestet wird, ist eine Korrektur erforderlich.

Fall 3 – Untermacht und der Fluch des Gewinners. Eine kleine Pilotstudie (n=15 pro Gruppe) ergab einen sehr großen (d=0,9) und signifikanten Effekt. Eine große Replikationsstudie reduzierte den Effekt auf d = 0,2. Die kleine Stichprobe hatte nur zu einer Überschätzung geführt, die den Schwellenwert überschreiten konnte. Lektion: Signifikante Effektgrößen bei geringer Leistung sind nicht vertrauenswürdig.

Häufige Fehler

• Sinnhaftigkeit mit Wichtigkeit/Größe verwechseln. Der Effekt ist nicht groß, nur weil p klein ist; Geben Sie die Effektgröße separat an.
• Den p-Wert mit der Wahrscheinlichkeit von H0 verwechseln. p ist nicht die „Wahrscheinlichkeit ohne Wirkung“; ist konzeptionell anders.
• Lesen Sie p>0,05 als „kein Effekt“. Das Nichterscheinen ist kein Beweis für Abwesenheit; Geben Sie die Unsicherheit an.
• Keine Korrektur für Mehrfachtests. Zu viele Tests führen zu falsch positiven Ergebnissen; Wenden Sie Bonferroni/FDR an.
• Macht ignorieren. Der signifikante Effekt in der kleinen Stichprobe ist übertrieben; Berechnen Sie die Leistung vor der Analyse.

Tipp: Bevor Sie ein Ergebnis als „signifikant“ abschreiben, stellen Sie zwei Fragen: „Ist der Effekt praktisch signifikant (Größe)?“ und „Wie viele Tests habe ich gemacht, bevor ich dieses Ergebnis gefunden habe?“ Die zweite Frage ist der Lackmustest der Ehrlichkeit.

Zusammenfassend

Hypothesentests und p-Werte sind leistungsstarke, aber missverstandene Werkzeuge. Der p-Wert ist die Wahrscheinlichkeit, die Daten zu sehen, wenn die Nullhypothese wahr ist; Die Wahrscheinlichkeit von H0 ist nicht das Ausmaß des Effekts oder die Signifikanz des Befundes. Geben Sie die Signifikanz immer zusammen mit der Effektgröße und dem Konfidenzintervall an. Lesen Sie p>0,05 nicht als „kein Effekt“; Wenden Sie mehrere Vergleichskorrekturen an, wenn Sie viele Tests durchgeführt haben. Seien Sie sich des Risikos übertriebener Auswirkungen von Studien mit geringer Leistung bewusst. KI erstellt Testcode und Blaupause; Es liegt in Ihrer Verantwortung, zwischen Sinnhaftigkeit und Wesentlichkeit zu unterscheiden und Annahmen zu überprüfen.

Anwendungsaufgabe

Vergleichen Sie die Mittelwerte zwischen zwei Gruppen in einem Datensatz. Bitten Sie die KI um den entsprechenden Test (mit seinen Annahmen) und Code, führen Sie ihn aus und überprüfen Sie die Annahmen. Geben Sie das Ergebnis mit drei Komponenten an: Effektgröße, 95 %-Konfidenzintervall, p-Wert. Überlegen Sie dann, wie viele verschiedene Vergleiche Sie mit denselben Daten durchführen können. Wenn Sie mehrere Tests durchgeführt haben, wenden Sie die Bonferroni- oder FDR-Korrektur an und melden Sie, ob das Ergebnis weiterhin gilt. Schreiben Sie abschließend eine grobe Leistungsbewertung für Ihre Analyse.

Checkliste

• [ ] Ich habe den Test mit seinen Annahmen ausgewählt und die Annahmen überprüft.
• [ ] Ich habe das Ergebnis als Effektgröße + Konfidenzintervall + p-Wert angegeben.
• [ ] Ich habe „bedeutend“ und „wichtig“ getrennt gehalten; Ich dachte nicht, dass p die Wahrscheinlichkeit von H0 ist.
• [ ] Ich habe p>0,05 als „wir konnten es nicht zeigen“ und nicht als „keine Wirkung“ geschrieben.
• [ ] Ich habe eine Mehrfachvergleichskorrektur angewendet, wenn ich mehrere Tests durchgeführt habe.
• [ ] Ich habe die Sampling-Leistung bewertet; Ich war vorsichtig, was die Effektgröße bei geringer Leistung angeht.