P-Hacking, HARKing und statistische Integrität: Fallstricke im Zeitalter der künstlichen Intelligenz

Gewinne:

• Verstehen Sie, dass P-Hacking, HARKing, selektive Berichterstattung und der Garten der Weggabelungen zu falschen Erkenntnissen führen, und erfahren Sie, wie künstliche Intelligenz diese Fallen beschleunigen kann
• Fähigkeit, Abwehrmechanismen wie Vorregistrierung, Analyseplan, Mehrfachvergleichsdisziplin und Sensitivitätsanalyse mit Unterstützung künstlicher Intelligenz einzurichten
• In der Lage zu sein, das ehrliche Anfragedesign zu verinnerlichen, das es der künstlichen Intelligenz ermöglicht, Anfragen vom Typ „Finde das aussagekräftige Ergebnis“ abzulehnen, und dass die letztendliche Verantwortung beim Forscher liegt.

In der vorherigen Einheit haben wir gesehen, was ein p-Wert ist und was nicht. In dieser Einheit werden wir uns mit einem dunkleren Thema befassen: den systematischen Fallen, die die statistische Integrität gefährden. Bei den meisten davon handelt es sich nicht um vorsätzlichen Betrug; Das sind heimtückische Mechanismen, in die selbst gutmeinende Forscher verfallen, ohne es zu merken. Und künstliche Intelligenz (KI) macht diese Fallstricke einfacher und schneller, da sie es ermöglicht, Dutzende Analysen in Sekundenschnelle durchzuführen. Ziel dieser Einheit ist es, die Disziplin zu etablieren, die KI von einer „aussagekräftigen Ergebnisfindungsmaschine“ in einen ehrlichen Assistenten verwandelt.

Grundlegende Fallstricke

P-Hacking (P-Wert-Jagd): Dabei wird die Analyse auf unterschiedliche Weise wiederholt, bis ein signifikantes Ergebnis (p < 0,05) erhalten wird. Variablen hinzufügen und entfernen, Teilstichproben auswählen, die Definition von Ausreißern ändern, verschiedene Transformationen ausprobieren, verschiedene Ergebnisvariablen verwenden, die Datenerfassung stoppen, wenn sie sinnvoll wird ... Jeder Versuch bietet eine neue „Chance“; Wenn Sie sich genug anstrengen, wird sich eine davon als sinnvoll erweisen, auch wenn sie eigentlich keine Wirkung hat. Das Ergebnis: falsche Erkenntnisse, die zwar veröffentlicht, aber nicht reproduzierbar waren.

HARKing (Hypothesisieren, nachdem die Ergebnisse bekannt sind): Stellen Sie eine Hypothese auf, nachdem Sie die Ergebnisse gesehen haben, und präsentieren Sie sie als „Ich habe es von Anfang an so vorhergesagt“. Sie schauen sich die Daten an und finden den auffälligsten Zusammenhang. Dann schreiben Sie die Arbeit so, als ob sie dazu gedacht wäre, diese Hypothese zu testen. Dies führt den Leser in die Irre, indem es die Entdeckung wie eine Bestätigung erscheinen lässt.

Selektive Berichterstattung (Rosinenpickerei): Aus Dutzenden von Analysen werden nur die „Guten“ gemeldet und der Rest stillschweigend vergraben. Dies wird auch als „Dateischubladenproblem“ bezeichnet: Aussagelose Ergebnisse bleiben in der Schublade, wodurch die Literatur systematisch verzerrt wird.

Garten der sich verzweigenden Pfade: Andrew Gelmans Begriff. Auch ohne ein einziges absichtliches P-Hacking trifft der Forscher viele sinnvolle Entscheidungen auf der Grundlage der Daten (welche Variable, welcher Schwellenwert, welche Untergruppe, welche Transformation). Diese investigativen Freiheitsgrade sind so zahlreich, dass Sie aus einer Vielzahl von Analysen effektiv die sinnvollste auswählen – auch ohne böse Absicht. Das Ergebnis ist erneut eine steigende Falsch-Positiv-Rate.

Achtung: Die meisten dieser Fallen sind keine absichtlichen Tricks. Die Summe scheinbar harmloser Schritte wie „Ich habe gerade ein paar weitere Modelle ausprobiert“, „Es war sauberer, als ich den Ausreißer entfernt habe“ und „Der Effekt ist in dieser Untergruppe deutlicher“ kann zu einem falschen Ergebnis führen. Ehrlichkeit ist eine Frage der Methode, nicht der Absicht.

Warum vergrößert KI diese Fallen?

Das manuelle Ausprobieren von drei Modellen kostet Zeit; YZ produziert in wenigen Minuten 50 Modellvarianten, 10 verschiedene Umbauten, 8 Untergruppen. Diese Macht ist ohne einen ehrlichen Plan katastrophal: Eine Anfrage wie „Finde eine sinnvolle Beziehung in diesen Daten“ oder „Erstelle ein Modell, das diese Hypothese unterstützt“ verwandelt die KI direkt in eine P-Hacking-Engine. KI möchte auch hilfreich sein; neigt dazu, ein „sinnvolles“ Ergebnis zu finden, das Sie zufriedenstellt. Deshalb ist Ihr promptes Design die erste Verteidigungslinie der Ehrlichkeit.

Verteidigung: fairer Geschäftsverlauf

1. Vorregistrierung: Dies bedeutet, dass Sie Ihre Hypothese, Variablen, Ihr Modell und Ihre Tests schriftlich aufzeichnen (möglicherweise auf einer Plattform mit Zeitstempel), bevor Sie die Analyse durchführen. Somit ist die Entdeckung von der Bestätigung getrennt; Alles, was Sie danach ändern, wird als „Explorer“ gekennzeichnet.

2. Analyseplan: Auch wenn Sie nicht vorab aufzeichnen können, schreiben Sie einen Analyseplan, bevor Sie sich mit den Daten befassen: Primärhypothese, primäre Ergebnisvariable, Hauptmodell. Legen Sie von Anfang an die Unterscheidung zwischen „Hauptanalyse“ und „zusätzlicher/explorativer Analyse“ fest und pflegen Sie sie im Bericht.

3. Melden Sie alles: Verstecken Sie nicht die Modelle, die Sie ausprobiert haben. Zeigen Sie im Abschnitt „Sensitivitätsanalyse“ (Robustheitsprüfung), wie unterschiedliche Spezifikationen das Ergebnis verändern. Der Befund ist nur dann aussagekräftig, wenn er unter vielen plausiblen Entscheidungen Bestand hat.

4. Disziplin bei Mehrfachvergleichen: Wenn Sie zu viele Tests durchgeführt haben, korrigieren Sie diese (Einheit 6). Beantworten Sie die Frage „Wie viele Tests habe ich durchgeführt?“ Ehrlich.

5. Sensitivitätsanalyse: Wiederholen Sie Ihr Hauptergebnis mit einer anderen Probe, einem anderen Kontrollsatz und einer anderen Transformation. Wenn sich das Ergebnis ändert, verheimlichen Sie es nicht, sondern melden Sie es.

Vergleichstabelle: ehrlich vs. Falle

Bewerbung

Fallenform

Ehrliches Äquivalent

Modellauswahl

Versuchen, bis es einen Sinn ergibt (P-Hacking)

Vorgeplantes Mastermodell

Hypothese

Nachträgliche Anpassung (HARKing)

Vorab aufgezeichnete Daten

Berichterstattung

Zeigen Sie nicht nur die Schönen

Alle Spezifikationen + Empfindlichkeit

Untergruppe

Das Auffälligste auswählen

Vordefiniert, korrigierbar

Datenerfassung

Hören Sie auf, wenn es Sinn macht

vorgegebene Probe

Vier kopierbare Eingabeaufforderungen

1. Ehrlicher Anspruchsrahmen:

Ihre Rolle: ehrlicher Statistikassistent. Mein Ziel ist NICHT, ein sinnvolles Ergebnis zu finden, sondern das richtige Ergebnis zu finden. REGELN: – Geben Sie mir KEINE Vorschläge vom Typ „Modelle ausprobieren, bis es Sinn ergibt“. – Sagen Sie mir, wenn Sie mehrere Spezifikationen vorschlagen, dass alle gemeldet werden müssen. – Warnen Sie mich vor allen Schritten, die zu P-Hacking führen könnten. Helfen Sie mir, zunächst mein Hauptmodell zu klären und die Entdeckung von der Bestätigung zu trennen.

2. Entwurf des Analyseplans:

Helfen Sie mir, einen vorläufigen Analyseplan für eine Studie zu entwerfen: Primärhypothese, primäre Ergebnisvariable, Hauptmodellspezifikation, vordefinierte Untergruppen, Strategie für mehrere Vergleiche. Geben Sie „exploratorische“ und „bestätigende“ Analysen in separate Überschriften ein. Erinnern Sie mich daran, dies auszufüllen, OHNE einen Blick auf die Daten zu werfen.

3. Sensitivitätsanalyse:

Meine wichtigste Erkenntnis besteht darin, einen Sensitivitätsanalysecode (R) zu schreiben. Mein Ziel ist es, zu SEHEN, wie solide das Ergebnis ist, und NICHT, das beste auszuwählen. Alle Ergebnisse anzeigen.

4. Selbstüberwachung:

Ich werde meinen Analyseprozess erläutern; Geben Sie mir eine Checkliste für P-Hacking / HARKing / selektive Berichterstattung und markieren Sie, welche meiner Schritte riskant sind. Fragen Sie mich noch einmal, wie viele Modelle/Tests ich ausprobiert habe und über welche ich berichten möchte.

Schwache Eingabeaufforderung / Starke Eingabeaufforderung

Schwache Eingabeaufforderung:

Welche Variablen in diesen Daten signifikante Beziehungen aufweisen, finden Sie das beste Modell.

Bei dieser Eingabeaufforderung handelt es sich um eine direkte P-Hacking-Anweisung: Die KI probiert Dutzende Kombinationen aus und präsentiert diejenige, die „am meisten Sinn ergibt“. Das Ergebnis ist mit ziemlicher Sicherheit ein falscher Befund, der nicht reproduziert werden kann.

Kraftvolle Aufforderung:

Ihre Rolle: ehrlicher Assistent. Das MAIN-Modell, das ich vorgegeben habe, ist: Y ~ X + Bedienelemente. Schreiben Sie Code, der dieses Modell vorhersagt. Suchen Sie NICHT nach einem anderen „sinnvolleren“ Modell. Schlagen Sie außerdem eine Sensitivitätsanalyse vor, damit ich die Robustheit des Ergebnisses sehen kann, aber seien Sie sich bewusst, dass ich ALLE Ergebnisse berichte und nicht das beste auswähle. Lassen Sie mich keine Sondierungsergebnisse als „bestätigt“ abschreiben.

Unterschied: Ein starker Wille legt das Hauptmodell fest, verbietet die Suche und erfordert die Meldung aller Ergebnisse.

drei Mini-Koffer

Fall 1 – Untergruppenjagd. Ein Forscher konnte in der Gesamtstichprobe keinen Effekt feststellen; Er fragte die KI: „In welcher Untergruppe ist es von Bedeutung?“ YZ scannte die Kombinationen aus Alter, Geschlecht und Region und fand „p = 0,03 bei städtischen Frauen im Alter von 35–44 Jahren“. Der Artikel basierte auf dieser Untergruppe. Seine Nachbildung fand keine Wirkung: Dies war ein Ergebnis des Zufalls aus Dutzenden von Untergruppen. Lektion: Ausgewählte Untergruppe, nachdem die Daten HARKING, nicht BESTÄTIGUNG sind.

Fall 2 – Conversion-Jagd. Die Beziehung, die sich auf Studentenebene als bedeutungslos herausstellt; habe es in Log-, Quadratwurzel-, Quadrat- und Lag-Form ausprobiert; Er fand p=0,048 in Log-Log-Form und berichtete nur darüber. Glücklicherweise hat eine der fünf ausprobierten Formen die Schwelle überschritten. Der richtige Weg war: die Form theoretisch vorzuwählen und das Ergebnis aller Formen in der Sensitivitätstabelle anzuzeigen. Lektion: Selektive Berichterstattung führt zu falscher Bedeutung.

Fall 3 – Wie ehrliches Framing funktioniert. Ein Team hat sich vor der Analyse vorregistriert: einzelne Primärhypothese, einzelnes Hauptmodell, zwei vordefinierte Untergruppen, Bonferroni-Korrektur. Der Haupteffekt war nicht signifikant, aber das Team berichtete ehrlich darüber; Die Sondierungsperson markierte einen Befund als „in der Zukunft getestet werden müssen“. Die Studie war reproduzierbar und zuverlässig. Lektion: Ehrliche Planung macht selbst das „Misserfolg“-Ergebnis lohnenswert.

Häufige Fehler

• Der KI sagen, sie solle „aussagekräftige Ergebnisse finden“. Das ist reines P-Hacking; Stellen Sie die KI in einen ehrlichen Rahmen und fordern Sie Genauigkeit, nicht Ergebnisse.
• Die Entdeckung als Bestätigung präsentieren (HARKing). Es ist irreführend, die nach den Daten aufgestellte Hypothese so zu schreiben: „Ich habe es von Anfang an vorhergesagt“; Beschriften Sie den Sondierungsbefund.
• Ich berichte nur über gute Ergebnisse. Alle getesteten Spezifikationen anzeigen; Das Verheimlichen einer Stimmungsanalyse gefährdet die Integrität.
• Untergruppen-/Konvertierungsscreening. Die Auswahl der bedeutendsten aus Dutzenden von Untergruppen oder Transformationen führt zu falschen Ergebnissen; im Voraus identifizieren und beheben.
• Vergessen Sie, wie viele Tests Sie durchgeführt haben. Verfolgen Sie die Gesamtzahl der Versuche. Kein p-Wert kann ehrlich interpretiert werden, ohne diese Zahl zu kennen.

Tipp: Bevor Sie ein Ergebnis aufschreiben, fragen Sie sich: „Wie viele Möglichkeiten habe ich stillschweigend ausprobiert, bis ich dieses Ergebnis gefunden habe, und berichte ich sie alle?“ Wenn einige der Aufsätze in der Schublade bleiben, sieht Ihr Bericht stärker aus, als er ist.

Zusammenfassend

P-Hacking, HARKing, selektive Berichterstattung und der Garten der Weggabelungen; Bei vielen handelt es sich um Fallen, die unbeabsichtigt funktionieren, aber falsche, nicht reproduzierbare Ergebnisse liefern. KI beschleunigt diese Fallstricke, da sie Dutzende von Analysen sofort ausprobieren kann; Anfragen vom Typ „Finde aussagekräftige Ergebnisse“ verwandeln die KI in eine P-Hacking-Engine. Verteidigung; Trennung der Entdeckung von der Bestätigung mit einem Vorregistrierungs- und Analyseplan, Meldung aller Spezifikationen und Sensitivitätsanalysen, Korrektur mehrerer Vergleiche und Einbettung der KI in einen ehrlichen Rahmen, der das „richtige Ergebnis“ erfordert. Die letzte Verantwortung liegt immer beim Forscher.

Anwendungsaufgabe

Wählen Sie eine Forschungsfrage und schreiben Sie einen kurzen Analyseplan, bevor Sie sich die Daten ansehen: Primärhypothese, Hauptmodell, primäre Ergebnisvariable, vordefinierte Untergruppen, Strategie für mehrere Vergleiche. Schätzen Sie dann das Hauptmodell. Führen Sie dann eine Sensitivitätsanalyse durch (verschiedene Kontrollen, Ausreißer eingeschlossen/ausgeschlossen, unterschiedliche Funktionsform) und zeigen Sie alle Ergebnisse in einer einzigen Tabelle an. Bewerten Sie in einem Absatz, welche Schritte ein P-Hacking-Risiko darstellen und wie Ihr ehrlicher Rahmen diese einschränkt.

Checkliste

• [ ] Ich habe den Analyseplan/das Mastermodell geschrieben, bevor ich mich mit den Daten befasst habe.
• [ ] Ich habe explorative und bestätigende Analysen getrennt gekennzeichnet; Ich habe nicht gehorcht.
• [ ] Ich habe alle Spezifikationen gemeldet, die ich ausprobiert habe; Ich habe mich nicht nur für das Schöne entschieden.
• [ ] Ich habe die Untergruppen und Transformationen vorher definiert, ich habe sie nicht nach den Daten gescannt.
• [ ] Ich habe nachverfolgt, wie viele Tests ich durchgeführt hatte, und die erforderlichen Korrekturen vorgenommen.
• [ ] Ich habe KI eher im Zusammenhang mit „die Wahrheit finden“ als mit „sie sinnvoll finden“ verwendet; Ich habe Verantwortung übernommen.