Datenanalyse und statistische Validierung

Gewinne:

• Fähigkeit, den für die Art und Verteilung der Daten geeigneten Test auszuwählen und die Annahmen (Normalität, Varianz) zu überprüfen.
• Fähigkeit, die wahre Bedeutung des p-Werts zu verstehen und die Ergebnisse mit Effektgröße und Konfidenzintervall anzugeben
• Schutz vor P-Hacking mit Trennung von Erkennung und Überprüfung, mehrfacher Vergleichskorrektur und vollständiger Berichterstellung

Das Experiment ist vorbei, die Daten liegen vor. Jetzt befinden wir uns im kritischsten und am meisten fehlerhaften Stadium: der korrekten Analyse der Daten und der ehrlichen Interpretation der Ergebnisse. Biologische Daten sind oft verrauscht, instabil und multivariat. Falsche Testauswahl, implizite Verstöße gegen Annahmen und unbewusstes P-Hacking (Ausprobieren einer Analyse, bis sie das gewünschte Ergebnis liefert) sind die Hauptursachen für die Reproduzierbarkeitskrise in der veröffentlichten biologischen Literatur. KI hilft Ihnen, den richtigen Test auszuwählen, Annahmen zu überprüfen und Analysecode zu schreiben. Die statistische Integrität liegt jedoch in Ihrer Verantwortung.

In dieser Einheit behandeln wir gängige statistische Tests, Annahmenprüfungen und Möglichkeiten, sich vor P-Hacking zu schützen.

Den richtigen Test auswählen

Die Wahl des Tests hängt von der Art und Verteilung der Daten ab. Künstliche Intelligenz hilft Ihnen bei dieser Wahl, aber Sie sollten sie nicht blind anwenden:

• Zwei Gruppen, kontinuierliche Daten, Normalverteilung: Unabhängiger t-Test.
• Zwei Gruppen, nicht normal: Mann-Whitney U (nicht parametrisch: keine Verteilungsannahme erforderlich).
• Mehr als zwei Gruppen: ANOVA (Varianzanalyse) + Post-hoc-Test.
• Kategoriale Daten (Anzahl): Chi-Quadrat-Test oder exakter Fisher-Test.
• Beziehung: Korrelation (Pearson/Spearman) oder Regression.

Tipp: Visualisieren Sie die Daten, bevor Sie den Test auswählen. Ein Histogramm oder Boxplot zeigt sofort die Normalität und Ausreißer, die ein T-Test erfordert. „Zuerst Diagramm, später testen“ ist eine gute Angewohnheit.

Annahmen prüfen

Jeder Test hat versteckte Annahmen. Der t-Test geht von Normalverteilung und Varianzgleichheit aus; Werden diese verletzt, ist das Ergebnis irreführend. KI schreibt Code, der diese Annahmen überprüft:

Rolle: Sie sind Biostatistik-Assistent. Aufgabe: Schreiben Sie Code, der die Annahmen eines t-Tests überprüft, bevor zwei Datengruppen verglichen werden: Normalität (Shapiro-Wilk), Varianzgleichheit (Levene). Wenn die Annahme verletzt wird, sagen Sie mir, mit welchem ​​alternativen Test ich fortfahren soll. Geben Sie Python-Code mit Kommentaren.

Der Code leitet Sie zu Mann-Whitney weiter, wenn die Normalität gestört ist. Dieser Ablauf „Zuerst prüfen, später entscheiden“ verhindert, dass Sie den falschen Test durchführen.

P-Hacking und wie Sie sich schützen können

Beim P-Hacking werden Daten auf unterschiedliche Weise analysiert, bis p<0,05: verschiedene Tests ausprobieren, Ausreißer selektiv verwerfen, Gruppen hinzufügen/entfernen, melden, was unter einer großen Anzahl von Variablen „signifikant“ ist. Dies ist die Hauptquelle für gefälschte Entdeckungen. Schutzmöglichkeiten:

1. Legen Sie den Analyseplan im Voraus fest (Einheit 7).
2. Melden Sie alle Tests, nicht nur diejenigen, die Bedeutung zeigen.
3. Mehrfachvergleich behoben (FDR/Bonferroni).
4. Geben Sie neben dem p-Wert die Effektgröße und das Konfidenzintervall an.
5. Separate Erkennung und Validierung: Testen Sie, was Sie im Erkennungssatz finden, an einem unabhängigen Satz.

Schritt für Schritt: eine ehrliche Analyse

1. Visualisieren Sie die Daten (Streuung, Ausreißer).
2. Überprüfen Sie die Annahmen.
3. Führen Sie den von Ihnen festgelegten Test durch.
4. Mehrere Vergleiche beheben.
5. Berichten Sie über die Effektgröße + das Konfidenzintervall.
6. Schreiben Sie die Einschränkungen deutlich auf.

Kopierbare Eingabeaufforderungsvorlagen

Visualisieren Sie den Durchsatz: Zeichnen Sie Histogramme und Boxplots für jede Gruppe und kennzeichnen Sie Ausreißer. Dann interpretieren Sie normality.Data columns: [Name]. Geben Sie Python-Code mit Kommentaren.

Ich möchte meine beiden Gruppen vergleichen. Eigenschaften der Daten: [Typ, N, Verteilung]. Welcher Test ist geeignet? Überprüfen Sie die Annahmen, führen Sie den Test durch, geben Sie die Effektgröße UND das 95 %-Konfidenzintervall MIT p-Wert an.

Ich habe in meiner Analyse 15 verschiedene Gene getestet. Geben Sie den Code an, der die Bonferroni- und Benjamini-Hochberg-Korrektur anwendet, und erläutern Sie den Unterschied zwischen den beiden Methoden.

Schwache Eingabeaufforderung / Starke Eingabeaufforderung

Schwach: „Unterscheiden sich diese beiden Gruppen, machen Sie einen T-Test.“

Strong: „Ich habe zwei Gruppen (Kontrolle n=18, Behandlung n=20), die abhängige Variable ist die Enzymaktivität (kontinuierlich). Visualisieren Sie zunächst die Verteilung und testen Sie die Normalität mit Shapiro-Wilk. Wenn normal, wenden Sie den t-Test an, wenn nicht, wenden Sie den Mann-Whitney-Test an. Geben Sie das Ergebnis mit p-Wert, Effektgröße (Cohens d oder Rang-Biserial) und 95 %-Konfidenzintervall an. Erklären Sie, welchen Test Sie ausgewählt haben und warum.“

Unterschied: Die leistungsstarke Eingabeaufforderung verfügt über Datentyp, Probennummern, Annahmeprüfung und eine vollständige Berichtsanforderung. Das Modell folgt dem richtigen Weg, anstatt den T-Test blind anzuwenden.

drei Mini-Koffer

Fall 1 – Falscher Test: Ein Student wendete einen t-Test auf deutlich verzerrte (nicht normale) Daten an und fand p=0,048. Als die künstliche Intelligenz die Normalitätsprüfung hinzufügte, waren die Daten nicht normal; Mit Mann-Whitney, p=0,11. Das tatsächliche Ergebnis war bedeutungslos. Lektion: Testen ohne Überprüfung der Annahme ist irreführend.

Fall 2 – Selektives Verwerfen von Ausreißern: Ein Forscher löschte zwei „Ausreißer“-Punkte, um das Ergebnis aussagekräftig zu machen. Das Modell betonte, dass das Verwerfen von Ausreißern auf einer vordefinierten Regel (z. B. der IQR-Methode) basieren und gemeldet werden sollte; Willkürliches Löschen ist P-Hacking. Lektion: Legen Sie die Ausreißerregel im Voraus fest.

Fall 3 – Wiederherstellung der Effektgröße: Eine Studie hatte p=0,001, aber die Effektgröße (d=0,1) war fast Null; Die große Stichprobe zeigte, dass der unbedeutende Unterschied signifikant war. Als die künstliche Intelligenz die Effektgröße meldete, stellte sich heraus, dass das Ergebnis keinen praktischen Wert hatte. Lektion: Nur weil p klein ist, spielt es keine Rolle.

Vergleichstabelle

Status

richtige Herangehensweise

Zu vermeiden

anormale Daten

Nichtparametrischer Test

Erzwungener T-Test

Mehrfachtest

Korrektur anwenden

Roh p<0,05

Ausreißer

Vordefinierte Regel

willkürliche Löschung

bedeutendes Ergebnis

Effektgröße + CI

nur p

Entdeckung finden

Validierung auf unabhängigem Satz

In einem Satz finalisieren

Häufige Fehler

• Hypothese unkontrolliertes Testen: Falsche Bedeutung durch falsches Testen.
• P-Hacking: Analyse ausprobieren, bis sie das gewünschte Ergebnis liefert.
• Nur p-Wert melden: Effektgröße und Konfidenzintervall weglassen.
• Keine Korrektur bei mehreren Vergleichen: Falsch positive Ergebnisse.
• Kausalitätssprung: Kausalität aus Korrelation ableiten.

Achtung: KI „produziert“ nicht das gewünschte Ergebnis, schreibt aber gerne den Code für den falschen Test, wenn sie in die Irre geführt wird. Sie verfügen über statistische Integrität: Melden Sie alle Versuche, planen Sie die Analyse im Voraus und verpassen Sie nie die Effektgröße. Arbeiten Sie mit einem Biostatistiker für Analysen zusammen, die zur Veröffentlichung führen.

wahre Bedeutung des p-Werts

Das am meisten missverstandene Konzept in der Biologie ist der p-Wert. Der p-Wert ist nicht die „Wahrscheinlichkeit, dass die Hypothese wahr ist“; Es ist „die Wahrscheinlichkeit, einen Unterschied zu sehen, der genauso groß oder extremer ist als der, den man beobachtet, obwohl es in Wirklichkeit keinen Unterschied gibt.“ Diese subtile, aber entscheidende Unterscheidung ist der Schlüssel dazu, die Ergebnisse nicht zu übertreiben. p=0,03 bedeutet nicht, dass der Effekt zu 97 % real ist. Wenn Sie ein Ergebnis von der KI interpretieren lassen, prüfen Sie, ob diese Definition korrekt verwendet wird. Das Modell kann manchmal häufige Fehlinterpretationen wiederholen.

Das Konfidenzintervall (CI) ist häufig aussagekräftiger als der p-Wert, da es das Ausmaß und die Unsicherheit des Effekts zusammen zeigt. „Differenz 2,4-fach (95 %-KI: 1,8–3,1)“ sagt viel mehr aus als „p<0,05“: sowohl die Richtung des Effekts, seine Stärke als auch die Genauigkeit seiner Messung. Heben Sie GA in Ihren Berichten hervor.

Verwenden Sie bei der Interpretation meines Ergebnisses die korrekte Definition des p-Werts. Vermeiden Sie falsche Aussagen wie „Wahrscheinlichkeit, dass der Effekt wahr ist“. Erklären Sie stattdessen die praktische Bedeutung anhand der Effektgröße und des 95 %-Konfidenzintervalls. Ergebnis: [Daten]

Korrelation, Kausalität und Beobachtungsdaten

Die meisten biologischen Daten sind Beobachtungsdaten: Man sieht, wie sich etwas mit etwas anderem verändert, aber man kann nicht sehen, was was verursacht. Der Satz „Die Expression des Gens X korreliert mit einer Krankheit“ bedeutet nicht, dass X eine Krankheit verursacht; Die Krankheit kann X erhöhen, oder ein dritter Faktor kann beide beeinflussen. Kausalität kann nur durch interventionelle Experimente (Änderung von X und Messung des Ergebnisses) festgestellt werden. KI verwendet möglicherweise unwissentlich kausale Sprache („Ursachen“, „führt zu“) in Ihren Texten; Überprüfen Sie jeden Schlusssatz aus dieser Perspektive und drücken Sie die Beobachtungsergebnisse in korrelativer Sprache aus („korreliert“, „zusammen variieren“).

Trennung gepaarter und unabhängiger Daten

Der am häufigsten übersehene Unterschied bei der Testauswahl besteht darin, ob die Stichproben unabhängig oder gepaart sind. Wenn Sie Vorher- und Nachhermessungen bei derselben Person vornehmen (z. B. Blutwerte derselben Patienten vor und nach der Behandlung), sind diese Messungen nicht unabhängig; Ein paarweiser Test ist erforderlich. Durch die Verwendung des unabhängigen T-Tests bei zwei Stichproben werden Übereinstimmungsinformationen in den Daten verworfen und die Aussagekraft verringert. Es könnte sogar das Ergebnis umkehren. Die Regel ist einfach: „stammen diese beiden Messungen aus derselben biologischen Einheit?“ Wenn die Antwort „Ja“ lautet, wird ein gepaarter Test (gepaarter t-Test oder Wilcoxon-Signed-Rang-Test) verwendet, wenn nein, wird ein unabhängiger Test verwendet. Wenn Sie künstliche Intelligenz um Tests bitten, geben Sie unbedingt die Übereinstimmungsstruktur Ihrer Daten an; Wenn Sie keine Angaben machen, geht das Modell häufig von Unabhängigkeit aus und empfiehlt den falschen Test.

Ich habe zwei Maßeinheiten. Wichtig: Diese Messungen wurden vor/nach den SELBEN Personen (Paaren) durchgeführt. Wählen Sie den richtigen Test aus, der diese Übereinstimmung berücksichtigt (gepaarter t-Test oder Wilcoxon), überprüfen Sie Ihre Annahmen und geben Sie die Effektgröße an. Gehen Sie nicht von Unabhängigkeit aus.

Zusammenfassend

Genaue Datenanalyse; Auswahl des geeigneten Tests für die Art der Daten, Überprüfung von Annahmen, Korrektur mehrerer Vergleiche und Angabe der Effektgröße und des Konfidenzintervalls zusätzlich zum p-Wert. Die größte Gefahr ist P-Hacking; Das Gegenmittel ist ein vorab erstellter Analyseplan, eine vollständige Berichterstattung und eine Trennung von Entdeckung und Überprüfung. Künstliche Intelligenz ist ein leistungsstarkes Hilfsmittel bei der Testauswahl und der Überprüfung von Annahmen, aber die statistische Integrität liegt in der Hand des Menschen.

Anwendungsaufgabe

Nehmen Sie einen Datensatz (Ihre eigenen Daten oder eine Stichprobe) mit zwei Gruppen. Lassen Sie zunächst die KI Code schreiben, der die Daten visualisiert und auf Normalität prüft. Wenden Sie je nach Ergebnis den entsprechenden Test an (t-Test oder Mann-Whitney) und geben Sie die Effektgröße und das Konfidenzintervall zusammen mit dem p-Wert an. Vergleichen Sie dann die Auswirkung mehrerer Vergleiche ohne Korrektur und mit Korrektur auf das Ergebnis.

Checkliste

• [ ] Ich habe die Daten vor dem Test visualisiert.
• [ ] Ich habe die Testannahmen (Normalität, Varianz) überprüft.
• [ ] Ich habe den passenden Test gewählt, ich habe den t-Test nicht blind angewendet.
• [ ] Ich habe den Mehrfachvergleich behoben.
• Ich habe den [ ] p-Wert sowie die Effektgröße und das Konfidenzintervall angegeben.
• [ ] Ich habe den Analyseplan im Voraus festgelegt und P-Hacking vermieden.