Berichtserstellung, Kommunikation und Ethik: Ergebnisse präsentieren und Grenzen kommunizieren

Gewinne:

• Fähigkeit, der Zielgruppe (Wissenschaft, Politik, Management) empirische Erkenntnisse mit Unterstützung künstlicher Intelligenz in einer ehrlichen und eindeutigen Sprache zu berichten
• Fähigkeit, Schlussfolgerungen, Einschränkungen und ethische Aussagen (Datenvertraulichkeit, Interessenkonflikt, Offenlegung der Nutzung künstlicher Intelligenz) vollständig zu formulieren und irreführende Darstellungen zu vermeiden
• Fähigkeit der künstlichen Intelligenz, Berichtsentwürfe zu erkennen, die eine übertriebene, einseitige oder kausale Sprache enthalten, und sicherzustellen, dass die Verantwortung für den endgültigen Text und die Behauptungen beim Forscher liegt.

Modulprüfung

1. Ein Forscher fragt: „Wie hoch ist der Korrelationskoeffizient zwischen Arbeitslosigkeit und Inflation in der Türkei zwischen 2015 und 2020?“ ohne irgendwelche Daten an die künstliche Intelligenz weiterzugeben. fragt er und schreibt die Zahl 0,62 direkt in seinen Artikel. Was ist der grundlegende Fehler in diesem Ansatz?

• A) Erwarten konkreter Statistiken von künstlicher Intelligenz, ohne verifizierte Daten anzugeben; ✔ Verwendung einer Nummer, die möglicherweise ohne Überprüfung erfunden wurde
• B) Der Korrelationskoeffizient sollte niemals in einem Artikel verwendet werden.
• C) Der Zusammenhang zwischen Arbeitslosigkeit und Inflation kann nicht berechnet werden
• D) Künstliche Intelligenz kann erst nach 2020 auf Daten zugreifen

Erläuterung: Das KI-Sprachmodell kann keine Statistiken erstellen, ohne auf den Datensatz zuzugreifen; Die von ihm angegebene Zahl ist höchstwahrscheinlich eine (erfundene) Halluzination. Koeffizienten, Verhältnisse und Testergebnisse sollten aus den eigenen verifizierten Daten des Forschers berechnet werden und nicht aus dem Speicher des Modells entnommen werden.

2. Was bedeutet es, dass fehlende Daten „nicht zufällig“ (MNAR) vorliegen, und warum ist das wichtig?

• A) Der Mangel ist auf den unbeobachteten Wert selbst zurückzuführen; Deshalb kann eine einfache Zuordnung zu Voreingenommenheit führen ✔
• B) Daten verschwinden völlig zufällig und erzeugen keine Verzerrung.
• C) Fehlende Daten sollten immer durch Löschen der Zeile behoben werden.
• D) Fehlende Daten haben keinen Einfluss auf die Analyse.

Erläuterung: Bei MNAR (Missing Not At Random) hängt das Fehlen selbst von der Größe des unbeobachteten Wertes ab (z. B. Gutverdiener geben ihr Einkommen nicht an). In diesem Fall führt eine einfache Löschung oder Durchschnittszuweisung zu verzerrten Ergebnissen; Der Mechanismus des Mangels muss modelliert werden. Die von der künstlichen Intelligenz vorgeschlagene Zuordnungsmethode sollte nicht blind angewendet werden, ohne diesen Mechanismus zu kennen.

3. Ein Analyst lässt die KI ein Balkendiagramm erstellen und die KI beginnt die y-Achse bei 40 statt bei Null. Der tatsächliche Unterschied von 2 % zwischen den beiden Gruppen sieht in der Grafik riesig aus. Was ist der richtige Ansatz?

• A) Die Achse von Grund auf neu starten oder den Diagrammtyp ändern; ✔ um die wahre Größe des Unterschieds ohne Irreführung darzustellen
• B) Verwenden Sie das Diagramm so wie es ist, da KI die beste Wahl trifft
• C) Beginnen Sie die Achse bei 45, um den Unterschied noch größer zu machen
• D) Verwenden Sie niemals visuelle Elemente anstelle von Balkendiagrammen

Erläuterung: In einem Balkendiagramm führt die gestrichelte Achse (die y-Achse, die nicht bei Null beginnt) durch die Übertreibung kleiner Unterschiede in die Irre. Bei einer ehrlichen Visualisierung sollte die Achse von Balkendiagrammen bei Null beginnen oder die Differenz bewusst klar angegeben werden. Es liegt in der Verantwortung des Analysten, das Bild zu überprüfen und gegebenenfalls zu korrigieren.

4. Wie wird die Tatsache, dass ein Koeffizient in der linearen Regression „signifikant“ (p<0,05) ist, bei der Interpretation künstlicher Intelligenz oft falsch dargestellt?

• A) Übertriebene Darstellung der Signifikanz, da der Effekt groß und wichtig ist oder Kausalität nachgewiesen ist ✔
• B) Signifikanz bedeutet immer, dass der Effekt gering ist
• C) p<0,05 beweist, dass der Koeffizient absolut korrekt ist
• D) Signifikante Koeffizienten sollten niemals gemeldet werden.

Erläuterung: Die statistische Signifikanz bezieht sich auf die Beweiskraft dafür, dass der Effekt von Null verschieden ist; Dies bedeutet nicht, dass die Wirkung groß, wichtig oder kausal ist. KI stellt das Wort „erheblich“ oft als „erhebliche/starke Auswirkung“ dar. Der Forscher sollte auch die Effektgröße, das Konfidenzintervall und den Kontext bewerten.

5. Worauf bezieht sich der Begriff „P-Hacking“ und warum kann KI es einfacher machen?

• A) Mehrere Analysen ausprobieren, bis sie einen Sinn ergeben; KI erledigt dies sehr schnell, was das Risiko erhöht ✔
• B) Daten einmalig und nach einem vorgegebenen Plan analysieren
• C) Erweiterung der Stichprobe, um den p-Wert zu erhöhen
• D) Meldung nur deskriptiver Statistiken

Erläuterung: Beim P-Hacking werden verschiedene Variablen, Teilstichproben, Transformationen oder Modelle ausprobiert, bis ein aussagekräftiges Ergebnis entsteht. Dies führt zu falschen Erkenntnissen, die auf Zufall beruhen. Da KI in Sekundenschnelle Dutzende Modellvarianten ausprobieren kann, kann sie P-Hacking ohne einen ehrlichen Plan beschleunigen. Verteidigung; Vorregistrierung, fester Analyseplan und mehrfache Vergleichskorrektur.

6. Warum könnte die Feststellung einer hohen R-Quadrat-Regression zwischen zwei instationären Zeitreihen (Einheitswurzel) irreführend sein?

• A) Aufgrund eines allgemeinen Trends kann es zu einer falschen Regression kommen; ✔ Hohe R-Quadrat-Ausgabe ohne echte Beziehung
• B) Ein hoher R-Quadrat beweist immer einen starken Kausalzusammenhang.
• C) Instationäre Reihen können überhaupt nicht in die Regression einbezogen werden.
• D) Das R-Quadrat kann nicht in Zeitreihen berechnet werden

Erläuterung: Wenn keine gemeinsame Kointegrationsbeziehung zwischen instationären Reihen besteht, kann eine falsche Regression nur aufgrund des gemeinsamen Trends zu einem hohen R-Quadrat und einem signifikanten Koeffizienten führen. wohingegen es keine wirkliche Beziehung gibt. Daher sollten zunächst Stationaritäts- und Einheitswurzeltests durchgeführt und gegebenenfalls Differenzen ermittelt oder die Kointegration getestet werden.

7. Welche Grundannahme basiert auf der Gültigkeit des Differenz-in-Differenzen-Designs?

• A) Annahme paralleler Trends: Gruppen würden der gleichen Richtung folgen, wenn es keine Intervention gäbe ✔
• B) Behandlungs- und Kontrollgruppe sind zu Beginn genau gleich
• C) Normalverteilung der Stichprobe
• D) Variablen enthalten keine fehlenden Daten

Erläuterung: DiD geht davon aus, dass ohne die Intervention die Ergebnisvariable für die Behandlungs- und Kontrollgruppe im Laufe der Zeit parallel verlaufen wäre (Annahme paralleler Trends). Wenn diese Annahme nicht erfüllt ist, ist die Schätzung verzerrt. KI kann den DiD-Code erstellen, aber es ist die Aufgabe des Forschers, parallele Trends zu verteidigen und zu testen.

8. Welche der folgenden Vorgehensweisen ist für eine reproduzierbare Analyse zwingend erforderlich?

• A) Den Seed in zufälligen Schritten reparieren, Paketversionen und Code aufzeichnen ✔
• B) Kopieren Sie die Ergebnisse manuell in die Tabelle und löschen Sie den Code
• C) Es ist normal, dass bei jedem Lauf unterschiedliche Ergebnisse angezeigt werden.
• D) Nur endgültige Grafiken behalten, keine Daten und Code weitergeben

Beschreibung: Reproduzierbarkeit; Das gleiche Ergebnis kann mit den gleichen Daten und dem gleichen Code erneut erzielt werden. Das Fixieren des Seeds in zufälligen Schritten, das Speichern von Paketversionen und das Ausführen des Codes innerhalb des Dokuments (literate programming) sind die Eckpfeiler dabei. Das manuelle Kopieren von Ergebnissen oder klickbasierte, nicht protokollierende Schritte beeinträchtigen die Reproduzierbarkeit.

9. Wie verzerrt Heteroskedastizität eine lineare Regression und was ist ihre gemeinsame Lösung?

• A) Es verzerrt Standardfehler; Lösung sind robuste Standardfehler oder entsprechende Transformation ✔
• B) Es macht die Koeffizientenschätzungen völlig ungültig und hat keine Lösung
• C) Reduziert das R-Quadrat immer auf Null
• D) Tritt nur auf, wenn die Stichprobe sehr klein ist und ignoriert werden kann

Erläuterung: Durch die Heteroskedastizität sind die Koeffizientenschätzungen unverzerrt, die Standardfehler werden jedoch falsch berechnet. Dies macht p-Werte und Konfidenzintervalle unzuverlässig. Eine gängige Lösung besteht darin, robuste/HC-Standardfehler oder eine entsprechende Konvertierung zu verwenden. Es muss überprüft werden, dass die von der KI vorgeschlagene Lösung das Problem tatsächlich behebt, anstatt es zu verbergen.

10. Ein Forscher lädt Mikrodaten mit Identifikationsinformationen und Einkommen auf Patientenebene in ein öffentliches KI-Chat-Tool hoch und sagt „Regression durchführen“. Was ist das Hauptproblem bei diesem Verhalten?

• A) Das Hochladen persönlicher/lizenzierter Daten in ein externes Tool stellt einen Verstoß gegen die Vertraulichkeit und den Vertrag dar ✔
• B) Regression kann von künstlicher Intelligenz überhaupt nicht durchgeführt werden
• C) Mikrodaten sind für eine Regression überhaupt nicht geeignet
• D) KI berechnet die Regression immer falsch

Erläuterung: Persönliche/besondere Daten wie Identität und Einkommen sind durch KVKK/DSGVO und die meisten Datennutzungsverträge geschützt; Das Hochladen auf ein externes Gerät, das Daten speichern kann, stellt einen Verstoß dar. Der richtige Weg; Daten anonymisieren, lokale/institutionelle sichere Tools verwenden oder einfach Code von künstlicher Intelligenz anfordern und den Code in seiner eigenen Umgebung ausführen.

11. Was wird beobachtet, wenn die Multikollinearität hoch ist?

• A) Koeffizienten werden instabil und Standardfehler werden überhöht; Einzelne Koeffizienten können sich als bedeutungslos erweisen ✔
• B) Das R-Quadrat sinkt immer auf Null
• C) Koeffizientenschätzungen werden immer präziser
• D) Die Skala der abhängigen Variablen ändert sich

Erläuterung: Bei hoher Multikollinearität sind unabhängige Variablen stark miteinander korreliert; Koeffizientenschätzungen werden instabil, Standardfehler werden überhöht und einzelne Koeffizienten können sich als unbedeutend erweisen, während das Gesamtmodell möglicherweise signifikant ist. Die Diagnose erfolgt anhand von Kriterien wie VIF. Künstliche Intelligenz schlägt möglicherweise die Eliminierung von Variablen vor, aber es liegt am Forscher, zu entscheiden, welche Variable theoretisch bleiben soll.

12. Was ist statistische Aussagekraft und wie groß ist das Risiko einer Studie mit geringer Aussagekraft?

• A) Möglichkeit der Erkennung des vorhandenen Effekts; Bei geringer Leistung entgehen echte Effekte und die Ergebnisse werden unzuverlässig ✔
• B) Wahrscheinlichkeit einer Verringerung des p-Werts; Eine geringere Leistung führt immer zu zuverlässigeren Ergebnissen
• C) Ein konstanter Wert unabhängig von der Stichprobengröße
• D) Ein Konzept, das nur gültig ist, wenn künstliche Intelligenz eingesetzt wird

Erläuterung: Die Leistung ist die Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt zu erkennen (1 minus Typ-II-Fehler). Bei Studien mit geringer Aussagekraft können die tatsächlichen Auswirkungen außer Acht gelassen werden. Darüber hinaus können die wenigen signifikanten Ergebnisse eine übertriebene Effektgröße („Fluch des Gewinners“) mit sich bringen und die Falsch-Positiv-Rate steigt. Daher ist vor der Analyse eine Leistungs-/Probenberechnung wichtig.

13. Warum ist es ethisch notwendig, den Einsatz künstlicher Intelligenz in einem Artikel offenzulegen?

• A) Für Transparenz und Rechenschaftspflicht; ✔ Leser und Gutachter können den Prozess bewerten und die Verantwortung verbleibt beim Autor
• B) Durch den Einsatz künstlicher Intelligenz werden die Ergebnisse automatisch ungültig
• C) Von Zeitschriften nur zu Werbezwecken angefordert
• D) Übertragung des Urheberrechts der Erklärung auf künstliche Intelligenz

Offenlegung: Transparenz ist notwendig, damit Leser und Gutachter beurteilen können, wie die Ergebnisse entstanden sind; Viele Zeitschriften und Institutionen verlangen mittlerweile eine Offenlegung der KI-Nutzung. Da künstliche Intelligenz außerdem Fehler/Halluzinationen hervorrufen kann, ist es eine Frage der Ehrlichkeit, anzugeben, dass die Verantwortung beim Autor verbleibt und welche Schritte überprüft wurden.

14. Was erfordert die „Ausschlussbeschränkung“ in der Instrumentenvariablen-Methode (IV)?

• A) Das Tool beeinflusst das Ergebnis nur über die interne Variable, es gibt keinen anderen direkten Weg ✔
• B) Das Instrument hat keine Beziehung zur Ergebnisvariablen.
• C) Das Instrument hat keinen Bezug zur endogenen Variablen.
• D) Mittelwert ist immer eine binäre (0/1) Variable

Erläuterung: Die Ausschlussbeschränkung erfordert, dass das Instrument die Ergebnisvariable nur über die endogene erklärende Variable und nicht über andere direkte Mittel oder unbeobachtete Faktoren beeinflusst. Diese Annahme kann anhand der Daten nicht vollständig überprüft werden. Es wird aus theoretischen und institutionellen Gründen verteidigt. Die KI schreibt zwar den IV-Code, aber es ist die Aufgabe des Forschers, die Gültigkeit des Tools zu verteidigen.

15. Was bedeutet das „Garten der Weggabelungen“ bei flexiblen Analysen ohne Voranmeldung?

• A) Zu viele vernünftige Analyseentscheidungen, die auf der Grundlage der Daten getroffen werden, erhöhen die Falsch-Positiv-Rate, sogar unbeabsichtigt ✔
• B) Analysemethoden müssen einheitlich und obligatorisch sein
• C) Ein Problem, das nur auftritt, wenn vorsätzliches Betrügen vorliegt.
• D) Eine Situation, die spontan verschwindet, wenn die Probe wächst

Erläuterung: Nach der Betrachtung der Daten kann der Forscher viele sinnvolle Entscheidungen darüber treffen, welche Variable, Untergruppe, Transformation oder welchen Schwellenwert er verwenden möchte. Selbst wenn es kein einzelnes „absichtliches P-Hacking“ gibt, erhöht diese Flexibilität die Falsch-Positiv-Rate, da das signifikante Ergebnis effektiv aus einer großen Anzahl von Analysen ausgewählt wird. Eine Voranmeldung und ein fester Analyseplan schränken diese Flexibilität ein.