Gewinne:
- Fähigkeit, Forschung durch die Aufzeichnung methodischer Entscheidungen, Hinweise und Modellinformationen nachvollziehbar zu machen
- Möglichkeit, Rohdaten von verarbeiteten Daten zu trennen und alle Konvertierungsschritte zu dokumentieren
- Die Rolle künstlicher Intelligenz im Methodenteil transparent deklarieren und den Test „Kann es reproduzierbar sein“ anwenden können
Das grundlegendste Merkmal der Wissenschaft ist, dass eine Erkenntnis nicht auf dem Wort einer einzelnen Person basiert, sondern auf einem Prozess, der von anderen überprüft werden kann. Reproduzierbarkeit ist die Fähigkeit eines anderen Forschers, anhand der Daten und Methoden einer Studie das gleiche Ergebnis zu erzielen, indem er die gleichen Schritte befolgt. Ein ähnliches Konzept ist Transparenz: Der Forscher dokumentiert eindeutig, was er getan hat und warum er welche Entscheidung getroffen hat. Im Zeitalter der KI sind diese beiden Konzepte sowohl einfacher als auch wichtiger geworden. Ganz einfach, denn KI hilft bei der Dokumentation von Prozessen; Entscheidend, denn wenn Sie keine Spuren der Entscheidungen der KI hinterlassen, kann niemand – nicht einmal Sie – Ihre Arbeit reproduzieren. In dieser Einheit erfahren Sie, wie Sie Ihre Forschung reproduzierbar und transparent machen.
Der Kern des Problems liegt darin: Wenn Sie mit KI arbeiten, treffen Sie viele kleine Entscheidungen – welche Eingabeaufforderung Sie verwendet haben, welches Modell, welche Einstellungen, welche Ausgabe Sie akzeptiert und welche Sie abgelehnt haben. Wenn diese Entscheidungen nicht dokumentiert werden, erhalten Sie möglicherweise eine andere Ausgabe, wenn Sie dieselbe Eingabeaufforderung an einem anderen Tag ausführen (Sprachmodelle geben nicht jedes Mal genau die gleiche Antwort). Wenn ein Rezensent oder Kollege fragt „Wie sind Sie zu dieser Themenanalyse gekommen“, ist „Die KI hat es gesagt“ keine wissenschaftliche Antwort. Bei der Transparenz geht es gerade darum, diese „Black Box“ zu öffnen und den Prozess nachvollziehbar zu machen.
Schritt für Schritt: Aufbau einer nachvollziehbaren Recherche
1. Führen Sie ein Entscheidungstagebuch. Schreiben Sie jede wichtige methodische Entscheidung – warum dieses Beispiel, warum dieser Code, warum Sie diesen KI-Vorschlag angenommen haben – in einem datierten Tagebuch auf. KI hilft bei der Organisation dieses Protokolls.
2. Speichern Sie Eingabeaufforderungen und Modellinformationen. Notieren Sie jede Eingabeaufforderung, die Sie verwendet haben, auf welchem KI-Modell Sie sie ausgeführt haben und an welchem Datum. Dies ist die „Materialliste“ für Ihre Arbeit.
3. Trennen Sie Rohdaten von verarbeiteten Daten. Behalten Sie die Originaldaten unverändert bei; Führen Sie alle Konvertierungen (Bereinigung, Kodierung) separat mit dokumentierten Schritten durch. So kann jeder von Anfang an zuschauen.
4. Schreiben Sie klar und deutlich die Rolle der KI. Geben Sie im Methodenteil ehrlich an, bei welchen Aufgaben und wie Sie KI eingesetzt haben. Die meisten Zeitschriften und Institutionen verlangen dies mittlerweile.
5. Teilen Sie nach Möglichkeit Daten und Code. Wenn Ethik und Datenschutz dies zulassen, ist die gemeinsame Nutzung anonymisierter Daten und Analysecodes in offenen Repositories der Gipfel der Transparenz.
Tipp: Ein einfacher Test: „Kann ich diese Recherche in 6 Monaten noch einmal selbst durchführen?“ Wenn Sie Ihre Aufforderungen, Entscheidungen und Schritte nicht dokumentiert haben, lautet die Antwort höchstwahrscheinlich „Nein“. Machen Sie es für sich selbst herstellbar; Dann passiert es auch jemand anderem.
drei Mini-Koffer
Fall 1 – Die spurlose Analyse scheiterte. Ein Forscher führte eine Themenanalyse mit KI durch, zeichnete jedoch nicht auf, welche Eingabeaufforderung er verwendete. Als der Schiedsrichter fragte: „Wie sind Sie zu diesen Themen gekommen?“ er konnte den Vorgang nicht zeigen; Er musste die Analyse noch einmal wiederholen und dieses Mal ein Tagebuch führen. Er verlor zwei Wochen.
Fall 2 – Entscheidungsprotokoll beendet Diskussion. In einem Team kam es zu Meinungsverschiedenheiten mit der Frage: „Warum haben wir diese Codes kombiniert?“ Das Entscheidungsprotokoll enthielt jedoch das Datum und die Begründung für jede Fusionsentscheidung. Der Streit wurde innerhalb von Minuten gelöst, als die KI das Protokoll zusammenfasste und chronologisch anzeigte.
Fall 3 – Transparente Offenlegung schafft Vertrauen. In einem Artikel schrieben die Autoren ausdrücklich, dass wir KI „für die Transkriptbearbeitung und den ersten Codevorschlag verwendet haben, wobei zwei Forscher alle Codes manuell überprüft haben“. Die Gutachter fanden diese Transparenz positiv; Es erwies sich als viel zuverlässiger als die Verwendung einer getarnten KI.
Vier kopierbare Vorlagen
1) Vorlage für ein Entscheidungsprotokoll:
Erstellen Sie eine methodische Entscheidungsprotokolltabelle. Spalten: Datum, Entscheidung, Begründung, Alternativen, Rolle der KI (falls vorhanden), wer sie genehmigt hat. Fügen Sie meine Entscheidungsnotizen unten in diese Tabelle ein und markieren Sie fehlende Begründungen als „muss ergänzt werden“. Hinweise: [hier]
2) Entwurf einer KI-Nutzungserklärung:
Entwerfen Sie einen Absatz, der meine Verwendung von KI transparent erklärt und in den Methodenabschnitt einfügt. Ich habe es in diesen Aufgaben verwendet: [Liste]. Ich habe es NICHT in den folgenden Aufgaben verwendet: [Liste]. Ich habe alle Ausgaben manuell überprüft. Modell und Datum: [x]. Verwenden Sie eine ehrliche, zurückhaltende und akademische Sprache.
3) Reproduzierbarkeitsprüfung:
Ich beschreibe meinen Forschungsprozess: [Zusammenfassung]. Kann ein anderer Forscher dies reproduzieren? Listen Sie undokumentierte, unklare oder nicht nachvollziehbare Schritte auf: Welche Daten, welche Transformation, welche Aufforderung, welche Entscheidung fehlen? Sagen Sie mir, was ich für jeden Bereich aufzeichnen soll.
4) Datenherkunftskarte:
Listen Sie alle Transformationsschritte von den Rohdaten bis zu meinem endgültigen Ergebnis als Fluss auf: Rohdaten → Bereinigen → Codieren → Analyse → Finden. Zeigen Sie, was bei jedem Schritt getan wurde, mit welchem Werkzeug und mit welcher Entscheidung. Markieren Sie den nicht nachverfolgbaren Schritt. Ablauf: [hier]
Schwache Eingabeaufforderung / Starke Eingabeaufforderung
Schwache Eingabeaufforderung:
Schreiben Sie die Methode dieser Analyse in einem Absatz auf.
KI erstellt einen generischen Methodenabsatz, ohne den Prozess zu dokumentieren; Wie die Entscheidung zustande kam und wo KI zum Einsatz kam, bleibt unklar. Dies ist nicht herstellbar.
Kraftvolle Aufforderung:
Schreiben Sie eine produzierbare Beschreibung für den Methodenabschnitt. Verwenden Sie die folgenden Informationen: Datenquelle [x], Probe [y], Analyseschritte [z], das von mir verwendete KI-Modell und sein Datum [t], die genaue Rolle der KI [r], den menschlichen Verifizierungsprozess [d]. Schreiben Sie so konkret, dass jemand anderes diese Schritte befolgen und reproduzieren kann. Fragen Sie mich nach Informationen, die ich ausgelassen habe.
Der Unterschied: Der zweite Ansatz macht den Prozess konkret, nachvollziehbar und wirklich reproduzierbar.
Transparenzschichten
Schicht
Was ist dokumentiert
Warum ist es wichtig?
Entscheidungstagebuch
Methodische Entscheidungen + Begründung
verteidigt die Justiz
Prompte Anmeldung
Prompt verwendet, Modell, Datum
Macht KI handhabbar
Datenherkunft
Rohe → verarbeitete Konvertierungen
öffnet Schritte
AI-Anweisung
Die Rolle und Grenzen der KI
Ehrlichkeit
teilen
Anonyme Daten + Code
Ultimative Transparenz
Häufige Fehler
- Eingabeaufforderungen werden nicht gespeichert. Wenn Sie die von Ihnen verwendete Anleitung nicht behalten, können Sie den Vorgang nicht demonstrieren.
- Es bedeutet „Die KI hat es gesagt.“ Wissenschaftliche Rechtfertigung ist ein Prozess und ein Urteil, nicht das Wort des Modells.
- Überschreiben der Rohdaten. Behalten Sie das Original; Führen Sie Konvertierungen getrennt durch und dokumentieren Sie sie.
- Den Einsatz von KI verbergen. Eine transparente Aussage schafft Vertrauen; Verstecken führt zu Reputationsverlust.
- Lassen Sie es selbst für sich selbst unproduzierbar. Ein Job, den man nach 6 Monaten nicht mehr machen kann, ist keine Wissenschaft.
Zusammenfassend
Reproduzierbarkeit und Transparenz verwandeln eine Studie vom Wort einer Person in eine Wissenschaft, die jeder testen kann. Bei der Arbeit mit KI ist dies umso wichtiger, denn wenn die Entscheidungen des Modells nicht befolgt werden, wird der Prozess zu einer Blackbox. Führen Sie ein Entscheidungsprotokoll, zeichnen Sie Eingabeaufforderungen und Modellinformationen auf, trennen Sie Rohdaten von verarbeiteten Daten, geben Sie die Rolle der KI ehrlich an und geben Sie Daten und Code weiter, wenn die Ethik dies zulässt. Eine Studie, die den Test „Kann ich mich nach 6 Monaten reproduzieren“ besteht, ist auch für andere zuverlässig.
Anwendungsaufgabe
Für eine kleine Analyse, die Sie durchführen oder planen, erfassen Sie mindestens 5 methodische Entscheidungen mit Begründungen mit der „Entscheidungsjournal-Vorlage“. Bewahren Sie die von Ihnen verwendeten Eingabeaufforderungen, das Modell und das Datum in einer separaten Datei auf. Nutzen Sie dann die Vorlage „Reproduzierbarkeitsprüfung“, damit die KI undokumentierte Lücken in Ihrem Prozess findet und jede Lücke schließt. Schreiben Sie abschließend eine Gliederung der „Erklärung zur KI-Nutzung“ und einen transparenten Absatz, der im Abschnitt „Methoden“ platziert wird.
Checkliste
- [ ] Ich habe die Gründe für jede wichtige methodische Entscheidung in der Zeitschrift niedergeschrieben.
- [ ] Ich habe die von mir verwendeten Eingabeaufforderungen, das Modell und das Datum aufgezeichnet.
- [ ] Ich habe die Rohdaten unverändert gelassen und die Transformationen dokumentiert.
- [ ] Ich habe die Rolle der KI im Methodenteil ehrlich dargelegt.
- [ ] Ich habe den Test „Kann ich nach 6 Monaten reproduzieren“ durchgeführt.