Gewinne:
- In der Lage sein, das Universum klar zu definieren und die Repräsentativität der Stichprobenmethode sowie die Personen, die systematisch ausgeschlossen werden, zu bewerten
- Fähigkeit, zwischen Voreingenommenheit in Daten und Stereotypen, die von künstlicher Intelligenz getragen werden, zu unterscheiden und beides zu kontrollieren
- Fähigkeit, auf eine Stichprobe beschränkte Ergebnisse ohne Übertreibung auszudrücken und einen ehrlichen Abschnitt über Einschränkungen zu verfassen.
Das wichtigste Konzept der Sozialforschung ist die Stichprobe – also die Untergruppe, die Sie auswählen, da Sie nicht die gesamte Gruppe, an der Sie interessiert sind (das Universum/die Bevölkerung: alle Personen oder Einheiten, über die die Forschung sprechen möchte), einzeln untersuchen können. Auf wen die Ergebnisse einer Studie verallgemeinert werden können (also „ob dieses Ergebnis nur für diese Personen oder für eine breitere Gruppe gilt“), hängt ganz von der Repräsentativität der Stichprobe ab. Das Ergebnis einer falschen oder verzerrten Stichprobe ist falsch, egal wie gut sie analysiert wird. In dieser Einheit erfahren Sie, wie Sie mithilfe von KI über das Stichprobendesign nachdenken, Verzerrungen – systematische Abweichungen von Daten oder Interpretationen in eine Richtung – erkennen und die Grenzen der Verallgemeinerung ehrlich darlegen.
Hierbei ist es notwendig, zwei Arten von Vorurteilen zu unterscheiden. Der erste Grund liegt in der Verzerrung der Daten: Die Stichprobe repräsentiert eine Gruppe überrepräsentiert und eine andere Gruppe unterrepräsentiert (z. B. diejenigen, die nur an der Online-Umfrage teilnehmen können, also diejenigen mit Internetzugang). Der zweite Grund ist die eigene Voreingenommenheit der KI: Die KI trägt die Muster der Texte, an denen sie trainiert wurde, und kann stereotype Verallgemeinerungen über eine soziale Gruppe erzeugen. Ein guter Sozialforscher muss auf beides achten; KI kann Ihnen helfen, beides zu erkennen, oder sie kann beides verstärken.
Schritt für Schritt: Über Repräsentation nachdenken
1. Beschreiben Sie das Universum. Wem möchten Sie von Ihrer Entdeckung erzählen? „Alle Wähler in Türkiye“ und „junge Wähler in einem Viertel in Istanbul“ sind sehr unterschiedliche Universen. Ohne dies deutlich zu schreiben, kann keine Stichprobe erstellt werden.
2. Wählen Sie die Probenahmemethode aus. Methoden wie Zufall (jeder hat die gleiche Chance ausgewählt zu werden), Schichtung (Teilung des Universums in Gruppen und Auswahl aus jeder Gruppe) und Schneeball (ein Teilnehmer empfiehlt einen anderen) bieten unterschiedliche Darstellungsmöglichkeiten. KI kann die Vor- und Nachteile jeder Methode im Klartext erklären.
3. Fragen Sie, wer außen vor bleibt. Bei jeder Probenahme fehlt jemand. Bei der Online-Umfrage werden diejenigen ohne Internet nicht berücksichtigt, bei der Telefonumfrage werden diejenigen ohne Festnetzanschluss nicht berücksichtigt, bei der Befragung am Tag werden die Mitarbeiter nicht berücksichtigt. KI erstellt eine gute Checkliste für „Wen schließt diese Methode systematisch aus?“
4. Kartieren Sie die Quellen der Voreingenommenheit. Listen Sie Quellen wie Selektionsbias (wer wird ausgewählt), Antwortbias (wer antwortet) und Erinnerungsbias (falsche Erinnerung an die Vergangenheit) auf.
5. Schreiben Sie die Generalisierungsgrenze. Formulieren Sie das Ergebnis als „junge Menschen in dieser Stichprobe“ und nicht als „alle Teenager“. KI kann Überverallgemeinerungen in Ihrem Entwurf kennzeichnen.
Tipp: Ein guter Forschungsbericht wird durch den Abschnitt „Einschränkungen“ gestärkt und nicht geschwächt. Wenn Sie ehrlich darüber schreiben, wen Ihre Stichprobe nicht repräsentiert, wird Ihre Studie zuverlässiger. Lassen Sie diesen Abschnitt von der KI entwerfen, bestätigen Sie jedoch selbst etwaige Einschränkungen.
drei Mini-Koffer
Fall 1 – Versteckte Auswahlverzerrung. Um die Zufriedenheit mit den Dienstleistungen einer Gemeinde zu messen, führte ein Team eine Umfrage auf der Website der Gemeinde durch und stellte fest, dass die Zufriedenheit bei 78 % lag. Als ich AI fragte: „Wem fehlt dieses Beispiel?“, stellte sich heraus, dass das Segment, das die Website bereits nutzt (das heißt, Zugriff auf den Dienst hat und wahrscheinlich zufriedener ist), überrepräsentiert ist. Der Befund wurde auf „78 % der Website-Benutzer“ korrigiert.
Fall 2 – Stereotyp der KI. Als ein Forscher die KI „die Sichtweise älterer Menschen auf dem Land auf Technologie“ zusammenfassen ließ, fügte die KI einen stereotypen Rahmen hinzu, der nicht in den Daten enthalten war, wie zum Beispiel „Ältere Menschen haben Angst vor Technologie“. Als der Forscher dies erkannte und sagte: „Verlassen Sie sich einfach auf die Aussagen im Transkript“, wurde klar, dass die Daten tatsächlich eine große Vielfalt an Einstellungen enthielten.
Fall 3 – Schichtweise Stichprobenkorrektur. In einer Stichprobe von 500 Personen waren 30 % Frauen, verglichen mit 51 % in der Bevölkerung. AI erklärte die Gewichtungslogik im Klartext und das Team gewichtete die Ergebnisse entsprechend den Bevölkerungsanteilen, was zu einem repräsentativeren Bild führte.
Vier kopierbare Vorlagen
1) Kritik an der Probe:
Das Universum meiner Forschung: [Beschreibung]. Meine Stichprobenmethode ist: [Methode]. Ihre Aufgabe: Listen Sie auf, wen diese Stichprobe möglicherweise systematisch unter- oder überrepräsentiert. Berücksichtigen Sie Auswahl-, Antwort- und Rückruffehler getrennt. Geben Sie für jedes Risiko eine Risikominderungsempfehlung ab. Übertreiben Sie meine Feststellung nicht; Grenzen ehrlich aufzeigen.
2) Generalisierungskontrolle:
Untersuchen Sie diese Finding-Sätze: [Text]. Markieren Sie jede Überverallgemeinerung. Formulieren Sie Aussagen wie „alle/jeder/junge Menschen/Frauen“ mit einer engeren Aussage um, die die Daten tatsächlich unterstützen. Anstelle von „Junge Leute machen X“ zum Beispiel „Y % der Teenager in dieser Stichprobe gaben X an.“ Markieren Sie jeden Anspruch ungewisser Herkunft.
3) KI-Bias-Erfassung:
Ich habe Ihnen die Zusammenfassung unten gegeben. Prüfen Sie: Sind Urteile, Adjektive oder Verallgemeinerungen, die Sie hinzugefügt haben, WIRKLICH im gegebenen Text vorhanden? Markieren und entfernen Sie alle Ausdrücke, die nicht im Text vorkommen, aber aus Ihren eigenen Mustern stammen. Bleiben Sie einfach bei dem, was im Text steht.
4) Abschnitt „Entwurfsbeschränkungen“:
Schreiben Sie einen Entwurf für den Abschnitt „Einschränkungen“ basierend auf den folgenden Methodeninformationen: Stichprobengröße [n], Methode [x], Kontext [y]. Erklären Sie, wie sich jede Einschränkung auf die Ergebnisse auswirken kann. Weder Übertreibung noch Unterschätzung; Seien Sie ausgeglichen und ehrlich. Ich werde jeden Artikel bestätigen.
Schwache Eingabeaufforderung / Starke Eingabeaufforderung
Schwache Eingabeaufforderung:
Nach meinen Umfrageergebnissen sind die meisten jungen Menschen dieser Meinung. Schreiben Sie dies in einem starken Satz.
Dies führt zu einer Übergeneralisierung, ohne dass die Stichprobe jemals in Frage gestellt wird. KI verfällt leicht in eine Behauptung, die den Daten nicht gerecht wird, wie zum Beispiel „Jugendliche in der Türkiye …“
Kraftvolle Aufforderung:
Meine Stichprobe: 220 Studierende einer Universität, Online-Umfrage, freiwillige Teilnahme. Ich möchte eine Feststellung äußern: 61 % der Teilnehmer äußerten die Meinung Beschränken Sie die Verallgemeinerung auf dieses Beispiel.
Der Unterschied: Der zweite Satz erzeugt eine vertretbare Behauptung, die die Daten tatsächlich stützen.
Stichprobenmethoden und Repräsentativität
Methode
Wie funktioniert es
Vertretungsmacht
Typisches Risiko
einfach zufällig
Gleiche Chancen für alle
hoch
Transportkosten
geschichtet
Teilen Sie die Gruppen auf und wählen Sie sie aus
hoch
Fehler bei der Gruppendefinition
Quote
Besetzungsgruppentarife
mittel
Voreingenommenheit innerhalb der Gruppe
einfach
Fragen Sie niemanden, der erreichbar ist
niedrig
Starker Selektionsbias
Schneeball
Auf Vorschlag der Teilnehmer
niedrig
Ähnlichkeit innerhalb des Netzwerks
Häufige Fehler
- Eine Stichprobe erstellen, ohne das Universum zu definieren. Die Darstellung kann nicht bewertet werden, ohne zu wissen, auf wen Sie verallgemeinern.
- Verallgemeinerung von Convenience-Sampling auf die gesamte Bevölkerung. Der häufigste Fehler; „Umfrageteilnehmer“ werden mit „jeder“ verwechselt.
- Fragt nie, wer außen vor bleibt. Jede Methode entführt jemanden; Suchen Sie bewusst danach.
- Ich bemerke nicht das durch die KI hinzugefügte Stereotyp. Das Modell kann Stereotypen hinzufügen, die in den Daten nicht vorhanden sind.
- Grenzen verbergen. Das Verheimlichen der Fragilität der Stichprobe macht die Studie fragil und unzuverlässig.
Zusammenfassend
Der Wert eines Befundes ist ebenso groß wie die Repräsentativität der Stichprobe, auf der er basiert. KI; ist eine leistungsstarke Hilfe bei der Erläuterung von Stichprobenmethoden, der Ermittlung der unterrepräsentierten Personen, der Kennzeichnung von Überverallgemeinerungen und der Erstellung eines ehrlichen Abschnitts zu Einschränkungen. Aber hüten Sie sich vor zwei Voreingenommenheiten: der Voreingenommenheit der Daten selbst und den von der KI getragenen Stereotypen. Definieren Sie das Universum klar, fragen Sie, wer ausgelassen wird, beschränken Sie die Verallgemeinerung auf die Stichprobe und schreiben Sie Einschränkungen ehrlich auf.
Anwendungsaufgabe
Beschreiben Sie die Grundgesamtheit und die Stichprobenmethode für eine reale oder hypothetische Studie. Extrahieren Sie mit der Vorlage „Stichprobenkritik“, wer in der KI möglicherweise unter-/überrepräsentiert ist, und identifizieren Sie mindestens drei Quellen der Voreingenommenheit. Übersetzen Sie anschließend eine Ergebnisaussage mithilfe des Musters „Generalisierungsprüfung“ in eine eng gefasste Aussage, die die Daten tatsächlich unterstützen. Schreiben Sie abschließend einen ehrlichen halbseitigen Abschnitt mit Einschränkungen.
Checkliste
- [ ] Ich habe das Universum klar definiert (auf wen ich verallgemeinern werde).
- [ ] Ich habe die Repräsentativität der Stichprobenmethode bewertet.
- [ ] Ich habe aufgelistet, wer systematisch außen vor gelassen wurde.
- [ ] Ich habe die Erkenntnisse auf die Stichprobe beschränkt und ohne Übertreibung dargelegt.
- [ ] Ich habe die Stereotypen/Verallgemeinerungen entfernt, die die KI hinzugefügt hat.