Interview- und Umfrageanalyse: Von qualitativen Daten zum Thema

Gewinne:

• Fähigkeit, Interviewprotokolle und offene Umfrageantworten mit künstlicher Intelligenz in Themen zu unterteilen und diese mit Belegzitaten zu untermauern
• Fähigkeit, quantitative Umfragedaten zusammenzufassen und irreführende Interpretationen zu vermeiden (kleine Stichprobe, Leitfrage, Auswahlverzerrung)
• Fähigkeit, ethisch und KVKK-konform zu arbeiten, indem die Vertraulichkeit der Teilnehmer geschützt und Transkripte anonymisiert werden

Die wertvollsten Erkenntnisse in der Beratung liegen oft nicht in Diagrammen, sondern in dem, was die Leute sagen. Ein Managerinterview, offene Antworten auf eine Kundenbefragung, Notizen von einem Besuch vor Ort … Dabei handelt es sich um nicht numerische (qualitative) Daten, und es dauert Stunden, sie zu lesen, zu kodieren und in Themen aufzuteilen. Künstliche Intelligenz beschleunigt diese Arbeit erheblich: Sie zerlegt 30 Interviewprotokolle in Minutenschnelle in Themen und findet so wiederkehrende Muster. Es gibt jedoch zwei Gefahren: Das Modell kann ein Thema „erfinden“ (einen Kommentar hinzufügen, der nicht im Transkript enthalten ist) und die Vertraulichkeit der Teilnehmer kann leicht verletzt werden. In dieser Einheit lernen wir, qualitative Daten evidenzbasiert und sicher zu analysieren.

Qualitative Analyse: von der Codierung bis zum Thema

Die qualitative Analyse besteht aus drei Schritten. Zuerst die Codierung: Jede Aussage erhält eine Kurzbezeichnung („Preisbeschwerde“, „Lieferlob“). Dann Thematisierung: Ähnliche Codes werden zu einem Thema zusammengefasst („Betriebliche Unzufriedenheit“). Zum Schluss Kommentar: Die Beziehung zwischen den Themen und der „Na und“-Ebene wird hergestellt. KI ist in den ersten beiden Schritten sehr schnell; Der dritte Schritt erfordert das Urteil des Anwalts.

Die wichtigste Zusicherung lautet: Jedes Thema muss durch ein wörtliches Zitat untermauert werden. Dies bestätigt, dass das Thema tatsächlich aus den Daten stammt; Das Zitat-Un-Zitat-Thema birgt die Gefahr einer Halluzination.

Ihre Rolle: Analyst für qualitative Forschung. Nachfolgend finden Sie eine anonymisierte Abschrift von 12 Kundeninterviews (beschriftet mit P1, P2...). Aufgabe: 1) Extrahieren Sie wiederkehrende Themen (bis zu 7 Themen). 2) Für jedes Thema: Wie viele Teilnehmer haben es gesehen + 2 wörtliche Zitate (mit Teilnehmercode). Jedes Thema muss mit einem Zitat belegt werden. - Geben Sie keine anderen Identifikationsinformationen als Teilnehmercodes an. - Listen Sie einzelne „Minderheitsmeinungen, aber wichtige“ Meinungen am Ende separat auf (abweichende Stimmen).

Eine weitere leistungsstarke Technik besteht darin, das Modell zu bitten, mit von Ihnen angegebenen festen Kategorien zu codieren, anstatt zunächst ein eigenes Codeschema einrichten zu müssen. Wenn Sie beispielsweise in einer Kundenzufriedenheitsstudie vordefinierte Themen wie „Preis, Produktqualität, Lieferung, Support, Benutzerfreundlichkeit“ angeben, werden unterschiedliche Transkripte vergleichbar und das Modell kann nicht jedes Mal andere Namen erfinden. Die kostenlose Themenextraktion eignet sich zur Entdeckung, wohingegen die Codierung fester Kategorien zum Vergleich und zur Messung geeignet ist. Bei den meisten Projekten funktioniert es am besten, beides zusammen zu verwenden: zuerst freie Erkundung, dann mit einem festen Schema digitalisieren.

Ihre Rolle: qualitativer Kodierungsassistent. Feste Kategorien: [Preis, Qualität, Lieferung, Support, Benutzerfreundlichkeit, Sonstiges]. Aufgabe: Ordnen Sie jede der folgenden offenen Antworten einer oder mehreren dieser Kategorien zu. - Schreiben Sie die Auslösephrase in die Antwort (wörtlich) neben jede Aufgabe. - Kreuzen Sie an, ob die Stimmung positiv oder negativ ist. Hinzufügen von Kommentaren, die nicht in der Antwort enthalten sind.

Tipp: Es ist sehr wertvoll, gesondert nach „Minderheitsmeinungen, aber wichtigen“ Meinungen zu fragen. Eine einmal formulierte, aber kritische Warnung (z. B. ein einzelner Großkunde, der sagt: „Wir erwägen eine Vertragsverlängerung“) geht in den meisten Themen unter; bleibt sichtbar, wenn es separat aufgeführt wird.

Datenschutz und Anonymisierung

Interviewprotokolle sind personenbezogene Daten und oft sensibel (Beschwerden von Mitarbeitern, Kritik von Vorgesetzten). Vor dem Hochladen in ein KI-Tool ist eine Anonymisierung unbedingt erforderlich: Namen, Titel, interne Unterscheidungsmerkmale werden durch die Codenummer (K1, K2...) ersetzt. Dem Teilnehmer wird oft versprochen, dass „das, was Sie sagen, anonym gemeldet wird“; Das technische Äquivalent dieser Phrase ist Anonymisierung.

Datentyp

Risiko

Vorsichtsmaßnahme

Name/Titel des Teilnehmers

Offenlegung der Identität

Durch Codenummer ersetzen

Internes Detail

indirekte Diagnose

Verallgemeinern oder maskieren

sensibles Sehen

Gefahr von Vergeltungsmaßnahmen

Individueller Abgleich mit Massenbericht

Audio-/Videoaufzeichnung

höchste Empfindlichkeit

Mit einem zugelassenen Tool rendern und dann löschen

Sie können das Modell als vorläufigen Schritt eine Anonymisierung durchführen lassen, bevor Sie die Transkripte in das Tool hochladen. Überprüfen Sie die Ausgabe jedoch unbedingt visuell:

Ihre Rolle: Datenschutzredakteur. Bereiten Sie das folgende Interviewprotokoll zur Analyse vor; Führen Sie die folgende Maskierung durch: - Machen Sie alle Kontaktnamen zu K1, K2 ... - Verallgemeinern Sie indirekt identifizierende Details wie Titel, Abteilung, Standort ("Der einzige ausländische Ingenieur in Forschung und Entwicklung" → "ein Ingenieur"). - Entfernen Sie Firmen-/Kundennamen. Geben Sie nur den maskierten Text an; Listen Sie kurz auf, welche Art von Informationen Sie verbergen und warum.

Achtung: „Anonym“ zu sagen reicht nicht aus. Der Satz „Die einzige weibliche Managerin, die für das Marketing zuständig ist“ identifiziert die Person, auch wenn ihr Name nicht geschrieben ist. Die Anonymisierung sollte auch alle indirekt identifizierbaren Details umfassen. Hier beginnen KVKK-Verstöße und der Verlust des Teilnehmervertrauens.

Interpretation quantitativer Umfragedaten

Künstliche Intelligenz erstellt eine Zusammenfassung und Aufschlüsselung geschlossener (numerischer) Umfrageergebnisse. Aber die quantitative Analyse hat ihre eigenen Fallstricke, die das Modell ignorieren kann:

• Kleine Stichprobe: Die Aussage „61 % der Kunden sind zufrieden“ aus einer Umfrage unter 18 Personen ist irreführend; Wenn die Stichprobe klein ist, sollten die Rohzahl und die Unsicherheit diskutiert werden, nicht der Prozentsatz.
• Leitfrage: „Wie zufrieden sind Sie mit unserem hervorragenden Service?“ Die Frage bettet die Antwort ein; Das Ergebnis ist voreingenommen.
• Auswahlverzerrung: Wenn nur die zufriedensten oder verärgertesten Kunden antworteten, wäre das Ergebnis nicht repräsentativ für das Universum.

Bevor Sie die Ergebnisse dieser Umfrage zusammenfassen, führen Sie eine methodische Überprüfung durch: - Reicht die Stichprobengröße aus, um die Ergebnisse in Prozent darzustellen? - Gibt es Leit-/Leitaussagen in den Fragen? Ankreuzen: Wie hoch ist die Rücklaufquote und wie hoch ist das Risiko einer Auswahlverzerrung? Nur Prüfbericht bereitstellen; Wir werden es dann in einer separaten Nachricht zusammenfassen.

drei Mini-Koffer

Fall 1 – Ein erfundenes Thema wurde erfasst. Ein Berater weist dem Modell 20 Interviews zu; Das Modell extrahiert das Thema „Teilnehmer möchten remote arbeiten“. Der Berater bittet um ein Angebot; Das Modell kann nur ein mehrdeutiges Zitat finden. Das Thema existierte eigentlich nicht, das Modell hat es aus dem allgemeinen Trend erfunden. Gäbe es keine Zitierpflicht, würde ein falscher Befund in den Bericht aufgenommen.

Fall 2 – Indirekte Diagnose. In einem Mitarbeiterzufriedenheitsprojekt steht im Protokoll: „Der einzige ausländische Ingenieur in Forschung und Entwicklung hat dies gesagt.“ Es gibt keinen Namen, aber die Person ist klar; Sobald die Meldung beim Manager eingeht, besteht die Gefahr von Vergeltungsmaßnahmen. Der Berater musste von Anfang an alle unterscheidenden Details verallgemeinern („ein Ingenieur“).

Fall 3 – Kleine Probenfalle. In einem Produkttest gefiel es 15 von 22 Nutzern; Das Modell sagt „68 % Zufriedenheit“ und wird auf die Folie gelegt. Der Investmentvorstand wendet ein: „22 Personen repräsentieren nicht das Universum.“ Der Berater schreibt das Ergebnis ehrlich als „15 von 22 Benutzern positiv; indikativ, bestätigende große Stichprobe erforderlich“ um; Vertrauen kehrt zurück.

Schwache Eingabeaufforderung / Starke Eingabeaufforderung

Schwache Eingabeaufforderung:

Lesen Sie diese Interviews und extrahieren Sie die wichtigsten Ergebnisse.

Das Modell produziert Themen ohne Anführungszeichen, ohne Beweise; Das Risiko von Fälschungen und Vertraulichkeit ist hoch.

Kraftvolle Aufforderung:

Ihre Rolle: qualitativer Analyst. Transkript unten, anonymisiert (K1..Kn). Aufgabe: Bis zu 7 Themen; Anzahl der Teilnehmer pro Person + 2 wörtliche Zitate (mit Code); unterstützende und widersprüchliche Aussagen getrennt; Minderheit, aber kritische Meinungen separate Liste. Regeln: Hinzufügen von Meinungen, die nicht im Transkript enthalten sind; Identitätsgenerierung; Geben Sie kein Thema ohne Anführungszeichen an. Markieren Sie das Thema, bei dem Sie sich nicht sicher sind, als „schwache Evidenz“.

Sättigung und Gewicht der Themen

Bei der qualitativen Analyse bestimmen zwei Konzepte die Qualität der Interpretation. Der erste ist die Sättigung: Daten gelten als „gesättigt“, wenn neue Interviews keine neuen Themen mehr hervorbringen; Dies ist ein Zeichen dafür, dass die Probe ausreichend ist. Wenn beim 8. Interview noch völlig neue Themen auftauchen, sind weitere Interviews nötig. Zweitens das Gewicht der Themen: Wie viele Menschen ein Thema sehen und wie wichtig dieses Thema ist, sind verschiedene Dinge. Eine geringfügige Unannehmlichkeit, die von fünf Personen erwähnt wird, und das Risiko einer Vertragskündigung, die von einer Person erwähnt wird, sind nicht gleich häufig, letzteres kann jedoch von wesentlich größerer Bedeutung sein. Daher ist es irreführend, Themen allein nach Häufigkeit zu ordnen; Bewerten Sie jedes Thema sowohl im Hinblick auf „wie viele Personen“ als auch „wie wichtig“. Wenn die KI sagt: „Bewerten Sie diese Themen in zwei separaten Spalten nach Häufigkeit und potenziellen geschäftlichen Auswirkungen“, wird dieser Unterschied sichtbar; Sie treffen die Beurteilung der geschäftlichen Auswirkungen.

Häufige Fehler

• Zitatfreie Themenakzeptanz. Jedes Thema muss durch ein wörtliches Zitat aus dem Transkript belegt werden; Ansonsten besteht die Gefahr einer Halluzination.
• Anonymisierung oberflächlich machen. Es reicht nicht aus, den Namen zu löschen; Auch indirekt identifizierende Details sollten maskiert werden.
• Präsentation einer kleinen Stichprobe mit Prozentangabe. Bei einer kleinen Teilnehmerzahl sollten reine Zahlen und Unsicherheiten diskutiert werden, nicht Prozentsätze.
• Ich ignoriere die Leitfrage. Das Ergebnis von Leitfragen ist voreingenommen; Überprüfen Sie die Methodik.
• Ausreißer verlieren. Einmal ausgesprochen, wird die kritische Warnung von den Mehrheitsthemen verschluckt; separat auflisten.
• Quantitatives und qualitatives mischen. Verarbeiten Sie offene Kommentare mit numerischen Ergebnissen auf unterschiedliche Weise.

Zusammenfassend

Qualitative Daten sind die ergiebigste Erkenntnisquelle in der Beratung, und künstliche Intelligenz spart Stunden bei der Codierung und Themengestaltung. Aber jedes Thema sollte durch wörtliche Zitate belegt werden, die Vertraulichkeit der Teilnehmer sollte vollständig geschützt werden, einschließlich der indirekten Identifizierung, und methodische Fallstricke wie Stichprobenziehung, Fragevoreingenommenheit und Auswahl sollten in quantitativen Umfragen kontrolliert werden. Das Modell ist ein schneller Leser und Etikettierer; Es ist die Aufgabe des Beraters, die Beweise zu überprüfen, die Vertraulichkeit zu wahren und die „Na und“-Ebene festzulegen.

Anwendungsaufgabe

Bereiten Sie mehrere Interviewprotokolle (oder offene Umfrageantworten) vor, entweder echte oder repräsentative, und anonymisieren Sie diese zunächst (einschließlich Name und indirekter Identifizierung). Extrahieren Sie Themen, Zitate, widersprüchliche Aussagen und abweichende Stimmen mit starken qualitativen Hinweisen. Überprüfen Sie die Zitierung mindestens eines Themas im Transkript, um sicherzustellen, dass es tatsächlich existiert. Nehmen Sie dann an einer kleinen quantitativen Umfrage teil und bewerten Sie Stichproben- und Fragenverzerrungen, indem Sie eine methodische Prüfung anfordern.

Checkliste

• [ ] Ich habe die Transkripte anonymisiert, einschließlich Name und indirekter Identifizierung.
• [ ] Ich habe jedes Thema mit einem wörtlichen Zitat belegt.
• [ ] Ich habe widersprüchliche Ausdrücke und widersprüchliche Stimmen separat gezeigt.
• [ ] In der kleinen Stichprobe habe ich Rohzahlen und Unsicherheit anstelle von Prozentsätzen verwendet.
• [ ] Ich habe die Leitfragen markiert.
• [ ] Ich habe das Risiko einer Selektionsverzerrung bewertet.
• [ ] Ich habe sensible Kommentare kollektiv gemeldet, ohne sie der einzelnen Person zuzuordnen.