Sensorische Analysedaten

Gewinne:

• Fähigkeit zur Interpretation sensorischer Paneltypen, hedonischer/deskriptiver Tests und Zuverlässigkeit der Panelisten
• Fähigkeit, mit KI eine Zusammenfassung sensorischer Daten, Themenextraktion und statistische Interpretation zu erstellen
• Fähigkeit zur Validierung der statistischen Interpretation von KI anhand von Rohdaten des Panels und des Versuchsdesigns

Sie sind im Forschungs- und Entwicklungslabor für einen neu entwickelten zuckerarmen Fruchtjoghurt. Das Marketingteam fragt: „Gefällt es den Verbrauchern?“ fragt er, und die Produktion fragt: „Kann es vom Referenzprodukt unterschieden werden?“ er wundert sich. Er verfügt über hedonische 9-Punkte-Formulare, die von 60 Verbraucher-Panelisten ausgefüllt wurden, QDA-Ergebnisse eines geschulten 8-köpfigen Beschreibungspanels und die Ergebnisse eines Dreiecksdiskriminierungstests. Hunderte Zeilen mit Rohergebnissen in Excel sowie ein offenes Kommentarfeld für jeden Diskussionsteilnehmer. Es scheint verlockend, einen KI-Assistenten zu fragen: „Fassen Sie diese Daten zusammen, gefallen sie den Verbrauchern?“ In dieser Einheit werden wir untersuchen, wie man sensorische Daten richtig liest, KI für Zusammenfassungen und Themenextraktion verwendet und, was am wichtigsten ist, die statistische Interpretation der KI anhand von Rohdaten des Panels und des Versuchsdesigns validiert.

Sensorische Testtypen: Stellen Sie die richtige Frage mit dem richtigen Test

Der häufigste Fehler bei der sensorischen Analyse besteht darin, die Art der Frage mit der Art des Tests zu verwechseln. Es gibt drei große Familien und jede beantwortet eine andere Frage.

• Hedonische (affektive) Tests: „Wie gut hat es gefallen?“ beantwortet die Frage. Das klassische Instrument ist die 9-stufige hedonische Skala (1 = äußerst unbeliebt, 5 = weder gemocht noch unbeliebt, 9 = äußerst beliebt). Die Diskussionsteilnehmer sind ungebildete Verbraucher; Ziel ist es, Akzeptanz/Präferenz zu messen. Im Allgemeinen ist ein Gremium von 50–100 Personen erforderlich.
• Beschreibende Tests (QDA): „Welche Eigenschaften hat das Produkt und in welcher Intensität?“ beantwortet die Frage. Ein geschultes Gremium aus 8–12 Personen bewertet die von ihnen beschriebenen Eigenschaften (z. B. „cremige Konsistenz“, „Säuerlichkeit“, „fruchtiger Geschmack“) auf einer Intensitätsskala von 0–15. Es misst keine Likes, es erstellt Profile.
• Diskriminierungstests: „Sind die beiden Produkte wahrnehmungsmäßig unterschiedlich?“ beantwortet die Frage. Beim Dreieckstest werden dem Gremium drei Proben vorgelegt; zwei sind gleich, einer ist unterschiedlich, und der Diskussionsteilnehmer wählt den „anderen“. Ideal zum Testen, ob sich eine Änderung der Formulierung bemerkbar macht.

Tipp: Vervollständigen Sie vor der Auswahl des Tests Ihren Satz: „Ich möchte wissen, ob ___.“ Wenn die Lücke „gefällt“, verwenden Sie den hedonischen Test, wenn sie „anders“ ist, verwenden Sie den Diskriminierungstest, und wenn sie „stark in welchem ​​Merkmal“ ist, verwenden Sie den beschreibenden Test. Wenn Sie diesen Zweck bei der Übermittlung der Daten an AI nicht angeben, wird die Zusammenfassung falsch dargestellt.

Zuverlässigkeit der Panelisten und Versuchsdesign

Bevor Sie den Rohergebnissen vertrauen können, müssen Sie dem Panel selbst vertrauen. Ein paar Grundprinzipien:

• Blindtest: Der Prüfer sollte nicht wissen, welche Probe das „neue Produkt“ und welche die „Referenz“ ist. Beispiele werden mit 3-stelligen Zufallscodes dargestellt (z. B. 417, 682).
• Kompensation der Präsentationsreihenfolge: Die zuerst verkostete Probe ist grundsätzlich vorteilhaft (Erstproben-Bias). Die Präsentationsreihenfolge sollte unter den Diskussionsteilnehmern ausgewogen/randomisiert sein.
• Wiederholung: Wenn derselbe Prüfer dieselbe Probe erneut mit unterschiedlichen Codes bewertet, können Sie die Konsistenz (Wiederholbarkeit) messen. Im beschreibenden Gremium wird der inkonsistente Diskussionsteilnehmer umgeschult oder ausgeschlossen.
• Referenzprüfung: Wenn zwei identische Proben blind präsentiert werden und der Prüfer sie sehr unterschiedlich bewertet, sind die Daten dieses Prüfers verdächtig.

Beispiel für eine hedonische Datenzusammenfassung

Nachfolgend finden Sie eine Übersichtstabelle des hedonischen Tests für 60 Testpersonen. Vergleich der neuen Formel (Code 417) mit der Referenz (Code 682).

Funktion

Neue Formel (417) Durchschn.

Referenz (682) Durchschn.

Std. Abweichung (417)

n

Allgemeine Wertschätzung

7.1

7.4

1.3

60

Geschmack/Aroma

6.8

7.3

1.5

60

Konsistenz

7.3

7.2

1.1

60

Aussehen

7.6

7.5

0,9

60

Kaufabsicht (%)

58 %

65 %

—

60

Es ist leicht, sich dieses Diagramm anzusehen und zu sagen: „Die Referenz ist etwas besser, aber der Unterschied ist gering.“ Aber ist eine mittlere Differenz von 0,3 statistisch signifikant oder Rauschen? Hier erzeugt KI die meisten Halluzinationen.

Zusammenfassung, Themenextraktion und Entwurf statistischer Interpretationen mit KI

Sie können KI als Beschleuniger für drei Aufgaben verwenden: das Verfassen numerischer Zusammenfassungen, das Extrahieren von Themen aus offenen Kommentaren und das Verfassen statistischer Interpretationen. Aber in allen drei Fällen handelt es sich bei dem Ergebnis um einen Entwurf und nicht um eine Entscheidung.

Eine leistungsstarke Eingabeaufforderung zum Extrahieren von Themen aus offenen Kommentaren:

Rolle: Sie sind ein Sinnesanalytiker. Nachfolgend finden Sie offene Kommentare von 60 Verbrauchern zum zuckerarmen Fruchtjoghurt (Code 417). Ihre Aufgabe: 1) Gruppieren Sie Kommentare in 5-7 Themen (z. B. Süße, Säure, Textur, Fruchtgeschmack). 2) ZÄHLEN Sie, wie viele Kommentare für jedes Thema positiv/negativ/neutral sind, und schreiben Sie die Zahl auf. 3) Fügen Sie direkte Zitate hinzu und fassen Sie zusammen. Erfinden Sie KEIN Thema, das nicht in den Kommentaren erwähnt wird.4) Ziehen Sie KEINE statistischen Schlussfolgerungen; Dies ist eine qualitative Zusammenfassung. Ausgabe als Tabelle: | Thema | Positiv | Negativ | Neutral | Beispielaussage |Kommentare:[60 Kommentare hier eingefügt]

Sehen wir uns nun den Unterschied zwischen schwacher und starker Eingabeaufforderung in der statistischen Interpretation an:

SCHWACHE AUFFORDERUNG: „Analysieren Sie diese sensorischen Daten und sagen Sie mir, ob das neue Produkt besser als die Referenz ist.“ (KI KANN „Ja, es ist besser“ oder „Es gibt einen signifikanten Unterschied“ ausdenken, ohne die Stichprobengröße, die Art des Tests oder den p-Wert zu kennen.) STARKE AUFFORDERUNG: „Unten sind die rohen Gesamtbewertungen für die Zufriedenheit des hedonischen 9-Punkte-Tests mit 60 Teilnehmern (Spalten 417 und 682). Für den gepaarten t-Test. SCHREIBEN Sie die notwendigen Schritte, aber ich werde das Ergebnis in SPSS/R berechnen und überprüfen.“ Welcher Test ist geeignet und warum (gepaart oder unabhängig)? - Wie gestalte ich die Interpretation anders, wenn sich ein numerischer p-Wert ergibt?

Leistungsstarke Eingabeaufforderung macht KI-Methodenberater; Sie berechnen die Zahl.

Statistische Signifikanz und Probenvalidierung

Nehmen wir an, in der KI-Zusammenfassung steht: „Das neue Produkt wurde deutlich schlechter bewertet als die Referenz.“ Sie müssen dies anhand von Rohdaten überprüfen. Sehen wir uns die gepaarte t-Test-Logik anhand einer einfachen Berechnung an:

numpy als npfrom scipy importieren stats# Gesamt-Liking-Scores von 60 Diskussionsteilnehmern (9-Punkte-Hedonic)new = np.array([7,8,6,7,7,6,8,7, ...]) # code 417, n=60reference = np.array([7,8,7,8,7,7,8,7, ...]) # code 682, n=60# Derselbe Diskussionsteilnehmer bewertete beide Produkte -> gepaart t-testit_stat, p_value = stats.ttest_rel(new, reference)difference = new.mean() - reference.mean()print(f"Meandifferenz: {difference:.2f} score")print(f"t = {t_stat:.2f}, p = {p_value:.3f}")# Kommentar: Wenn p >= 0,05, es bedeutet „es gibt keinen statistisch signifikanten Unterschied.“

Der entscheidende Punkt hierbei: Die mittlere Differenz von 0,30 Punkten kann sich bei p = 0,18 als unbedeutend erweisen. Die Aussage von AI, dass „Referenz besser ist“, ist eine Interpretation, die statistisch nicht gestützt ist. Bei Ihrer Entscheidung sollten Sie den p-Wert, die Stichprobengröße und die Annahmen des Tests berücksichtigen, nicht nur den Mittelwert.

Achtung: LLMs können definitive Aussagen wie „p<0,05, der Unterschied ist signifikant“ liefern, auch wenn ihnen keine rohen numerischen Daten vorliegen. Das ist eine Halluzination. Schreiben Sie keine p-Werte, Signifikanzkommentare oder „den Verbrauchern gefallen“-Urteile auf der Grundlage des Textes der KI in den Bericht; Neuberechnung in Ihrer eigenen Statistiksoftware (R, SPSS, JASP, Python).

Mini-Koffer

Bei einem Getränkeunternehmen evaluiert das Sensorik-Team eine neue Formel, die den Zucker im Orangensaft um 15 % reduziert. Das Team führt einen hedonischen 9-Punkte-Test mit 90 Verbrauchern durch und gibt das Rohbild an die KI weiter, um die Ergebnisse zusammenzufassen. Im AI-Bericht heißt es: „Die neue Formel wurde deutlich weniger gemocht (p<0,05)“ und das Team beschließt, die Formel abzuschaffen. Ein leitender Ingenieur führt die Rohdaten in R erneut durch: wahre Differenz 7,0 vs. 6,8, p = 0,31 – also kein signifikanter Unterschied. Darüber hinaus fällt auf, dass die Reihenfolge der Präsentation nicht ausgewogen ist, die neue Formel immer als zweites probiert wird und von Geschmacksermüdung (Anpassung) betroffen ist. Die KI hat sowohl den p-Wert ermittelt als auch den Designfehler des Versuchs nicht erkannt. Das Team wiederholt den Test mit dem ausgewogenen Design und die zuckerarme Formel wird akzeptiert. Der Rückgriff auf Rohdaten bewahrte ein gutes Produkt davor, weggeworfen zu werden.

Häufige Fehler

• Verwechslung hedonischer (Liking)-Tests mit deskriptiven (Profil-)Tests; Die Aussage „hoher Säurewert“ bedeutet nicht, dass es nicht gemocht wird.
• Einfügen des von der KI erstellten p-Werts oder der „signifikanten Differenz“-Aussage in den Bericht, ohne die Rohberechnung durchzuführen.
• Stichprobengröße ignorieren; Verallgemeinerung von „den Verbrauchern hat es gefallen“ aus einem hedonischen Test mit 12 Personen.
• Die Reihenfolge der Präsentation wird nicht ausbalanciert und die Tendenz zur Erstprobe/Geschmacksmüdigkeit wird übersehen.
• So können die Prüfer ohne Blindtests erkennen, welche Probe das „neue Produkt“ ist.
• Es wird nicht sichergestellt, dass die KI offene Kommentare zusammenfasst und keine erfundenen Zitate/Themen generiert.
• Gleichmäßige Gewichtung aller Bewertungen ohne Überprüfung der Zuverlässigkeit der Panelisten (blinde Duplikatkonsistenz).

Zusammenfassend

• Bestimmen Sie im sensorischen Test zunächst die Fragestellung: Verwenden Sie den hedonischen Test für den Geschmack, den Dreieckstest für die Differenz und den beschreibenden Test (QDA) für das Profil.
• Vertrauen Sie dem Gremium, bevor Sie den Rohergebnissen vertrauen: Überprüfen Sie die Zuverlässigkeit durch Blindtests, Abgleich der Präsentationsreihenfolge, Wiederholung und Blindduplikate.
• Verwenden Sie KI für numerische Zusammenfassungen, Themenextraktion aus offenen Kommentaren und statistische Methodenberatung. aber die Ausgabe ist ein Entwurf.
• Der mittlere Unterschied ist nicht dasselbe wie die statistische Signifikanz. Kleine Mittelwertunterschiede können sich bei einem p-Wert als unbedeutend erweisen.
• KI kann p-Werte, Signifikanzinterpretationen und die Halluzination eines „Daumen hoch“-Urteils erzeugen; Berechnen Sie jedes statistische Ergebnis mit Rohdaten in Ihrer eigenen Software neu.
• Endgültige Produkt-/Formelentscheidung; Validierte Statistiken, robustes Studiendesign und Zuverlässigkeit der Panelisten werden zusammen betrachtet und basieren nicht auf KI-Text.

Anwendungsaufgabe

Entwerfen Sie einen 9-Punkte-Hedonic-Test und einen Dreieckstest für 40–60 Teilnehmer an einem selbst untersuchten oder hypothetischen Produkt (z. B. Suppe mit reduziertem Salzgehalt, glutenfreier Kuchen). Schreiben Sie Ihr Experimentdesign auf: Wie viele Diskussionsteilnehmer, Blindcodierung, Ausgleichsplan für die Präsentationsreihenfolge und ob Sie Blindduplikate verwenden werden. Erstellen Sie eine realistische Rohdatentabelle (mindestens 20 Zeilen) und geben Sie der KI zwei verschiedene Eingabeaufforderungen: (1) Themenextraktion aus offenen Kommentaren, (2) Ratschläge zur statistischen Methode (bitten Sie ausdrücklich darum, den p-Wert nicht zu erfinden). Führen Sie dann den gepaarten t-Test selbst in Python/R/JASP durch und vergleichen Sie ihn mit der Interpretation der KI. In einer einseitigen Notiz: Erklären Sie, welche Aussagen der KI Sie bestätigt, welche Sie mit Rohdaten widerlegt haben und worauf Sie Ihre endgültige Produktentscheidung gestützt haben. Beschreiben Sie in Ihrem Memo mindestens ein Risiko einer Verzerrung in Ihrem Studiendesign und wie Sie es reduziert haben.