Добици:
- Способност тумачења типова сензорних панела, хедонистичко/дескриптивно тестирање и поузданост панелиста
- Способност израде резимеа сензорних података, издвајања теме и статистичке интерпретације помоћу АИ
- Способност валидације статистичке интерпретације АИ са сировим подацима панела и дизајном испитивања
Налазите се у Р&Д лабораторији за новоразвијени воћни јогурт са ниским садржајем шећера. Маркетиншки тим пита „да ли се потрошачима свиђа?“ он пита, а производња пита: "Може ли се разликовати од референтног производа?" пита се он. Има хедонистичке формуларе од 9 тачака које је попунило 60 панелиста потрошача, КДА резултате из обученог дескриптивног панела од 8 особа и резултате теста дискриминације троугла. Стотине редова необрађених резултата у Екцел-у, плус отворени оквир за коментаре за сваког панелиста. Чини се примамљивим да замолите помоћника вештачке интелигенције „сажмите ове податке, да ли се потрошачима свиђа?“ У овој јединици ћемо проучавати како правилно читати сензорне податке, користити АИ за резиме и издвајање теме, и што је најважније, потврдити статистичку интерпретацију АИ помоћу необрађених података панела и пробног дизајна.
Типови сензорних тестова: поставите право питање са правим тестом
Најчешћа грешка у сензорној анализи је мешање врсте питања са врстом теста. Постоје три велике породице и свака одговара на различита питања.
- Хедонистички (афективни) тестови: "Колико се допало?" одговара на питање. Класични инструмент је хедонистичка скала од 9 тачака (1 = изузетно ми се не свиђа, 5 = не свиђа ми се нити ми се не свиђа, 9 = изузетно ми се свиђа). Панелисти су необразовани потрошачи; Циљ је да се измери прихватање/склоност. Генерално, потребан је панел од 50-100 људи.
- Дескриптивни тестови (КДА): "Које карактеристике има производ и у ком интензитету?" одговара на питање. Обучени панел од 8-12 људи оцењује карактеристике које описују (нпр. „кремаста конзистенција“, „киселина“, „воћни укус“) на скали интензитета од 0-15. Не мери лајкове, већ креира профиле.
- Тестови дискриминације: „Да ли се ова два производа перцептивно разликују?“ одговара на питање. У тесту троугла, панелу се дају три узорка; два су иста, један је другачији, а панелиста бира „другачијег“. Идеално за тестирање да ли је приметна промена у формулацији.
Савет: Пре него што изаберете тест, допуните реченицу: „Желим да знам да ли ___.“ Ако је јаз „свиђа ми се“, користите хедонистички тест, ако је „другачији“, користите тест дискриминације, а ако је „јак у којој особини“, користите дескриптивни тест. Ако не наведете ову сврху када дајете податке АИ, резиме ће бити уоквирен на погрешан начин.
Поузданост панелиста и пробни дизајн
Пре него што можете да верујете сировим резултатима, морате да верујете самом панелу. Неколико основних принципа:
- Слепи тест: Панелиста не би требало да зна који узорак је „нови производ“, а који „референца“. Примери су представљени са троцифреним насумичним кодовима (нпр. 417, 682).
- Компензација редоследа презентације: Први дегустирани узорак је генерално повољан (пристрасност првог узорка). Редослед презентације треба да буде уравнотежен/рандомизован међу панелистима.
- Понављање: Ако исти панелиста поново постигне исти узорак са различитим кодовима, можете мерити доследност (поновљивост). У дескриптивном панелу, неконзистентни панелиста је поново обучен или искључен.
- Провера референци: Ако постоје два идентична узорка представљена на слепо и панелиста их оцењује веома различито, подаци тог панелисте су сумњиви.
Пример хедонистичког сажетка података
Испод је сажета табела хедонистичког теста за 60 панелиста. Поређење нове формуле (шифра 417) са референцом (шифра 682).
карактеристика
Нова формула (417) прос.
Референца (682) прос.
Стд. одступање (417)
н
Општа захвалност
7.1
7.4
1.3
60
Укус/арома
6.8
7.3
1.5
60
доследност
7.3
7.2
1.1
60
Изглед
7.6
7.5
0.9
60
Намера куповине (%)
58%
65%
—
60
Лако је погледати овај графикон и рећи „референца је мало боља, али разлика је мала“. Али да ли је средња разлика од 0,3 статистички значајна или шум? Овде АИ производи највише халуцинација.
Сажетак, издвајање теме и израда статистичких тумачења са АИ
Можете користити АИ као акцелератор за три задатка: прављење нумеричких сажетака, издвајање тема из отворених коментара и прављење статистичких тумачења. Али у сва три, резултат је нацрт, а не одлука.
Снажан упит за издвајање тема из отворених коментара:
Улога: Ви сте сензорни аналитичар. Испод су отворени коментари 60 потрошача за воћни јогурт са ниским садржајем шећера (шифра 417). Ваш задатак: 1) Групишите коментаре у 5-7 тема (нпр. слаткоћа, киселост, текстура, укус воћа).2) ИЗбројите колико је коментара позитивних/негативних/неутралних за сваку тему и напишите број.3) Додајте директне цитате, резимирајте. НЕ измишљајте тему која се не помиње у коментарима.4) НЕ ИЗВЛАЧИТЕ статистичке закључке; Ово је квалитативни резиме. Излаз као табела: | Тхеме | Поситиве | Негативе | Неутрал | Пример изјаве |Коментари:[60 коментара залепљено овде]
Сада да видимо разлику између слабог и јаког промпта у статистичкој интерпретацији:
СЛАБА УПУТСТВА: "Анализирајте ове сензорне податке, реците ми да ли је нови производ бољи од референтног." (АИ МОЖЕ измислити „да, боље је“ или „постоји значајна разлика“ без познавања величине узорка, типа теста, п-вредности.) СНАЖНА УПИТКА: „У наставку су необрађени укупни резултати допадања хедонистичког теста од 9 тачака са 60 панелиста (колоне 417 и 682). Али за упарене кораке израчунаћу неопходне кораке у тесту. СПСС/Р - Који тест је прикладан и зашто (упарен или независан) - Како да поставим интерпретацију другачије ако п<0,05 даје нумеричку вредност?
Моћни промпт чини саветником за АИ метод; Ти израчунај број.
Статистички значај и валидација узорка
Рецимо да је АИ сажетак написао „нови производ је оцењен знатно ниже од референтног“. Ово морате да проверите помоћу необрађених података. Хајде да видимо упарену логику т-теста са једноставним прорачуном:
импорт нумпи ас нпфром сципи импорт статс# укупни резултати допада 60 панелиста (хедониц са 9 тачака)нев = нп.арраи([7,8,6,7,7,6,8,7, ...]) # цоде 417, н=60референце = нп.арраи([7,8,7,7,68), цоде н=60# Исти панелиста је постигао оба производа -> упарени т-тестит_стат, п_валуе = статс.ттест_рел(нев, референце)дифференце = нев.меан() - референце.меан()принт(ф"Средња разлика: {дифференце:.2ф} сцоре")принт(ф"т = {т}ф_стат:.п) {т}ф_стат:.2п. Ако је п >= 0,05, то значи „нема статистички значајне разлике“.
Критична тачка овде: средња разлика од 0,30 поена може се показати безначајном са п = 0,18. Изјава АИ да је „референца боља“ је тумачење које није статистички подржано. Када доносите одлуку, требало би да погледате п-вредност, величину узорка и претпоставке теста, а не само средњу вредност.
Опрез: ЛЛМ могу произвести дефинитивне изјаве као што је „п<0,05, разлика је значајна“ чак и када им нису дати необрађени нумерички подаци. Ово је халуцинација. Немојте уписивати никакве п-вредности, коментаре о значају или оцене „потрошачима се свидело“ у извештај на основу текста АИ; прерачунајте у сопственом статистичком софтверу (Р, СПСС, ЈАСП, Питхон).
мини цасе
У компанији за производњу пића, сензорни тим процењује нову формулу која смањује шећер у соку од поморанџе за 15%. Тим спроводи хедонистички тест од 9 тачака са 90 потрошача и даје сирову слику вештачкој интелигенцији да сумира резултате. Извештај АИ каже да се „нова формула допала знатно мање (п<0,05)“ и тим одлучује да укине формулу. Виши инжењер поново покреће необрађене податке у Р: права разлика 7,0 наспрам 6,8, п = 0,31 — тако да нема значајне разлике. Штавише, примећује се да редослед презентације није избалансиран, нова формула се увек дегустира на другом месту и на њу утиче замор укуса (адаптација). АИ су обе чиниле п-вредност и нису успеле да уоче грешку у пробном дизајну. Тим понавља тест са избалансираним дизајном, а формула са ниским садржајем шећера је прихваћена. Прелазак на необрађене податке спасио је добар производ од бацања.
Уобичајене грешке
- Бркање хедонистичког (лајковног) тестирања са дескриптивним (профилним) тестирањем; Рећи „висока оцена киселости“ не значи да се не свиђа.
- Стављање изјаве о п-вредности коју је измислила вештачка интелигенција или „значајна разлика“ у извештај без вршења сировог прорачуна.
- Игнорисање величине узорка; Уопштавање „потрошачима се допало“ из хедонистичког теста од 12 особа.
- Не балансирајући редослед презентације и занемарујући пристрасност првог узорка/замора укуса.
- Омогућавање панелистима да знају који узорак је „нови производ“ без слепог тестирања.
- Неуспех да се обезбеди да АИ сумира отворене коментаре против генерисања измишљених цитата/тема.
- Подједнако пондерисање свих резултата без провере поузданости панелиста (слепо дуплирање доследности).
Укратко
- У сензорном тесту прво одредите питање: користите хедонски тест за укус, троугаони тест за разлику, дескриптивни тест (КДА) за профил.
- Верујте панелу пре него што верујете сировим резултатима: проверите поузданост слепим тестирањем, балансирањем редоследа презентације, понављањем и слепим дупликатом.
- Користите АИ за нумерички резиме, издвајање теме из отворених коментара и консултације са статистичким методама; али излаз је нацрт.
- Средња разлика није исто што и статистичка значајност; Мале средње разлике могу се показати безначајним са п-вредношћу.
- АИ може произвести п-вредност, тумачење значаја и халуцинацију просуђивања „палац горе“; Поново израчунајте сваки статистички резултат са сировим подацима у сопственом софтверу.
- Одлука о коначном производу/формули; Потврђена статистика, робустан пробни дизајн и поузданост панелиста се разматрају заједно, а не на основу АИ текста.
Задатак апликације
Дизајнирајте хедонистички тест у 9 тачака и тест троугла за 40-60 учесника панела на самопроученом или хипотетичком производу (нпр. супа са смањеним уносом соли, колач без глутена). Напишите дизајн свог експеримента: колико панелиста, слепо кодирање, план балансирања редоследа презентације и да ли ћете користити слепе дупликате. Направите реалистичну табелу необрађених података (најмање 20 редова) и дајте АИ два различита упутства: (1) издвајање теме из отворених коментара, (2) савет за статистичку методу (експлицитно замолите да се не измишља п-вредност). Затим сами покрените упарени т-тест у Питхон/Р/ЈАСП-у и упоредите га са интерпретацијом АИ. У белешци на једној страници: Објасните коју изјаву АИ сте потврдили, коју сте оповргли сировим подацима и на чему сте засновали своју коначну одлуку о производу. У свом допису опишите барем један ризик од пристрасности у дизајну пробног процеса и како сте га смањили.