Pelnas:
- Gebėjimas interpretuoti jutiminių skydelių tipus, hedoninį / aprašomąjį testavimą ir komisijos narių patikimumą
- Gebėjimas sudaryti juslinių duomenų santrauką, temų ištraukimą ir statistinę interpretaciją naudojant AI
- Gebėjimas patvirtinti statistinę AI interpretaciją naudojant neapdorotus skydo duomenis ir bandomąjį dizainą
Jūs dirbate naujai sukurto mažai cukraus turinčio vaisinio jogurto tyrimų ir plėtros laboratorijoje. Rinkodaros komanda klausia: „Ar tai patinka vartotojams? jis klausia, o gamyba klausia: "Ar jį galima atskirti nuo etaloninio produkto?" jis stebisi. Jis turi 9 taškų hedonines formas, kurias užpildė 60 vartotojų komisijos narių, QDA balus iš apmokytos 8 asmenų aprašomosios grupės ir trikampio diskriminacijos testo rezultatus. Šimtai neapdorotų balų eilučių programoje „Excel“ ir atviras komentarų laukelis kiekvienam komisijos nariui. Atrodo pagunda paklausti AI asistento: „Apibendrinkite šiuos duomenis, ar tai patinka vartotojams? Šiame skyriuje mes tyrinėsime, kaip teisingai skaityti jutimo duomenis, naudoti AI santraukai ir temoms išgauti, o svarbiausia – patvirtinti AI statistinę interpretaciją naudojant neapdorotus skydelio duomenis ir bandomąjį dizainą.
Jutimo testų tipai: užduokite teisingą klausimą atlikdami tinkamą testą
Dažniausia sensorinės analizės klaida – klausimo tipo supainiojimas su testo tipu. Yra trys pagrindinės šeimos ir kiekviena atsako į skirtingą klausimą.
- Hedoniniai (afektiniai) testai: "Kiek patiko?" atsako į klausimą. Klasikinis instrumentas yra 9 balų hedoninė skalė (1 = labai nepatinka, 5 = nei patinka, nei nepatiko, 9 = labai patinka). Diskusijos dalyviai yra neišsilavinę vartotojai; Tikslas yra įvertinti priėmimą / pirmenybę. Paprastai reikalinga 50–100 žmonių grupė.
- Aprašomieji testai (QDA): „Kokias gaminio savybes ir kokio intensyvumo? atsako į klausimą. Apmokyta 8–12 žmonių grupė įvertina apibūdinamas savybes (pvz., „kreminė konsistencija“, „rūgštumas“, „vaisinis skonis“) intensyvumo skalėje nuo 0 iki 15. Ji nematuoja simpatijų, kuria profilius.
- Diskriminacijos testai: „Ar šie du produktai skiriasi suvokimu? atsako į klausimą. Atliekant trikampio testą, skydui pateikiami trys pavyzdžiai; du yra vienodi, vienas skiriasi, o panelė pasirenka „skirtingą“. Idealiai tinka norint patikrinti, ar pastebimi sudėties pokyčiai.
Patarimas: prieš pasirinkdami testą, užbaikite sakinį: „Noriu sužinoti, ar ___“. Jei atotrūkis „patinka“, naudokite hedoninį testą, jei „skirtingas“, naudokite diskriminacijos testą, o jei „kurioje savybėje stiprus“, naudokite aprašomąjį testą. Jei šio tikslo nenurodysite pateikdami duomenis AI, santrauka bus sudaryta netinkamai.
Grupės narių patikimumas ir bandomasis dizainas
Kad galėtumėte pasitikėti neapdorotais balais, turite pasitikėti pačia skydeliu. Keletas pagrindinių principų:
- Aklas testas: komisijos narys neturėtų žinoti, kuris pavyzdys yra „naujas produktas“, o kuris – „referencinis“. Pavyzdžiai pateikiami su 3 skaitmenų atsitiktiniais kodais (pvz., 417, 682).
- Pateikimo užsakymo kompensacija: pirmas paragautas mėginys paprastai yra naudingas (pirmojo mėginio šališkumas). Pristatymų tvarka turėtų būti subalansuota / atsitiktinė tarp komisijos narių.
- Kartojimas: jei tas pats komisijos narys vėl įvertina tą patį pavyzdį skirtingais kodais, galite išmatuoti nuoseklumą (pakartojamumą). Aprašomojoje grupėje nenuoseklus komisijos narys yra perkvalifikuojamas arba pašalinamas.
- Nuorodų patikrinimas: jei yra du identiški pavyzdžiai, pateikti aklai ir komisijos narys juos vertina labai skirtingai, to komisijos nario duomenys yra įtartini.
Hedoninių duomenų santraukos pavyzdys
Žemiau yra 60 komisijos narių hedoninio testo suvestinė lentelė. Naujos formulės (kodas 417) palyginimas su nuoroda (kodas 682).
funkcija
Nauja formulė (417) vid.
Nuoroda (682) vid.
Std. nuokrypis (417)
n
Bendras įvertinimas
7.1
7.4
1.3
60
Skonis/aromatas
6.8
7.3
1.5
60
nuoseklumas
7.3
7.2
1.1
60
Išvaizda
7.6
7.5
0.9
60
ketinimas pirkti (%)
58 %
65 %
—
60
Nesunku pažvelgti į šią diagramą ir pasakyti „nuoroda šiek tiek geresnė, bet skirtumas nedidelis“. Bet ar vidutinis 0,3 skirtumas yra statistiškai reikšmingas, ar triukšmas? Čia AI sukelia daugiausia haliucinacijų.
Santrauka, temos ištraukimas ir statistinės interpretacijos brėžinys naudojant AI
AI galite naudoti kaip greitintuvą trims užduotims: sudaryti skaitines santraukas, išskirti temas iš atvirų komentarų ir rengti statistines interpretacijas. Tačiau visose trijose rezultatas yra projektas, o ne sprendimas.
Galingas raginimas išskirti temas iš atvirų komentarų:
Vaidmuo: esate jutimo analitikas. Žemiau pateikiami neriboti 60 vartotojų komentarai dėl mažai cukraus turinčio vaisinio jogurto (kodas 417). Jūsų užduotis:1) Sugrupuokite komentarus į 5-7 temas (pvz., saldumas, rūgštumas, tekstūra, vaisių skonis).2) Suskaičiuokite, kiek komentarų yra teigiamų / neigiamų / neutralių kiekvienai temai, ir parašykite skaičių.3) Pridėkite tiesiogines citatas, apibendrinkite. NEGALIMA temos, kuri nepaminėta komentaruose.4) NEDARYTI statistinių išvadų; Tai kokybinė santrauka. Išvestis kaip lentelė: | Tema | Teigiamas | Neigiamas | Neutralus | Teiginio pavyzdys |Komentarai:[Čia įklijuota 60 komentarų]
Dabar pažiūrėkime, kuo skiriasi silpnas ir stiprus raginimas statistinėje interpretacijoje:
SILPNAS raginimas: "Išanalizuokite šiuos jutimo duomenis ir pasakykite, ar naujas produktas yra geresnis nei nuoroda." (AI GALI sudaryti „taip, tai geriau“ arba „yra reikšmingas skirtumas“, nežinant imties dydžio, testo tipo, p reikšmės.) STIPRUS RAŠYMAS: „Toliau pateikiami neapdoroti bendri 9 balų hedoninio testo su 60 komisijos narių įvertinimai (417 ir 682 stulpeliai). SPSS/R - Kuris testas yra tinkamas (suporuotas ar nepriklausomas) - Kaip nustatyti interpretaciją, jei išeina skaitinė p reikšmė?
Galingas raginimas daro AI metodo patarėją; Jūs apskaičiuojate skaičių.
Statistinis reikšmingumas ir imties patvirtinimas
Tarkime, dirbtinio intelekto santraukoje buvo parašyta „naujas produktas buvo įvertintas žymiai žemiau nei nuoroda“. Turite tai patikrinti naudodami neapdorotus duomenis. Pažiūrėkime suporuotą t-testo logiką su paprastu skaičiavimu:
importuoti numpy kaip npfrom scipy importuoti statistiką# bendras 60 komisijos narių simpatijų įvertinimas (9 taškų hedoninis)new = np.array([7,8,6,7,7,6,8,7, ...]) # kodas 417, n=60reference = np.array([7,8, ...],8,8,7, ...],8 n=60# Tas pats komisijos narys įvertino abu produktus -> suporuotas t-testit_stat, p_value = stats.ttest_rel(new, reference)difference = new.mean() - reference.mean()print(f"Vidutinis skirtumas: {skirtumas:.2f} balas")print(f"t = {t_stat:.pf}" p >= 0,05, tai reiškia „statistiškai reikšmingo skirtumo nėra“.
Kritinis taškas čia: vidutinis 0,30 balo skirtumas gali pasirodyti nereikšmingas, kai p = 0,18. AI teiginys, kad „nuoroda yra geresnė“, yra interpretacija, kuri nėra statistiškai pagrįsta. Priimdami sprendimą turėtumėte atsižvelgti į p reikšmę, imties dydį ir testo prielaidas, o ne tik į vidurkį.
Atsargiai: LLM gali pateikti galutinius teiginius, pvz., „p<0,05, skirtumas yra reikšmingas“, net jei jiems nepateikiami neapdoroti skaitiniai duomenys. Tai haliucinacija. Nerašykite ataskaitoje p verčių, reikšmingumo komentarų ar „vartotojams patikusių“ sprendimų, pagrįstų AI tekstu; perskaičiuoti savo statistine programine įranga (R, SPSS, JASP, Python).
mini dėklas
Vienoje gėrimų įmonėje jutimų komanda vertina naują formulę, kuri sumažina cukraus kiekį apelsinų sultyse 15%. Komanda atlieka 9 taškų hedoninį testą su 90 vartotojų ir pateikia neapdorotą vaizdą AI, kad apibendrintų rezultatus. AI ataskaitoje rašoma, kad „naujoji formulė patiko žymiai mažiau (p<0,05)“ ir komanda nusprendžia formulę atsisakyti. Vyresnysis inžinierius iš naujo paleidžia neapdorotus duomenis R: tikrasis skirtumas 7,0 ir 6,8, p = 0,31, taigi reikšmingo skirtumo nėra. Be to, pastebima, kad pateikimo tvarka nesubalansuota, naujoji formulė visada ragaujama antra ir yra paveikta skonio nuovargio (adaptacijos). AI sudarė p reikšmę ir nepastebėjo bandomojo dizaino trūkumo. Komanda pakartoja testą su subalansuotu dizainu ir priimama mažai cukraus formulė. Pradėjus naudoti neapdorotus duomenis, geras produktas nebuvo išmestas.
Dažnos klaidos
- Hedoninio (patinka) testavimo supainiojimas su aprašomuoju (profilio) testavimu; Pasakymas „aukštas rūgštumo balas“ nereiškia, kad tai nepatinka.
- Dirbtinio intelekto sukurtos p vertės arba „reikšmingo skirtumo“ teiginio įtraukimas į ataskaitą neatliekant neapdoroto skaičiavimo.
- Imties dydžio nepaisymas; Apibendrinant „vartotojams patiko“ iš 12 asmenų hedoninio testo.
- Nesubalansuojant pateikimo tvarkos ir neatsižvelgiant į pirmojo mėginio / skonio nuovargio šališkumą.
- Leidžiama komisijos nariams žinoti, kuris pavyzdys yra „naujas produktas“ be aklo testavimo.
- Nesugebėjimas užtikrinti, kad dirbtinis intelektas apibendrintų neribotus komentarus, kad nesukurtų sugalvotų citatų / temų.
- Visų balų svėrimas vienodai netikrinant komisijos narių patikimumo (aklas pasikartojančių nuoseklumas).
Apibendrinant
- Atlikdami jutimo testą, pirmiausia nustatykite klausimą: naudokite hedoninį testą skoniui, trikampio testą skirtumui, aprašomąjį testą (QDA) profiliui.
- Pasitikėkite skydeliu prieš pasitikėdami neapdorotais balais: patikrinkite patikimumą naudodami akląjį testavimą, pristatymo tvarkos balansavimą, pakartojimą ir aklą dublikatą.
- Naudokite AI skaitinei santraukai, temų ištraukimui iš atvirų komentarų ir statistinių metodų konsultavimui; bet išvestis yra juodraštis.
- Vidutinis skirtumas nėra tas pats, kas statistinis reikšmingumas; Maži vidutiniai skirtumai gali pasirodyti nereikšmingi, kai yra p reikšmė.
- Dirbtinis intelektas gali sukurti p reikšmę, reikšmės interpretaciją ir haliucinacijas, sprendžiant „nykščiai aukštyn“; Perskaičiuokite kiekvieną statistinį rezultatą naudodami neapdorotus duomenis savo programinėje įrangoje.
- Galutinis produktas/formulės sprendimas; Patvirtinta statistika, patikimas bandymo dizainas ir komisijos narių patikimumas vertinami kartu, o ne AI tekstu.
Taikymo užduotis
Sukurkite 9 taškų hedoninį testą ir trikampio testą 40–60 komisijos narių savarankiškai studijuojančiam arba hipotetiniam produktui (pvz., sriubai su sumažinta druska, pyragu be glitimo). Parašykite savo eksperimento planą: kiek komisijos narių, aklųjų kodų, pristatymo užsakymų balansavimo planą ir ar naudosite akluosius dublikatus. Sukurkite tikrovišką neapdorotų duomenų lentelę (mažiausiai 20 eilučių) ir suteikite AI du skirtingus raginimus: (1) temos ištraukimas iš atvirų komentarų, (2) statistinio metodo patarimas (aiškiai paprašykite nesudaryti p reikšmės). Tada patys paleiskite suporuotą t-testą Python/R/JASP ir palyginkite jį su AI interpretacija. Vieno puslapio pastaboje: paaiškinkite, kuriuos AI teiginius patvirtinote, kuriuos paneigėte neapdorotais duomenimis ir kuo pagrindėte galutinį sprendimą dėl produkto. Savo atmintinėje apibūdinkite bent vieną šališkumo riziką bandomajame projekte ir kaip ją sumažinote.