Kitengo 6 / 10

Data ya Uchambuzi wa hisia

Faida:

  • Uwezo wa kutafsiri aina za paneli za hisia, majaribio ya hedonic/maelezo na kuegemea kwa wanajopo
  • Uwezo wa kuandaa muhtasari wa data ya hisia, uchimbaji wa mandhari na tafsiri ya takwimu na AI
  • Uwezo wa kuthibitisha tafsiri ya takwimu ya AI na data ghafi ya jopo na muundo wa majaribio

Uko katika maabara ya R&D kwa mtindi mpya wa matunda wenye sukari kidogo. Timu ya uuzaji inauliza "je watumiaji wanaipenda?" anauliza, na uzalishaji unauliza, "Je, inaweza kutofautishwa na bidhaa ya kumbukumbu?" anashangaa. Ana fomu za hedonic za alama 9 zilizojazwa na wanajopo 60 wa watumiaji, alama za QDA kutoka kwa paneli ya maelezo ya watu 8 iliyofunzwa, na matokeo ya mtihani wa ubaguzi wa pembetatu. Mamia ya safu mlalo ya alama ghafi katika Excel, pamoja na kisanduku cha maoni kilicho wazi kwa kila mwanajopo. Inaonekana kuvutia kuuliza msaidizi wa AI "fanya muhtasari wa data hii, je, watumiaji wanaipenda?" Katika kitengo hiki, tutajifunza jinsi ya kusoma data ya hisi kwa usahihi, kutumia AI kwa muhtasari na uchimbaji wa mandhari, na muhimu zaidi, kuthibitisha tafsiri ya takwimu ya AI kwa data ghafi ya paneli na muundo wa majaribio.

Aina za majaribio ya hisia: uliza swali sahihi na mtihani sahihi

Makosa ya kawaida katika uchanganuzi wa hisia ni kuchanganya aina ya swali na aina ya mtihani. Kuna familia tatu kuu na kila moja hujibu swali tofauti.

  • Vipimo vya Hedonic (yanayoathiriwa): "Ilipendwa kiasi gani?" anajibu swali. Chombo cha kawaida ni kipimo cha hedonic cha pointi 9 (1 = haipendi sana, 5 = haipendi wala haipendi, 9 = haipendi sana). Wanajopo ni watumiaji wasio na elimu; Lengo ni kupima kukubalika/mapendeleo. Kwa ujumla, jopo la watu 50-100 linahitajika.
  • Vipimo vya ufafanuzi (QDA): "Bidhaa ina vipengele vipi na kwa kiwango gani?" anajibu swali. Jopo lililofunzwa la watu 8-12 huweka alama za sifa zinazoelezea (k.m. "uthabiti wa krimu," "usikivu," "ladha ya matunda") kwa kiwango cha 0-15. Haipimi anapenda, inaunda wasifu.
  • Vipimo vya Ubaguzi: "Je, bidhaa hizi mbili ni tofauti kihisia?" anajibu swali. Katika mtihani wa pembetatu, sampuli tatu hutolewa kwa jopo; mbili ni sawa, moja ni tofauti, na jopo huchagua "tofauti." Inafaa kwa majaribio ikiwa mabadiliko katika uundaji yanaonekana.
Kidokezo: Kabla ya kuchagua jaribio, kamilisha sentensi yako: "Nataka kujua ikiwa ___." Ikiwa pengo "limependwa", tumia mtihani wa hedonic, ikiwa "tofauti", tumia mtihani wa ubaguzi, na kama "nguvu katika kipengele gani", tumia mtihani wa maelezo. Ikiwa hutafafanua kusudi hili wakati wa kutoa data kwa AI, muhtasari utawekwa kwa njia isiyo sahihi.

Kuegemea kwa paneli na muundo wa majaribio

Kabla ya kuamini alama ghafi, lazima uamini kidirisha chenyewe. Kanuni chache za msingi:

  • Jaribio lisilowezekana: Mwanajopo hapaswi kujua ni sampuli gani ni "bidhaa mpya" na "rejeleo" ni lipi. Mifano imewasilishwa na misimbo isiyo na mpangilio yenye tarakimu 3 (k.m. 417, 682).
  • Fidia ya agizo la wasilisho: Sampuli ya kwanza iliyoonja kwa ujumla ina faida (upendeleo wa sampuli ya kwanza). Agizo la wasilisho linapaswa kusawazishwa/kuwekwa nasibu miongoni mwa wanajopo.
  • Kurudia: Ikiwa mwanajopo yule yule atafunga sampuli sawa tena kwa misimbo tofauti, unaweza kupima uthabiti (uwezekano wa kurudia). Katika kidirisha cha maelezo, mwanajopo asiyelingana amefunzwa tena au kutengwa.
  • Ukaguzi wa marejeleo: Ikiwa kuna sampuli mbili zinazofanana zinazowasilishwa kwa upofu na mwanajopo huziweka alama tofauti sana, data ya mwanajopo huyo inashukiwa.

Mfano muhtasari wa data ya hedonic

Ifuatayo ni jedwali la muhtasari wa jaribio la hedonic kwa wanajopo 60. Kulinganisha fomula mpya (msimbo 417) na rejeleo (msimbo 682).

kipengele

Fomula mpya (417) wastani.

Marejeleo (682) wastani.

St. kupotoka (417)

n

Uthamini wa jumla

7.1

7.4

1.3

60

Ladha/harufu

6.8

7.3

1.5

60

uthabiti

7.3

7.2

1.1

60

Muonekano

7.6

7.5

0.9

60

Nia ya kununua (%)

58%

65%

-

60

Ni rahisi kutazama chati hii na kusema "rejeleo ni bora kidogo, lakini tofauti ni ndogo." Lakini je, tofauti ya wastani ya 0.3 ni muhimu kitakwimu au kelele? Hapa ndipo AI hutoa maonyesho mengi zaidi.

Muhtasari, uchimbaji wa mandhari na utayarishaji wa tafsiri ya takwimu na AI

Unaweza kutumia AI kama kiongeza kasi kwa kazi tatu: kuandaa muhtasari wa nambari, kutoa mada kutoka kwa maoni yaliyo wazi, na kuandaa tafsiri za takwimu. Lakini katika yote matatu, matokeo ni rasimu, si uamuzi.

Kidokezo chenye nguvu cha kutoa mada kutoka kwa maoni yaliyo wazi:

Jukumu: Wewe ni mchambuzi wa hisia. Chini ni maoni ya wazi kutoka kwa watumiaji 60 kwa mtindi wa matunda yenye sukari kidogo (code 417). Kazi yako:1) Panga maoni katika mada 5-7 (k.m. utamu, ucheshi, umbile, ladha ya tunda).2) HESABU ni maoni mangapi ambayo ni chanya/hasi/yasiyo na upande wowote kwa kila mada na uandike nambari.3) Ongeza manukuu ya moja kwa moja, toa muhtasari. USIJENGE mandhari ambayo haijatajwa kwenye maoni.4) USITOE hitimisho la takwimu; Huu ni muhtasari wa ubora. Pato kama jedwali: | Mandhari | Chanya | Hasi | Si upande wowote | Taarifa ya mfano |Maoni:[Maoni 60 yamebandikwa hapa]

Sasa hebu tuone tofauti kati ya haraka dhaifu na kali katika tafsiri ya takwimu:

MWANGAZO DHAIFU: "Chambua data hii ya hisia, niambie ikiwa bidhaa mpya ni bora kuliko rejeleo." (HUENDA AI ikaunda "ndiyo ni bora zaidi" au "kuna tofauti kubwa" bila kujua ukubwa wa sampuli, aina ya jaribio, thamani ya p.) STRONG PROMPT: "Hapa chini kuna alama ghafi za kupenda za jaribio la hedonic la pointi 9 na wana paneli 60 (safu wima 417 na 682). Kwa t-safu iliyooanishwa, nitahesabu hatua muhimu, TERI nitahesabu. SPSS/R

Uhakika wenye nguvu hufanya mshauri wa njia ya AI; Unahesabu nambari.

Umuhimu wa takwimu na uthibitishaji wa sampuli

Wacha tuseme muhtasari wa AI uliandika "bidhaa mpya ilikadiriwa chini sana kuliko rejeleo." Unahitaji kuthibitisha hili kwa data ghafi. Wacha tuone mantiki ya mtihani wa t uliooanishwa na hesabu rahisi:

leta numpy kama npfrom scipy import stats# alama za kupenda kwa jumla za wana paneli 60 (9-point hedonic)mpya = np.array([7,8,6,7,7,6,8,7, ...]) # msimbo 417, n=60reference = np.array([7,8,7,8,7,7,8,8,7,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,7,8,7,8, ...]. mwanajopo mmoja alifunga bidhaa zote mbili -> t-testit_stat iliyooanishwa, p_value = stats.ttest_rel(mpya, rejeleo)difference = new.mean() - reference.mean()print(f"Maana tofauti: {difference:.2f} score") print(f"t = {t_stat:.2f_va} p = # Iwapo:p. 0.05, inamaanisha "hakuna tofauti kubwa ya kitakwimu."

Jambo muhimu hapa: tofauti ya wastani ya pointi 0.30 inaweza kugeuka kuwa isiyo na maana na p = 0.18. Kauli ya AI kwamba "rejeleo ni bora" ni tafsiri ambayo haijaungwa mkono kitakwimu. Wakati wa kufanya uamuzi wako, unapaswa kuangalia thamani ya p, saizi ya sampuli, na mawazo ya jaribio, sio maana pekee.

Tahadhari: LLM zinaweza kutoa taarifa dhahiri kama vile "p<0.05, tofauti ni muhimu" hata wakati hazijapewa data mbichi ya nambari. Hii ni ndoto. Usiandike maadili yoyote ya p, maoni ya umuhimu, au hukumu za "watumiaji walipenda" kwenye ripoti kulingana na maandishi ya AI; hesabu upya katika programu yako mwenyewe ya takwimu (R, SPSS, JASP, Python).

kesi ndogo

Katika kampuni ya vinywaji, timu ya hisia inatathmini fomula mpya ambayo inapunguza sukari katika juisi ya machungwa kwa 15%. Timu inaendesha jaribio la hedonic la alama 9 na watumiaji 90 na kulisha picha mbichi kwa AI ili kufupisha matokeo. Ripoti ya AI inasema "fomula mpya ilipendwa kidogo sana (p<0.05)" na timu inaamua kufuta fomula. Mhandisi mkuu hurejesha data mbichi katika R: tofauti ya kweli 7.0 dhidi ya 6.8, p = 0.31 - kwa hivyo hakuna tofauti kubwa. Kwa kuongezea, inagunduliwa kuwa mpangilio wa uwasilishaji hauko sawa, fomula mpya kila wakati inaonja mara ya pili na inathiriwa na uchovu wa ladha (kubadilika). AI iliunda thamani ya p na ikashindwa kuona dosari ya muundo wa jaribio. Timu inarudia jaribio na muundo wa usawa, na fomula ya sukari ya chini inakubaliwa. Kugeukia data mbichi kuliokoa bidhaa nzuri kutokana na kutupwa.

Makosa ya kawaida

  • Kuchanganya upimaji wa hedonic (kupenda) na upimaji wa maelezo (wasifu); Kusema "alama ya uchungu mwingi" haimaanishi kuwa haipendi.
  • Kuweka thamani ya p iliyoundwa na AI au taarifa ya "tofauti kubwa" kwenye ripoti bila kufanya hesabu ghafi.
  • Kupuuza ukubwa wa sampuli; Kujumlisha "wateja waliipenda" kutoka kwa jaribio la hedonic la watu 12.
  • Kutosawazisha mpangilio wa uwasilishaji na kupuuza upendeleo wa sampuli ya kwanza/ladha ya uchovu.
  • Kuruhusu wanajopo kujua ni sampuli gani ni "bidhaa mpya" bila majaribio ya kipofu.
  • Imeshindwa kuhakikisha kuwa AI inatoa muhtasari wa maoni yaliyo wazi dhidi ya kutoa manukuu/mandhari ya kubuni.
  • Kupima alama zote kwa usawa bila kuangalia utegemezi wa wanajopo (uthabiti wa nakala duni).

Kwa muhtasari

  • Katika mtihani wa hisia, kwanza amua swali: tumia mtihani wa hedonic kwa ladha, mtihani wa pembetatu kwa tofauti, mtihani wa maelezo (QDA) kwa wasifu.
  • Amini kidirisha kabla ya kuamini alama ghafi: angalia kuegemea ukitumia majaribio yasiyoonekana, kusawazisha mpangilio wa uwasilishaji, cheza tena na nakala isiyoonekana.
  • Tumia AI kwa muhtasari wa nambari, uchimbaji wa mada kutoka kwa maoni wazi, na ushauri wa mbinu za takwimu; lakini matokeo ni rasimu.
  • Tofauti ya maana si sawa na umuhimu wa takwimu; Tofauti ndogo za wastani zinaweza kuwa zisizo na maana kwa thamani ya p.
  • AI inaweza kutoa thamani ya p, tafsiri ya umuhimu, na ndoto ya uamuzi wa "dole gumba"; Kokotoa upya kila matokeo ya takwimu kwa kutumia data ghafi katika programu yako mwenyewe.
  • Uamuzi wa mwisho wa bidhaa/fomula; Takwimu zilizoidhinishwa, muundo thabiti wa majaribio, na utegemezi wa wanajopo huzingatiwa pamoja, si kulingana na maandishi ya AI.

Jukumu la maombi

Tengeneza mtihani wa hedonic wa pointi 9 na mtihani wa pembetatu kwa wanajopo 40-60 kwenye bidhaa ya kujisomea au ya dhahania (kwa mfano, supu ya chumvi iliyopunguzwa, keki isiyo na gluteni). Andika muundo wako wa majaribio: ni wana paneli wangapi, uwekaji misimbo bila upofu, mpango wa kusawazisha mpangilio wa uwasilishaji, na kama utatumia nakala zisizoeleweka. Unda jedwali la data mbichi la kweli (angalau safu 20) na upe AI madokezo mawili tofauti: (1) uondoaji wa mandhari kutoka kwa maoni yaliyo wazi, (2) ushauri wa mbinu ya takwimu (uliza kwa uwazi kutounda thamani ya p). Kisha endesha jaribio la t-jozi mwenyewe kwenye Python/R/JASP na ulinganishe na tafsiri ya AI. Katika dokezo la ukurasa mmoja: Eleza ni taarifa zipi za AI ulizothibitisha, ambazo ulikanusha kwa kutumia data ghafi, na ulitegemea uamuzi wako wa mwisho wa bidhaa. Katika memo yako, eleza angalau hatari moja ya upendeleo katika muundo wako wa majaribio na jinsi ulivyoipunguza.