Awọn anfani:
- Agbara lati tumọ awọn oriṣi nronu ifarako, hedonic / idanwo ijuwe ati igbẹkẹle panelist
- Agbara lati ṣe akopọ data ifarako, isediwon akori ati itumọ iṣiro pẹlu AI
- Agbara lati fọwọsi itumọ iṣiro ti AI pẹlu data nronu aise ati apẹrẹ idanwo
O wa ninu yàrá R&D fun yoghurt eso suga kekere ti o ṣẹṣẹ ṣe. Ẹgbẹ tita naa beere “ṣe awọn alabara fẹran rẹ?” o beere, ati gbóògì béèrè, "Ṣe o le wa ni yato si lati awọn ọja itọkasi?" o ṣe iyanu. O ni awọn fọọmu hedonic-ojuami 9 ti o kun nipasẹ awọn alamọdaju olumulo 60, awọn ikun QDA lati ọdọ igbimọ asọye eniyan 8 ti oṣiṣẹ, ati awọn abajade ti idanwo iyasoto onigun mẹta. Awọn ọgọọgọrun awọn ori ila ti awọn ikun aise ni Excel, pẹlu apoti asọye ṣiṣi-iṣiro fun onigbimọ ọkọọkan. O dabi idanwo lati beere lọwọ oluranlọwọ AI kan “ṣe akopọ data yii, ṣe awọn alabara fẹran rẹ?” Ninu ẹyọ yii, a yoo kọ ẹkọ bii o ṣe le ka data ifarako ni deede, lo AI fun akopọ ati isediwon akori, ati ni pataki julọ, fọwọsi itumọ iṣiro AI pẹlu data nronu aise ati apẹrẹ idanwo.
Awọn oriṣi idanwo ifarako: beere ibeere ti o tọ pẹlu idanwo to tọ
Aṣiṣe ti o wọpọ julọ ni imọran imọran ni lati daru iru ibeere pẹlu iru idanwo naa. Awọn idile pataki mẹta wa ati pe ọkọọkan dahun ibeere ti o yatọ.
- Awọn idanwo Hedonic (ti o munadoko): "Elo ni o fẹran?" dahun ibeere naa. Irinse Ayebaye jẹ iwọn hedonic 9-ojuami (1 = ko nifẹ pupọ, 5 = ko fẹran tabi ko nifẹ, 9 = fẹran pupọ). Awọn panelists jẹ awọn onibara ti ko ni imọran; Ibi-afẹde ni lati wiwọn gbigba / ààyò. Ni gbogbogbo, nronu ti awọn eniyan 50-100 nilo.
- Awọn idanwo apejuwe (QDA): "Awọn ẹya wo ni ọja naa ni ati ni kikankikan wo?" dahun ibeere naa. Igbimọ ikẹkọ ti awọn eniyan 8-12 ṣe iṣiro awọn abuda ti wọn ṣapejuwe (fun apẹẹrẹ “aitasera ọra,” “ekan,” “adun eso”) lori iwọn kikankikan ti 0-15. Ko ṣe iwọn awọn ayanfẹ, o ṣẹda awọn profaili.
- Awọn idanwo iyasoto: “Ṣe awọn ọja mejeeji yatọ ni oye?” dahun ibeere naa. Ninu idanwo onigun mẹta, awọn ayẹwo mẹta ni a fun ni nronu; meji ni o wa kanna, ọkan ti o yatọ si, ati awọn panelist yan awọn "o yatọ si ọkan." Apẹrẹ fun idanwo boya iyipada ninu agbekalẹ jẹ akiyesi.
Imọran: Ṣaaju ki o to yan idanwo, pari gbolohun rẹ: "Mo fẹ lati mọ boya ____." Ti aafo naa ba “fẹran”, lo idanwo hedonic, ti “o yatọ si”, lo idanwo iyasoto, ati pe ti “lagbara ninu ẹya wo”, lo idanwo apejuwe. Ti o ko ba ṣe pato idi yii nigbati o ba n fun data naa si AI, akopọ naa yoo jẹ fireemu ni ọna ti ko tọ.
Igbẹkẹle igbimọ ati apẹrẹ idanwo
Ṣaaju ki o to le gbẹkẹle awọn ikun aise, o ni lati gbẹkẹle nronu funrararẹ. Awọn ilana ipilẹ diẹ:
- Idanwo afọju: Igbimọ ko yẹ ki o mọ iru apẹẹrẹ wo ni “ọja tuntun” ati eyiti o jẹ “itọkasi”. Awọn apẹẹrẹ ṣe afihan pẹlu awọn koodu oni-nọmba 3 (fun apẹẹrẹ 417, 682).
- Biinu aṣẹ igbejade: Ayẹwo akọkọ ti o tọ jẹ anfani ni gbogbogbo (ojuṣaaju-apẹẹrẹ akọkọ). Ilana igbejade yẹ ki o jẹ iwọntunwọnsi / aileto laarin awọn alamọdaju.
- Atunwi: Ti o ba jẹ pe onigbimọ kanna tun ṣe ayẹwo ayẹwo kanna pẹlu awọn koodu oriṣiriṣi, o le wọn aitasera (atunṣe). Ninu pánẹ́ẹ̀sì iṣàpèjúwe, pánẹ́ẹ̀tì tí kò bára dé ni a ti tún ìdánilẹ́kọ̀ọ́ tàbí yọkuro.
- Ṣiṣayẹwo itọkasi: Ti awọn ayẹwo kanna ba wa ni afọju ati pe onigbimọ ṣe Dimegilio wọn ni iyatọ pupọ, data nronu naa jẹ ifura.
Apeere akopọ data hedonic
Ni isalẹ ni tabili akojọpọ ti idanwo hedonic fun awọn alamọdaju 60. Ṣe afiwe agbekalẹ tuntun (koodu 417) pẹlu itọkasi (koodu 682).
ẹya-ara
Ilana tuntun (417) aro.
Itọkasi (682) aropin.
Std. ìyàtọ̀ (417)
n
Gbogbogbo mọrírì
7.1
7.4
1.3
60
Lenu / oorun didun
6.8
7.3
1.5
60
aitasera
7.3
7.2
1.1
60
Ifarahan
7.6
7.5
0.9
60
Ero rira (%)
58%
65%
-
60
O rọrun lati wo chart yii ki o sọ pe "itọkasi jẹ diẹ ti o dara julọ, ṣugbọn iyatọ jẹ kekere." Ṣugbọn iyatọ ti o tumọ si ti 0.3 ṣe pataki ni iṣiro tabi ariwo? Eyi ni ibi ti AI ṣe agbejade awọn hallucinations julọ.
Lakotan, isediwon akori ati kikọ itumọ iṣiro pẹlu AI
O le lo AI bi ohun imuyara fun awọn iṣẹ-ṣiṣe mẹta: kikọ awọn afoyemọ nọmba, yiyo awọn akori lati awọn asọye ṣiṣi, ati kikọ awọn itumọ iṣiro. Ṣugbọn ninu gbogbo awọn mẹta, abajade jẹ apẹrẹ, kii ṣe ipinnu.
Itọnisọna ti o lagbara fun yiyọ awọn akori jade lati awọn asọye ti o ṣii:
Ipa: Iwọ jẹ oluyanju ifarako. Ni isalẹ wa ni awọn asọye ṣiṣi lati ọdọ awọn alabara 60 fun wara eso gaari kekere (koodu 417). Iṣẹ-ṣiṣe rẹ: 1) Awọn asọye ẹgbẹ sinu awọn akori 5-7 (fun apẹẹrẹ adun, ekan, sojurigindin, adun eso) 2) KA iye awọn asọye jẹ rere / odi / aiṣedeede fun akori kọọkan ki o kọ nọmba naa.3) Fi awọn agbasọ taara, akopọ. MAA ṢE ṣe akori kan ti a ko mẹnuba ninu awọn asọye.4) MAA ṢE FA awọn ipinnu iṣiro; Eyi jẹ akopọ ti agbara. O wu bi tabili: | Akori | Rere | Odi | Adájú | Gbólóhùn Apeere | Awọn asọye:[60 comments pasted nibi]
Bayi jẹ ki a wo iyatọ laarin alailagbara ati iyara to lagbara ni itumọ iṣiro:
AWỌN ỌRỌ NIPA: "Ṣayẹwo data ifarako yii, sọ fun mi boya ọja tuntun ba dara ju itọkasi lọ." (AI MAY ṣe soke "bẹẹni o dara julọ" tabi "iyatọ nla kan wa" laisi mọ iwọn ayẹwo, iru idanwo, p-iye.) PROMPT AGBARA: "Ni isalẹ wa ni awọn ikun ti o fẹran ti aise ti 9-point hedonic test with 60 panelists (awọn ọwọn 417 ati 682). Fun pọpọ t-igbeyewo, ṣugbọn WRITE yoo ṣe iṣiro abajade ni pataki. SPSS/R. - Ayẹwo wo ni o yẹ ati idi ti (papọ tabi ominira)?
Alagbara kiakia mu ki AI ọna onimọran; O ṣe iṣiro nọmba naa.
Iṣiro lami ati awọn ayẹwo afọwọsi
Jẹ ká sọ AI Lakotan kowe "titun ọja ti a won won significantly kekere ju awọn itọkasi." O nilo lati jẹrisi eyi pẹlu data aise. Jẹ ki a wo iṣiro t-igbeyewo ti a so pọ pẹlu iṣiro ti o rọrun:
gbe wọle numpy bi npfrom scipy agbewọle awọn iṣiro # ìwò fẹran ikun ti 60 panelists (9-point hedonic) titun = np.array ([7,8,6,7,7,6,8,7, ...]) # koodu 417, n = 60reference = np.array ([7,8,7,8,7,7,8]) Oniroyin kanna ti gba awọn ọja mejeeji wọle -> t-testit_stat ti a so pọ, p_value = stats.ttest_rel (tuntun, itọkasi) iyatọ = new.mean () - reference.mean () tẹjade (f"Itumọ iyatọ: {iyatọ:.2f} Dimegilio") titẹ (f"t = {t_stat:.2f}, p = {p_value): # "ko si iyatọ pataki iṣiro."
Ojuami pataki nibi: iyatọ iyatọ ti awọn aaye 0.30 le yipada lati jẹ alaiṣe pẹlu p = 0.18. Alaye AI pe “itọkasi dara julọ” jẹ itumọ ti kii ṣe atilẹyin iṣiro. Nigbati o ba ṣe ipinnu rẹ, o yẹ ki o wo p-iye, iwọn ayẹwo, ati awọn ero inu idanwo, kii ṣe itumọ nikan.
Išọra: Awọn LLM le gbejade awọn alaye asọye gẹgẹbi “p<0.05, iyatọ jẹ pataki” paapaa nigba ti wọn ko ba fun wọn ni data nọmba aise. Eleyi jẹ a hallucination. Ma ṣe kọ eyikeyi p-iye, awọn asọye pataki, tabi awọn idajọ “awọn onibara fẹran” sinu ijabọ ti o da lori ọrọ AI; tun ṣe iṣiro ninu sọfitiwia iṣiro tirẹ (R, SPSS, JASP, Python).
mini irú
Ni ile-iṣẹ ohun mimu, ẹgbẹ ifarako n ṣe iṣiro agbekalẹ tuntun ti o dinku suga ni oje osan nipasẹ 15%. Ẹgbẹ naa ṣe idanwo hedonic-ojuami 9 pẹlu awọn alabara 90 ati ifunni aworan aise si AI lati ṣe akopọ awọn abajade. Ijabọ AI sọ pe “a ti fẹran agbekalẹ tuntun ti o dinku pupọ (p <0.05)” ati pe ẹgbẹ naa pinnu lati yọ agbekalẹ naa kuro. Onimọ-ẹrọ agba tun ṣe atunṣe data aise ni R: iyatọ otitọ 7.0 vs 6.8, p = 0.31 - nitorinaa ko si iyatọ pataki. Pẹlupẹlu, a ṣe akiyesi pe aṣẹ igbejade ko ni iwọntunwọnsi, agbekalẹ tuntun nigbagbogbo jẹ itọwo keji ati pe o ni ipa nipasẹ rirẹ itọwo (aṣamubadọgba). AI mejeeji ṣe iye p-iye ati kuna lati rii abawọn apẹrẹ idanwo naa. Ẹgbẹ naa tun ṣe idanwo naa pẹlu apẹrẹ iwọntunwọnsi, ati pe a gba agbekalẹ suga kekere. Yipada si data aise ti o fipamọ ọja ti o dara lati jabọ kuro.
Awọn aṣiṣe ti o wọpọ
- Idarudapọ hedonic (fẹran) idanwo pẹlu idanwo apejuwe (profaili); Wipe "Dimegilio ti o ga" ko tumọ si pe ko fẹran rẹ.
- Gbigbe p-iye ti AI-concocted tabi alaye “iyatọ pataki” sinu ijabọ laisi ṣiṣe iṣiro aise.
- Aibikita iwọn ayẹwo; Ijọpọ “awọn alabara fẹran rẹ” lati idanwo hedonic eniyan 12 kan.
- Ko ṣe iwọntunwọnsi aṣẹ ti igbejade ati fojufojusi iṣapẹẹrẹ akọkọ-apẹẹrẹ / iyọrisi rirẹ itọwo.
- Gbigba awọn alamọdaju lati mọ iru apẹẹrẹ wo ni “ọja tuntun” laisi idanwo afọju.
- Ikuna lati rii daju pe AI ṣe akopọ awọn asọye ṣiṣi-iṣiro lodi si ṣiṣẹda awọn agbasọ/awọn akori ti a ṣe.
- Iwọnwọn gbogbo awọn ikun ni dọgbadọgba laisi ṣiṣayẹwo igbẹkẹle panelist (iparapọ afọju).
Ni akojọpọ
- Ninu idanwo ifarako, akọkọ pinnu ibeere naa: lo idanwo hedonic fun itọwo, idanwo onigun mẹta fun iyatọ, idanwo asọye (QDA) fun profaili.
- Gbẹkẹle igbimọ ṣaaju ki o to gbẹkẹle awọn ikun aise: ṣayẹwo igbẹkẹle pẹlu idanwo afọju, iwọntunwọnsi aṣẹ igbejade, tun ṣe ati ẹda afọju.
- Lo AI fun akopọ nọmba, isediwon akori lati awọn asọye ti o pari, ati imọran ọna iṣiro; ṣugbọn awọn ti o wu ni a osere.
- Iyatọ ti o tumọ si kii ṣe kanna gẹgẹbi iṣiro iṣiro; Awọn iyatọ iyatọ kekere le yipada lati jẹ alaiṣe pẹlu p-iye.
- AI le ṣe agbejade p-iye, itumọ pataki, ati hallucination ti idajọ "atampako soke"; Ṣe atunto abajade iṣiro kọọkan pẹlu data aise ninu sọfitiwia tirẹ.
- Ipinnu ọja / agbekalẹ; Awọn iṣiro ti a fọwọsi, apẹrẹ idanwo ti o lagbara, ati igbẹkẹle panelist ni a gbero papọ, kii ṣe da lori ọrọ AI.
Ohun elo iṣẹ-ṣiṣe
Ṣe apẹrẹ idanwo hedonic kan-ojuami 9 ati idanwo onigun mẹta fun 40-60 panelists lori iwadi ti ara ẹni tabi ọja arosọ (fun apẹẹrẹ, bimo iyọ ti o dinku, akara oyinbo ti ko ni giluteni). Kọ jade rẹ ṣàdánwò oniru: melo ni panelists, afọju ifaminsi, igbejade ibere iwontunwosi ètò, ati boya o yoo lo afọju pidánpidán. Ṣẹda tabili data aise ojulowo (o kere ju awọn ori ila 20) ki o fun AI ni awọn itọsi oriṣiriṣi meji: (1) isediwon akori lati awọn asọye ti o pari, (2) imọran ọna iṣiro (nisọtọ beere pe ki o ma ṣe pipọ p-iye). Lẹhinna ṣiṣẹ t-idanwo ararẹ ni Python/R/JASP ki o ṣe afiwe rẹ pẹlu itumọ AI. Ninu akọsilẹ oju-iwe kan: Ṣalaye iru awọn alaye AI ti o jẹrisi, eyiti o tako pẹlu data aise, ati kini o da lori ipinnu ọja ikẹhin rẹ. Ninu akọsilẹ rẹ, ṣapejuwe o kere ju eewu kan ti irẹjẹ ninu apẹrẹ idanwo rẹ ati bii o ṣe dinku rẹ.