Faida:
- Uwezo wa kuelewa dhana za majaribio ya A/B, udhibiti/lahaja, kiwango cha ubadilishaji na umuhimu wa takwimu na kuanzisha dhahania na miundo ya majaribio kwa kutumia akili ya bandia.
- Uwezo wa kutenga kigezo kimoja ili kujaribiwa na kutoa maandishi/picha lahaja na mpango wa kipimo kwa usaidizi wa akili bandia.
- Uwezo wa kutofautisha kwamba tafsiri ya majaribio ya akili bandia ni mdogo kwa ukubwa wa sampuli na umuhimu na hatari ya kusoma matokeo ya mapema / yasiyo sahihi.
Sentensi hatari zaidi katika utangazaji ni "Nadhani hii ni bora." Data, si maoni, hukuambia ikiwa kichwa cha habari, picha au kitufe ni bora zaidi. Njia ya kawaida ya kupima hili ni majaribio ya A/B: kuonyesha matoleo mawili (au zaidi) ya tangazo moja kwa watumiaji halisi na kulinganisha ni lipi linalofanya kazi vizuri zaidi. "A" kwa kawaida ni toleo la sasa (kidhibiti), huku "B" ni toleo jipya linalojaribiwa (lahaja). Kwa mfano, unaweza tu kubadilisha kichwa katika tangazo sawa na kupima ni kichwa kipi kimebofya zaidi. Akili Bandia inasaidia katika mchakato huu katika kutoa idadi kubwa ya lahaja na katika kufasiri matokeo; Lakini uhalali wa kisayansi wa mtihani hutegemea sheria za kubuni na uvumilivu.
Kanuni ya dhahabu ya upimaji wa A/B: kigezo kimoja
Kanuni ya msingi zaidi ya upimaji wa A/B ni kutenga kigezo kimoja. Ukibadilisha kichwa, picha na kitufe kwa wakati mmoja na toleo B likashinda, hutawahi kujua ni nini kilishinda. Kwa hivyo katika mtihani kipengele kimoja tu kinapaswa kubadilika, kilichobaki kinapaswa kubaki mara kwa mara. Ikiwa unataka kupima zaidi ya kitu kimoja kwa wakati mmoja na kwa utaratibu, hii inaitwa upimaji wa multivariate na inahitaji sampuli kubwa zaidi; Univariate kupima A/B ndiyo njia ya kuanza.
Dhana ya pili ya msingi ni umuhimu wa takwimu. Hebu tuseme toleo A lilipata mibofyo ya asilimia 3 na toleo B lilipata mibofyo ya asilimia 3.3. Je, tofauti hii ni faida halisi au ni upuuzi? Ikiwa ulionyesha jaribio kwa watu 100 tu, tofauti hii inaweza kuwa ya bahati mbaya. Umuhimu wa kitakwimu unamaanisha kuwa tofauti inayotazamwa haiwezi kuwa kwa sababu ya bahati nasibu (yaani, tofauti labda ni halisi). Hii inahitaji saizi ya sampuli ya kutosha (idadi ya watu wanaoona jaribio). Kutangaza "mshindi" na data ndogo ni kosa la kawaida na la gharama kubwa.
Kidokezo: Kabla ya kuanza mtihani, jibu swali "ni lini nitatangaza mshindi": ni watu wangapi/baada ya uongofu, kwa kiwango gani cha umuhimu. Kufanya uamuzi huu mapema hukuzuia kushikwa na kelele katika saa za kwanza na kufanya uamuzi wa mapema.
Jedwali lifuatalo linalinganisha muundo mzuri na mbaya wa mtihani wa A/B:
kipengee
muundo mbaya
muundo mzuri
Idadi ya vigezo
Kitufe cha Kichwa + picha + pamoja
kichwa pekee
hypothesis
(hakuna) "wacha tuone kitakachotokea"
"Majina yenye maswali huongeza mibofyo"
sampuli
watu 80
Akidi iliyokadiriwa
wakati wa uamuzi
Saa 2 baadaye
Unapofikia umuhimu
Uchaguzi wa mshindi
"Nadhani B ni mzuri"
Kulingana na data na umuhimu
Hatua kwa hatua: weka jaribio la A/B
Hatua ya 1 - Andika dhana. Unajaribu nini na kwa nini? Dhana wazi kama "Kichwa cha habari chenye manufaa hupata mibofyo mingi kuliko kichwa chenye vipengele."
Hatua ya 2 - Chagua kigezo kimoja. Kichwa tu, au picha tu, au CTA tu.
Hatua ya 3 - Tengeneza lahaja. Unda matoleo tofauti ya bidhaa sawa na AI; kuweka wengine sawa.
Hatua ya 4 - Weka mpango wa kipimo. Ni kipimo gani kitaamua mshindi (kiwango cha kubofya, ubadilishaji), ni sampuli ngapi inahitajika, muda gani wa kukimbia.
Hatua ya 5 - Tafsiri na uhakikishe matokeo. Je, data ya kutosha imekusanywa, je, tofauti hiyo ni muhimu? Ikiwa sio muhimu, "hakuna tofauti" pia ni matokeo halali.
kesi tatu ndogo
Kesi ya 1 - Uwazi wa kigezo kimoja. Chapa ya e-commerce ilijaribu CTA pekee katika tangazo la bidhaa: "Nunua" na "Ongeza kwenye rukwama." Kila kitu kingine kilikuwa sawa. Baada ya sampuli za kutosha, "Ongeza kwenye rukwama" ilileta ubadilishaji wa juu zaidi. Tofauti inaweza kufasiriwa kwa uwazi kwa sababu kigezo kimoja kilitengwa. AI ilitoa CTA mbili, data ilichukua mshindi.
Kesi ya 2 - Mtego wa uamuzi wa mapema. Chapa moja ilisimamisha jaribio kwa sababu toleo B lilikuwa mbele katika saa 3 za kwanza za jaribio la A/B na lilifungua B kwa bajeti yote. Kuangalia data jumla siku iliyofuata, A ilikuwa bora kidogo; Tofauti katika masaa ya kwanza ilikuwa ya bahati mbaya. Bajeti ilipotea. Kosa: kufanya uamuzi wa mapema na saizi isiyotosha ya sampuli.
Kesi ya 3 - "Hakuna tofauti" pia ni hitimisho. Chapa ilijaribu picha mbili tofauti, na baada ya sampuli za kutosha, zote mbili zilitoa karibu matokeo sawa. Wakati timu ilikuwa karibu kulalamika kwamba "jaribio lilifeli", usomaji sahihi ulikuwa kwamba picha sio jambo la kuamua katika kampeni hii, kwa hivyo juhudi zielekezwe kwenye kichwa cha habari na ofa. Ukweli kwamba hakuna tofauti kubwa iliyopatikana pia ni habari muhimu.
Violezo vinne vinavyoweza kunakiliwa
1) Hypothesis na muundo wa jaribio:
Ninachotaka kujaribu: [km. kichwa cha tangazo].Kazi: (1) Andika dhana moja inayoweza kujaribiwa (katika muundo "... huongeza ... huongezeka").(2) Orodhesha kigezo kimoja cha kutenga na vile vya kudumisha.(3) Pendekeza kipimo kitakachoamua mshindi (bofya-kadirio/ugeuzaji).(4) Andika ninachohitaji kuzingatia ili kuthibitisha jaribio (sampuli, muda wa hatari, uamuzi wa mapema).
2) Jenereta lahaja (lahaja moja):
Tangazo la kunata: picha [sawa], CTA [sawa], lengo [sawa]. Kigezo kimejaribiwa: HEADLINE. Ujumbe mkuu: "[ujumbe]". Kazi: Tengeneza vibadala 4 tofauti vya vichwa vya habari kwa ujumbe sawa. Kila mmoja atumie mbinu tofauti (swali, faida, nambari, uharaka). Kichwa cha habari pekee ndicho kinachobadilika; Kuongeza dai ambalo halijathibitishwa.
3) Mpango wa kipimo:
Mtihani: [Ufafanuzi wa A na B]. Metriki: [bofya/ubadilishaji].Jukumu: Rasimu ya mpango wa kipimo:(1) kipimo kipi ni cha msingi, ambacho ni cha pili,(2) kiasi cha data/muda unaohitajika ili kumtangaza mshindi (kueleza mantiki),(3) jinsi ya kugawanya trafiki kwa usawa na kwa haki kati ya A na B,(4) ni vipengele vipi vya nje vinavyoweza kupotosha matokeo (msimu, siku ya wiki ya kukokotoa itatumia chombo cha kuhesabu msimamo).
4) Mkalimani wa matokeo (makini):
Matokeo yangu ya mtihani wa A/B (data halisi): [A: maonyesho/mibofyo/ugeuzaji],[B: maonyesho/mibofyo/ugeuzaji].Task: (1) Kokotoa na uonyeshe viwango vya kila toleo.(2) Toa maoni kuhusu ukubwa wa tofauti, lakini ikiwa sampuli haitoshi, sema "data haitoshi kwa matokeo yenye maana ya kutayarisha upya./3) madai ya uhakika ya umuhimu; Nitathibitisha na zana tofauti ya akaunti.
Mwongozo dhaifu / Mwongozo thabiti
Agizo dhaifu:
Tengeneza toleo la A na B kwa tangazo langu, niambie ni lipi bora zaidi.
Tofauti haijatengwa, hakuna hypothesis na kipimo; AI siwezi kujua ni ipi "nzuri" bila data, inaifanya.
Agizo lenye nguvu:
Ninaweka majaribio ya A/B. Haibadiliki: picha na CTA zitabaki zile zile. Tofauti pekee iliyojaribiwa: kichwa cha tangazo. Hypothesis: "Kichwa cha habari chenye nambari hupata mibofyo mingi kuliko kichwa cha habari cha jumla."Ujumbe mkuu: "Itawasilishwa kwa siku 3."Kazi: (1) Tengeneza kichwa cha habari 1 kwa udhibiti, vichwa 3 vyenye nambari za lahaja.(2) Niambie ni kipimo gani cha 3 ambacho ninapaswa kutathmini mshindi. kubatilisha mtihani.Usitabiri ni yupi atashinda; Data itaamua.
Madai ya pili hutenga tofauti moja, inahusisha hypothesis na kipimo; inaacha mshindi kwenye data.
Makosa ya kawaida
- Kubadilisha vitu vingi mara moja. Sababu ya mshindi inakuwa haijulikani; Tofauti moja lazima itengwe.
- Kufanya maamuzi na sampuli zisizotosha. Tofauti katika masaa ya kwanza mara nyingi ni sanjari.
- Mtihani bila hypotheses. “Hebu tuone kitakachotokea” kupima hakutoi mafunzo; Kwanza andika kile unachotarajia.
- Kukosea matokeo "Hakuna tofauti" kama kutofaulu. Ukosefu wa tofauti kubwa pia ni taarifa.
- Kuchagua mshindi kulingana na ladha. Kupima ni kwa usahihi kuondoa ladha ya kibinafsi; Fuata data.
- Kusahau mambo ya nje. Msimu, siku ya kampeni, mtiririko wa habari unaweza kupotosha matokeo; Weka hali ya majaribio kuwa sawa.
Tahadhari: Madhumuni ya majaribio ya A/B si "kushinda" bali kujifunza. Hata kupoteza lahaja ni habari muhimu; Hasara halisi ni kutegemea matokeo yasiyo sahihi na data isiyotosha na kuunganisha bajeti nayo.
Kwa muhtasari
Jaribio la A/B ni njia thabiti inayohamisha maamuzi ya utangazaji kutoka wazo hadi data. Kanuni ya dhahabu ni kutenga tofauti moja: kipengele kimoja tu kinapaswa kubadilika katika mtihani, wengine wanapaswa kubaki mara kwa mara. Nguzo ya pili ni sampuli za kutosha na umuhimu wa takwimu; Kutangaza mshindi na data ndogo ni kosa la gharama kubwa zaidi. AI inasaidia katika kuzalisha lahaja nyingi na kukokotoa na kufasiri uwezekano, lakini data huamua mshindi, si AI. Hata matokeo ya "hakuna tofauti" ni kujifunza. Dhana, kipimo na kiwango cha uamuzi kinapaswa kuandikwa kabla ya jaribio kuanza.
Jukumu la maombi
Chagua ubunifu (kichwa cha habari, picha au CTA). (1) Andika dhana moja inayoweza kujaribiwa na tofauti iliyotengwa na "Hadithi na muundo wa jaribio". (2) Tengeneza udhibiti 1 + anuwai 3 na "Jenereta la Tofauti"; Badilisha tu kipengele hicho. (3) Panga ni kipimo gani utaangalia, kwa muda gani na kwa data gani, kwa "mpango wa kipimo". (4) Andika kiwango chako cha kutangaza mshindi (ni mabadiliko ngapi / umuhimu gani) mapema. (5) Zingatia matokeo ya dhahania na "mkalimani wa matokeo" na utambue kwa nini hungefanya uamuzi katika hali ambayo data haitoshi.
orodha ya ukaguzi
- [ ] Nilitenga tofauti moja tu kwenye jaribio.
- [ ] Niliandika dhana wazi kabla ya mtihani.
- [ ] Tayari nimebainisha sampuli na muda unaohitajika kwa mshindi.
- [ ] Nilichagua mshindi kulingana na data, si ladha ya kibinafsi.
- [ ] Nilizingatia matokeo ya "hakuna tofauti" kama ujifunzaji halali.
- [ ] Niliangalia sababu za nje ambazo zinaweza kupotosha matokeo.