Qligħ:
- Kapaċità li tiġġenera varjanti sistematiċi tat-test li jiżolaw varjabbli singoli għall-ittestjar A/B
- Kapaċità li tittrasforma ipoteżi f'setup sperimentali li jista' jitkejjel
- Kapaċità li tinterpreta r-riżultati tat-test f'termini ta' sinifikat statistiku u tagħlim
L-intuwizzjoni hija ta 'valur fil-marketing, iżda l-evidenza hija aktar siewja. Liema intestatura tikseb aktar klikks, liema CTA tbigħ aktar, liema immaġni tiġbed aktar attenzjoni? Minflok guessing, tista 'tkejjel dan bl-ittestjar A/B. L-ittestjar A/B huwa metodu sperimentali li juri żewġ verżjonijiet tal-istess kontenut (A u B) lil udjenza reali u jkejjel liema waħda twettaq aħjar. L-intelliġenza artifiċjali tipproduċi malajr l-input għal dawn it-testijiet, jiġifieri varjanti; Iżda biex it-test jaħdem jeħtieġ regola xjentifika: varjabbli wieħed kull darba. F'din l-unità inti titgħallem kif tiġġenera varjanti, tittraduċi ipoteżi f'esperiment li jista' jitkejjel, u tinterpreta r-riżultati f'termini ta' sinifikat statistiku.
Regola tad-deheb: iżola varjabbli waħda
Biex tinterpreta r-riżultat ta 'test, ħaġa waħda biss trid tkun differenti bejn A u B. Jekk tibdel it-titlu, l-immaġni, u CTA fl-istess ħin, qatt ma tkun taf liema waħda għamlet id-differenza meta B jirbaħ. L-iżolament tal-varjabbli li jrid jiġi ttestjat huwa l-unika ħaġa li tagħmel it-tagħlim possibbli.
Varjabbli tipiċi li jistgħu jiġu ttestjati:
- Titolu: L-istess immaġni u korp, titolu differenti.
- Test CTA: "Ixtri" jew "Żid mal-karrettun"?
- Linja tas-suġġett: Taffettwa r-rata miftuħa ta' email.
- Immaġni: L-istess test, immaġni differenti.
- Tul/ton: Qasira vs twila, formali eċċ sinċiera.
Minn ipoteżi għall-esperiment: pass pass
- Agħmel osservazzjoni. "Il-paġna tad-destinazzjoni tagħna għandha konverżjoni baxxa."
- Ipoteżi. "It-titlu ffukat fuq il-benefiċċji jikkonverti aktar mit-titlu ffukat fuq il-karatteristiċi."
- Iżola l-varjabbli. It-titlu biss se jinbidel.
- Iġġenera varjanti. 2 varjanti ċari mal-mudell (A: karatteristika, B: benefiċċju).
- Iddefinixxi l-kejl tas-suċċess tiegħek. Per eżempju, rata ta 'konverżjoni - il-perċentwal ta' viżitaturi li jieħdu l-azzjoni mixtieqa.
- Iddetermina l-kampjun u t-tul. Biżżejjed nies u biżżejjed ħin.
- Kejjel, qabbel, titgħallem. Tgħallem il-"għaliex", mhux ir-rebbieħ.
"Ipoteżi" hija tbassir li se tiġi ttestjata hawnhekk u tista 'tirriżulta li tkun vera jew falza; Ipoteżi tajba tgħidlek x'tistenna u għaliex.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Ikteb xi alternattivi għal dan it-titlu.
Pront qawwi:
Iġġenera varjanti għal test A/B. Regola: it-titlu BISS se jinbidel, il-korp u s-CTA se jibqgħu l-istess.IPOTESI: It-titlu orjentat lejn il-benefiċċji jikseb aktar klikks minn titolu orjentat lejn il-karatteristiċi.KUNTEST: Paġna ta 'destinazzjoni. Prodott: applikazzjoni ta 'ġestjoni tal-proġett. Udjenza: timijiet żgħar.MITLUBA:- Varjant A: titolu orjentat lejn il-karatteristiċi (tiddeskrivi x'jagħmel il-prodott)- Varjant B: titolu orjentat lejn il-benefiċċju (tiddeskrivi dak li tipprovdi lill-utent) Taħt kull varjant, ikteb liema motivazzjoni psikoloġika tmiss.2 varjanti biss; It-tnejn għandhom ikunu linja waħda, ta 'tul simili.
Huwa importanti li trid li l-varjanti jkunu ta 'tul simili; inkella "tul" mhux intenzjonalment isir it-tieni varjabbli.
Qabel/wara ċ-ċart tat-test
Stadju
X'għandek tagħmel
żball frekwenti
ipoteżi
Xi, għaliex qed nistenna?
"Ejja nippruvaw" mingħajr ipoteżi
Varjabbli
Iżola ħaġa waħda
Nibdlu ħafna affarijiet f'daqqa
kriterju
Agħżel metrika ċara waħda
Indefinit "aħjar"
kampjun
Biżżejjed nies/ħin
jiddeċiedi kmieni
Ikkummenta
Tgħallem għaliex
Ħu r-rebbieħ biss
tliet każijiet żgħar
Każ 1 — It-test CTA jagħti riżultati ċari. Sit tal-kummerċ elettroniku ttestja l-buttuna tal-prodott: A "Ixtri", B "Żid mal-karrettun". It-test tal-buttuna biss inbidel. F'test ta' 3,000 viżitatur, B żied ir-rata ta' click-through minn 4.0% għal 4.9%. Bil-varjabbli wieħed iżolat, ir-rebbieħ kien ċar: "żid mal-karrettun" ħassu inqas vinkolanti.
Każ 2 — Żball multivarjat. Tim iddisinja żewġ paġni ta’ inżul, iżda t-titlu, l-immaġni, u l-kulur kienu kollha differenti. B reb[u, imma t-tim ma kienx jaf liema element g[amel id-differenza; it-tagħlim sar żero. Fit-test li jmiss, segwew ir-regola: varjabbli wieħed kull darba. F'dak it-test, raw b'mod ċar li t-titlu kien il-fattur ewlieni.
Każ 3 — Nassa ta' deċiżjoni bikrija. Tim ta 'newsletter ttestja żewġ linji tas-suġġett fuq grupp ta' 200 persuna u qal, "Kieba A" fl-ewwel siegħa. Il-kampjun kien żgħir ħafna; id-differenza kienet statistikament insinifikanti (jiġifieri, setgħet kienet minħabba ċans). Meta t-test żdied għal biżżejjed kampjunar u ħin, ir-riżultat inqaleb. Lezzjoni: tieħux deċiżjonijiet mingħajr biżżejjed dejta.
Attenzjoni: Id-differenza li tidher f'kampjun żgħir (numru żgħir ta 'nies) tista' tkun qarrieqa. Is-sinifikat statistiku jirreferi għall-probabbiltà li differenza tkun reali u mhux minħabba ċans. Kun żgur li intlaħqu biżżejjed nies u li l-ittestjar idum biżżejjed qabel ma taqbeż għall-konklużjonijiet.
Mudelli kopjabbli
Mudell 1 — Ġeneratur varjant iżolat:
Iġġenera varjanti għall-ittestjar A/B. L-UNIKA varjabbli li trid tittestja: [titlu/CTA/immaġni]. Kollox ieħor se jibqa' kostanti. Ipoteżi: [...]. Kuntest: [...].Varjant A: [approċċ kurrenti]. Varjant B: [approċċ alternattiv]. Ħalli ż-żewġ varjanti jkunu ta 'tul simili; tibdel xejn ohra.
Mudell 2 — Ipoteżi kjarifika:
Ibni ipoteżi ttestjata mill-osservazzjoni li ġejja: "[osservazzjoni]". Ikteb l-ipoteżi fil-format "jekk nagħmlu [bidla], [metrika] żidiet għaliex [għaliex]". Imbagħad għidli liema varjabbli waħda għandi niżola.
Mudell 3 — Sett tat-test tal-linja tas-suġġett:
Oħloq 2 linji tas-suġġett għat-test A/B għall-email li ġejja. Differenza fuq assi wieħed: [kurżità vs ċarezza / konċiżjoni eċċ twil/mistoqsija eċċ. espressjoni]. It-tnejn m'għandhomx jinkludu l-kelma spam u għandhom ikunu ta' tul simili. Sommarju tal-email: [...]
Mudell 4 — Interpretazzjoni tar-riżultati:
Interpreta r-riżultat ta' test A/B.Varjabbli: [...]. Varjant A metrika: [...]. Varjant B metrika: [...].Daqs tal-kampjun: [...]. Tul ta' żmien: [...].Għidli: Id-differenza tidher sinifikanti, jew il-kampjun huwa żgħir? X’tgħallimna? X'tirrakkomanda għat-test li jmiss? Tippretendix statistika eżatta; Jekk mhux ċar, speċifika.
Tip: Mhuwiex biżżejjed li tikseb ir-"rebbieħ" mit-test; Il-gwadann reali huwa l-għarfien dwar "għaliex rebaħ." Din l-għarfien jdaħħal l-ipoteżi għat-test li jmiss u jibni korp ta 'tagħlim maż-żmien.
Prijorità: x'għandek tittestja l-ewwel?
Hemm oġġetti bla tarf li tista 'tittestja, iżda l-ħin u t-traffiku tiegħek huma limitati. Allura prijoritizza t-testijiet ibbażati fuq il-potenzjal tal-impatt. Regola ġenerali: l-elementi li l-utent jara l-ewwel u li għandu l-aktar impatt fuq id-deċiżjoni jiġu ttestjati l-ewwel. Fuq paġna ta’ destinazzjoni, it-titlu għandu l-akbar impatt fuq il-klikks; għax l-utent jaqrah l-ewwel u jiddeċiedi hemm jew le li jkompli. Dettalji bħall-kulur tal-buttuna spiss jagħmlu impatt iżgħar; ħallihom għall-aħħar.
Mod prattiku ta’ prijoritizzazzjoni huwa li kull idea ta’ ttestjar jiġi punteġġ fuq tliet assi: impatt mistenni (kemm se tagħmel differenza jekk tirbaħ?), kunfidenza (kemm aħna kunfidenti li se tirbaħ?), u faċilità (kemm titwaqqaf malajr?). It-testijiet b'impatt għoli, kunfidenza għolja u sforz baxx jitqiegħdu l-ewwel. Dan jippermettilek talloka traffiku limitat għall-esperimenti li jġibu l-aktar tagħlim. L-AI tista' tagħtik pjan ta' malajr għall-punteġġ u l-prijoritizzazzjoni ta' lista ta' ideat tul dawn it-tliet assi; Inti tiddeċiedi.
Mudell 5 — Prijoritizzazzjoni tat-test:
Agħti prijorità lill-ideat tal-ittestjar A/B li ġejjin. Punteġġ kull wieħed fuq l-assi tal-impatt (1-5), affidabbiltà (1-5) u faċilità ta 'installazzjoni (1-5), ikklassifikathom skont il-punteġġ totali u spjega f'sentenza waħda għaliex huma f'dik l-ordni. IDEAT TAT-TEST: [lista]
Żbalji komuni
- Allura varjabbli fl-istess ħin. Ir-riżultat isir mhux interpretabbli.
- Ittestjar mingħajr ipoteżi. “Ejja nippruvawha u naraw” ma tipproduċix tagħlim.
- Deċiżjoni bikrija. F'kampjun żgħir, id-differenza hija maħsuba li hija reali b'kumbinazzjoni.
- Varjanti ta' tulijiet differenti. It-tieni varjabbli hija maħluqa mhux intenzjonalment.
- Biss tieħu r-rebbieħ. Jekk ir-raġuni ma titgħallimx, l-informazzjoni ma takkumulax.
Fil-qosor
- Ir-regola tad-deheb tal-ittestjar A/B: varjabbli wieħed kull darba.
- Kull test għandu jibda b'ipoteżi: x'qed nistenna u għaliex?
- Iddefinixxi miżura waħda ċara tas-suċċess u kampjun adegwat.
- Id-differenza fil-kampjun żgħir hija qarrieqa; Innota s-sinifikat statistiku.
- Skopri għaliex, mhux ir-rebbieħ; Din il-ħarsa tgħaddi fit-test li jmiss.
Kompitu ta' applikazzjoni
Agħżel osservazzjoni dwar wieħed mill-kontenut tiegħek. Bil-Mudell 2, ittraduċi dan f'ipoteżi ċara u identifika l-varjabbli li trid tiżola. Ipproduċi żewġ varjanti bil-mudell 1 (tul simili, differenza biss). Fl-aħħarnett, waħħal in-numri tar-riżultat ipotetiku, interpretahom billi tuża Template 4, u nnota dak li jgħid il-mudell dwar l-adegwatezza tal-kampjun. Tul: madwar 25 minuta.
lista ta' kontroll
- [ ] Bdejt it-test b'ipoteżi ċara.
- [ ] Iżolajt varjabbli waħda biss.
- [ ] Il-varjanti baqgħu simili f'assi oħra (tul, eċċ.).
- [ ] Iddefinijt metrika waħda ċara ta' suċċess.
- [ ] Ma ddeċidejtx mingħajr biżżejjed kampjun/ħin.
- [ ] Innota r-raġuni tar-rebbieħ għat-test li jmiss.