Awọn anfani:
- Agbara lati ni oye awọn imọran ti idanwo A / B, iṣakoso / iyatọ, oṣuwọn iyipada ati pataki iṣiro ati fi idi awọn idawọle ati awọn apẹrẹ idanwo pẹlu itetisi atọwọda.
- Agbara lati ya sọtọ oniyipada ẹyọkan lati ṣe idanwo ati gbejade iyatọ ọrọ/aworan ati ero wiwọn pẹlu atilẹyin oye atọwọda
- Agbara lati ṣe iyatọ pe itumọ idanwo itetisi atọwọda jẹ opin nipasẹ iwọn ayẹwo ati pataki ati eewu ti kika ti tọjọ/awọn abajade ti ko tọ
Gbolohun ti o lewu julo ni ipolowo ni "Mo ro pe eyi dara julọ." Data, kii ṣe ero, sọ fun ọ boya akọle kan, aworan kan, tabi bọtini kan dara julọ gaan. Ọna ti o wọpọ julọ lati wiwọn eyi ni idanwo A/B: fifihan awọn ẹya meji (tabi diẹ sii) ti ipolowo kanna si awọn olumulo gidi ati ifiwera eyi ti o ṣiṣẹ dara julọ. "A" maa n jẹ ẹya ti o wa lọwọlọwọ (iṣakoso), nigba ti "B" jẹ ẹya tuntun ti a ngbiyanju (iyatọ). Fun apẹẹrẹ, o le yi akọle pada nikan ni ipolowo kanna ati wiwọn akọle wo ni a tẹ diẹ sii. Imọran atọwọda jẹ iranlọwọ ninu ilana yii mejeeji ni ti ipilẹṣẹ nọmba nla ti awọn iyatọ ati ni itumọ abajade; Ṣugbọn ijẹrisi imọ-jinlẹ ti idanwo naa da lori awọn ofin apẹrẹ ati sũru.
Ofin goolu ti idanwo A / B: oniyipada kan
Ofin ipilẹ julọ ti idanwo A/B ni lati ya sọtọ oniyipada kan. Ti o ba yi akọle pada, aworan, ati bọtini ni akoko kanna ati ti ikede B bori, iwọ kii yoo mọ ohun ti o ṣẹgun. Nitorinaa ninu idanwo kan nikan ni ipin kan yẹ ki o yipada, iyokù yẹ ki o wa nigbagbogbo. Ti o ba fẹ lati ṣe idanwo diẹ ẹ sii ju ohun kan lọ nigbakanna ati ni eto, eyi ni a pe ni idanwo multivariate ati pe o nilo apẹẹrẹ ti o tobi pupọ; Idanwo A/B Univariate ni ọna lati bẹrẹ.
Agbekale ipilẹ keji jẹ pataki iṣiro. Jẹ ká sọ version A ni 3 ogorun jinna ati version B ni 3.3 ogorun jinna. Ṣe iyatọ yii jẹ anfani gidi tabi fluke? Ti o ba fihan idanwo nikan si eniyan 100, iyatọ yii le jẹ lairotẹlẹ. Pataki iṣiro tumọ si pe iyatọ ti a ṣe akiyesi ko ṣeeṣe lati jẹ nitori aye (ie, iyatọ jẹ otitọ). Eyi nilo iwọn ayẹwo ti o to (nọmba awọn eniyan ti o rii idanwo naa). Ti n kede “olubori” pẹlu data kekere jẹ aṣiṣe ti o wọpọ julọ ati gbowolori.
Imọran: Ṣaaju ki o to bẹrẹ idanwo naa, dahun ibeere naa “nigbawo ni MO yoo kede olubori”: eniyan melo / iyipada lẹhin, ni ipele pataki wo. Ṣiṣe ipinnu yii ni ilosiwaju ṣe idiwọ fun ọ lati mu ariwo ni awọn wakati akọkọ ati ṣiṣe ipinnu ti tọjọ.
Tabili ti o tẹle ṣe afiwe apẹrẹ idanwo A/B ti o dara ati buburu:
ohun kan
buburu oniru
ti o dara oniru
Nọmba awọn oniyipada
Akọle + aworan + bọtini papọ
akọle nikan
arosọ
(ko si) "jẹ ki a wo ohun ti o ṣẹlẹ"
"Awọn akọle pẹlu awọn ibeere mu awọn titẹ sii"
apẹẹrẹ
80 eniyan
Iṣiro iye-iye tẹlẹ
akoko ipinnu
2 wakati nigbamii
Nigbati o ba de pataki
Aṣayan Winner
"Mo ro pe B dara"
Da lori data ati lami
Igbesẹ nipasẹ igbese: ṣeto idanwo A/B kan
Igbesẹ 1 - Kọ idawọle kan. Kini o ṣe idanwo ati kilode? Apejuwe ti o han bi "Akọle kan pẹlu awọn anfani gba awọn jinna diẹ sii ju akọle kan pẹlu awọn ẹya.”
Igbese 2 - Yan nikan oniyipada. O kan akọle, tabi aworan nikan, tabi CTA nikan.
Igbesẹ 3 - Ṣẹda awọn iyatọ. Ṣẹda awọn ẹya oriṣiriṣi ti ohun kanna pẹlu AI; pa iyokù ibakan.
Igbesẹ 4 - Ṣeto eto wiwọn kan. Metiriki wo ni yoo pinnu olubori (titẹ-nipasẹ oṣuwọn, iyipada), bawo ni a ṣe nilo ayẹwo, bi o ṣe gun lati ṣiṣe.
Igbesẹ 5 - Tumọ ati ṣayẹwo abajade naa. Njẹ data ti o to ni a ti gba, ṣe iyatọ ti o ṣe pataki? Ti ko ba ṣe pataki, "ko si iyatọ" tun jẹ abajade to wulo.
mẹta mini igba
Irú 1 - wípé ti a nikan oniyipada. Aami iyasọtọ e-commerce kan ni idanwo CTA kan ninu ipolowo ọja rẹ: “Ra” ati “Fikun-un si rira.” Ohun gbogbo ti elomiran je kanna. Lẹhin iṣapẹẹrẹ to, “Fikun-un si rira” mu awọn iyipada ti o ga pupọ wa. Iyatọ naa le tumọ ni kedere nitori pe oniyipada kan ti ya sọtọ. AI ṣe agbejade awọn CTA meji, data ti mu olubori.
Case 2 - Tete pakute ipinnu. Aami kan da idanwo naa duro nitori ẹya B wa niwaju ni awọn wakati 3 akọkọ ti idanwo A/B ati ṣiṣi B si gbogbo isuna. Nwa ni lapapọ data ọjọ kejì, A wà kosi die-die dara; Iyatọ ni awọn wakati akọkọ jẹ lairotẹlẹ. Awọn isuna ti a wasted. Aṣiṣe: ṣiṣe ipinnu ti tọjọ pẹlu iwọn ayẹwo ti ko to.
Ọran 3 - "Ko si iyatọ" tun jẹ ipari. A brand ni idanwo meji ti o yatọ images, ati lẹhin to iṣapẹẹrẹ, nwọn mejeji produced fere kanna esi. Lakoko ti ẹgbẹ naa fẹrẹ ṣọfọ pe “idanwo naa kuna”, kika ti o pe ni pe aworan kii ṣe ipin ipinnu ninu ipolongo yii, nitorinaa akitiyan yẹ ki o ṣe itọsọna si akọle ati ipese. Otitọ pe ko si iyatọ pataki ti a rii tun jẹ alaye ti o niyelori.
Mẹrin daakọ awọn awoṣe
1) Itumọ ati apẹrẹ idanwo:
Ohun ti Mo fẹ lati ṣe idanwo: [eg. ipolowo akọle].Iṣẹ: (1) Kọ kan nikan testable ilewq (ni awọn fọọmu "... posi ... posi").(2) Ṣe akojọ awọn nikan oniyipada lati ya sọtọ ati awọn eyi ti lati tọju ibakan.(3) Daba awọn metric ti yoo mọ awọn Winner (tẹ-nipasẹ oṣuwọn / iyipada).
2) Olupilẹṣẹ iyatọ (iyatọ ẹyọkan):
Ipolowo alalepo: aworan [kanna], CTA [kanna], ibi-afẹde [kanna]. Ayipada ni idanwo: HEADLINE. Ifiranṣẹ akọkọ: "[ifiranṣẹ]". Iṣẹ-ṣiṣe: Ṣe ina awọn iyatọ akọle oriṣiriṣi mẹrin pẹlu ifiranṣẹ kanna. Olukọọkan lo ọna ti o yatọ (ibeere, anfani, nọmba, iyara). Nikan akọle yipada; Ṣiṣe afikun ẹtọ ti ko ni idaniloju.
3) Eto wiwọn:
Idanwo: [Itumọ A ati B]. Metiriki: [tẹ/iyipada].Iṣẹ: Akọpamọ eto wiwọn kan: (1) eyiti metiriki jẹ akọkọ, eyiti o jẹ atẹle, (2) iye data / akoko ti o nilo lati kede olubori (ṣe alaye ọgbọn), (3) bii o ṣe le pin awọn ijabọ ni deede ati ni deede laarin A ati B, (4) kini awọn ifosiwewe ita le yi abajade naa pada (akoko, ọjọ ọsẹ yoo lo ohun elo pataki kan).
4) Onitumọ abajade (ṣọra):
Awọn abajade idanwo A / B mi (data gidi): [A: awọn iwunilori / tẹ / iyipada], [B: awọn iwunilori / tẹ / iyipada]. Iṣẹ-ṣiṣe: (1) Ṣe iṣiro ati ṣafihan awọn oṣuwọn ti ẹya kọọkan. pataki; Emi yoo jẹrisi pẹlu ọpa akọọlẹ lọtọ.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Ṣe agbejade ẹya A ati B fun ipolowo mi, sọ fun mi eyiti o dara julọ.
Oniyipada naa ko ya sọtọ, ko si arosọ ati wiwọn; AI ko le mọ eyi ti o jẹ "dara" laisi data, o ṣe soke.
Ibere ti o lagbara:
Mo n ṣeto idanwo A/B. Ti o wa titi: aworan ati CTA yoo wa nibe kanna. Oniyipada iyipada nikan: ad headline.Hypothesis: "Akọle pẹlu awọn nọmba n gba diẹ sii awọn titẹ sii ju akọle gbogbogbo lọ." Ifiranṣẹ akọkọ: "Ti a firanṣẹ ni awọn ọjọ 3." Iṣẹ-ṣiṣe: (1) Ṣe agbejade akọle gbogbogbo 1 fun iṣakoso, awọn akọle 3 pẹlu awọn nọmba fun iyatọ. (2) Sọ fun mi eyi ti 3 metric ti o yẹ ki o wo awọn olubori ti o yẹ ki o wo aṣiṣe (3) min. le invalidate awọn igbeyewo.Ma ko asọtẹlẹ eyi ti ọkan yoo win; Awọn data yoo pinnu rẹ.
Ibeere keji ya sọtọ oniyipada kan, pẹlu arosọ ati wiwọn; fi awọn Winner si awọn data.
Awọn aṣiṣe ti o wọpọ
- Yipada ọpọlọpọ awọn nkan ni ẹẹkan. Awọn idi fun awọn Winner di koyewa; Oniyipada kan gbọdọ wa ni sọtọ.
- Ṣiṣe awọn ipinnu pẹlu awọn ayẹwo ti ko to. Iyatọ ni awọn wakati akọkọ jẹ igbagbogbo lasan.
- Idanwo laisi awọn idawọle. “Jẹ ki a wo ohun ti o ṣẹlẹ” idanwo ko gbe ẹkọ jade; Kọkọ kọ ohun ti o reti silẹ.
- Aṣiṣe abajade “Ko si iyatọ” bi ikuna. Aini iyatọ nla tun jẹ alaye.
- Yiyan awọn Winner da lori lenu. Idanwo jẹ deede lati ṣe akoso itọwo ara ẹni; Tẹle awọn data.
- Ngbagbe ita ifosiwewe. Akoko, ọjọ ipolongo, ṣiṣan iroyin le yi abajade pada; Jeki awọn ipo idanwo deede.
Akiyesi: Idi ti idanwo A/B kii ṣe lati “bori” ṣugbọn lati kọ ẹkọ. Paapaa pipadanu iyatọ jẹ alaye ti o niyelori; Ipadanu gidi n gbẹkẹle abajade ti ko tọ pẹlu data ti ko to ati tying isuna si rẹ.
Ni soki
Idanwo A/B jẹ ọna ti o lagbara ti o gbe awọn ipinnu ipolowo lati ero si data. Ofin goolu ni lati ya sọtọ oniyipada kan: ipin kan ṣoṣo yẹ ki o yipada ninu idanwo kan, iyokù yẹ ki o wa ni igbagbogbo. Ọwọn keji jẹ iṣapẹẹrẹ deedee ati pataki iṣiro; N kede olubori pẹlu data kekere jẹ aṣiṣe gbowolori julọ. AI ṣe iranlọwọ ni ṣiṣẹda ọpọlọpọ awọn iyatọ ati iṣiro ati awọn aidọgba itumọ, ṣugbọn data pinnu olubori, kii ṣe AI. Paapaa abajade "ko si iyatọ" jẹ ẹkọ. Idawọle, metric ati ala ipinnu yẹ ki o kọ ṣaaju ki idanwo naa bẹrẹ.
Ohun elo iṣẹ-ṣiṣe
Yan iṣẹda kan (akọle, aworan tabi CTA). (1) Kọ idawọle idanwo kan ṣoṣo ati oniyipada ti o ya sọtọ pẹlu “Iwadi ati apẹrẹ idanwo”. (2) Ṣe ina iṣakoso 1 + 3 awọn iyatọ pẹlu “Ayipada monomono”; Kan yi eroja yẹn pada. (3) Gbero iru metiriki ti iwọ yoo wo, fun igba melo ati pẹlu data wo, pẹlu “eto wiwọn”. (4) Kọ si isalẹ rẹ ala fun a kede awọn Winner (iye awọn iyipada / ohun ti pataki) ilosiwaju. (5) Wo awọn abajade arosọ pẹlu “olutumọ abajade” ati ṣe akiyesi idi ti iwọ kii yoo ṣe ipinnu ni oju iṣẹlẹ nibiti data ko to.
akojọ ayẹwo
- [] Mo ti ya sọtọ nikan kan oniyipada ninu igbeyewo.
- [] Mo ti kowe kan ko o ilewq ṣaaju idanwo.
- [] Mo ti pinnu tẹlẹ ayẹwo ati akoko ti o nilo fun olubori.
- [] Mo ti yan olubori da lori data, kii ṣe itọwo ti ara ẹni.
- [] Mo ka abajade “ko si iyatọ” bi ẹkọ ti o wulo.
- [] Mo ṣayẹwo fun awọn nkan ita ti o le yi abajade pada.