A/B prófafbrigði og tilraunahönnun

Hagnaður:

• Geta til að búa til kerfisbundin textafbrigði sem einangra stakar breytur fyrir A/B próf
• Hæfni til að breyta tilgátu í mælanlega tilraunauppsetningu
• Hæfni til að túlka niðurstöður úr prófum með tilliti til tölfræðilegrar marktektar og náms

Innsæi er dýrmætt í markaðssetningu en sönnunargögn eru dýrmætari. Hvaða fyrirsögn fær fleiri smelli, hvaða CTA selur meira, hvaða mynd vekur meiri athygli? Í stað þess að giska geturðu mælt þetta með A/B prófun. A/B prófun er tilraunaaðferð sem sýnir tvær útgáfur af sama efni (A og B) fyrir raunverulegum áhorfendum og mælir hvor þeirra stendur sig betur. Gervigreind framleiðir fljótt inntakið fyrir þessar prófanir, nefnilega afbrigði; En til að prófið virki þarf vísindalega reglu: eina breyta í einu. Í þessari einingu munt þú læra hvernig á að búa til afbrigði, þýða tilgátu í mælanlega tilraun og túlka niðurstöður með tilliti til tölfræðilegrar marktektar.

Gullna reglan: einangra eina breytu

Til að túlka niðurstöðu prófs þarf aðeins eitt að vera frábrugðið A og B. Ef þú breytir titli, mynd og CTA á sama tíma muntu aldrei vita hver gerði gæfumuninn þegar B vinnur. Að einangra breytuna sem á að prófa er það eina sem gerir nám mögulegt.

Dæmigerðar breytur sem hægt er að prófa:

• Titill: Sama mynd og meginmál, annar titill.
• CTA texti: "Kaupa" eða "Bæta í körfu"?
• Efnislína: Hefur áhrif á opnunartíðni tölvupósts.
• Mynd: Sami texti, önnur mynd.
• Lengd/tónn: Stutt vs. langur, formlegur o.s.frv. einlægur.

Frá tilgátu til tilrauna: skref fyrir skref

1. Gerðu athugun. "Áfangasíðan okkar hefur lítil viðskipti."
2. Tilgáta. "Fyrirsögnin sem miðar að ávinningi breytir meira en fyrirsögnin sem miðar að eiginleikum."
3. Einangraðu breytuna. Aðeins titillinn mun breytast.
4. Búðu til afbrigði. 2 skýr afbrigði með líkaninu (A: eiginleiki, B: ávinningur).
5. Skilgreindu mælikvarða þinn á árangur. Til dæmis viðskiptahlutfall - hlutfall gesta sem grípa til viðeigandi aðgerða.
6. Ákvarða sýni og lengd. Nóg fólk og nægur tími.
7. Mæla, bera saman, læra. Lærðu „af hverju“, ekki sigurvegarann.

„tilgáta“ er spá sem verður prófuð hér og gæti reynst sönn eða röng; Góð tilgáta segir þér við hverju þú býst og hvers vegna.

Veik kvaðning / Sterk kvaðning

Veik kvaðning:

Skrifaðu nokkra valkosti fyrir þennan titil.

Öflug tilvitnun:

Búðu til afbrigði fyrir A/B próf. Regla: AÐEINS titillinn mun breytast, meginmálið og CTA verða óbreytt. TILGANGUR: Ávinningsmiðaður titill fær fleiri smelli en eiginleiksmiðaður titill.SAMHANGI: Áfangasíða. Vara: verkefnastjórnunarumsókn. Áhorfendur: lítil teymi. ÓSKAÐI:- Afbrigði A: eiginleikamiðaður titill (lýsir því hvað varan gerir)- Afbrigði B: ávinningsmiðaður titill (lýsir því hvað það veitir notandanum) Skrifaðu undir hvert afbrigði hvaða sálfræðilega hvatningu það snertir.Aðeins 2 afbrigði; Bæði ættu að vera ein lína, af svipaðri lengd.

Mikilvægt er að vilja að afbrigðin séu af svipaðri lengd; annars verður "lengd" óviljandi önnur breyta.

Fyrir/eftir prófunartöflu

Sviði

Hvað á að gera

tíð villa

tilgátu

Hvað, af hverju er ég að bíða?

„Við skulum reyna“ án tilgáta

Breytilegt

Einangraðu eitt

Að breyta mörgum hlutum í einu

viðmiðun

Veldu eina skýra mælikvarða

Óákveðið "betra"

sýnishorn

Nóg fólk/tími

ákveða snemma

Athugasemd

Lærðu hvers vegna

Taktu bara sigurvegarann

þrjú smámál

Tilvik 1 - CTA próf gefur skýrar niðurstöður. Netverslunarsíða prófaði vöruhnappinn: A „Kaupa“, B „Bæta í körfu“. Aðeins texti hnappsins hefur breyst. Í prófun á 3.000 gestum jók B smellihlutfall sitt úr 4,0% í 4,9%. Með eina breytuna einangraða var sigurvegarinn skýr: „bæta í körfu“ fannst minna bindandi.

Tilvik 2 - Fjölbreyta villa. Teymi hannaði tvær áfangasíður, en titill, mynd og litur voru allir mismunandi. B vann, en liðið vissi ekki hvaða þáttur gerði gæfumuninn; nám varð núll. Í næsta prófi fylgdu þeir reglunni: einni breyta í einu. Í því prófi sáu þeir greinilega að titillinn var aðalatriðið.

Mál 3 - Snemma ákvörðunargildra. Fréttateymi prófaði tvær efnislínur á 200 manna hópi og sagði: „Það fékk A“ á fyrstu klukkustundinni. Úrtakið var mjög lítið; munurinn var tölfræðilega ómarktækur (þ.e. gæti hafa verið vegna tilviljunar). Þegar prófið var aukið í nægjanlegt sýnatöku og tíma, snerist niðurstaðan við. Lærdómur: ekki taka ákvarðanir án nægjanlegra gagna.

Varúð: Munurinn sem sést í litlu úrtaki (fámenni) getur verið villandi. Tölfræðileg marktækni vísar til líkinda þess að munur sé raunverulegur en ekki vegna tilviljunar. Gakktu úr skugga um að nógu margir náist og að prófunin standi nógu lengi áður en þú ferð að ályktunum.

Afritanleg sniðmát

Snið 1 - Einangrað afbrigði rafall:

Búðu til afbrigði fyrir A/B próf. EINA breytan til að prófa: [fyrirsögn/CTA/mynd]. Allt annað verður stöðugt. Tilgáta: [...]. Samhengi: [...].Afbrigði A: [núverandi nálgun]. Afbrigði B: [val nálgun]. Látum afbrigðin tvö vera af svipaðri lengd; ekki breyta neinu öðru.

Snið 2 — Tilgátuskýrari:

Búðu til prófanlega tilgátu út frá eftirfarandi athugun: "[athugun]". Skrifaðu tilgátuna á forminu "ef við gerum [breytum], hækkar [mæling] vegna þess að [af hverju]". Segðu mér síðan hvaða staka breytu ég ætti að einangra.

Snið 3 — Prófunarsett fyrir efnislínu:

Búðu til 2 efnislínur fyrir A/B próf fyrir eftirfarandi tölvupóst. Mismunur á einum ás: [forvitni vs skýrleiki / hnitmiðun osfrv. löng/spurning osfrv tjáning]. Hvort tveggja ætti ekki að innihalda orðið ruslpóstur og ætti að vera svipað langt. Samantekt tölvupósts: [...]

Snið 4 — Túlka niðurstöður:

Túlka niðurstöðu A/B prófs. Breyta: [...]. Afbrigði A mæligildi: [...]. Afbrigði B mæligildi: [...].Sýnisstærð: [...]. Lengd: [...].Segðu mér: Virðist munurinn marktækur eða er úrtakið lítið? Hvað lærðum við? Hverju mælið þið með fyrir næsta próf? Ekki halda fram nákvæmri tölfræði; Ef óljóst, tilgreinið.

Ábending: Það er ekki nóg að fá „sigurvegarann“ úr prófinu; Raunverulegi ávinningurinn er innsýn í „af hverju það vann. Þessi innsýn nær inn í tilgátuna fyrir næsta próf og byggir upp lærdómshólf með tímanum.

Forgangur: hvað á að prófa fyrst?

Það eru endalausir hlutir sem þú getur prófað, en tími þinn og umferð er takmörkuð. Forgangsraðaðu því prófum út frá áhrifamöguleikum. Almenn regla: þeir þættir sem notandinn sér fyrst og hefur mest áhrif á ákvörðunina eru prófaðir fyrst. Á áfangasíðu hefur fyrirsögnin mest áhrif á smelli; vegna þess að notandinn les það fyrst og ákveður þar eða ekki að halda áfram. Smáatriði eins og hnappalitur hafa oft minni áhrif; láttu þá vera að lokum.

Hagnýt leið til að forgangsraða er að skora hverja prófunarhugmynd á þremur ásum: væntanleg áhrif (hversu mikill munur mun það skipta ef hún vinnur?), sjálfstraust (hversu viss erum við að hún vinni?) og vellíðan (hversu hratt er það að setja það upp?). Próf með mikil áhrif, mikið sjálfstraust og lítið átak eru sett í fyrsta sæti. Þetta gerir þér kleift að úthluta takmarkaðri umferð til þeirra tilrauna sem færa mesta lærdóminn. AI getur gefið þér fljótlega teikningu til að skora og forgangsraða lista yfir hugmyndir eftir þessum þremur ásum; Þú ræður.

Snið 5 — Forgangsröðun prófs:

Forgangsraðaðu eftirfarandi A/B prófunarhugmyndum. Skoraðu hvern og einn á höggásunum (1-5), áreiðanleika (1-5) og auðvelda uppsetningu (1-5), raðaðu þeim í samræmi við heildareinkunn og útskýrðu í einni setningu hvers vegna þeir eru í þessari röð. PRÓFHUGMYNDIR: [listi]

Algeng mistök

• Svo breytilegt á sama tíma. Niðurstaðan verður ótúlkanleg.
• Tilgátulaus prófun. „Við skulum reyna það og sjá“ leiðir ekki af sér lærdóm.
• Snemma ákvörðun. Í litlu úrtaki er munurinn talinn vera raunverulegur fyrir tilviljun.
• Afbrigði af mismunandi lengd. Önnur breyta er óviljandi búin til.
• Tek bara sigurvegarann. Ef ástæðan er ekki fengin munu upplýsingar ekki safnast upp.

Í stuttu máli

• Gullna reglan um A/B próf: ein breyta í einu.
• Sérhver próf ætti að byrja með tilgátu: við hverju býst ég og hvers vegna?
• Skilgreindu einn skýran mælikvarða á árangur og fullnægjandi úrtak.
• Munurinn á litla úrtakinu er villandi; Taktu eftir tölfræðilegri marktækni.
• Finndu út hvers vegna, ekki sigurvegarinn; Þessi innsýn nær inn í næsta próf.

Umsóknarverkefni

Veldu athugun um eitt af innihaldinu þínu. Með sniðmáti 2, þýddu þetta í skýra tilgátu og auðkenndu breytuna sem á að einangra. Búðu til tvö afbrigði með sniðmáti 1 (svipuð lengd, aðeins munur). Að lokum skaltu passa við tilgátu niðurstöðutölurnar, túlka þær með því að nota sniðmát 4 og athugaðu hvað líkanið segir um nægjanlegt úrtak. Lengd: um 25 mínútur.

gátlisti

• [ ] Ég byrjaði prófið með skýrri tilgátu.
• [ ] Ég einangraði aðeins eina breytu.
• [ ] Afbrigði héldust svipað í öðrum ásum (lengd osfrv.).
• [ ] Ég hef skilgreint einn skýran árangursmælikvarða.
• [ ] Ég ákvað ekki án nægs sýnis/tíma.
• [ ] Ég benti á ástæðuna fyrir sigurvegaranum fyrir næsta próf.