Dobički:
- Sposobnost ustvarjanja sistematičnih različic besedila, ki izolirajo posamezne spremenljivke za A/B testiranje
- Sposobnost preoblikovanja hipoteze v merljivo eksperimentalno postavitev
- Sposobnost interpretacije rezultatov testov v smislu statistične pomembnosti in učenja
Intuicija je dragocena pri trženju, vendar so dokazi dragocenejši. Kateri naslov prejme več klikov, kateri CTA proda več, katera slika pritegne več pozornosti? Namesto ugibanja lahko to izmerite z A/B testiranjem. A/B testiranje je eksperimentalna metoda, ki resničnemu občinstvu prikaže dve različici iste vsebine (A in B) in meri, katera je boljša. Umetna inteligenca hitro ustvari vhodne podatke za te teste, in sicer različice; Da pa test deluje, je potrebno znanstveno pravilo: ena spremenljivka naenkrat. V tej enoti se boste naučili, kako ustvariti različice, prevesti hipotezo v merljiv eksperiment in interpretirati rezultate v smislu statistične pomembnosti.
Zlato pravilo: izoliraj eno spremenljivko
Za interpretacijo rezultata testa se mora med A in B razlikovati le ena stvar. Če hkrati spremenite naslov, sliko in CTA, ne boste nikoli vedeli, katera je naredila razliko, ko B zmaga. Izolacija spremenljivke, ki jo je treba testirati, je edina stvar, ki omogoča učenje.
Tipične spremenljivke, ki jih je mogoče testirati:
- Naslov: ista slika in telo, drugačen naslov.
- Besedilo CTA: "Kupi" ali "Dodaj v voziček"?
- Vrstica z zadevo: vpliva na stopnjo odprtosti e-pošte.
- Slika: isto besedilo, druga slika.
- Dolžina/ton: Kratek vs. dolg, formalen itd. iskren.
Od hipoteze do eksperimenta: korak za korakom
- Opazujte. "Naša ciljna stran ima nizko konverzijo."
- Hipoteza. »Naslov, osredotočen na prednosti, pretvori več kot naslov, osredotočen na funkcije.«
- Izolirajte spremenljivko. Spremenil se bo samo naslov.
- Ustvarite variante. 2 jasni različici z modelom (A: funkcija, B: korist).
- Določite svoje merilo uspeha. Na primer, stopnja konverzije — odstotek obiskovalcev, ki izvedejo želeno dejanje.
- Določite vzorec in trajanje. Dovolj ljudi in dovolj časa.
- Merite, primerjajte, učite se. Naučite se "zakaj", ne zmagovalca.
»Hipoteza« je napoved, ki bo tukaj preizkušena in se lahko izkaže za resnično ali napačno; Dobra hipoteza vam pove, kaj pričakujete in zakaj.
Šibek poziv/močan poziv
Šibek poziv:
Napišite nekaj alternativ za ta naslov.
Močan poziv:
Ustvarite različice za A/B test. Pravilo: Spremenil se bo SAMO naslov, telo in CTA pa bosta ostala enaka. HIPOTEZA: Naslov, ki je usmerjen v prednosti, prejme več klikov kot naslov, ki je usmerjen v funkcije. KONTEKST: Ciljna stran. Izdelek: aplikacija za vodenje projektov. Občinstvo: majhne ekipe. ZAŽELJENO:- Varianta A: naslov, ki je usmerjen na funkcije (opisuje, kaj izdelek počne)- Varianta B: naslov, ki je usmerjen v korist (opisuje, kaj uporabniku zagotavlja) Pod vsako različico napišite, katere psihološke motivacije se dotika. Samo 2 različici; Oba morata biti ena vrstica, enake dolžine.
Pomembno je, da so različice podobne dolžine; sicer "dolžina" nenamerno postane druga spremenljivka.
Tabela testa pred/po
Oder
Kaj narediti
pogosta napaka
hipoteza
Kaj, zakaj čakam?
»Poskusimo« brez hipotez
Spremenljivka
Izolirajte eno stvar
Spreminjanje več stvari hkrati
merilo
Izberite eno jasno meritev
nedoločen "boljši"
vzorec
Dovolj ljudi/časa
odloči se zgodaj
Komentiraj
Naučite se zakaj
Samo vzemite zmagovalca
trije mini kovčki
Primer 1 – test CTA daje jasne rezultate. Spletno mesto za e-trgovino je preizkusilo gumb izdelka: A »Kupi«, B »Dodaj v košarico«. Spremenilo se je samo besedilo gumba. V testu s 3000 obiskovalci je B povečal svojo stopnjo klikov s 4,0 % na 4,9 %. Z izolirano eno spremenljivko je bil zmagovalec jasen: »dodaj v voziček« se je zdel manj zavezujoč.
Primer 2 – Multivariatna napaka. Ekipa je oblikovala dve ciljni strani, vendar so bili naslov, slika in barva različni. B je zmagal, vendar ekipa ni vedela, kateri element je naredil razliko; učenje je postalo nič. Pri naslednjem testu so sledili pravilu: ena spremenljivka naenkrat. V tem testu so jasno videli, da je naslov glavni dejavnik.
Primer 3 – past zgodnje odločitve. Ekipa glasila je preizkusila dve temi na skupini 200 ljudi in rekla: "Zaslužil si je petico" v prvi uri. Vzorec je bil zelo majhen; razlika je bila statistično nepomembna (tj. lahko je bila posledica naključja). Ko je bil test povečan na dovolj vzorčenja in časa, je bil rezultat obrnjen. Nauk: ne sprejemajte odločitev brez dovolj podatkov.
Pozor: razlika, opažena v majhnem vzorcu (majhno število ljudi), je lahko zavajajoča. Statistična pomembnost se nanaša na verjetnost, da je razlika resnična in ne naključna. Prepričajte se, da je doseženih dovolj ljudi in da testiranje traja dovolj dolgo, preden prehitro sklepate.
Kopirane predloge
Predloga 1 – Generator izolirane različice:
Ustvarite različice za A/B testiranje. EDINA spremenljivka za testiranje: [naslov/CTA/slika]. Vse ostalo bo ostalo nespremenjeno. Hipoteza: [...]. Kontekst: [...].Različica A: [trenutni pristop]. Varianta B: [alternativni pristop]. Naj bosta obe različici podobne dolžine; ne spreminjaj ničesar drugega.
Predloga 2 – Razjasnitev hipotez:
Konstruirajte preverljivo hipotezo iz naslednjega opazovanja: "[opazovanje]". Zapišite hipotezo v obliki "če naredimo [spremembo], se [metrika] poveča, ker [zakaj]". Nato mi povejte, katero posamezno spremenljivko naj izoliram.
Predloga 3 – Testni niz zadeve:
Ustvarite 2 vrstici z zadevo za A/B test za naslednje e-poštno sporočilo. Razlika na eni sami osi: [radovednost vs. jasnost/jedrnatost itd. dolgo/vprašanje itd. izraz]. Oba ne smeta vsebovati besede spam in morata biti enako dolga. E-poštni povzetek: [...]
Predloga 4 – Razlaga rezultatov:
Interpretirajte rezultat A/B testa. Spremenljivka: [...]. Različica A metrike: [...]. Meritev različice B: [...]. Velikost vzorca: [...]. Trajanje: [...].Povej mi: Se zdi razlika pomembna ali je vzorec majhen? Kaj smo se naučili? Kaj priporočate za naslednji test? Ne zahtevajte natančnih statističnih podatkov; Če ni jasno, navedite.
Nasvet: Ni dovolj, da dobite "zmagovalca" iz testa; Prava pridobitev je vpogled v to, "zakaj je zmagal." Ta vpogled se vključi v hipotezo za naslednji preizkus in sčasoma gradi telo učenja.
Prednost: kaj najprej testirati?
Obstaja neskončno število elementov, ki jih lahko preizkusite, vendar sta vaš čas in promet omejena. Zato dajte prednost testom glede na potencial vpliva. Splošno pravilo: najprej se testirajo elementi, ki jih uporabnik najprej vidi in najbolj vplivajo na odločitev. Na ciljni strani ima naslov največji vpliv na klike; ker ga uporabnik najprej prebere in se tam odloči ali bo nadaljeval. Podrobnosti, kot je barva gumbov, imajo pogosto manjši učinek; pustite jih za konec.
Praktičen način za določanje prednosti je, da vsako idejo za testiranje ocenite na treh oseh: pričakovani učinek (kolikšna bo razlika, če bo zmagala?), zaupanje (kako prepričani smo, da bo zmagala?) in enostavnost (kako hitro jo je mogoče nastaviti?). Preizkusi z velikim vplivom, visoko stopnjo zaupanja in malo truda so postavljeni na prvo mesto. To vam omogoča, da omejen promet dodelite poskusom, ki prinašajo največ učenja. Umetna inteligenca vam lahko ponudi hiter načrt za točkovanje in prednostno razvrščanje seznama idej vzdolž teh treh osi; Vi se odločite.
Predloga 5 – Testna prednostna naloga:
Dajte prednost naslednjim idejam za testiranje A/B. Vsakega ocenite po oseh vpliva (1-5), zanesljivosti (1-5) in enostavnosti namestitve (1-5), razvrstite jih glede na skupno oceno in v enem stavku pojasnite, zakaj so v tem vrstnem redu. IDEJE ZA PREIZKUS: [seznam]
Pogoste napake
- Tako spremenljivo hkrati. Rezultat postane nerazložljiv.
- Testiranje brez hipotez. "Poskusimo in bomo videli" ne prinese učenja.
- Zgodnja odločitev. V majhnem vzorcu se domneva, da je razlika resnična po naključju.
- Variante različnih dolžin. Druga spremenljivka je nenamerno ustvarjena.
- Samo zmagovalec. Če se razlog ne nauči, se informacije ne bodo kopičile.
Če povzamem
- Zlato pravilo A/B testiranja: ena spremenljivka naenkrat.
- Vsak test se mora začeti s hipotezo: kaj pričakujem in zakaj?
- Določite enotno jasno merilo uspešnosti in ustrezen vzorec.
- Razlika v majhnem vzorcu je zavajajoča; Upoštevajte statistično pomembnost.
- Ugotovite, zakaj, ne zmagovalec; Ta vpogled se vključi v naslednji test.
Aplikacijska naloga
Izberite opažanje o eni od svojih vsebin. S predlogo 2 to prevedite v jasno hipotezo in določite spremenljivko, ki jo želite izolirati. Izdelajte dve varianti s predlogo 1 (podobna dolžina, le razlika). Na koncu prilagodite številke hipotetičnih izidov, jih razložite s predlogo 4 in upoštevajte, kaj model pravi o ustreznosti vzorca. Trajanje: približno 25 minut.
kontrolni seznam
- [ ] Test sem začel z jasno hipotezo.
- [ ] Izoliral sem samo eno spremenljivko.
- [ ] Različice so ostale podobne pri drugih oseh (dolžina itd.).
- [ ] Določil sem eno jasno meritev uspeha.
- [ ] Nisem se odločil brez dovolj vzorca/časa.
- [ ] Opazil sem razlog za zmagovalca za naslednji test.