Dobički:
- Sposobnost razumevanja konceptov A/B testiranja, kontrole/variant, stopnje pretvorbe in statistične pomembnosti ter postavljanja hipotez in testnih načrtov z umetno inteligenco.
- Sposobnost izolacije posamezne spremenljivke, ki jo je treba testirati, in izdelave variantnega besedila/slike in načrta meritev s podporo za umetno inteligenco
- Sposobnost razločevanja, da je interpretacija testa umetne inteligence omejena z velikostjo in pomembnostjo vzorca ter tveganjem branja prezgodnjih/napačnih rezultatov
Najbolj nevaren stavek v oglaševanju je "Mislim, da je to bolje." Podatki, ne mnenje, vam povedo, ali so naslov, slika ali gumb resnično boljši. Najpogostejši način za merjenje tega je A/B testiranje: prikazovanje dveh (ali več) različic istega oglasa resničnim uporabnikom in primerjava, katera deluje bolje. "A" je običajno trenutna različica (nadzor), medtem ko je "B" nova različica, ki se preizkuša (različica). Na primer, spremenite lahko samo naslov v istem oglasu in merite, kateri naslov je več kliknjen. Umetna inteligenca je pri tem v pomoč tako pri generiranju velikega števila variant kot pri interpretaciji rezultata; Toda znanstvena veljavnost testa je odvisna od pravil oblikovanja in potrpežljivosti.
Zlato pravilo A/B testiranja: ena spremenljivka
Najosnovnejše pravilo A/B testiranja je izolacija ene spremenljivke. Če hkrati spremenite naslov, sliko in gumb in zmaga različica B, ne boste nikoli vedeli, kaj je zmagalo. Pri testu naj se torej spremeni le en element, ostali pa morajo ostati nespremenjeni. Če želite testirati več kot eno postavko hkrati in sistematično, se to imenuje multivariatno testiranje in zahteva veliko večji vzorec; Univariatno A/B testiranje je način za začetek.
Drugi osnovni koncept je statistična pomembnost. Recimo, da je različica A prejela 3 odstotke klikov, različica B pa 3,3 odstotka klikov. Je ta razlika resnična prednost ali naključje? Če bi test pokazali le 100 ljudem, bi bila ta razlika lahko naključna. Statistična pomembnost pomeni, da je opazovana razlika dovolj malo verjetna, da bi bila posledica naključja (tj. razlika je verjetno resnična). To zahteva zadostno velikost vzorca (število ljudi, ki vidijo test). Razglasitev »zmagovalca« z malo podatki je najpogostejša in draga napaka.
Namig: Preden začnete s testom, odgovorite na vprašanje "kdaj bom razglasil zmagovalca": koliko ljudi/po konverziji, na kateri stopnji pomembnosti. Če se tako odločite vnaprej, preprečite, da bi vas v prvih urah ujeli hrup in sprejeli prezgodnjo odločitev.
Naslednja tabela primerja dobro in slabo zasnovo testa A/B:
postavka
slab dizajn
dober dizajn
Število spremenljivk
Naslov + slika + gumb skupaj
samo naslov
hipoteza
(brez) "poglejmo, kaj se bo zgodilo"
"Naslovi z vprašanji povečajo število klikov"
vzorec
80 ljudi
Vnaprej izračunan sklepčnost
čas odločitve
2 uri kasneje
Ko dosežete pomen
Izbira zmagovalca
"Mislim, da je B lep"
Na podlagi podatkov in pomena
Korak za korakom: nastavitev A/B testa
1. korak — Napišite hipotezo. Kaj testirate in zakaj? Jasna hipoteza, kot je "Naslov s prednostmi dobi več klikov kot naslov s funkcijami."
2. korak — izberite eno spremenljivko. Samo naslov ali samo slika ali samo CTA.
3. korak — Ustvarite različice. Ustvarite različne različice istega predmeta z AI; ostalo ohranite konstantno.
4. korak — Nastavite merilni načrt. Katera metrika bo določila zmagovalca (razmerje med prikazi in kliki, konverzija), koliko vzorca je potrebno, kako dolgo naj se izvaja.
5. korak — Interpretirajte in preverite rezultat. Je bilo zbranih dovolj podatkov, je razlika bistvena? Če ni pomemben, je veljaven rezultat tudi "ni razlike".
trije mini kovčki
Primer 1 – Jasnost ene spremenljivke. Blagovna znamka e-trgovine je preizkusila samo CTA v svojem oglasu izdelka: »Nakup« in »Dodaj v košarico«. Vse drugo je bilo isto. Po zadostnem vzorčenju je »Dodaj v košarico« prineslo znatno višje konverzije. Razliko je bilo mogoče jasno interpretirati, ker je bila izolirana ena spremenljivka. Umetna inteligenca je izdelala dva CTA, podatki so izbrali zmagovalca.
Primer 2 – past zgodnje odločitve. Blagovna znamka je ustavila test, ker je bila različica B v prvih 3 urah A/B testa v prednosti in odprla B za celoten proračun. Če pogledamo skupne podatke naslednji dan, je bil A dejansko nekoliko boljši; Razlika v prvih urah je bila naključna. Proračun je bil zapravljen. Napaka: prezgodnja odločitev z nezadostno velikostjo vzorca.
Primer 3 – »Brez razlike« je tudi zaključek. Znamka je preizkusila dve različni sliki in po zadostnem vzorčenju sta obe dali skoraj enak rezultat. Medtem ko je ekipa želela objokovati, da je "test padel", je bilo pravilno branje, da slika ni odločilni dejavnik v tej kampanji, zato je treba trud usmeriti v naslov in ponudbo. Dragocen podatek je tudi dejstvo, da ni bilo ugotovljene bistvene razlike.
Štiri predloge za kopiranje
1) Hipoteza in načrt testa:
Kaj želim preizkusiti: [npr. naslov oglasa]. Naloga: (1) Napišite eno hipotezo, ki jo je mogoče preizkusiti (v obliki "... poveča ... poveča"). (2) Navedite posamezno spremenljivko, ki jo želite izolirati, in tiste, ki naj ostanejo nespremenjene. (3) Predlagajte meritev, ki bo določila zmagovalca (razmerje med prikazi in kliki/konverzija). (4) Napišite, na kaj moram biti pozoren, da potrdim test (vzorec, trajanje, tveganje zgodnje odločitve).
2) Variantni generator (ena različica):
Lepljivi oglas: slika [enako], CTA [enako], cilj [enako]. Preizkušena spremenljivka: HEADLINE. Glavno sporočilo: "[sporočilo]". Naloga: Ustvarite 4 različne različice naslovov z istim sporočilom. Vsak uporablja drugačen pristop (vprašanje, korist, število, nujnost). Spremeni se le naslov; Dodajanje neutemeljene trditve.
3) Merilni načrt:
Test: [Opredelitev A in B]. Metrika: [klik/konverzija]. Naloga: Pripravite načrt meritev: (1) katera metrika je primarna, katera sekundarna, (2) koliko podatkov/časa je potrebnih za razglasitev zmagovalca (pojasnite logiko), (3) kako enakomerno in pravično razdeliti promet med A in B, (4) kateri zunanji dejavniki lahko izkrivljajo rezultat (sezona, dan v tednu). Predpostavimo, da bom za natančen izračun uporabil orodje za pomembnost statistika.
4) Tolmač rezultatov (previdno):
Moji rezultati testa A/B (resnični podatki): [A: prikazi/kliki/konverzija], [B: prikazi/kliki/konverzija]. Naloga: (1) Izračunajte in prikažite stopnje vsake različice. (2) Komentirajte velikost razlike, če pa vzorec ni zadosten, recite »nezadostni podatki za smiseln rezultat.« (3) Opozorite nas na tveganja prezgodnjega/napačnega branja. Brez dokončne trditve o pomen; Potrdil bom z ločenim orodjem za račun.
Šibek poziv/močan poziv
Šibek poziv:
Izdelajte različico A in B za moj oglas, povejte mi, katera je boljša.
Spremenljivka ni izolirana, hipotez in meritev ni; Umetna inteligenca ne more vedeti, katera je "dobra" brez podatkov, sama si jo izmisli.
Močan poziv:
Pripravljam A/B testiranje. Popravljeno: slika in CTA bosta ostala enaka. Preizkušena samo spremenljivka: naslov oglasa. Hipoteza: »Naslov s številkami prejme več klikov kot splošni naslov.« Glavno sporočilo: »Dostavljeno v 3 dneh.« Naloga: (1) Izdelajte 1 splošni naslov za nadzor, 3 naslove s številkami za različico. (2) Povejte mi, katero meritev naj pogledam, da izmerim zmagovalca. (3) Opomni me od 3 napak, ki bi lahko razveljavile test. Ne napovedujte, katera bo zmagala; To bodo določili podatki.
Druga trditev izolira eno samo spremenljivko, vključuje hipotezo in merjenje; zmagovalca prepušča podatkom.
Pogoste napake
- Spreminjanje več predmetov hkrati. Razlog za zmagovalca postane nejasen; Ena sama spremenljivka mora biti izolirana.
- Odločanje z nezadostnimi vzorci. Razlika v prvih urah je velikokrat naključna.
- Testiranje brez hipotez. "Poglejmo, kaj se zgodi" testiranje ne ustvarja učenja; Najprej napišite, kaj pričakujete.
- Zamenjajte rezultat "Brez razlike" kot neuspeh. Pomanjkanje pomembne razlike je tudi informativno.
- Izbira zmagovalca na podlagi okusa. Testiranje je ravno zato, da se izloči osebni okus; Sledite podatkom.
- Pozabite na zunanje dejavnike. Sezona, dan kampanje, tok novic lahko izkrivijo izid; Ohranite poštene pogoje testiranja.
Pozor: Namen A/B testiranja ni "zmaga", ampak učenje. Celo izguba različice je dragocena informacija; Prava izguba je zanašanje na napačen rezultat z nezadostnimi podatki in vezanje proračuna na to.
Če povzamem
A/B testiranje je zmogljiva metoda, ki premakne oglaševalske odločitve od ideje do podatkov. Zlato pravilo je, da izoliramo posamezno spremenljivko: v testu se mora spremeniti samo en element, ostali morajo ostati nespremenjeni. Drugi steber je ustrezno vzorčenje in statistična pomembnost; Razglasitev zmagovalca z malo podatki je najdražja napaka. Umetna inteligenca je v pomoč pri ustvarjanju več različic ter izračunavanju in razlagi kvot, vendar zmagovalca določijo podatki, ne umetna inteligenca. Tudi rezultat "brez razlike" je učenje. Hipotezo, meritev in prag odločitve je treba napisati pred začetkom preizkusa.
Aplikacijska naloga
Izberite oglas (naslov, slika ali CTA). (1) Napišite eno hipotezo, ki jo je mogoče preizkusiti, in izolirano spremenljivko s "Hipoteza in načrt testa". (2) Ustvarite 1 kontrolnik + 3 različice z "generatorjem različic"; Samo spremenite ta element. (3) Z »načrtom meritev« načrtujte, katero metriko boste gledali, kako dolgo in s kakšnimi podatki. (4) Vnaprej si zapišite svoj prag za razglasitev zmagovalca (koliko konverzij / kakšen pomen). (5) Razmislite o hipotetičnih rezultatih s »tolmačem rezultatov« in ugotovite, zakaj ne bi sprejeli odločitve v scenariju, kjer podatki niso zadostni.
kontrolni seznam
- [ ] V testu sem izoliral samo eno spremenljivko.
- [ ] Pred testom sem napisal jasno hipotezo.
- [ ] Za zmagovalca sem že določil vzorec in čas.
- [ ] Zmagovalca sem izbral na podlagi podatkov, ne osebnega okusa.
- [ ] Rezultat "ni razlike" sem štel za veljavno učenje.
- [ ] Preveril sem zunanje dejavnike, ki bi lahko popačili rezultat.