Dobici:
- Sposobnost razumijevanja koncepata A/B testiranja, kontrole/varijante, stope konverzije i statističkog značaja i uspostavljanja hipoteza i dizajna testova s umjetnom inteligencijom.
- Sposobnost izolacije jedne varijable koja se testira i izrade varijantnog teksta/slike i plana mjerenja uz podršku umjetne inteligencije
- Sposobnost razlikovanja da je interpretacija testa umjetne inteligencije ograničena veličinom uzorka i značajem te rizikom čitanja preuranjenih/netačnih rezultata
Najopasnija rečenica u reklamiranju je "Mislim da je ovo bolje." Podaci, a ne mišljenje, govore da li su naslov, slika ili dugme zaista bolji. Najčešći način da se to izmjeri je A/B testiranje: prikazivanje dvije (ili više) verzija istog oglasa stvarnim korisnicima i poređenje koja od njih radi bolje. "A" je obično trenutna verzija (kontrola), dok je "B" nova verzija koja se isprobava (varijanta). Na primjer, možete promijeniti samo naslov u istom oglasu i mjeriti na koji naslov je više kliknuto. Umjetna inteligencija pomaže u ovom procesu kako u generiranju velikog broja varijanti tako iu tumačenju rezultata; Ali naučna validnost testa zavisi od pravila dizajna i strpljenja.
Zlatno pravilo A/B testiranja: jedna varijabla
Najosnovnije pravilo A/B testiranja je da se izoluje jedna varijabla. Ako u isto vrijeme promijenite naslov, sliku i dugme i pobijedi verzija B, nikada nećete znati šta je pobijedilo. Dakle, u testu bi se samo jedan element trebao promijeniti, a ostali bi trebali ostati konstantni. Ako želite testirati više od jedne stavke istovremeno i sistematski, ovo se zove multivarijantno testiranje i zahtijeva mnogo veći uzorak; Jednovarijantno A/B testiranje je način za početak.
Drugi osnovni koncept je statistička značajnost. Recimo da je verzija A imala 3 posto klikova, a verzija B 3,3 posto klikova. Je li ova razlika stvarna prednost ili slučajnost? Da ste test pokazali samo na 100 ljudi, ova razlika bi mogla biti slučajna. Statistička značajnost znači da je malo vjerovatno da je uočena razlika posljedica slučajnosti (tj. razlika je vjerovatno stvarna). Za to je potrebna dovoljna veličina uzorka (broj ljudi koji vide test). Proglašavanje “pobjednika” sa malo podataka je najčešća i najskuplja greška.
Savjet: Prije početka testa odgovorite na pitanje "kada ću proglasiti pobjednika": koliko ljudi/post-konverzije, na kom nivou značaja. Donošenje ove odluke unaprijed sprječava vas da u prvim satima budete uhvaćeni u buku i donesete preuranjenu odluku.
Sljedeća tabela uspoređuje dobar i loš dizajn A/B testa:
predmet
loš dizajn
dobar dizajn
Broj varijabli
Naslov + slika + dugme zajedno
samo naslov
hipoteza
(nema) "da vidimo šta će se desiti"
"Naslovi sa pitanjima povećavaju broj klikova"
uzorak
80 ljudi
Unaprijed izračunati kvorum
vrijeme odluke
2 sata kasnije
Kada dostignete značaj
Izbor pobjednika
"Mislim da je B fin"
Na osnovu podataka i značaja
Korak po korak: postavljanje A/B testa
Korak 1 — Napišite hipotezu. Šta testirate i zašto? Jasna hipoteza poput "Naslov sa prednostima dobija više klikova od naslova sa karakteristikama."
Korak 2 — Odaberite jednu varijablu. Samo naslov, ili samo slika, ili samo CTA.
Korak 3 — Generirajte varijante. Kreirajte različite verzije iste stavke pomoću AI; održavajte ostatak konstantnim.
Korak 4 — Postavite plan mjerenja. Koji će pokazatelj odrediti pobjednika (klikovna stopa, konverzija), koliko je uzorka potrebno, koliko dugo se izvodi.
Korak 5 — Interpretirajte i provjerite rezultat. Da li je prikupljeno dovoljno podataka, da li je razlika značajna? Ako nije značajno, "nema razlike" je također valjan rezultat.
tri mini kofera
Slučaj 1 — Jasnoća jedne varijable. Brend za e-trgovinu testirao je samo CTA u svom oglasu proizvoda: “Kupite” i “Dodaj u košaricu”. Sve ostalo je bilo isto. Nakon dovoljno uzorkovanja, „Dodaj u košaricu“ donio je znatno veće konverzije. Razlika bi se mogla jasno protumačiti jer je jedna varijabla izolovana. AI je proizveo dva CTA-a, podaci su izabrali pobjednika.
Slučaj 2 — Zamka rane odluke. Brend je prekinuo testiranje jer je verzija B bila ispred u prva 3 sata A/B testa i otvorila B za cijeli budžet. Gledajući ukupne podatke sljedećeg dana, A je zapravo bio nešto bolji; Razlika u prvim satima bila je slučajna. Budžet je uzaludan. Greška: donošenje preuranjene odluke sa nedovoljnom veličinom uzorka.
Slučaj 3 — „Nema razlike“ je takođe zaključak. Brend je testirao dvije različite slike, i nakon dovoljno uzorkovanja, obje su dale gotovo isti rezultat. Dok se tim spremao da lamentira da je "test pao", ispravno čitanje je bilo da imidž nije odlučujući faktor u ovoj kampanji, pa se trud treba usmjeriti ka naslovu i ponudi. Činjenica da nije pronađena značajna razlika je također vrijedna informacija.
Četiri šablona za kopiranje
1) Hipoteza i dizajn testa:
Šta želim da testiram: [npr. ad title].Zadatak: (1) Napišite jednu hipotezu koja se može provjeriti (u obliku "... povećava ... povećava"). (2) Navedite jednu varijablu koju treba izolirati i one koje treba održavati konstantnom. (3) Predložite metriku koja će odrediti pobjednika (stopa klikanja/konverzija).(4) Napišite na šta trebam obratiti pažnju da bih potvrdio rizik, rani rizik (uzorak rana odluka, trajanje testa).
2) Varijanta generatora (jedna varijanta):
Lepljivi oglas: slika [isto], CTA [isto], cilj [isto]. Testirana varijabla: HEADLINE. Glavna poruka: "[poruka]". Zadatak: Generirajte 4 različite varijante naslova sa istom porukom. Svaki od njih koristi drugačiji pristup (pitanje, korist, broj, hitnost). Mijenja se samo naslov; Dodavanje neutemeljene tvrdnje.
3) Plan mjerenja:
Test: [Definicija A i B]. Metrika: [klik/konverzija]. Zadatak: Nacrt plana mjerenja: (1) koja metrika je primarna, a koja sekundarna, (2) koliko podataka/vremena je potrebno da se proglasi pobjednik (objasnite logiku), (3) kako ravnomjerno i pošteno podijeliti promet između A i B, (4) koji vanjski faktori mogu izobličiti rezultat, znak da će koristiti alat za sedmicu (more A). tacna statistika.
4) Tumač rezultata (pažljivo):
Moji rezultati A/B testa (stvarni podaci): [A: impresije/klikovi/konverzija], [B: impresije/klikovi/konverzija]. Zadatak: (1) Izračunajte i prikažite stope svake verzije. (2) Komentirajte veličinu razlike, ali ako uzorak nije dovoljan, recite "nedovoljno podataka za smislen rezultat."(3) Nedostatak podataka za smislen rezultat. značaj; Potvrdiću sa posebnim alatom za nalog.
Slaba prompt / Jaka prompt
Slab upit:
Napravi A i B verziju za moj oglas, reci mi koja je bolja.
Varijabla nije izolovana, nema hipoteze i mjerenja; AI ne može znati koji je "dobar" bez podataka, on to izmišlja.
Snažan upit:
Postavljam A/B testiranje. Fiksno: slika i CTA će ostati isti. Testirana je samo varijabla: naslov oglasa. Hipoteza: "Naslov sa brojevima dobija više klikova od opšteg naslova." Glavna poruka: "Isporučeno za 3 dana." Zadatak: (1) Napravite 1 opšti naslov za kontrolu, 3 naslova sa brojevima za varijantu. (2) Recite mi koju metriku treba ponovo da pogledam (3) Recite mi koju metriku treba da pogledam. od 3 greške koje bi mogle poništiti test. Nemojte predviđati koji će pobijediti; Podaci će to odrediti.
Druga tvrdnja izoluje jednu varijablu, uključuje hipotezu i mjerenje; prepušta pobjednika podacima.
Uobičajene greške
- Promjena više stavki odjednom. Razlog za pobjednika postaje nejasan; Jedna varijabla mora biti izolirana.
- Donošenje odluka sa nedovoljnim uzorcima. Razlika u prvim satima često je slučajna.
- Testiranje bez hipoteza. „Da vidimo šta će se desiti“ testiranje ne proizvodi učenje; Prvo napišite šta očekujete.
- Pogrešiti rezultat "Nema razlike" kao neuspjeh. Nedostatak značajne razlike je takođe informativan.
- Odabir pobjednika na osnovu ukusa. Testiranje je upravo da se isključi lični ukus; Pratite podatke.
- Zaboravljanje vanjskih faktora. Sezona, dan kampanje, tok vijesti mogu iskriviti ishod; Neka uslovi testiranja budu pošteni.
Pažnja: Svrha A/B testiranja nije "pobjeda" već učenje. Čak i varijanta gubitka je vrijedna informacija; Pravi gubitak je oslanjanje na pogrešan rezultat sa nedovoljnim podacima i vezivanje budžeta za njega.
Ukratko
A/B testiranje je moćna metoda koja pomiče reklamne odluke od ideje do podataka. Zlatno pravilo je da se izoluje jedna varijabla: samo jedan element treba da se promeni u testu, ostatak treba da ostane konstantan. Drugi stub je adekvatno uzorkovanje i statistička značajnost; Proglašavanje pobjednika sa malo podataka je najskuplja greška. AI je od pomoći u generiranju više varijanti i izračunavanju i tumačenju kvota, ali podaci određuju pobjednika, a ne AI. Čak i rezultat "bez razlike" je učenje. Hipotezu, metriku i prag odluke treba napisati prije početka testa.
Zadatak aplikacije
Odaberite oglas (naslov, slika ili CTA). (1) Napišite jednu provjerljivu hipotezu i izoliranu varijablu s "Hipoteza i dizajn testa". (2) Generirajte 1 kontrolu + 3 varijante sa "Varijantnim generatorom"; Samo promijenite taj element. (3) Planirajte koju metriku ćete gledati, koliko dugo i sa kojim podacima, uz „plan mjerenja“. (4) Zapišite svoj prag za proglašenje pobjednika (koliko konverzija / koji značaj) unaprijed. (5) Razmotrite hipotetičke rezultate sa „interpretačem rezultata” i zabilježite zašto ne biste donijeli odluku u scenariju u kojem podaci nisu dovoljni.
kontrolna lista
- [ ] Izolovao sam samo jednu varijablu u testu.
- [ ] Napisao sam jasnu hipotezu prije testa.
- [ ] Već sam odredio uzorak i vrijeme potrebno za pobjednika.
- [ ] Pobjednika sam izabrao na osnovu podataka, a ne ličnog ukusa.
- [ ] Smatrao sam rezultat "bez razlike" kao valjano učenje.
- [ ] Provjerio sam vanjske faktore koji bi mogli iskriviti rezultat.