Dobici:
- Sposobnost razumijevanja koncepata A/B testiranja, kontrole/varijante, stope konverzije i statističke značajnosti te postavljanja hipoteza i dizajna testova s umjetnom inteligencijom.
- Sposobnost izolacije pojedinačne varijable koja se testira i izrade varijante teksta/slike i plana mjerenja s podrškom za umjetnu inteligenciju
- Sposobnost razlikovanja da je tumačenje testa umjetne inteligencije ograničeno veličinom uzorka i značajem te rizikom očitavanja preuranjenih/netočnih rezultata
Najopasnija rečenica u oglašavanju je "Mislim da je ovo bolje." Podaci, a ne mišljenje, govore vam jesu li naslov, slika ili gumb doista bolji. Najčešći način mjerenja je A/B testiranje: prikazivanje dviju (ili više) verzija istog oglasa stvarnim korisnicima i usporedba koja bolje funkcionira. "A" je obično trenutna verzija (kontrola), dok je "B" nova verzija koja se isprobava (varijanta). Na primjer, u istom oglasu možete promijeniti samo naslov i mjeriti na koji se naslov više klikne. Umjetna inteligencija pomaže u ovom procesu kako u generiranju velikog broja varijanti tako iu interpretaciji rezultata; Ali znanstvena valjanost testa ovisi o pravilima dizajna i strpljenju.
Zlatno pravilo A/B testiranja: jedna varijabla
Najosnovnije pravilo A/B testiranja je izolirati jednu varijablu. Ako promijenite naslov, sliku i gumb u isto vrijeme i verzija B pobijedi, nikada nećete znati što je pobijedilo. Dakle, u testu bi se trebao promijeniti samo jedan element, ostali bi trebali ostati konstantni. Ako želite testirati više od jedne stavke istovremeno i sustavno, to se zove multivarijatno testiranje i zahtijeva puno veći uzorak; Univarijatno A/B testiranje način je za početak.
Drugi osnovni koncept je statistička značajnost. Recimo da je verzija A dobila 3 posto klikova, a verzija B 3,3 posto klikova. Je li ta razlika stvarna prednost ili slučajnost? Ako ste test pokazali samo 100 ljudi, ova bi razlika mogla biti slučajna. Statistička značajnost znači da nije dovoljno vjerojatno da je promatrana razlika slučajna (tj. razlika je vjerojatno stvarna). To zahtijeva dovoljnu veličinu uzorka (broj ljudi koji vide test). Proglašavanje "pobjednika" s malo podataka najčešća je i skupa pogreška.
Savjet: Prije početka testa odgovorite na pitanje "kada ću proglasiti pobjednika": koliko ljudi/nakon konverzije, na kojoj razini značaja. Donošenje ove odluke unaprijed sprječava vas da vas u prvim satima uhvati buka i donesete preuranjenu odluku.
Sljedeća tablica uspoređuje dobar i loš dizajn A/B testa:
predmet
loš dizajn
dobar dizajn
Broj varijabli
Naslov + slika + gumb zajedno
samo naslov
hipoteza
(ništa) "da vidimo što će se dogoditi"
"Naslovi s pitanjima povećavaju klikove"
uzorak
80 ljudi
Unaprijed izračunati kvorum
vrijeme odluke
2 sata kasnije
Kada dosegnete značaj
Izbor pobjednika
"Mislim da je B lijepo"
Na temelju podataka i značaja
Korak po korak: postavljanje A/B testa
Korak 1 — Napišite hipotezu. Što testirate i zašto? Jasna hipoteza poput "Naslov s prednostima dobiva više klikova od naslova sa značajkama."
Korak 2 — Odaberite jednu varijablu. Samo naslov, ili samo slika, ili samo CTA.
Korak 3 — Generirajte varijante. Stvorite različite verzije iste stavke pomoću AI; ostalo zadržite konstantnim.
Korak 4 — Postavite plan mjerenja. Koja metrika će odrediti pobjednika (klikovni postotak, konverzija), koliko uzorka je potrebno, koliko dugo trajati.
Korak 5 — Protumačite i potvrdite rezultat. Je li prikupljeno dovoljno podataka, je li razlika značajna? Ako nije značajan, "nema razlike" također je valjan rezultat.
tri mini kućišta
Slučaj 1 — Jasnoća jedne varijable. Robna marka e-trgovine testirala je samo CTA u oglasu proizvoda: "Kupi" i "Dodaj u košaricu". Sve ostalo je bilo isto. Nakon dovoljnog uzorkovanja, "Dodaj u košaricu" donio je znatno više konverzija. Razlika se mogla jasno protumačiti jer je izolirana jedna varijabla. AI je napravio dva CTA-a, podaci su odabrali pobjednika.
Slučaj 2 — Zamka rane odluke. Marka je zaustavila test jer je verzija B bila ispred u prva 3 sata A/B testa i otvorila B za cijeli proračun. Gledajući ukupne podatke sljedeći dan, A je zapravo bio malo bolji; Razlika u prvim satima bila je slučajna. Proračun je uzalud potrošen. Pogreška: donošenje preuranjene odluke s nedovoljnom veličinom uzorka.
Slučaj 3 — "Nema razlike" također je zaključak. Marka je testirala dvije različite slike i nakon dovoljnog uzorkovanja obje su dale gotovo isti rezultat. Dok se tim spremao lamentirati kako je "test pao", ispravno je bilo čitanje da slika nije odlučujući faktor u ovoj kampanji, pa se trud treba usmjeriti na naslov i ponudu. Činjenica da nije pronađena značajna razlika također je vrijedan podatak.
Četiri predloška za kopiranje
1) Hipoteza i dizajn testa:
Što želim testirati: [npr. naslov oglasa].Zadatak: (1) Napišite jednu hipotezu koju je moguće provjeriti (u obliku "... povećava ... povećava"). (2) Navedite jednu varijablu koju treba izolirati i one koje treba zadržati konstantnima. (3) Predložite metriku koja će odrediti pobjednika (stopa klikanja/pretvorba). (4) Napišite na što trebam obratiti pozornost da bih potvrdio test (uzorak, trajanje, rizik rane odluke).
2) Varijanta generatora (jedna varijanta):
Ljepljivi oglas: slika [isto], CTA [isto], cilj [isto]. Testirana varijabla: HEADLINE. Glavna poruka: "[poruka]". Zadatak: Generirajte 4 različite varijante naslova s istom porukom. Svaki koristi drugačiji pristup (pitanje, korist, broj, hitnost). Mijenja se samo naslov; Dodavanje neutemeljene tvrdnje.
3) Plan mjerenja:
Test: [Definicija A i B]. Mjerni podatak: [klik/pretvorba].Zadatak: Nacrtajte plan mjerenja: (1) koji je mjerni podatak primarni, koji sekundarni, (2) koliko podataka/vremena je potrebno za proglašenje pobjednika (objasnite logiku), (3) kako ravnomjerno i pravedno podijeliti promet između A i B, (4) koji vanjski čimbenici mogu iskriviti rezultat (godišnja doba, dan u tjednu). Pretpostavimo da ću upotrijebiti alat za značaj za točan izračun statistike.
4) Tumač rezultata (pažljivo):
Moji rezultati A/B testa (stvarni podaci): [A: pojavljivanja/klikovi/pretvorba], [B: pojavljivanja/klikovi/pretvorba]. Zadatak: (1) Izračunajte i prikažite stope svake verzije. (2) Komentirajte veličinu razlike, ali ako uzorak nije dovoljan, recite "nedovoljno podataka za smislen rezultat." (3) Podsjetite na rizike preuranjenog/pogrešnog čitanja. Ne dajte definitivnu tvrdnju značaj; Potvrdit ću pomoću zasebnog alata za račun.
Slab upit / Jak upit
Slab upit:
Izradi A i B verziju za moj oglas, reci mi koja je bolja.
Varijabla nije izolirana, nema hipoteze i mjerenja; AI ne može znati koji je "dobar" bez podataka, on to izmišlja.
Snažan upit:
Postavljam A/B testiranje. Popravljeno: slika i CTA ostat će isti. Testirana je samo varijabla: naslov oglasa. Hipoteza: "Naslov s brojevima dobiva više klikova od općeg naslova." Glavna poruka: "Isporučeno za 3 dana." Zadatak: (1) Napravite 1 opći naslov za kontrolu, 3 naslova s brojevima za varijantu. (2) Recite mi koju metriku trebam pogledati da bih izmjerio pobjednika. (3) Podsjeti me od 3 pogreške koje bi mogle poništiti test. Ne predviđajte koja će pobijediti; Podaci će to odrediti.
Druga tvrdnja izolira jednu varijablu, uključuje hipotezu i mjerenje; prepušta pobjednika podacima.
Uobičajene greške
- Promjena više stavki odjednom. Razlog pobjednika postaje nejasan; Jedna varijabla mora biti izolirana.
- Donošenje odluka s nedovoljnim uzorcima. Razlika u prvim satima često je slučajna.
- Testiranje bez hipoteza. “Da vidimo što će se dogoditi” testiranje ne proizvodi učenje; Prvo napišite što očekujete.
- Zamjena rezultata "Nema razlike" kao neuspjeha. Nedostatak značajne razlike također je informativan.
- Odabir pobjednika na temelju ukusa. Testiranje je upravo zato da se isključi osobni ukus; Pratite podatke.
- Zaboravljajući vanjske čimbenike. Sezona, dan kampanje, tijek vijesti mogu iskriviti ishod; Održavajte pravedne uvjete testiranja.
Pažnja: Svrha A/B testiranja nije "pobjeda", već učenje. Čak je i varijanta gubitka vrijedna informacija; Pravi gubitak je oslanjanje na krivi rezultat s nedovoljno podataka i vezivanje proračuna za to.
Ukratko
A/B testiranje moćna je metoda koja pomiče odluke o oglašavanju od ideje do podataka. Zlatno pravilo je izolirati jednu varijablu: samo jedan element treba se promijeniti u testu, ostali trebaju ostati konstantni. Drugi stup je odgovarajuće uzorkovanje i statistička značajnost; Proglasiti pobjednika s malo podataka najskuplja je greška. AI je od pomoći u generiranju više varijanti te izračunavanju i tumačenju izgleda, ali podaci određuju pobjednika, a ne AI. Čak je i rezultat "bez razlike" učenje. Hipotezu, metriku i prag odluke treba napisati prije početka testa.
Zadatak aplikacije
Odaberite oglas (naslov, slika ili CTA). (1) Napišite jednu hipotezu koju je moguće provjeriti i izoliranu varijablu s "Hipoteza i dizajn testa". (2) Generirajte 1 kontrolu + 3 varijante pomoću "Generatora varijanti"; Samo promijenite taj element. (3) Planirajte koju ćete metriku promatrati, koliko dugo i s kojim podacima, s „planom mjerenja“. (4) Unaprijed zapišite svoj prag za proglašenje pobjednika (koliko konverzija / koji značaj). (5) Razmotrite hipotetske rezultate s "interpreterom rezultata" i zabilježite zašto ne biste donijeli odluku u scenariju u kojem podaci nisu dovoljni.
popis za provjeru
- [ ] Izolirao sam samo jednu varijablu u testu.
- [ ] Napisao sam jasnu hipotezu prije testa.
- [ ] Već sam odredio uzorak i vrijeme potrebno za pobjednika.
- [ ] Pobjednika sam izabrao na temelju podataka, a ne osobnog ukusa.
- [ ] Rezultat "bez razlike" smatrao sam valjanim učenjem.
- [ ] Provjerio sam vanjske čimbenike koji bi mogli iskriviti rezultat.