Dobici:
- Sposobnost generiranja sistematskih varijanti teksta koje izoluju pojedinačne varijable za A/B testiranje
- Sposobnost transformacije hipoteze u mjerljivu eksperimentalnu postavku
- Sposobnost tumačenja rezultata testa u smislu statističke značajnosti i učenja
Intuicija je vrijedna u marketingu, ali dokazi su vrijedniji. Koji naslov ima više klikova, koji CTA više prodaje, koja slika privlači više pažnje? Umjesto nagađanja, ovo možete izmjeriti A/B testiranjem. A/B testiranje je eksperimentalna metoda koja prikazuje dvije verzije istog sadržaja (A i B) pravoj publici i mjeri koja je bolja. Umjetna inteligencija brzo proizvodi ulazne podatke za ove testove, odnosno varijante; Ali da bi test funkcionirao zahtijeva naučno pravilo: jedna po jedna varijabla. U ovoj jedinici naučit ćete kako generirati varijante, prevesti hipotezu u mjerljiv eksperiment i interpretirati rezultate u smislu statističke značajnosti.
Zlatno pravilo: izolujte jednu varijablu
Da biste protumačili rezultat testa, samo jedna stvar mora biti različita između A i B. Ako promijenite naslov, sliku i CTA u isto vrijeme, nikada nećete znati koji je napravio razliku kada B pobijedi. Izolacija varijable koja se testira je jedina stvar koja omogućava učenje.
Tipične varijable koje se mogu testirati:
- Naslov: Ista slika i tijelo, drugi naslov.
- CTA tekst: "Kupi" ili "Dodaj u korpu"?
- Predmet: Utječe na brzinu otvaranja e-pošte.
- Slika: Isti tekst, druga slika.
- Dužina/ton: kratka vs. duga, formalna itd. iskrena.
Od hipoteze do eksperimenta: korak po korak
- Napravite zapažanje. "Naša odredišna stranica ima nisku konverziju."
- Hipoteza. „Naslov fokusiran na prednosti pretvara više od naslova fokusiranog na karakteristike.”
- Izolirajte varijablu. Samo će se naslov promijeniti.
- Generirajte varijante. 2 jasne varijante sa modelom (A: karakteristika, B: prednost).
- Definišite svoju mjeru uspjeha. Na primjer, stopa konverzije — postotak posjetitelja koji poduzimaju željenu radnju.
- Odredite uzorak i trajanje. Dovoljno ljudi i dovoljno vremena.
- Mjerite, uporedite, učite. Naučite "zašto", a ne pobjednika.
“Hipoteza” je predviđanje koje će se ovdje testirati i može se pokazati istinitim ili lažnim; Dobra hipoteza vam govori šta očekujete i zašto.
Slaba prompt / Jaka prompt
Slab upit:
Napišite neke alternative za ovaj naslov.
Snažan upit:
Generirajte varijante za A/B test. Pravilo: SAMO će se naslov promijeniti, tijelo i CTA će ostati isti. HIPOTEZA: Naslov orijentiran na prednosti dobija više klikova od naslova usmjerenog na karakteristike. KONTEKST: Odredišna stranica. Proizvod: aplikacija za upravljanje projektima. Publika: mali timovi. ZAHTEVA:- Varijanta A: naslov orijentisan na karakteristike (opisuje šta proizvod radi)- Varijanta B: naslov orijentisan na korist (opisuje šta pruža korisniku) Ispod svake varijante napišite koju psihološku motivaciju dotiče. Samo 2 varijante; Oba bi trebala biti jedna linija, slične dužine.
Važno je da varijante budu slične dužine; inače "dužina" nenamjerno postaje druga varijabla.
Tabela prije/poslije testa
Stage
Šta da radim
česta greška
hipoteza
Šta, zašto čekam?
"Hajde da probamo" bez hipoteza
Varijabilna
Izolujte jednu stvar
Mijenjanje mnogo stvari odjednom
kriterijum
Odaberite jednu jasnu metriku
Neodređeno "bolje"
uzorak
Dosta ljudi/vremena
odluči rano
Komentar
Naučite zašto
Samo uzmi pobednika
tri mini kofera
Slučaj 1 — CTA test daje jasne rezultate. Stranica za e-trgovinu testirala je dugme proizvoda: A "Kupi", B "Dodaj u korpu". Promijenjen je samo tekst gumba. U testu od 3.000 posetilaca, B je povećao svoju stopu klikanja sa 4,0% na 4,9%. Sa izolovanom jedinom varijablom, pobednik je bio jasan: „dodaj u korpu“ je bilo manje obavezujuće.
Slučaj 2 — Multivarijantna greška. Tim je dizajnirao dvije odredišne stranice, ali su naslov, slika i boja bili različiti. B je pobedio, ali tim nije znao koji element je napravio razliku; učenje je postalo nula. U sljedećem testu slijedili su pravilo: jedna po jedna varijabla. U tom testu su jasno vidjeli da je titula glavni faktor.
Slučaj 3 — Zamka rane odluke. Tim za bilten testirao je dvije teme na grupi od 200 ljudi i rekao: "Zaradio je A" u prvom satu. Uzorak je bio vrlo mali; razlika je bila statistički beznačajna (tj. mogla je biti posljedica slučajnosti). Kada je test povećan na dovoljno uzorkovanja i vremena, rezultat je bio obrnut. Pouka: ne donosite odluke bez dovoljno podataka.
Oprez: Razlika uočena na malom uzorku (mali broj ljudi) može biti zavaravajuća. Statistička značajnost se odnosi na vjerovatnoću da je razlika stvarna, a ne slučajno. Uvjerite se da je dosegnuto dovoljno ljudi i da testiranje traje dovoljno dugo prije nego što prerano donosite zaključke.
Predlošci koji se mogu kopirati
Predložak 1 — Generator izolirane varijante:
Generirajte varijante za A/B testiranje. JEDINA varijabla za testiranje: [naslov/CTA/slika]. Sve ostalo će ostati konstantno. Hipoteza: [...]. Kontekst: [...].Varijanta A: [sadašnji pristup]. Varijanta B: [alternativni pristup]. Neka su dvije varijante slične dužine; ne mijenjaj ništa drugo.
Šablon 2 — Razjašnjavanje hipoteza:
Konstruirajte provjerljivu hipotezu iz sljedećeg zapažanja: "[zapažanje]". Napišite hipotezu u formatu "ako napravimo [promjenu], [metrika] se povećava jer [zašto]". Onda mi reci koju jednu varijablu trebam izolirati.
Predložak 3 — Skup za testiranje predmeta:
Kreirajte 2 naslova za A/B test za sljedeću e-poštu. Razlika na jednoj osi: [znatiželja naspram jasnoće/konciznosti itd. dugo/pitanje itd. izraz]. Oba ne bi trebala sadržavati riječ neželjena pošta i trebala bi biti slične dužine. Email sažetak: [...]
Šablon 4 — Tumačenje rezultata:
Interpretirajte rezultat A/B testa. Varijabla: [...]. Varijanta A metrika: [...]. Varijanta B metrika: [...].Veličina uzorka: [...]. Trajanje: [...].Recite mi: Da li se razlika čini značajnom ili je uzorak mali? Šta smo naučili? Šta preporučate za sljedeći test? Nemojte tvrditi tačne statistike; Ako nije jasno, navedite.
Savjet: Nije dovoljno dobiti "pobjednika" iz testa; Pravi dobitak je uvid u to "zašto je pobijedio". Ovaj uvid se unosi u hipotezu za sljedeći test i gradi tijelo učenja tokom vremena.
Prioritet: šta prvo testirati?
Postoje beskrajne stavke koje možete testirati, ali vaše vrijeme i promet su ograničeni. Stoga dajte prioritet testovima na osnovu potencijala uticaja. Opće pravilo: prvi se testiraju elementi koje korisnik prvi vidi i koji imaju najveći utjecaj na odluku. Na odredišnoj stranici, naslov ima najveći uticaj na klikove; jer ga korisnik prvi čita i odlučuje tamo ili ne nastaviti. Detalji poput boje dugmeta često imaju manji uticaj; ostavite ih za kraj.
Praktičan način da se odredi prioritet je da se svaka ideja testiranja ocijeni na tri ose: očekivani učinak (koliku će razliku napraviti ako pobijedi?), povjerenje (koliko smo sigurni da će pobijediti?) i lakoća (koliko brzo se postavlja?). Testovi sa velikim uticajem, visokim samopouzdanjem i malim naporom su na prvom mestu. Ovo vam omogućava da dodijelite ograničen promet na eksperimente koji donose najviše učenja. AI vam može dati brzi nacrt za bodovanje i određivanje prioriteta na listi ideja duž ove tri ose; Vi odlučujete.
Šablon 5 — Određivanje prioriteta testa:
Dajte prioritet sljedećim idejama za A/B testiranje. Ocjenite svaku po osi udarca (1-5), pouzdanosti (1-5) i jednostavnosti ugradnje (1-5), rangirajte ih prema ukupnom rezultatu i u jednoj rečenici objasnite zašto su tim redoslijedom. IDEJE ZA TEST: [lista]
Uobičajene greške
- Tako varijabilna u isto vrijeme. Rezultat postaje nerazumljiv.
- Testiranje bez hipoteza. “Hajde da probamo i vidimo” ne proizvodi učenje.
- Rana odluka. U malom uzorku, smatra se da je razlika stvarna slučajno.
- Varijante različitih dužina. Druga varijabla je nenamjerno kreirana.
- Samo uzimam pobednika. Ako se ne sazna razlog, informacije se neće akumulirati.
Ukratko
- Zlatno pravilo A/B testiranja: jedna po jedna varijabla.
- Svaki test treba da počne hipotezom: šta očekujem i zašto?
- Definirajte jednu jasnu mjeru uspjeha i adekvatan uzorak.
- Razlika u malom uzorku je pogrešna; Obratite pažnju na statističku značajnost.
- Saznajte zašto, a ne pobjednika; Ovaj uvid ulazi u sljedeći test.
Zadatak aplikacije
Odaberite zapažanje o jednom od svojih sadržaja. Uz predložak 2, prevedite ovo u jasnu hipotezu i identificirajte varijablu koju treba izolirati. Napravite dvije varijante sa šablonom 1 (slična dužina, samo razlika). Konačno, prilagodite hipotetičke brojeve ishoda, interpretirajte ih koristeći šablon 4 i zabilježite šta model kaže o adekvatnosti uzorka. Trajanje: približno 25 minuta.
kontrolna lista
- [ ] Započeo sam test sa jasnom hipotezom.
- [ ] Izolovao sam samo jednu varijablu.
- [ ] Varijante su ostale slične na drugim osovinama (dužina, itd.).
- [ ] Definisao sam jednu jasnu metriku uspjeha.
- [ ] Nisam se odlučio bez dovoljno uzorka/vremena.
- [ ] Zabilježio sam razlog za pobjednika za sljedeći test.