Dobici:
- Sposobnost generiranja sustavnih varijanti teksta koje izoliraju pojedinačne varijable za A/B testiranje
- Sposobnost pretvaranja hipoteze u mjerljivu eksperimentalnu postavu
- Sposobnost tumačenja rezultata testa u smislu statističke značajnosti i učenja
Intuicija je vrijedna u marketingu, ali su dokazi vrjedniji. Koji naslov ima više klikova, koji CTA prodaje više, koja slika privlači više pažnje? Umjesto nagađanja, ovo možete izmjeriti A/B testiranjem. A/B testiranje je eksperimentalna metoda koja prikazuje dvije verzije istog sadržaja (A i B) stvarnoj publici i mjeri koja od njih ima bolju izvedbu. Umjetna inteligencija brzo proizvodi ulazne podatke za te testove, naime varijante; Ali da bi test funkcionirao potrebno je znanstveno pravilo: jedna po jedna varijabla. U ovoj ćete jedinici naučiti kako generirati varijante, prevesti hipotezu u mjerljivi eksperiment i interpretirati rezultate u smislu statističke značajnosti.
Zlatno pravilo: izolirajte jednu varijablu
Da biste protumačili rezultat testa, samo jedna stvar mora biti različita između A i B. Ako promijenite naslov, sliku i CTA u isto vrijeme, nikada nećete znati koji je napravio razliku kada B pobijedi. Izoliranje varijable koju treba testirati jedina je stvar koja omogućuje učenje.
Tipične varijable koje se mogu testirati:
- Naslov: ista slika i tijelo, drugačiji naslov.
- CTA tekst: "Kupi" ili "Dodaj u košaricu"?
- Predmet: utječe na stopu otvaranja e-pošte.
- Slika: isti tekst, druga slika.
- Duljina/ton: Kratko naspram dugog, formalno itd. iskreno.
Od hipoteze do eksperimenta: korak po korak
- Izvedite zapažanje. "Naša odredišna stranica ima nisku konverziju."
- Hipoteza. "Naslov usmjeren na prednosti pretvara više od naslova usmjerenog na značajke."
- Izolirajte varijablu. Promijenit će se samo naslov.
- Generiraj varijante. 2 jasne varijante s modelom (A: značajka, B: korist).
- Definirajte svoju mjeru uspjeha. Na primjer, stopa konverzije — postotak posjetitelja koji poduzimaju željenu radnju.
- Odredite uzorak i trajanje. Dovoljno ljudi i dovoljno vremena.
- Mjerite, uspoređujte, učite. Naučite "zašto", a ne pobjednika.
"Hipoteza" je predviđanje koje će se ovdje testirati i može se pokazati istinitim ili lažnim; Dobra hipoteza vam govori što očekujete i zašto.
Slab upit / Jak upit
Slab upit:
Napišite neke alternative za ovaj naslov.
Snažan upit:
Generirajte varijante za A/B test. Pravilo: SAMO će se naslov promijeniti, tijelo i CTA ostat će isti. HIPOTEZA: Naslov usmjeren na prednosti dobiva više klikova od naslova usmjerenog na značajke. KONTEKST: Odredišna stranica. Proizvod: aplikacija za upravljanje projektima. Publika: mali timovi.TRAŽENO:- Varijanta A: naslov usmjeren na značajke (opisuje što proizvod radi)- Varijanta B: naslov usmjeren na dobrobit (opisuje što pruža korisniku) Ispod svake varijante napišite koju psihološku motivaciju dotiče. Samo 2 varijante; Oba trebaju biti jedna linija, iste duljine.
Važno je željeti da varijante budu iste duljine; inače "duljina" nenamjerno postaje druga varijabla.
Tablica testa prije/poslije
Pozornica
Što učiniti
česta greška
hipoteza
Što, zašto čekam?
“Idemo probati” bez hipoteza
Varijabilna
Izolirajte jednu stvar
Mijenjanje mnogo stvari odjednom
kriterij
Odaberite jednu jasnu metriku
Neodređeno "bolje"
uzorak
Dovoljno ljudi/vremena
odluči rano
Komentirajte
Saznajte zašto
Samo uzmi pobjednika
tri mini kućišta
Slučaj 1 — CTA test daje jasne rezultate. Stranica za e-trgovinu testirala je gumb proizvoda: A "Kupi", B "Dodaj u košaricu". Promijenjen je samo tekst gumba. U testu od 3000 posjetitelja, B je povećao svoju stopu klikanja s 4,0% na 4,9%. S izoliranom jedinom varijablom, pobjednik je bio jasan: "dodaj u košaricu" činilo se manje obvezujućim.
Slučaj 2 — Multivarijatna pogreška. Tim je dizajnirao dvije odredišne stranice, ali su naslov, slika i boja bili različiti. B je pobijedio, ali tim nije znao koji element čini razliku; učenje je postalo nula. U sljedećem testu slijedili su pravilo: jedna po jedna varijabla. U tom testu jasno su vidjeli da je naslov glavni faktor.
Slučaj 3 — Zamka rane odluke. Tim za bilten testirao je dvije teme na grupi od 200 ljudi i rekao: "Zaslužio je peticu" u prvom satu. Uzorak je bio vrlo mali; razlika je bila statistički beznačajna (tj. mogla je biti slučajna). Kada je test povećan na dovoljno uzorkovanja i vremena, rezultat je bio obrnut. Pouka: ne donosite odluke bez dovoljno podataka.
Oprez: razlika koja se vidi u malom uzorku (mali broj ljudi) može dovesti u zabludu. Statistička značajnost odnosi se na vjerojatnost da je razlika stvarna, a ne slučajna. Pobrinite se da se dopre do dovoljno ljudi i da testiranje traje dovoljno dugo prije nego što prerano donosite zaključke.
Predlošci koji se mogu kopirati
Predložak 1 — Generator izolirane varijante:
Generirajte varijante za A/B testiranje. JEDINA varijabla za testiranje: [naslov/CTA/slika]. Sve ostalo će ostati konstantno. Hipoteza: [...]. Kontekst: [...].Varijanta A: [sadašnji pristup]. Varijanta B: [alternativni pristup]. Neka su dvije varijante slične duljine; ne mijenjaj ništa drugo.
Predložak 2 — Pojašnjenje hipoteze:
Konstruirajte hipotezu koja se može provjeriti iz sljedećeg opažanja: "[opažanje]". Napišite hipotezu u formatu "ako izvršimo [promjenu], [metrika] se povećava jer [zašto]". Onda mi reci koju pojedinačnu varijablu trebam izolirati.
Predložak 3 — Testni skup predmeta:
Napravite 2 retka predmeta za A/B testiranje za sljedeću e-poštu. Razlika na jednoj osi: [znatiželja vs. jasnoća/konciznost itd. dugo/pitanje itd. izraz]. Oba ne bi trebala sadržavati riječ spam i trebala bi biti slične duljine. E-mail sažetak: [...]
Predložak 4 — Tumačenje rezultata:
Protumačite rezultat A/B testa. Varijabla: [...]. Varijanta A metrike: [...]. Varijanta B metrika: [...].Veličina uzorka: [...]. Trajanje: [...].Recite mi: Čini li se razlika značajnom ili je uzorak mali? Što smo naučili? Što preporučate za sljedeći test? Ne zahtijevajte točnu statistiku; Ako je nejasno, navedite.
Savjet: Nije dovoljno dobiti "pobjednika" iz testa; Pravi dobitak je uvid u "zašto je pobijedio". Taj se uvid unosi u hipotezu za sljedeći test i gradi tijelo učenja tijekom vremena.
Prioritet: što prvo testirati?
Postoji bezbroj predmeta koje možete testirati, ali vaše vrijeme i promet su ograničeni. Stoga dajte prioritet testovima na temelju potencijala utjecaja. Opće pravilo: prvi se testiraju elementi koje korisnik prvi vidi i koji najviše utječu na odluku. Na odredišnoj stranici naslov ima najveći utjecaj na klikove; jer ga korisnik prvi pročita i tu odluči ili ne nastaviti. Pojedinosti poput boje gumba često imaju manji utjecaj; ostavi ih za kraj.
Praktičan način određivanja prioriteta je ocjenjivanje svake ideje za testiranje na tri osi: očekivani učinak (koliku će razliku napraviti ako pobijedi?), povjerenje (koliko smo uvjereni da će pobijediti?) i lakoća (koliko se brzo postavlja?). Testovi s velikim utjecajem, visokim pouzdanjem i malim naporom stavljeni su na prvo mjesto. To vam omogućuje da ograničeni promet dodijelite eksperimentima koji donose najviše učenja. AI vam može dati brzi nacrt za bodovanje i određivanje prioriteta popisa ideja duž ove tri osi; Vi odlučujete.
Predložak 5 — Testiranje prioriteta:
Dajte prioritet sljedećim idejama za A/B testiranje. Ocijenite svaki po osi utjecaja (1-5), pouzdanosti (1-5) i jednostavnosti ugradnje (1-5), rangirajte ih prema ukupnom rezultatu i u jednoj rečenici objasnite zašto su u tom redoslijedu. IDEJE ZA TEST: [popis]
Uobičajene greške
- Tako promjenjivo u isto vrijeme. Rezultat postaje netumačiv.
- Testiranje bez hipoteza. “Idemo probati pa ćemo vidjeti” ne donosi učenje.
- Rana odluka. U malom uzorku, smatra se da je razlika stvarna slučajno.
- Varijante različitih duljina. Druga varijabla je nenamjerno stvorena.
- Samo uzimam pobjednika. Ako se razlog ne sazna, informacije se neće akumulirati.
Ukratko
- Zlatno pravilo A/B testiranja: jedna po jedna varijabla.
- Svaki test trebao bi započeti hipotezom: što očekujem i zašto?
- Definirajte jednu jasnu mjeru uspješnosti i adekvatan uzorak.
- Razlika u malom uzorku dovodi u zabludu; Obratite pažnju na statističku značajnost.
- Saznajte zašto, a ne pobjednik; Ovaj uvid ulazi u sljedeći test.
Zadatak aplikacije
Odaberite zapažanje o jednom od svojih sadržaja. S predloškom 2 prevedite ovo u jasnu hipotezu i identificirajte varijablu koju želite izolirati. Izradite dvije varijante s predloškom 1 (slična duljina, samo razlika). Na kraju, prilagodite brojeve hipotetskih rezultata, protumačite ih pomoću predloška 4 i zabilježite što model govori o primjerenosti uzorka. Trajanje: približno 25 minuta.
popis za provjeru
- [ ] Započeo sam test s jasnom hipotezom.
- [ ] Izolirao sam samo jednu varijablu.
- [ ] Varijante su ostale slične u drugim sjekirama (duljina, itd.).
- [ ] Definirao sam jednu jasnu metriku uspjeha.
- [ ] Nisam se odlučio bez dovoljno uzorka/vremena.
- [ ] Zabilježio sam razlog za pobjednika za sljedeći test.