Kasu:
- Võimalus luua süstemaatilisi tekstivariante, mis eraldavad A/B testimiseks üksikud muutujad
- Võimalus muuta hüpotees mõõdetavaks eksperimentaalseks seadistuseks
- Oskus tõlgendada testi tulemusi statistilise olulisuse ja õppimise seisukohalt
Intuitsioon on turunduses väärtuslik, kuid tõendid on väärtuslikumad. Milline pealkiri kogub rohkem klikke, milline CTA müüb rohkem, milline pilt tõmbab rohkem tähelepanu? Selle asemel, et arvata, saate seda mõõta A/B testimisega. A/B testimine on eksperimentaalne meetod, mis näitab tegelikule vaatajaskonnale sama sisu kahte versiooni (A ja B) ning mõõdab, kumb toimib paremini. Tehisintellekt toodab kiiresti nende testide jaoks sisendi, nimelt variandid; Kuid testi toimimiseks on vaja teaduslikku reeglit: üks muutuja korraga. Selles üksuses saate teada, kuidas genereerida variante, tõlkida hüpotees mõõdetavaks katseks ja tõlgendada tulemusi statistilise olulisuse seisukohalt.
Kuldne reegel: eraldage üks muutuja
Testi tulemuste tõlgendamiseks peab A ja B vahel erinema ainult üks asi. Kui muudate samaaegselt pealkirja, pilti ja CTA-d, ei saa te kunagi teada, kumb muutis, kui B võidab. Testitava muutuja eraldamine on ainus asi, mis muudab õppimise võimalikuks.
Tüüpilised muutujad, mida saab testida:
- Pealkiri: sama pilt ja keha, erinev pealkiri.
- CTA tekst: "Osta" või "Lisa ostukorvi"?
- Teema rida: mõjutab meili avamise määra.
- Pilt: sama tekst, erinev pilt.
- Pikkus/toon: Lühike vs pikk, ametlik jne siiras.
Hüpoteesist katseni: samm-sammult
- Tehke tähelepanek. "Meie sihtlehel on madal konversioon."
- Hüpotees. "Eelistele keskenduv pealkiri toob rohkem konversioone kui funktsioonidele keskenduv pealkiri."
- Eraldage muutuja. Muutub ainult pealkiri.
- Genereeri variante. Mudeliga 2 selget varianti (A: funktsioon, B: eelis).
- Määrake oma edu mõõt. Näiteks konversioonimäär – soovitud toimingu sooritanud külastajate protsent.
- Määrake proov ja kestus. Piisavalt inimesi ja piisavalt aega.
- Mõõtke, võrrelge, õppige. Õppige "miks", mitte võitja.
"Hüpotees" on ennustus, mida siin testitakse ja mis võib osutuda tõeseks või valeks; Hea hüpotees ütleb teile, mida te ootate ja miks.
Nõrk viip / Tugev viip
Nõrk viip:
Kirjutage sellele pealkirjale mõned alternatiivid.
Võimas viip:
Looge A/B-testi jaoks variandid. Reegel: muutub AINULT pealkiri, sisu ja CTA jäävad samaks.HÜPOTEES: eelistele orienteeritud pealkiri saab rohkem klikke kui funktsioonidele orienteeritud pealkiri.KONTEKST: Sihtleht. Toode: projektijuhtimise rakendus. Vaatajaskond: väikesed meeskonnad.SOOVITUD:- Variant A: funktsioonidele orienteeritud pealkiri (kirjeldab, mida toode teeb)- Variant B: kasule orienteeritud pealkiri (kirjeldab, mida see kasutajale pakub) Kirjutage iga variandi alla, millist psühholoogilist motivatsiooni see puudutab.Ainult 2 varianti; Mõlemad peaksid olema üherealised, sarnase pikkusega.
Oluline on soovida, et variandid oleksid sarnase pikkusega; vastasel juhul muutub "pikkus" tahtmatult teiseks muutujaks.
Tabel enne/pärast testi
Lava
Mida teha
sagedane viga
hüpotees
Mida, miks ma ootan?
"Proovime" ilma hüpoteesideta
Muutuv
Eraldage üks asi
Paljude asjade muutmine korraga
kriteerium
Valige üks selge mõõdik
Määramatu "parem"
näidis
Piisavalt inimesi/aega
otsusta varakult
kommenteerida
Uurige, miks
Võtke lihtsalt võitja
kolm minikarpi
Juhtum 1 – CTA test annab selged tulemused. E-kaubanduse sait testis toote nuppu: A "Osta", B "Lisa ostukorvi". Muutunud on ainult nupu tekst. 3000 külastajaga tehtud testis suurendas B oma klikkimise määra 4,0%-lt 4,9%-le. Üksiku muutuja eraldamisega oli võitja selge: „lisa ostukorvi” tundus vähem siduv.
Juhtum 2 – mitme muutujaga viga. Meeskond kujundas kaks sihtlehte, kuid pealkiri, pilt ja värv olid kõik erinevad. B võitis, kuid meeskond ei teadnud, milline element erinevuse tegi; õppimine muutus nulliks. Järgmises testis järgisid nad reeglit: üks muutuja korraga. Selles testis nägid nad selgelt, et tiitel oli peamine tegur.
Juhtum 3 – varajase otsustamise lõks. Uudiskirjade meeskond katsetas kahte teemarida 200 inimesega rühma peal ja ütles: "See teenis esimese tunniga A". Valim oli väga väike; erinevus oli statistiliselt ebaoluline (st võis olla tingitud juhusest). Kui testi suurendati piisava proovivõtu ja ajani, muutus tulemus vastupidiseks. Õppetund: ärge langetage otsuseid ilma piisavate andmeteta.
Ettevaatust: väikeses valimis (väike inimeste arv) täheldatud erinevus võib olla eksitav. Statistiline olulisus viitab tõenäosusele, et erinevus on reaalne, mitte juhuslik. Enne kiirete järelduste tegemist veenduge, et jõutakse piisavalt inimesteni ja testimine kestab piisavalt kaua.
Kopeeritavad mallid
Mall 1 – isoleeritud variandi generaator:
Looge A/B-testimiseks variante. AINUS muutuja, mida testida: [pealkiri/CTA/image]. Kõik muu jääb muutumatuks. Hüpotees: [...]. Kontekst: [...].Variant A: [praegune lähenemine]. Variant B: [alternatiivne lähenemine]. Olgu need kaks varianti sarnase pikkusega; ära muuda midagi.
Mall 2 – hüpoteesi selgitaja:
Koostage kontrollitav hüpotees järgmisest vaatlusest: "[vaatlus]". Kirjutage hüpotees vormingus "kui teeme [muuda], suureneb [mõõdik], kuna [miks]". Seejärel öelge mulle, millise muutuja ma peaksin isoleerima.
Mall 3 – teemarea testikomplekt:
Looge järgmise meili jaoks A/B-testile kaks teemarida. Erinevus ühel teljel: [uudishimu vs selgus / kokkuvõtlikkus jne pikk/küsimus jne väljend]. Mõlemad ei tohiks sisaldada sõna rämpspost ja peaksid olema sarnase pikkusega. Meili kokkuvõte: [...]
Mall 4 – tulemuste tõlgendamine:
Tõlgendage A/B testi tulemust.Muutuja: [...]. Variant A mõõdik: [...]. Variant B mõõdik: [...].Valimi suurus: [...]. Kestus: [...].Ütle mulle: Kas erinevus tundub märkimisväärne või on valim väike? Mida me õppisime? Mida soovitate järgmiseks testiks? Ära pretendeeri täpsele statistikale; Kui on ebaselge, täpsustage.
Näpunäide: testist "võitja" saamiseks ei piisa; Tõeline kasu on arusaam sellest, miks see võitis. See ülevaade lisab järgmise testi hüpoteesi ja loob aja jooksul õppematerjali.
Prioriteet: mida kõigepealt testida?
Testida saab lõputult palju, kuid teie aeg ja liiklus on piiratud. Seega seadke katsed tähtsuse järjekorda mõjupotentsiaali alusel. Üldreegel: kõigepealt testitakse elemente, mida kasutaja esimesena näeb ja mis otsust kõige rohkem mõjutavad. Sihtlehel mõjutab klikke kõige rohkem pealkiri; sest kasutaja loeb selle enne läbi ja otsustab seal või mitte jätkata. Üksikasjad, nagu nupuvärv, avaldavad sageli väiksemat mõju; jäta need viimaseks.
Praktiline viis tähtsuse järjekorda seadmiseks on hinnata iga testimise ideed kolmel teljel: eeldatav mõju (kui palju vahet see võidab?), enesekindlus (kui kindlad me oleme, et see võidab?) ja lihtsus (kui kiire on seadistamine?). Esikohale seatakse suure mõjuga, suure usaldusväärsuse ja väikese pingutusega testid. See võimaldab teil eraldada piiratud liiklust katsetele, mis toovad kõige rohkem õppimist. Tehisintellekt võib anda teile kiire kavandi nende kolme telje järgi ideede loendi hindamiseks ja tähtsuse järjekorda seadmiseks; Sina otsustad.
Mall 5 – testi prioritiseerimine:
Eelistage järgmisi A/B testimise ideid. Hinda igaüks löögi (1–5), töökindluse (1–5) ja paigaldamise lihtsuse (1–5) telgede järgi, järjesta need koondhinde järgi ja selgita ühe lausega, miks need selles järjekorras on. TESTIDED: [loend]
Levinud vead
- Nii muutlik samal ajal. Tulemus muutub tõlgendamatuks.
- Hüpoteesivaba testimine. “Proovime ja vaatame” õppimist ei too.
- Varajane otsus. Väikeses valimis arvatakse, et erinevus on juhuslik.
- Erineva pikkusega variandid. Teine muutuja luuakse tahtmatult.
- Võtke lihtsalt võitja. Kui põhjust ei saada teada, siis info ei kogune.
Kokkuvõttes
- A/B testimise kuldreegel: üks muutuja korraga.
- Iga test peaks algama hüpoteesiga: mida ma ootan ja miks?
- Määratlege üks selge edukuse mõõt ja adekvaatne valim.
- Väikese valimi erinevus on eksitav; Pange tähele statistilist olulisust.
- Uuri välja, miks, mitte võitja; See ülevaade aitab kaasa järgmisele testile.
Rakenduse ülesanne
Valige ühe oma sisu kohta tähelepanek. Malli 2 abil muutke see selgeks hüpoteesiks ja tuvastage isoleeritav muutuja. Valmistage malliga 1 kaks varianti (sarnane pikkus, ainus erinevus). Lõpuks sobitage hüpoteetilised tulemuste numbrid, tõlgendage neid malli 4 abil ja pange tähele, mida mudel ütleb valimi adekvaatsuse kohta. Kestus: umbes 25 minutit.
kontrollnimekiri
- [ ] Alustasin testi selge hüpoteesiga.
- [ ] Eraldasin ainult ühe muutuja.
- [ ] Teistes telgedes (pikkus jne) jäid variandid sarnaseks.
- [ ] Olen määratlenud ühe selge edumõõdiku.
- [ ] Ma ei otsustanud ilma piisava näidise/ajata.
- [ ] Märkisin võitja põhjuse järgmiseks testiks.