Voitot:
- Kyky luoda systemaattisia tekstimuunnelmia, jotka eristävät yksittäiset muuttujat A/B-testausta varten
- Kyky muuttaa hypoteesi mitattavissa olevaksi kokeelliseksi asetelmaksi
- Kyky tulkita testituloksia tilastollisen merkitsevyyden ja oppimisen kannalta
Intuitio on arvokasta markkinoinnissa, mutta todisteet ovat arvokkaampia. Mikä otsikko saa enemmän klikkauksia, mikä toimintakehotus myy enemmän, mikä kuva herättää enemmän huomiota? Arvailun sijaan voit mitata tämän A/B-testauksella. A/B-testaus on kokeellinen menetelmä, joka näyttää kaksi versiota samasta sisällöstä (A ja B) todelliselle yleisölle ja mittaa, kumpi toimii paremmin. Tekoäly tuottaa nopeasti syötteen näitä testejä varten, nimittäin variantteja; Mutta testin saaminen toimimaan vaatii tieteellistä sääntöä: yksi muuttuja kerrallaan. Tässä osiossa opit luomaan muunnelmia, muuttamaan hypoteesin mitattavissa olevaksi kokeeksi ja tulkitsemaan tuloksia tilastollisen merkitsevyyden kannalta.
Kultainen sääntö: eristä yksi muuttuja
Testin tuloksen tulkitseminen edellyttää, että vain yksi asia eroaa A:n ja B:n välillä. Jos muutat otsikkoa, kuvaa ja toimintakehotusta samanaikaisesti, et koskaan tiedä, kumpi vaikutti B:n voittamiseen. Testattavan muuttujan eristäminen on ainoa asia, joka tekee oppimisen mahdolliseksi.
Tyypillisiä testattavia muuttujia:
- Otsikko: Sama kuva ja teksti, eri otsikko.
- CTA-teksti: "Osta" vai "Lisää ostoskoriin"?
- Aiherivi: Vaikuttaa sähköpostin avautumisasteeseen.
- Kuva: Sama teksti, eri kuva.
- Pituus/sävy: Lyhyt vs. pitkä, muodollinen jne. vilpitön.
Hypoteesista kokeiluun: askel askeleelta
- Tee havainto. "Aloitussivullamme on vähän konversioita."
- Hypoteesi. "Etuihin keskittyvä otsikko tuottaa enemmän tuloksia kuin ominaisuuksiin keskittyvä otsikko."
- Eristä muuttuja. Vain otsikko muuttuu.
- Luo muunnelmia. 2 selkeää versiota mallissa (A: ominaisuus, B: etu).
- Määrittele menestyksesi mitta. Esimerkiksi tulosprosentti – halutun toiminnon suorittaneiden vierailijoiden prosenttiosuus.
- Määritä näyte ja kesto. Tarpeeksi ihmisiä ja tarpeeksi aikaa.
- Mittaa, vertaa, opi. Opi "miksi", älä voittaja.
"Hypoteesi" on ennuste, joka testataan täällä ja joka voi osoittautua oikeaksi tai vääräksi; Hyvä hypoteesi kertoo mitä odotat ja miksi.
Heikko kehote / Vahva kehote
Heikko kehote:
Kirjoita tälle otsikolle vaihtoehtoja.
Tehokas kehotus:
Luo muunnelmia A/B-testiä varten. Sääntö: VAIN otsikko muuttuu, tekstiosa ja toimintakehotus pysyvät samoina.HYPOTEESI: Hyötysuuntautunut otsikko saa enemmän napsautuksia kuin ominaisuussuuntautunut otsikko. KONTEKSTI: Aloitussivu. Tuote: projektinhallintasovellus. Yleisö: pienet tiimit.PYYDETTY:- Variantti A: ominaisuussuuntautunut otsikko (kuvailee, mitä tuote tekee)- Variantti B: hyödyllinen otsikko (kuvailee, mitä se tarjoaa käyttäjälle) Kirjoita kunkin muunnelman alle, mitä psykologista motivaatiota se koskettaa.Vain 2 muunnelmaa; Molempien tulee olla yhtä riviä, samanpituisia.
On tärkeää haluta muunnelmien olevan samanpituisia; muuten "pituudesta" tulee tahattomasti toinen muuttuja.
Ennen/jälkeen testikaavio
Vaihe
Mitä tehdä
toistuva virhe
hypoteesi
Mitä, miksi odotan?
"Yritetään" ilman hypoteeseja
Muuttuva
Eristä yksi asia
Muuttaa monta asiaa kerralla
kriteeri
Valitse yksi selkeä mittari
Epämääräinen "parempi"
näyte
Ihmisiä/aikaa riittää
päättää ajoissa
Kommentoi
Opi miksi
Ota vain voittaja
kolme minilaukkua
Tapaus 1 – CTA-testi antaa selkeät tulokset. Verkkokauppasivusto testasi tuotepainiketta: A "Osta", B "Lisää ostoskoriin". Vain painikkeen teksti on muuttunut. Testissä, johon osallistui 3 000 kävijää, B nosti napsautussuhdetta 4,0 prosentista 4,9 prosenttiin. Kun yksittäinen muuttuja oli eristetty, voittaja oli selvä: "lisää ostoskoriin" tuntui vähemmän sitovalta.
Tapaus 2 — Monimuuttujavirhe. Tiimi suunnitteli kaksi aloitussivua, mutta otsikko, kuva ja väri olivat kaikki erilaisia. B voitti, mutta joukkue ei tiennyt, mikä elementti teki eron; oppimisesta tuli nolla. Seuraavassa testissä he noudattivat sääntöä: yksi muuttuja kerrallaan. Siinä testissä he näkivät selvästi, että otsikko oli tärkein tekijä.
Tapaus 3 – Varhaisen päätöksen ansa. Uutiskirjetiimi testasi kahta aiheriviä 200 ihmisen ryhmässä ja sanoi: "Se ansaitsi A:n" ensimmäisen tunnin aikana. Otos oli hyvin pieni; ero oli tilastollisesti merkityksetön (eli saattoi johtua sattumasta). Kun testi nostettiin riittävään näytteenottoon ja aikaan, tulos kääntyi päinvastaiseksi. Oppitunti: älä tee päätöksiä ilman tarpeeksi tietoa.
Varoitus: Pienessä otoksessa (pieni määrä ihmisiä) havaittu ero voi olla harhaanjohtava. Tilastollinen merkitsevyys viittaa todennäköisyyteen, että ero on todellinen eikä johdu sattumasta. Varmista, että tarpeeksi ihmisiä tavoitetaan ja testaus kestää tarpeeksi kauan ennen kuin teet hätiköityjä johtopäätöksiä.
Kopioitavat mallit
Malli 1 – erillinen muunnelman luonti:
Luo muunnelmia A/B-testausta varten. AINOA testattava muuttuja: [headline/CTA/image]. Kaikki muu pysyy vakiona. Hypoteesi: [...]. Konteksti: [...].Variantti A: [nykyinen lähestymistapa]. Variantti B: [vaihtoehtoinen lähestymistapa]. Olkoon molemmat muunnelmat samanpituisia; älä muuta mitään muuta.
Malli 2 – Hypoteesin selvennys:
Rakenna testattava hypoteesi seuraavasta havainnosta: "[havainto]". Kirjoita hypoteesi muodossa "jos teemme [muutos], [metriikka] kasvaa, koska [miksi]". Kerro sitten mikä yksittäinen muuttuja minun pitäisi eristää.
Malli 3 — Aiheen testijoukko:
Luo 2 aiheriviä A/B-testiin seuraavalle sähköpostille. Ero yhdellä akselilla: [uteliaisuus vs. selkeys / ytimellisyys jne. pitkä/kysymys jne. ilmaisu]. Molemmat eivät saa sisältää sanaa roskaposti, ja niiden tulee olla samanpituisia. Sähköpostiyhteenveto: [...]
Malli 4 — Tulosten tulkitseminen:
Tulkitse A/B-testin tulos.Muuttuja: [...]. Muunnelman A mittari: [...]. Variantin B metriikka: [...].Otoksen koko: [...]. Kesto: [...].Kerro minulle: Näyttääkö ero merkittävältä vai onko näyte pieni? Mitä opimme? Mitä suosittelet seuraavaan testiin? Älä vaadi tarkkoja tilastoja; Jos epäselvä, tarkenna.
Vinkki: "Voittajan" saaminen testistä ei riitä; Todellinen hyöty on näkemys "miksi se voitti". Tämä oivallus syöttää hypoteesia seuraavaa testiä varten ja rakentaa oppimiskokonaisuuden ajan myötä.
Prioriteetti: mitä testataan ensin?
Testattavia kohteita on loputtomasti, mutta aikasi ja liikenne on rajallista. Joten priorisoi testit vaikutuspotentiaalin perusteella. Yleissääntö: ensin testataan elementit, jotka käyttäjä näkee ensimmäisenä ja joilla on eniten vaikutusta päätökseen. Aloitussivulla otsikolla on suurin vaikutus klikkauksiin. koska käyttäjä lukee sen ensin ja päättää siellä vai ei. Yksityiskohdat, kuten painikkeiden väri, vaikuttavat usein vähemmän; jätä ne viimeiseksi.
Käytännöllinen tapa priorisoida on arvioida jokainen testausidea kolmella akselilla: odotettu vaikutus (kuinka paljon eroa sillä on, jos se voittaa?), itseluottamus (kuinka varmoja olemme, että se voittaa?) ja helppous (kuinka nopea käyttöönotto on?). Testit, joilla on suuri vaikutus, korkea luottamus ja vähäinen vaiva, asetetaan ensimmäiseksi. Näin voit kohdentaa rajoitetun liikenteen kokeiluille, jotka tuovat eniten oppimista. Tekoäly voi antaa sinulle nopean suunnitelman idealuettelon pisteytykseen ja priorisoimiseen näiden kolmen akselin mukaisesti. Sinä päätät.
Malli 5 – Testin priorisointi:
Priorisoi seuraavat A/B-testausideat. Arvostele kukin iskun (1-5), luotettavuuden (1-5) ja asennuksen helppouden (1-5) akseleilla, järjestele ne kokonaispistemäärän mukaan ja selitä yhdellä lauseella, miksi ne ovat tässä järjestyksessä. TESTIIDEOITA: [luettelo]
Yleisiä virheitä
- Niin vaihteleva samaan aikaan. Tuloksesta tulee käsittämätön.
- Hypoteesiton testaus. "Kokeillaan ja katsotaan" ei tuota oppimista.
- Varhainen päätös. Pienessä otoksessa eron uskotaan olevan todellinen sattumalta.
- Eripituisia muunnelmia. Toinen muuttuja luodaan tahattomasti.
- Ota vain voittaja. Jos syytä ei saada selville, tietoa ei kerry.
Yhteenvetona
- A/B-testauksen kultainen sääntö: yksi muuttuja kerrallaan.
- Jokainen testi tulee aloittaa hypoteesilla: mitä odotan ja miksi?
- Määrittele yksi selkeä menestysmittari ja riittävä otos.
- Ero pienessä otoksessa on harhaanjohtava; Huomioi tilastollinen merkitsevyys.
- Selvitä miksi, ei voittaja; Tämä oivallus syötetään seuraavaan testiin.
Sovellustehtävä
Valitse havainto jostakin sisällöstäsi. Muunna tämä mallin 2 avulla selväksi hypoteesiksi ja tunnista eristettävä muuttuja. Tuota kaksi versiota mallilla 1 (samanlainen pituus, ainoa ero). Lopuksi sovita hypoteettiset tulosluvut, tulkitse ne mallin 4 avulla ja pane merkille, mitä malli sanoo otoksen riittävyydestä. Kesto: noin 25 minuuttia.
tarkistuslista
- [ ] Aloitin testin selkeällä hypoteesilla.
- [ ] Eristin vain yhden muuttujan.
- [ ] Muunnelmat pysyivät samanlaisina muilla akseleilla (pituus jne.).
- [ ] Olen määritellyt yhden selkeän menestysmittarin.
- [ ] En tehnyt päätöstä ilman tarpeeksi näytettä/aikaa.
- [ ] Huomasin seuraavan testin voittajan syyn.