Voitot:
- Kyky ymmärtää A/B-testauksen, kontrollin/variantin, muuntokertoimen ja tilastollisen merkitsevyyden käsitteet sekä muodostaa hypoteeseja ja testaussuunnitelmia tekoälyn avulla.
- Kyky eristää yksi testattava muuttuja ja tuottaa muunnelmatekstiä/kuvaa ja mittaussuunnitelma tekoälyn tuella
- Kyky erottaa, että tekoälyn testitulkintaa rajoittavat otoskoko ja merkitys sekä riski lukea ennenaikaisia/virheellisiä tuloksia
Vaarallisin lause mainonnassa on "Mielestäni tämä on parempi". Tieto, ei mielipide, kertoo, onko otsikko, kuva vai painike todella parempi. Yleisin tapa mitata tätä on A/B-testaus: näyttää kaksi (tai useampaa) versiota samasta mainoksesta todellisille käyttäjille ja vertaamalla, kumpi toimii paremmin. "A" on yleensä nykyinen versio (kontrolli), kun taas "B" on uusi kokeiluversio (muunnelma). Voit esimerkiksi muuttaa vain saman mainoksen otsikkoa ja mitata, mitä otsikkoa klikataan enemmän. Tekoäly on avuksi tässä prosessissa sekä suuren määrän muunnelmien luomisessa että tuloksen tulkinnassa; Mutta testin tieteellinen pätevyys riippuu suunnittelusäännöistä ja kärsivällisyydestä.
A/B-testauksen kultainen sääntö: yksi muuttuja
A/B-testauksen perussääntö on yksittäisen muuttujan eristäminen. Jos muutat otsikkoa, kuvaa ja painiketta samanaikaisesti ja versio B voittaa, et koskaan tiedä, mikä voitti. Joten testissä vain yhden elementin pitäisi muuttua, loput pysyvät vakioina. Jos haluat testata useampaa kuin yhtä kohdetta samanaikaisesti ja systemaattisesti, tätä kutsutaan monimuuttujatestaukseksi ja vaatii paljon suuremman otoksen. Yksimuuttujainen A/B-testaus on tapa aloittaa.
Toinen peruskäsite on tilastollinen merkitsevyys. Oletetaan, että versio A sai 3 prosenttia klikkauksista ja versio B 3,3 prosenttia. Onko tämä ero todellinen etu vai sattuma? Jos näytit testin vain 100 ihmiselle, tämä ero voi olla sattumaa. Tilastollinen merkitsevyys tarkoittaa, että havaittu ero on riittävän epätodennäköistä, koska se johtuu sattumasta (eli ero on todennäköisesti todellinen). Tämä vaatii riittävän otoskoon (testin näkevien ihmisten lukumäärän). ”Voittajan” julistaminen vähällä tiedolla on yleisin ja kallein virhe.
Vinkki: Ennen kuin aloitat testin, vastaa kysymykseen "milloin julistan voittajan": kuinka monta henkilöä/konversion jälkeen, millä merkitystasolla. Tämän päätöksen tekeminen etukäteen estää sinua joutumasta meluun ensimmäisten tuntien aikana ja tekemästä ennenaikaista päätöstä.
Seuraavassa taulukossa vertaillaan hyvää ja huonoa A/B-testisuunnittelua:
kohde
huono suunnittelu
hyvä muotoilu
Muuttujien lukumäärä
Otsikko + kuva + painike yhdessä
vain otsikko
hypoteesi
(ei mitään) "katsotaan mitä tapahtuu"
"Kysymyksiä sisältävät otsikot lisäävät klikkauksia"
näyte
80 henkilöä
Ennalta laskettu päätösvaltaisuus
päätöksen aika
2 tuntia myöhemmin
Kun saavutat merkityksen
Voittajan valinta
"Minusta B on kiva"
Tietojen ja merkityksen perusteella
Askel askeleelta: A/B-testin määrittäminen
Vaihe 1 – Kirjoita hypoteesi. Mitä testaat ja miksi? Selkeä hypoteesi, kuten "Etuja sisältävä otsikko saa enemmän napsautuksia kuin ominaisuuksia sisältävä otsikko."
Vaihe 2 – Valitse yksi muuttuja. Vain otsikko tai vain kuva tai vain toimintakehotus.
Vaihe 3 – Luo muunnelmia. Luo eri versioita samasta tuotteesta tekoälyllä; pidä loput vakiona.
Vaihe 4 – Määritä mittaussuunnitelma. Mikä mittari määrittää voittajan (napsautussuhde, tulos), kuinka paljon näytettä tarvitaan ja kuinka kauan sitä suoritetaan.
Vaihe 5 – Tulkitse ja tarkista tulos. Onko tietoa kerätty tarpeeksi, onko ero merkittävä? Jos se ei ole merkittävä, "ei eroa" on myös kelvollinen tulos.
kolme minilaukkua
Tapaus 1 – Yhden muuttujan selkeys. Verkkokauppabrändi testasi vain toimintakehotusta tuotemainoksessaan: "Osta" ja "Lisää ostoskoriin". Kaikki muu oli sama. Riittävän näytteenoton jälkeen "Lisää ostoskoriin" toi huomattavasti enemmän tuloksia. Ero voidaan tulkita selkeästi, koska yksi muuttuja oli eristetty. Tekoäly tuotti kaksi toimintakehotusta, data valitsi voittajan.
Tapaus 2 – Varhaisen päätöksen ansa. Tuotemerkki keskeytti testin, koska versio B oli edellä A/B-testin kolmen ensimmäisen tunnin aikana ja avasi B:n koko budjetille. Tarkasteltaessa seuraavan päivän kokonaistietoja, A oli itse asiassa hieman parempi; Ero ensimmäisten tuntien aikana oli sattumaa. Budjetti meni hukkaan. Virhe: ennenaikaisen päätöksen tekeminen riittämättömällä otoskoolla.
Tapaus 3 – "Ei eroa" on myös johtopäätös. Eräs tuotemerkki testasi kahta eri kuvaa, ja riittävän näytteenoton jälkeen molemmat tuottivat lähes saman tuloksen. Vaikka tiimi oli valittamassa, että "testi epäonnistui", oikea tulkinta oli, että kuva ei ole ratkaiseva tekijä tässä kampanjassa, joten panostus tulisi suunnata otsikkoon ja tarjoukseen. Arvokasta tietoa on myös se, että merkittävää eroa ei havaittu.
Neljä kopioitavaa mallia
1) Hypoteesi ja testin suunnittelu:
Mitä haluan testata: [esim. mainoksen otsikko].Tehtävä: (1) Kirjoita yksi testattava hypoteesi (muodossa "... kasvaa ... kasvaa").(2) Lista yksittäiset muuttujat, jotka eristetään ja muuttujat, jotka pidetään vakiona.(3) Ehdota mittaria, joka määrittää voittajan (napsautussuhde/tulos).(4) Kirjoita, mitä minun on kiinnitettävä (varhaisen päätöksen testaamiseen, kesto).
2) Varianttigeneraattori (yksi versio):
Tarttuva mainos: kuva [sama], toimintakehotus [sama], kohde [sama]. Testattu muuttuja: HEADLINE. Pääviesti: "[viesti]". Tehtävä: Luo 4 eri otsikkomuunnelmaa samalla viestillä. Jokainen käyttää erilaista lähestymistapaa (kysymys, hyöty, määrä, kiireellisyys). Vain otsikko muuttuu; Lisätään perusteeton väite.
3) Mittaussuunnitelma:
Testi: [A:n ja B:n määritelmä]. Mittari: [napsautus/konversio]. Tehtävä: Laadi mittaussuunnitelma:(1) mikä mittari on ensisijainen, mikä toissijainen,(2) kuinka paljon dataa/aikaa tarvitaan voittajan julistamiseen (selitä logiikka),(3) kuinka jakaa liikenne tasaisesti ja reilusti A:n ja B:n välillä,(4) mitkä ulkoiset tekijät voivat vääristää tulosta (kausi, viikonpäivä).
4) Tulostulkki (varovainen):
A/B-testitulokseni (oikeat tiedot): [A: näyttökerrat/napsautukset/tulos],[B: näyttökerrat/napsautukset/tulos]. Tehtävä: (1) Laske ja näytä kunkin version hinnat.(2) Kommentoi eron suuruutta, mutta jos näyte ei ole riittävä, sano "riittämätön tieto mielekkään tuloksen saamiseksi." vaatimus merkityksestä; Vahvistan erillisellä tilityökalulla.
Heikko kehote / Vahva kehote
Heikko kehote:
Tuota mainokselleni A- ja B-versio, kerro kumpi on parempi.
Muuttuja ei ole eristetty, ei ole hypoteesia ja mittausta; AI ei voi tietää, mikä niistä on "hyvä" ilman dataa, se keksii sen.
Tehokas kehotus:
Asettelen A/B-testausta. Korjattu: kuva ja toimintakehotus pysyvät samoina.Ainoastaan testattu muuttuja: mainoksen otsikko.Hypoteesi: "Numeroilla varustettu otsikko saa enemmän klikkauksia kuin yleinen otsikko."Pääviesti: "Toimitetaan 3 päivässä."Tehtävä: (1) Tuota 1 yleinen otsikko kontrollia varten, 3 otsikkoa numeroineen vaihtoehdolle.(2) Kerro minulle, kumpi voittaja mitataan.(2) Kerro minulle. 3 virhettä, jotka voivat mitätöidä testin. Älä ennusta kumpi voittaa; Tiedot ratkaisevat sen.
Toinen väite eristää yhden muuttujan, sisältää hypoteesin ja mittauksen; jättää voittajan datalle.
Yleisiä virheitä
- Monien esineiden vaihtaminen kerralla. Voittajan syy jää epäselväksi; Yksi muuttuja on eristettävä.
- Päätösten teko riittämättömillä näytteillä. Ensimmäisten tuntien ero on usein sattumaa.
- Testaus ilman hypoteeseja. "Katsotaan mitä tapahtuu" -testaus ei tuota oppimista; Kirjoita ensin ylös, mitä odotat.
- Tuloksen "Ei eroa" tulkitseminen virheeksi. Merkittävän eron puute on myös informatiivinen.
- Voittajan valinta maun perusteella. Testaus on nimenomaan henkilökohtaisen maun poissulkeminen; Seuraa tietoja.
- Ulkoiset tekijät unohtamatta. Kausi, kampanjapäivä, uutisvirta voivat vääristää tulosta; Pidä testausolosuhteet oikeudenmukaisina.
Huomio: A/B-testauksen tarkoituksena ei ole "voittaa" vaan oppia. Jopa muunnelman häviäminen on arvokasta tietoa; Todellinen tappio on luottaminen väärään tulokseen riittämättömien tietojen kanssa ja budjetin sitominen siihen.
Yhteenvetona
A/B-testaus on tehokas menetelmä, joka siirtää mainontapäätökset ideasta dataan. Kultainen sääntö on eristää yksi muuttuja: vain yksi elementti saa muuttua testissä, loput pysyvät vakioina. Toinen pilari on riittävä otanta ja tilastollinen merkitsevyys; Voittajan julistaminen vähällä datalla on kallein virhe. Tekoäly auttaa luomaan useita muunnelmia ja laskemaan ja tulkitsemaan kertoimia, mutta tiedot määräävät voittajan, eivät tekoäly. Jopa "ei eroa" tulos on oppimista. Hypoteesi, mittari ja päätöskynnys tulee kirjoittaa ennen testin alkamista.
Sovellustehtävä
Valitse mainos (otsikko, kuva tai toimintakehotus). (1) Kirjoita yksi testattava hypoteesi ja eristetty muuttuja "Hypoteesi ja testisuunnittelu". (2) Luo 1 kontrolli + 3 muunnelmaa "Variant-generaattorilla"; Vaihda vain se elementti. (3) Suunnittele ”mittaussuunnitelman” avulla, mitä mittaria katsot, kuinka kauan ja millä tiedoilla. (4) Kirjoita kynnyksesi voittajan julistamiselle (kuinka monta tulosta / mikä merkitys) etukäteen. (5) Harkitse hypoteettisia tuloksia "tulostulkin" avulla ja pane merkille, miksi et tekisi päätöstä tilanteessa, jossa tiedot eivät ole riittäviä.
tarkistuslista
- [ ] Eristin testissä vain yhden muuttujan.
- [ ] Kirjoitin selvän hypoteesin ennen testiä.
- [ ] Olen jo määrittänyt voittajalle tarvittavan näytteen ja ajan.
- [ ] Valitsin voittajan tietojen, en henkilökohtaisen maun perusteella.
- [ ] Pidin "ei eroa" -tulosta kelvollisena oppimisena.
- [ ] Tarkastin ulkoisia tekijöitä, jotka voisivat vääristää tulosta.