A/B bandymo variantai ir eksperimento dizainas

Pelnas:

• Gebėjimas generuoti sisteminius teksto variantus, išskiriančius pavienius kintamuosius A/B testavimui
• Gebėjimas paversti hipotezę į išmatuojamą eksperimentinę sąranką
• Gebėjimas interpretuoti testų rezultatus statistinio reikšmingumo ir mokymosi požiūriu

Intuicija yra vertinga rinkodaros srityje, tačiau įrodymai yra vertingesni. Kuri antraštė sulaukia daugiau paspaudimų, kuri CTA parduoda daugiau, kuris vaizdas patraukia daugiau dėmesio? Užuot spėlioję, galite tai išmatuoti A/B testavimu. A/B testavimas yra eksperimentinis metodas, kuris rodo dvi to paties turinio versijas (A ir B) realiai auditorijai ir įvertina, kuri iš jų yra našesnė. Dirbtinis intelektas greitai sukuria įvestį šiems testams, būtent variantus; Tačiau norint, kad bandymas veiktų, reikia laikytis mokslinės taisyklės: po vieną kintamąjį. Šiame skyriuje sužinosite, kaip generuoti variantus, paversti hipotezę išmatuojamu eksperimentu ir interpretuoti rezultatus pagal statistinį reikšmingumą.

Auksinė taisyklė: išskirkite vieną kintamąjį

Norint interpretuoti testo rezultatą, A ir B turi skirtis tik vienas dalykas. Jei tuo pačiu metu pakeisite pavadinimą, vaizdą ir raginimo veikti, niekada nesužinosite, kuris iš jų padarė skirtumą, kai B laimi. Tikrinamo kintamojo išskyrimas yra vienintelis dalykas, leidžiantis mokytis.

Tipiški kintamieji, kuriuos galima išbandyti:

• Pavadinimas: tas pats vaizdas ir turinys, kitoks pavadinimas.
• CTA tekstas: „Pirkti“ arba „Įdėti į krepšelį“?
• Temos eilutė: turi įtakos el. laiško atidarymo greičiui.
• Vaizdas: tas pats tekstas, kitas vaizdas.
• Ilgis/tonas: Trumpas ar ilgas, oficialus ir tt nuoširdus.

Nuo hipotezės iki eksperimento: žingsnis po žingsnio

1. Padarykite pastebėjimą. „Mūsų nukreipimo puslapio konversija nedidelė“.
2. Hipotezė. „Į naudą orientuota antraštė konvertuoja daugiau nei į funkcijas orientuota antraštė.
3. Išskirkite kintamąjį. Pasikeis tik pavadinimas.
4. Generuoti variantus. 2 aiškūs variantai su modeliu (A: savybė, B: nauda).
5. Apibrėžkite savo sėkmės matą. Pavyzdžiui, konversijų rodiklis – lankytojų, atlikusių norimą veiksmą, procentas.
6. Nustatykite mėginį ir trukmę. Užtenka žmonių ir pakankamai laiko.
7. Išmatuokite, palyginkite, mokykitės. Sužinokite „kodėl“, o ne nugalėtoją.

„Hipotezė“ yra prognozė, kuri čia bus patikrinta ir gali pasirodyti teisinga arba klaidinga; Gera hipotezė pasako, ko tikitės ir kodėl.

Silpnas raginimas / Stiprus raginimas

Silpnas raginimas:

Parašykite keletą šio pavadinimo alternatyvų.

Galingas raginimas:

Generuokite A/B testo variantus. Taisyklė: keisis TIK pavadinimas, turinys ir raginimo veikti veiksmas išliks tokie patys.HIPOTEZĖ: į naudą orientuotas pavadinimas sulaukia daugiau paspaudimų nei į funkcijas orientuotas pavadinimas.KONTEKSTAS: nukreipimo puslapis. Produktas: projektų valdymo programa. Auditorija: mažos komandos.PRAŠOMA:- A variantas: į ypatybes orientuotas pavadinimas (apibūdina, ką gaminys)- B variantas: į naudą orientuotas pavadinimas (apibūdina, ką jis suteikia vartotojui) Po kiekvienu variantu parašykite, kokią psichologinę motyvaciją tai paliečia.Tik 2 variantai; Abi turi būti vienos eilutės, panašaus ilgio.

Svarbu, kad variantai būtų panašaus ilgio; kitu atveju „ilgis“ netyčia tampa antruoju kintamuoju.

Prieš/po bandymo lentelė

Scena

Ką daryti

dažna klaida

hipotezė

Ką, kodėl aš laukiu?

„Pabandykime“ be hipotezių

Kintamasis

Išskirkite vieną dalyką

Daug dalykų pakeitimas vienu metu

kriterijus

Pasirinkite vieną aiškią metriką

Neribotas „geriau“

mėginys

Užteks žmonių/laiko

nuspręsti anksti

komentuoti

Sužinokite kodėl

Tiesiog pasiimk nugalėtoją

trys mini dėklai

1 atvejis – CTA testas duoda aiškius rezultatus. El. prekybos svetainė išbandė produkto mygtuką: A „Pirkti“, B „Įdėti į krepšelį“. Pakeistas tik mygtuko tekstas. Išbandžius 3 000 lankytojų, B padidino paspaudimų rodiklį nuo 4,0 % iki 4,9 %. Išskyrus vieną kintamąjį, nugalėtojas buvo aiškus: „įdėti į krepšelį“ buvo mažiau įpareigojantis.

2 atvejis – daugiamatė klaida. Komanda sukūrė du nukreipimo puslapius, bet pavadinimas, vaizdas ir spalva buvo skirtingi. B laimėjo, bet komanda nežinojo, kuris elementas padarė skirtumą; mokymasis tapo nuliu. Kitame teste jie laikėsi taisyklės: po vieną kintamąjį. Per tą testą jie aiškiai matė, kad titulas buvo pagrindinis veiksnys.

3 atvejis – ankstyvo sprendimo spąstai. Naujienlaiškių komanda išbandė dvi temos eilutes 200 žmonių grupėje ir pasakė: „Tai uždirbo A“ per pirmąją valandą. Imtis buvo labai maža; skirtumas buvo statistiškai nereikšmingas (t. y. galėjo atsirasti dėl atsitiktinumo). Kai bandymas buvo padidintas iki pakankamo mėginių ėmimo ir laiko, rezultatas buvo priešingas. Pamoka: nepriimkite sprendimų neturėdami pakankamai duomenų.

Atsargiai: skirtumas, pastebėtas mažoje imtyje (mažas žmonių skaičius), gali būti klaidinantis. Statistinis reikšmingumas reiškia tikimybę, kad skirtumas yra tikras, o ne dėl atsitiktinumo. Prieš darydami skubotas išvadas, įsitikinkite, kad pasiekta pakankamai žmonių ir bandymai tęsiasi pakankamai ilgai.

Kopijuojami šablonai

1 šablonas – izoliuoto varianto generatorius:

Generuokite A/B testavimo variantus. VIENINTELIS kintamasis, kurį reikia išbandyti: [headline/CTA/image]. Visa kita išliks pastovi. Hipotezė: [...]. Kontekstas: [...].Variantas A: [dabartinis požiūris]. B variantas: [alternatyvus metodas]. Tegul abu variantai yra panašaus ilgio; daugiau nieko nekeisk.

2 šablonas – hipotezės paaiškinimas:

Sukurkite patikrinamą hipotezę iš šio stebėjimo: „[stebėjimas]“. Parašykite hipotezę formatu „jei [pakeisime], [metrika] padidės, nes [kodėl]“. Tada pasakykite man, kurį vieną kintamąjį turėčiau išskirti.

3 šablonas – temos eilutės testo rinkinys:

Sukurkite 2 temos eilutes šio el. laiško A/B testui. Skirtumas vienoje ašyje: [smalsumas vs aiškumas / glaustumas ir pan. ilgas / klausimas ir pan. išraiška]. Abiejuose neturėtų būti žodžio „spam“ ir jie turi būti panašaus ilgio. El. pašto santrauka: [...]

4 šablonas – rezultatų interpretavimas:

Interpretuokite A/B testo rezultatą.Kintamasis: [...]. A varianto metrika: [...]. B varianto metrika: [...].Imties dydis: [...]. Trukmė: [...].Pasakykite man: Ar skirtumas atrodo reikšmingas, ar imtis maža? Ko mes išmokome? Ką rekomenduotumėte kitam testui? Nereikalaukite tikslios statistikos; Jei neaišku, nurodykite.

Patarimas: neužtenka gauti „nugalėtoją“ iš testo; Tikrasis pelnas yra supratimas, „kodėl laimėjo“. Ši įžvalga prisideda prie kito testo hipotezės ir laikui bėgant sukuria mokymosi turinį.

Prioritetas: ką pirmiausia išbandyti?

Yra begalė elementų, kuriuos galite išbandyti, tačiau jūsų laikas ir srautas yra riboti. Taigi pirmenybę teikite bandymams pagal poveikio potencialą. Bendra taisyklė: pirmiausia tikrinami tie elementai, kuriuos vartotojas mato pirmiausia ir kurie daro didžiausią įtaką sprendimui. Nukreipimo puslapyje antraštė turi didžiausią įtaką paspaudimams; nes vartotojas pirmiausia jį perskaito ir nusprendžia ten tęsti ar ne. Tokios detalės kaip mygtukų spalva dažnai daro mažesnį poveikį; palik juos paskutiniam.

Praktiškas būdas nustatyti prioritetą yra įvertinti kiekvieną testavimo idėją trimis ašimis: numatomas poveikis (kiek bus skirtumas, jei ji laimės?), pasitikėjimas (kiek esame įsitikinę, kad ji laimės?) ir lengvumas (kaip greitai ji nustatoma?). Pirmieji yra bandymai su dideliu poveikiu, dideliu pasitikėjimu ir mažai pastangų. Tai leidžia paskirstyti ribotą srautą eksperimentams, kurie suteikia daugiausiai žinių. Dirbtinis intelektas gali suteikti jums greitą planą, kaip įvertinti idėjų sąrašą ir nustatyti prioritetus pagal šias tris ašis; Jūs nuspręsite.

5 šablonas – bandymo prioritetų nustatymas:

Pirmenybę teikite šioms A/B testavimo idėjoms. Įvertinkite kiekvieną pagal smūgio (1–5), patikimumo (1–5) ir montavimo paprastumo (1–5) ašis, reitinguokite pagal bendrą balą ir vienu sakiniu paaiškinkite, kodėl jie yra tokia tvarka. BANDYMO IDĖJOS: [sąrašas]

Dažnos klaidos

• Taip kintama tuo pačiu metu. Rezultatas tampa neaiškus.
• Testavimas be hipotezių. „Pabandykime ir pamatysime“ mokymosi neduoda.
• Ankstyvas sprendimas. Manoma, kad nedidelėje imtyje skirtumas realus atsitiktinai.
• Skirtingo ilgio variantai. Antrasis kintamasis sukuriamas netyčia.
• Tiesiog pasiimk nugalėtoją. Jei priežasties nesužinosite, informacija nesikaups.

Apibendrinant

• Auksinė A/B testavimo taisyklė: vienas kintamasis vienu metu.
• Kiekvienas testas turėtų prasidėti nuo hipotezės: ko aš tikiuosi ir kodėl?
• Apibrėžkite vieną aiškų sėkmės matą ir tinkamą pavyzdį.
• Skirtumas mažoje imtyje yra klaidinantis; Atkreipkite dėmesį į statistinį reikšmingumą.
• Sužinokite, kodėl, o ne nugalėtojas; Ši įžvalga įtraukiama į kitą testą.

Taikymo užduotis

Pasirinkite pastebėjimą apie vieną iš savo turinio. Naudodami 2 šabloną paverskite tai aiškia hipoteze ir nustatykite kintamąjį, kurį norite išskirti. Sukurkite du variantus su 1 šablonu (panašus ilgis, tik skirtumas). Galiausiai pritaikykite hipotetinius rezultatų skaičius, interpretuokite juos naudodami 4 šabloną ir atkreipkite dėmesį, ką modelis sako apie imties adekvatumą. Trukmė: apie 25 minutes.

kontrolinis sąrašas

• [ ] Bandymą pradėjau turėdamas aiškią hipotezę.
• [ ] Išskyriau tik vieną kintamąjį.
• [ ] Variantai išliko panašūs ir kitose ašyse (ilgis ir kt.).
• [ ] Apibrėžiau vieną aiškų sėkmės metriką.
• [ ] Nenusisprendžiau neturėdamas pakankamai mėginio / laiko.
• [ ] Pasižymėjau nugalėtojo priežastį kitam testui.