Ieguvumi:
- Spēja ģenerēt sistemātiskus teksta variantus, kas izolē atsevišķus mainīgos A/B testēšanai
- Spēja pārveidot hipotēzi izmērāmā eksperimentālā uzstādījumā
- Spēja interpretēt testa rezultātus statistiskā nozīmīguma un mācīšanās ziņā
Intuīcija ir vērtīga mārketingā, bet pierādījumi ir vērtīgāki. Kurš virsraksts saņem vairāk klikšķu, kurš CTA pārdod vairāk, kurš attēls piesaista lielāku uzmanību? Tā vietā, lai minētu, varat to izmērīt ar A/B testēšanu. A/B testēšana ir eksperimentāla metode, kas reālai auditorijai parāda divas viena satura versijas (A un B) un nosaka, kura no tām darbojas labāk. Mākslīgais intelekts ātri rada ievadi šiem testiem, proti, variantus; Bet, lai testa darbs darbotos, ir nepieciešams zinātnisks noteikums: viens mainīgais vienlaikus. Šajā nodaļā jūs uzzināsit, kā ģenerēt variantus, pārvērst hipotēzi izmērāmā eksperimentā un interpretēt rezultātus statistiskā nozīmīguma izteiksmē.
Zelta likums: izolējiet vienu mainīgo
Lai interpretētu testa rezultātu, starp A un B ir jāatšķiras tikai vienai lietai. Ja vienlaikus maināt nosaukumu, attēlu un CTA, jūs nekad neuzzināsit, kurš no tiem mainīja, kad B uzvar. Pārbaudāmā mainīgā izdalīšana ir vienīgā lieta, kas padara mācīšanos iespējamu.
Tipiski mainīgie, kurus var pārbaudīt:
- Virsraksts: viens un tas pats attēls un pamatteksts, cits nosaukums.
- CTA teksts: "Pirkt" vai "Pievienot grozam"?
- Tēmas rindiņa: ietekmē e-pasta atvēršanas ātrumu.
- Attēls: tas pats teksts, cits attēls.
- Garums/tonis: Īss pret garu, formāls utt. sirsnīgs.
No hipotēzes līdz eksperimentam: soli pa solim
- Veiciet novērojumu. "Mūsu galvenajai lapai ir zems reklāmguvums."
- Hipotēze. "Uz priekšrocībām vērstais virsraksts nodrošina vairāk reklāmguvumu nekā uz funkcijām vērsts virsraksts."
- Izolējiet mainīgo. Mainīsies tikai virsraksts.
- Ģenerēt variantus. 2 skaidri varianti ar modeli (A: iezīme, B: ieguvums).
- Definējiet savu panākumu mērauklu. Piemēram, reklāmguvumu līmenis — to apmeklētāju procentuālā daļa, kuri veic vēlamo darbību.
- Nosakiet paraugu un ilgumu. Pietiekami daudz cilvēku un pietiekami daudz laika.
- Izmēriet, salīdziniet, mācieties. Uzziniet "kāpēc", nevis uzvarētāju.
“Hipotēze” ir pareģojums, kas šeit tiks pārbaudīts un var izrādīties patiess vai nepatiess; Laba hipotēze parāda, ko jūs sagaidāt un kāpēc.
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Uzrakstiet dažas alternatīvas šim nosaukumam.
Spēcīga uzvedne:
Ģenerējiet variantus A/B testam. Noteikums: mainīsies TIKAI virsraksts, pamatteksts un CTA paliks nemainīgi.HIPOTĒZE: uz priekšrocībām orientētais virsraksts saņem vairāk klikšķu nekā uz funkcijām orientēts nosaukums.KONTEKSTS: galvenā lapa. Produkts: projektu vadības lietojumprogramma. Auditorija: mazas komandas.PIEPRASĪTS:- A variants: uz funkcijām orientēts nosaukums (apraksta, ko dara produkts)- Variants B: uz ieguvumiem orientēts nosaukums (apraksta, ko tas sniedz lietotājam) Zem katra varianta ierakstiet, kādu psiholoģisko motivāciju tas skar.Tikai 2 varianti; Abām jābūt vienai līnijai, līdzīga garuma.
Ir svarīgi, lai varianti būtu vienāda garuma; pretējā gadījumā "garums" nejauši kļūst par otro mainīgo.
Pirms/pēc testa diagramma
Skatuves
Ko darīt
bieža kļūda
hipotēze
Ko, kāpēc es gaidu?
"Pamēģināsim" bez hipotēzēm
Mainīgs
Izolējiet vienu lietu
Mainot daudzas lietas vienlaikus
kritērijs
Izvēlieties vienu skaidru metriku
Nenoteikts "labāks"
paraugs
Pietiekami daudz cilvēku/laika
izlemt agri
komentēt
Uzziniet, kāpēc
Vienkārši paņemiet uzvarētāju
trīs mini futrāļi
1. gadījums — CTA tests sniedz skaidrus rezultātus. E-komercijas vietne pārbaudīja produkta pogu: A "Pirkt", B "Pievienot grozam". Mainīts ir tikai pogas teksts. Pārbaudot 3000 apmeklētāju, B palielināja vidējo klikšķu skaitu no 4,0% līdz 4,9%. Izdalot vienu mainīgo, uzvarētājs bija skaidrs: “pievienot grozam” šķita mazāk saistošs.
2. gadījums — daudzfaktoru kļūda. Komanda izstrādāja divas galvenās lapas, taču nosaukums, attēls un krāsa bija atšķirīgi. B uzvarēja, bet komanda nezināja, kurš elements rada atšķirību; mācīšanās kļuva par nulli. Nākamajā pārbaudē viņi ievēroja noteikumu: pa vienam mainīgajam. Šajā pārbaudē viņi skaidri redzēja, ka tituls bija galvenais faktors.
3. gadījums — agrīna lēmuma slazds. Biļetenu komanda pārbaudīja divas tēmas rindiņas 200 cilvēku grupā un teica: "Tas nopelnīja A" pirmajā stundā. Izlase bija ļoti maza; atšķirība bija statistiski nenozīmīga (t.i., varēja rasties nejaušības dēļ). Kad tests tika palielināts līdz pietiekamai paraugu ņemšanai un laikam, rezultāts tika mainīts. Mācība: nepieņemiet lēmumus, ja nav pietiekami daudz datu.
Uzmanību! Nelielā izlasē (nelielā skaitā cilvēku) novērotā atšķirība var būt maldinoša. Statistiskā nozīmība attiecas uz varbūtību, ka atšķirība ir reāla, nevis nejaušības dēļ. Pirms izdarīt pārsteidzīgus secinājumus, pārliecinieties, ka ir sasniegts pietiekami daudz cilvēku un testēšana notiek pietiekami ilgi.
Kopējamas veidnes
1. veidne — izolētu variantu ģenerators:
Ģenerējiet variantus A/B testēšanai. VIENĪGAIS testējamais mainīgais: [headline/CTA/image]. Viss pārējais paliks nemainīgs. Hipotēze: [...]. Konteksts: [...].Variants A: [pašreizējā pieeja]. B variants: [alternatīva pieeja]. Lai abi varianti būtu vienāda garuma; neko citu nemaina.
2. veidne — hipotēzes precizētājs:
Izveidojiet pārbaudāmu hipotēzi no šāda novērojuma: "[novērojums]". Uzrakstiet hipotēzi formātā "ja mēs veicam [maiņu], [metrika] palielinās, jo [kāpēc]". Pēc tam pasakiet man, kurš mainīgais man ir jāizolē.
3. veidne — tēmas rindiņas testa kopa:
Izveidojiet 2 tēmas rindiņas A/B testam tālāk norādītajam e-pasta ziņojumam. Atšķirība uz vienas ass: [ziņkārība pret skaidrību / kodolīgums utt. garš / jautājums utt. izteiksme]. Abos nedrīkst būt vārds surogātpasts, un tiem ir jābūt līdzīga garuma. E-pasta kopsavilkums: [...]
4. veidne — rezultātu interpretācija:
Interpretējiet A/B testa rezultātu.Mainīgais: [...]. A varianta metrika: [...]. B varianta metrika: [...].Izlases lielums: [...]. Duration: [...].Sakiet man: Vai atšķirība šķiet būtiska, vai izlase ir maza? Ko mēs iemācījāmies? Ko jūs ieteiktu nākamajai pārbaudei? Nepretendējiet uz precīzu statistiku; Ja nav skaidrs, precizējiet.
Padoms: nepietiek, lai iegūtu "uzvarētāju" no testa; Patiesais ieguvums ir ieskats “kāpēc tā uzvarēja”. Šis ieskats papildina hipotēzi nākamajam testam un laika gaitā veido mācību kopumu.
Prioritāte: ko vispirms pārbaudīt?
Ir bezgalīgi daudz vienumu, kurus varat pārbaudīt, taču jūsu laiks un satiksme ir ierobežoti. Tāpēc piešķiriet testiem prioritāti, pamatojoties uz ietekmes potenciālu. Vispārējs noteikums: vispirms tiek pārbaudīti tie elementi, kurus lietotājs redz vispirms un kuriem ir vislielākā ietekme uz lēmumu. Galvenajā lapā virsrakstam ir vislielākā ietekme uz klikšķiem; jo lietotājs to izlasa pirmais un izlemj tur vai neturpināt. Detaļai, piemēram, pogu krāsai, bieži ir mazāka ietekme; atstājiet tos uz pēdējo.
Praktisks veids, kā noteikt prioritāti, ir novērtēt katru testēšanas ideju pēc trim asīm: paredzamā ietekme (cik liela atšķirība būs, ja tā uzvarēs?), pārliecība (cik mēs esam pārliecināti, ka tā uzvarēs?) un vieglums (cik ātri tā tiek iestatīta?). Pirmajā vietā ir testi ar lielu triecienu, augstu pārliecību un zemu piepūli. Tas ļauj piešķirt ierobežotu datplūsmu eksperimentiem, kas sniedz visvairāk zināšanu. AI var sniegt jums ātru projektu ideju saraksta vērtēšanai un prioritāšu noteikšanai pa šīm trim asīm; Jūs izlemjat.
5. veidne — pārbaudes prioritāšu noteikšana:
Dodiet priekšroku tālāk norādītajām A/B testēšanas idejām. Novērtējiet katru pēc trieciena (1-5), uzticamības (1-5) un uzstādīšanas vienkāršības (1-5) asīm, sarindojiet tos atbilstoši kopvērtējumam un vienā teikumā paskaidrojiet, kāpēc tie atrodas šādā secībā. TESTA IDEJAS: [saraksts]
Biežas kļūdas
- Tik mainīgs tajā pašā laikā. Rezultāts kļūst neinterpretējams.
- Testēšana bez hipotēzēm. “Izmēģināsim un redzēsim” neveicina mācīšanos.
- Agrīnais lēmums. Nelielā izlasē atšķirība tiek uzskatīta par reālu nejauši.
- Dažāda garuma varianti. Nejauši tiek izveidots otrs mainīgais.
- Paņem tikai uzvarētāju. Ja iemesls netiek uzzināts, informācija netiks uzkrāta.
Rezumējot
- A/B testēšanas zelta likums: viens mainīgais vienlaikus.
- Katrs tests jāsāk ar hipotēzi: ko es gaidu un kāpēc?
- Definējiet vienu skaidru panākumu mērauklu un atbilstošu paraugu.
- Atšķirība mazajā izlasē ir maldinoša; Ievērojiet statistisko nozīmīgumu.
- Uzziniet, kāpēc, nevis uzvarētāju; Šis ieskats tiek izmantots nākamajā pārbaudē.
Lietojumprogrammas uzdevums
Izvēlieties novērojumu par kādu no sava satura. Izmantojot 2. veidni, pārveidojiet to skaidrā hipotēzē un identificējiet izdalāmo mainīgo. Izgatavojiet divus variantus ar 1. veidni (līdzīgs garums, tikai atšķirība). Visbeidzot, pielāgojiet hipotētisko rezultātu skaitļus, interpretējiet tos, izmantojot 4. veidni, un atzīmējiet, ko modelis saka par izlases atbilstību. Ilgums: aptuveni 25 minūtes.
kontrolsaraksts
- [ ] Es sāku testu ar skaidru hipotēzi.
- [ ] Es izolēju tikai vienu mainīgo.
- [ ] Citās asīs (garumā u.c.) varianti palika līdzīgi.
- [ ] Esmu definējis vienu skaidru veiksmes rādītāju.
- [ ] Es neizlēmu bez pietiekami daudz parauga/laika.
- [ ] Es atzīmēju uzvarētāja iemeslu nākamajam testam.