zisky:
- Schopnosť vytvárať systematické varianty textu, ktoré izolujú jednotlivé premenné pre A/B testovanie
- Schopnosť transformovať hypotézu na merateľné experimentálne nastavenie
- Schopnosť interpretovať výsledky testov z hľadiska štatistickej významnosti a učenia
Intuícia je v marketingu cenná, no dôkazy sú cennejšie. Ktorý titulok získa viac kliknutí, ktorý CTA viac predáva, ktorý obrázok pritiahne viac pozornosti? Namiesto hádania to môžete merať pomocou A/B testovania. A/B testovanie je experimentálna metóda, ktorá ukazuje dve verzie rovnakého obsahu (A a B) skutočnému publiku a meria, ktorá z nich funguje lepšie. Umelá inteligencia rýchlo vytvára vstupy pre tieto testy, konkrétne varianty; Aby však test fungoval, vyžaduje si vedecké pravidlo: jednu premennú po druhej. V tejto lekcii sa naučíte, ako generovať varianty, previesť hypotézu do merateľného experimentu a interpretovať výsledky z hľadiska štatistickej významnosti.
Zlaté pravidlo: izolujte jednu premennú
Ak chcete interpretovať výsledok testu, medzi A a B sa musí líšiť iba jedna vec. Ak súčasne zmeníte názov, obrázok a výzvu na akciu, nikdy nebudete vedieť, ktorá z nich spôsobila rozdiel, keď B vyhrá. Izolácia premennej, ktorá sa má testovať, je jediná vec, ktorá umožňuje učenie.
Typické premenné, ktoré možno testovať:
- Názov: Rovnaký obrázok a telo, iný názov.
- Text výzvy na akciu: „Kúpiť“ alebo „Pridať do košíka“?
- Predmet: Ovplyvňuje mieru otvorenia e-mailu.
- Obrázok: Rovnaký text, iný obrázok.
- Dĺžka/tón: Krátke vs. dlhé, formálne atď. úprimné.
Od hypotézy k experimentu: krok za krokom
- Urobte pozorovanie. „Naša vstupná stránka má nízku konverziu.“
- Hypotéza. „Nadpis zameraný na výhody konvertuje viac ako nadpis zameraný na funkcie.“
- Izolujte premennú. Zmení sa len názov.
- Generovať varianty. 2 prehľadné varianty s modelom (A: vlastnosť, B: výhoda).
- Definujte svoju mieru úspechu. Napríklad miera konverzie – percento návštevníkov, ktorí vykonali požadovanú akciu.
- Určite vzorku a trvanie. Dostatok ľudí a dostatok času.
- Merať, porovnávať, učiť sa. Naučte sa „prečo“, nie víťaza.
„Hypotéza“ je predpoveď, ktorá tu bude testovaná a môže sa ukázať ako pravdivá alebo nepravdivá; Dobrá hypotéza vám povie, čo očakávate a prečo.
Slabá výzva / Silná výzva
Slabá výzva:
Napíšte nejaké alternatívy k tomuto názvu.
Výkonná výzva:
Vygenerujte varianty pre A/B test. Pravidlo: Zmení sa LEN názov, telo a CTA zostanú rovnaké. HYPOTÉZA: Titul orientovaný na výhody získa viac kliknutí ako nadpis orientovaný na funkcie. KONTEXT: Vstupná stránka. Produkt: aplikácia na riadenie projektov. Poslucháči: malé tímy. POŽADOVANÝ:- Variant A: názov orientovaný na funkcie (popisuje, čo produkt robí)- Variant B: názov zameraný na prínos (popisuje, čo poskytuje používateľovi) Pod každý variant napíšte, akej psychologickej motivácie sa dotýka.Len 2 varianty; Oba by mali byť jedným riadkom podobnej dĺžky.
Je dôležité, aby varianty mali podobnú dĺžku; inak sa "dĺžka" neúmyselne stane druhou premennou.
Tabuľka pred/po teste
Etapa
Čo robiť
častá chyba
hypotéza
Čo, prečo čakám?
„Skúsme“ bez hypotéz
Variabilné
Izolujte jednu vec
Zmena mnohých vecí naraz
kritérium
Vyberte jednu jasnú metriku
neurčité "lepšie"
vzorka
Dosť ľudí/času
rozhodni skor
Komentujte
Zistite prečo
Vezmite len víťaza
tri mini prípady
Prípad 1 – CTA test poskytuje jasné výsledky. Stránka elektronického obchodu testovala tlačidlo produktu: A „Kúpiť“, B „Pridať do košíka“. Zmenil sa iba text tlačidla. V teste 3 000 návštevníkov B zvýšila mieru prekliknutia zo 4,0 % na 4,9 %. S izolovanou jedinou premennou bol víťaz jasný: „pridať do košíka“ bolo menej záväzné.
Prípad 2 – Viacrozmerná chyba. Tím navrhol dve vstupné stránky, ale názov, obrázok a farba boli odlišné. B vyhral, ale tím nevedel, ktorý prvok spôsobil rozdiel; učenie sa stalo nulou. V ďalšom teste sa držali pravidla: jedna premenná naraz. V tomto teste jasne videli, že hlavným faktorom je titul.
Prípad 3 – Pasca na skoré rozhodnutie. Tím informačného bulletinu testoval dva predmetové riadky na skupine 200 ľudí a povedal: „Za prvú hodinu to získalo A“. Vzorka bola veľmi malá; rozdiel bol štatisticky nevýznamný (t. j. mohol byť spôsobený náhodou). Keď sa test zvýšil na dostatočný odber vzoriek a čas, výsledok sa obrátil. Ponaučenie: nerobte rozhodnutia bez dostatočného množstva údajov.
Upozornenie: Rozdiel pozorovaný na malej vzorke (malý počet ľudí) môže byť zavádzajúci. Štatistická významnosť sa týka pravdepodobnosti, že rozdiel je skutočný a nie náhodný. Uistite sa, že je oslovený dostatočný počet ľudí a že testovanie trvá dostatočne dlho, než dôjde k unáhleným záverom.
Kopírovateľné šablóny
Šablóna 1 – Generátor izolovaných variantov:
Generujte varianty pre A/B testovanie. JEDINÁ premenná na testovanie: [nadpis/výzva na akciu/obrázok]. Všetko ostatné zostane konštantné. Hypotéza: [...]. Kontext: [...].Variant A: [súčasný prístup]. Variant B: [alternatívny prístup]. Nech sú oba varianty podobnej dĺžky; nič iné nemeňte.
Šablóna 2 – Objasňovač hypotéz:
Zostavte testovateľnú hypotézu z nasledujúceho pozorovania: „[pozorovanie]“. Napíšte hypotézu vo formáte „ak vykonáme [zmenu], [metrika] sa zvýši, pretože [prečo]“. Potom mi povedzte, ktorú jedinú premennú mám izolovať.
Šablóna 3 – Testovacia sada predmetu:
Vytvorte 2 riadky predmetu A/B testu pre nasledujúci e-mail. Rozdiel na jednej osi: [zvedavosť vs. jasnosť / stručnosť atď. dlhý/otázka atď. výraz]. Oba by nemali obsahovať slovo spam a mali by mať podobnú dĺžku. Zhrnutie e-mailu: [...]
Šablóna 4 – Interpretácia výsledkov:
Interpretujte výsledok testu A/B. Premenná: [...]. Metrika variantu A: [...]. Variant B metrický: [...].Veľkosť vzorky: [...]. Trvanie: [...].Povedzte mi: Zdá sa vám rozdiel významný alebo je vzorka malá? Čo sme sa naučili? Čo odporúčate na ďalší test? Nenárokujte si presné štatistiky; Ak nie je jasné, uveďte.
Tip: Nestačí získať „víťaza“ z testu; Skutočným ziskom je pochopenie toho, „prečo vyhral“. Tento pohľad sa vkladá do hypotézy pre ďalší test a časom vytvára súbor vedomostí.
Priorita: čo otestovať ako prvé?
Existuje nekonečné množstvo položiek, ktoré môžete testovať, ale váš čas a návštevnosť sú obmedzené. Uprednostnite teda testy na základe potenciálu vplyvu. Všeobecné pravidlo: ako prvé sa testujú prvky, ktoré používateľ vidí ako prvé a ktoré majú najväčší vplyv na rozhodnutie. Na vstupnej stránke má nadpis najväčší vplyv na kliknutia; pretože si to používateľ prečíta ako prvý a tam sa rozhodne pokračovať alebo nie. Detaily ako farba tlačidiel majú často menší vplyv; nechajte ich na koniec.
Praktickým spôsobom stanovenia priorít je ohodnotiť každý testovací nápad na troch osiach: očakávaný vplyv (aký veľký rozdiel to bude mať, ak zvíťazí?), dôvera (nakoľko sme si istí, že vyhrá?) a jednoduchosť (ako rýchlo sa nastaví?). Testy s vysokým dopadom, vysokou istotou a malým úsilím sú umiestnené na prvom mieste. To vám umožňuje prideliť obmedzenú návštevnosť experimentom, ktoré prinášajú najviac vedomostí. Umelá inteligencia vám môže poskytnúť rýchly plán na bodovanie a uprednostňovanie zoznamu nápadov pozdĺž týchto troch osí; Vy rozhodnete.
Šablóna 5 – Stanovenie priority testu:
Uprednostnite nasledujúce nápady na testovanie A/B. Každý z nich ohodnoťte podľa osí nárazu (1-5), spoľahlivosti (1-5) a jednoduchosti inštalácie (1-5), zoraďte ich podľa celkového skóre a jednou vetou vysvetlite, prečo sú v tomto poradí. TESTOVACIE NÁPADY: [zoznam]
Časté chyby
- Tak variabilné zároveň. Výsledok sa stáva nepochopiteľným.
- Testovanie bez hypotéz. „Skúsme to a uvidíme“ neprináša učenie.
- Skoré rozhodnutie. V malej vzorke sa rozdiel považuje za skutočný náhodou.
- Varianty rôznych dĺžok. Neúmyselne sa vytvorí druhá premenná.
- Len berieme víťaza. Ak sa dôvod nezistí, informácie sa nebudú hromadiť.
V súhrne
- Zlaté pravidlo A/B testovania: jedna premenná naraz.
- Každý test by mal začať hypotézou: čo očakávam a prečo?
- Definujte jedinú jasnú mieru úspechu a primeranú vzorku.
- Rozdiel v malej vzorke je zavádzajúci; Všimnite si štatistickú významnosť.
- Zistite prečo, nie víťaz; Tento poznatok sa premietne do ďalšieho testu.
Aplikačná úloha
Vyberte pozorovanie o jednom z vašich obsahov. Pomocou šablóny 2 to preložte do jasnej hypotézy a identifikujte premennú, ktorú chcete izolovať. Vytvorte dva varianty so šablónou 1 (podobná dĺžka, len rozdiel). Nakoniec upravte čísla hypotetických výsledkov, interpretujte ich pomocou šablóny 4 a všimnite si, čo model hovorí o primeranosti vzorky. Trvanie: približne 25 minút.
kontrolný zoznam
- [ ] Test som začal s jasnou hypotézou.
- [ ] Izoloval som iba jednu premennú.
- [ ] Varianty zostali podobné aj v iných osiach (dĺžka a pod.).
- [ ] Definoval som jednu jasnú metriku úspechu.
- [ ] Bez dostatočnej vzorky/času som sa nerozhodol.
- [ ] Zaznamenal som dôvod víťaza pre ďalší test.