zisky:
- Schopnost generovat systematické varianty textu, které izolují jednotlivé proměnné pro A/B testování
- Schopnost transformovat hypotézu do měřitelného experimentálního nastavení
- Schopnost interpretovat výsledky testů z hlediska statistické významnosti a učení
Intuice je v marketingu cenná, ale důkazy jsou cennější. Který nadpis získává více kliknutí, který CTA se více prodává, který obrázek přitahuje více pozornosti? Místo hádání to můžete měřit pomocí A/B testování. A/B testování je experimentální metoda, která ukazuje dvě verze stejného obsahu (A a B) skutečnému publiku a měří, která z nich funguje lépe. Umělá inteligence rychle vytváří vstupy pro tyto testy, konkrétně varianty; Aby však test fungoval, vyžaduje vědecké pravidlo: jednu proměnnou po druhé. V této lekci se naučíte generovat varianty, převádět hypotézu do měřitelného experimentu a interpretovat výsledky z hlediska statistické významnosti.
Zlaté pravidlo: izolujte jednu proměnnou
Chcete-li interpretovat výsledek testu, musí se mezi A a B lišit pouze jedna věc. Pokud změníte název, obrázek a výzvu k akci současně, nikdy nebudete vědět, která z nich způsobila rozdíl, když B vyhraje. Izolace proměnné, která má být testována, je jediná věc, která umožňuje učení.
Typické proměnné, které lze testovat:
- Název: Stejný obrázek a tělo, jiný název.
- Text výzvy k akci: „Koupit“ nebo „Přidat do košíku“?
- Předmět: Ovlivňuje míru otevření e-mailu.
- Obrázek: Stejný text, jiný obrázek.
- Délka/tón: Krátké vs. dlouhé, formální atd. upřímné.
Od hypotézy k experimentu: krok za krokem
- Proveďte pozorování. "Naše vstupní stránka má nízkou konverzi."
- Hypotéza. „Nadpis zaměřený na výhody převádí více než nadpis zaměřený na funkce.“
- Izolujte proměnnou. Změní se pouze název.
- Generovat varianty. 2 jasné varianty s modelem (A: vlastnost, B: výhoda).
- Definujte své měřítko úspěchu. Například konverzní poměr – procento návštěvníků, kteří provedli požadovanou akci.
- Určete vzorek a dobu trvání. Dost lidí a dost času.
- Měřit, porovnávat, učit se. Naučte se „proč“, nikoli vítěze.
„Hypotéza“ je předpověď, která zde bude testována a může se ukázat jako pravdivá nebo nepravdivá; Dobrá hypotéza vám řekne, co očekáváte a proč.
Slabá výzva / Silná výzva
Slabá výzva:
Napište nějaké alternativy pro tento titul.
Výkonná výzva:
Vygenerujte varianty pro test A/B. Pravidlo: Změní se POUZE nadpis, tělo a CTA zůstanou stejné. HYPOTÉZA: Titul zaměřený na výhody získává více kliknutí než nadpis orientovaný na funkce. KONTEXT: Vstupní stránka. Produkt: aplikace pro řízení projektů. Publikum: malé týmy. POŽADOVÁNO:- Varianta A: název orientovaný na funkce (popisuje, co produkt dělá)- Varianta B: název zaměřený na přínos (popisuje, co uživateli poskytuje) Pod každou variantu napište, jaké psychologické motivace se dotýká. Pouze 2 varianty; Oba by měly být jeden řádek, stejně dlouhé.
Je důležité chtít, aby varianty měly podobnou délku; jinak se "délka" neúmyslně stane druhou proměnnou.
Tabulka před/po testu
Jeviště
co dělat
častá chyba
hypotéza
Co, proč čekám?
"Zkusíme" bez hypotéz
Variabilní
Izolujte jednu věc
Změna mnoha věcí najednou
kritérium
Vyberte jednu jasnou metriku
neurčité "lepší"
vzorek
Dost lidí/času
rozhodnout brzy
Komentář
Zjistěte proč
Stačí vzít vítěze
tři mini pouzdra
Případ 1 – CTA test dává jasné výsledky. Web elektronického obchodu testoval tlačítko produktu: A "Koupit", B "Přidat do košíku". Změnil se pouze text tlačítka. V testu 3 000 návštěvníků B zvýšila míru prokliku ze 4,0 % na 4,9 %. S izolovanou jedinou proměnnou byl vítěz jasný: „přidat do košíku“ bylo méně svazující.
Případ 2 — Vícerozměrná chyba. Tým navrhl dvě vstupní stránky, ale název, obrázek a barva byly všechny odlišné. B vyhrál, ale tým nevěděl, který prvek způsobil rozdíl; učení se stalo nulou. V dalším testu se řídili pravidlem: jedna proměnná po druhé. V tomto testu jasně viděli, že hlavním faktorem je titul.
Případ 3 – Past včasného rozhodnutí. Tým zpravodaje testoval dva předmětové řádky na skupině 200 lidí a řekl: „Vyneslo to A“ během první hodiny. Vzorek byl velmi malý; rozdíl byl statisticky nevýznamný (tj. mohl být způsoben náhodou). Když byl test zvýšen na dostatečný odběr vzorků a čas, výsledek byl obrácený. Ponaučení: nedělejte rozhodnutí bez dostatku dat.
Upozornění: Rozdíl pozorovaný u malého vzorku (malý počet lidí) může být zavádějící. Statistická významnost se týká pravděpodobnosti, že rozdíl je skutečný a není způsoben náhodou. Než dojde k unáhleným závěrům, ujistěte se, že je osloveno dostatek lidí a že testování probíhá dostatečně dlouho.
Kopírovatelné šablony
Šablona 1 – Generátor izolovaných variant:
Generování variant pro A/B testování. JEDINÁ proměnná k testování: [nadpis/výzva k akci/obrázek]. Vše ostatní zůstane konstantní. Hypotéza: [...]. Kontext: [...].Varianta A: [aktuální přístup]. Varianta B: [alternativní přístup]. Nechť jsou obě varianty stejně dlouhé; nic jiného neměň.
Šablona 2 — Objasňovač hypotéz:
Sestavte testovatelnou hypotézu z následujícího pozorování: "[pozorování]". Hypotézu napište ve formátu „pokud provedeme [změnu], [metrika] se zvýší, protože [proč]“. Pak mi řekněte, kterou jednotlivou proměnnou bych měl izolovat.
Šablona 3 — Sada testu předmětu:
Vytvořte 2 předměty A/B testu pro následující e-mail. Rozdíl na jedné ose: [zvědavost vs. jasnost / stručnost atd. dlouhá/otázka atd. výraz]. Oba by neměly obsahovat slovo spam a měly by mít podobnou délku. Shrnutí e-mailu: [...]
Šablona 4 — Interpretace výsledků:
Interpretujte výsledek testu A/B. Proměnná: [...]. Metrika varianty A: [...]. Metrická varianta B: [...].Velikost vzorku: [...]. Trvání: [...]. Řekněte mi: Zdá se vám rozdíl významný, nebo je vzorek malý? co jsme se naučili? Co doporučujete do dalšího testu? Neříkejte přesné statistiky; Pokud to není jasné, uveďte.
Tip: Nestačí získat „vítěze“ z testu; Skutečným ziskem je vhled do toho, „proč vyhrál“. Tento vhled se vkládá do hypotézy pro další test a v průběhu času vytváří soubor učení.
Priorita: co otestovat jako první?
Existuje nekonečné množství položek, které můžete testovat, ale váš čas a provoz jsou omezené. Proto upřednostňujte testy na základě potenciálu dopadu. Obecné pravidlo: jako první se testují prvky, které uživatel vidí jako první a mají největší vliv na rozhodnutí. Na vstupní stránce má nadpis největší vliv na kliknutí; protože si to uživatel přečte jako první a rozhodne se tam nebo nepokračovat. Detaily jako barva tlačítka mají často menší dopad; nechat je naposled.
Praktický způsob, jak stanovit priority, je ohodnotit každý testovací nápad na třech osách: očekávaný dopad (jak velký rozdíl to bude mít, pokud vyhraje?), důvěra (nakolik jsme si jisti, že vyhraje?) a snadnost (jak rychle se nastaví?). Na prvním místě jsou testy s velkým dopadem, vysokou spolehlivostí a malým úsilím. To vám umožní přidělit omezený provoz experimentům, které přinášejí nejvíce učení. Umělá inteligence vám může poskytnout rychlý plán pro bodování a upřednostňování seznamu nápadů podél těchto tří os; Vy rozhodnete.
Šablona 5 – Stanovení priority testu:
Upřednostněte následující nápady na testování A/B. Každý z nich ohodnoťte podle osy dopadu (1-5), spolehlivosti (1-5) a snadnosti instalace (1-5), seřaďte je podle celkového skóre a jednou větou vysvětlete, proč jsou v tomto pořadí. TESTOVACÍ NÁPADY: [seznam]
Časté chyby
- Tak variabilní zároveň. Výsledek se stává nepochopitelným.
- Testování bez hypotéz. „Zkusme to a uvidíme“ nepřináší učení.
- Předčasné rozhodnutí. Na malém vzorku je rozdíl považován za skutečný náhodou.
- Varianty různých délek. Neúmyslně se vytvoří druhá proměnná.
- Stačí vzít vítěze. Pokud se důvod nezjistí, informace se nebudou hromadit.
V souhrnu
- Zlaté pravidlo A/B testování: jedna proměnná po druhé.
- Každý test by měl začínat hypotézou: co očekávám a proč?
- Definujte jediné jasné měřítko úspěchu a adekvátní vzorek.
- Rozdíl v malém vzorku je zavádějící; Všimněte si statistické významnosti.
- Zjistěte proč, ne vítěz; Tento poznatek se použije v dalším testu.
Aplikační úkol
Vyberte pozorování k jednomu z vašich obsahů. Pomocí šablony 2 to převeďte do jasné hypotézy a identifikujte proměnnou, kterou chcete izolovat. Vyrobte dvě varianty se šablonou 1 (podobná délka, pouze rozdíl). Nakonec přizpůsobte hypotetická výsledná čísla, interpretujte je pomocí šablony 4 a poznamenejte si, co model říká o adekvátnosti vzorku. Doba trvání: přibližně 25 minut.
kontrolní seznam
- [ ] Test jsem začal s jasnou hypotézou.
- [ ] Izoloval jsem pouze jednu proměnnou.
- [ ] Varianty zůstaly podobné i v ostatních osách (délka atd.).
- [ ] Definoval jsem jednu jasnou metriku úspěchu.
- [ ] Bez dostatečného vzorku/času jsem se nerozhodl.
- [ ] Důvod vítěze jsem zaznamenal pro další test.