zisky:
- Schopnosť porozumieť pojmom A/B testovanie, kontrola/variant, konverzný pomer a štatistická významnosť a stanoviť hypotézy a návrhy testov s umelou inteligenciou.
- Schopnosť izolovať testovanú jedinú premennú a vytvoriť variantný text/obrázok a plán merania s podporou umelej inteligencie
- Schopnosť rozlíšiť, že interpretácia testov umelej inteligencie je obmedzená veľkosťou vzorky a významom a rizikom prečítania predčasných/nesprávnych výsledkov
Najnebezpečnejšia veta v reklame je "Myslím, že toto je lepšie." Údaje, nie názor, vám povedia, či je skutočne lepší nadpis, obrázok alebo tlačidlo. Najbežnejším spôsobom merania je A/B testovanie: zobrazenie dvoch (alebo viacerých) verzií tej istej reklamy skutočným používateľom a porovnanie, ktorá z nich funguje lepšie. "A" je zvyčajne aktuálna verzia (kontrola), zatiaľ čo "B" je nová skúšaná verzia (variant). Môžete napríklad zmeniť iba názov v tej istej reklame a zmerať, na ktorý názov sa kliklo viac. Umelá inteligencia je v tomto procese nápomocná tak pri generovaní veľkého množstva variantov, ako aj pri interpretácii výsledku; Ale vedecká platnosť testu závisí od pravidiel dizajnu a trpezlivosti.
Zlaté pravidlo A/B testovania: jedna premenná
Najzákladnejším pravidlom A/B testovania je izolovať jednu premennú. Ak súčasne zmeníte názov, obrázok a tlačidlo a vyhrá verzia B, nikdy nebudete vedieť, čo vyhralo. Takže v teste by sa mal zmeniť iba jeden prvok, zvyšok by mal zostať konštantný. Ak chcete testovať viac ako jednu položku súčasne a systematicky, nazýva sa to viacrozmerné testovanie a vyžaduje si oveľa väčšiu vzorku; Jednorozmerné A/B testovanie je spôsob, ako začať.
Druhým základným pojmom je štatistická významnosť. Povedzme, že verzia A získala 3 percentá kliknutí a verzia B získala 3,3 percenta kliknutí. Je tento rozdiel skutočnou výhodou alebo náhodou? Ak by ste test ukázali iba 100 ľuďom, tento rozdiel môže byť náhodný. Štatistická významnosť znamená, že pozorovaný rozdiel je dostatočne nepravdepodobný, aby bol spôsobený náhodou (t. j. rozdiel je pravdepodobne skutočný). To si vyžaduje dostatočnú veľkosť vzorky (počet ľudí, ktorí vidia test). Vyhlásenie „víťaza“ s malým množstvom údajov je najčastejšou a najdrahšou chybou.
Tip: Pred spustením testu si odpovedzte na otázku „kedy vyhlásim víťaza“: koľko ľudí/po konverzii, na akej úrovni významnosti. Toto rozhodnutie vopred bráni tomu, aby ste sa v prvých hodinách dostali do hluku a urobili predčasné rozhodnutie.
Nasledujúca tabuľka porovnáva dobrý a zlý dizajn testu A/B:
položka
zlý dizajn
dobrý dizajn
Počet premenných
Názov + obrázok + tlačidlo spolu
iba titul
hypotéza
(žiadne) "uvidíme, čo sa stane"
„Názvy s otázkami zvyšujú počet kliknutí“
vzorka
80 ľudí
Vopred vypočítané kvórum
rozhodovací čas
o 2 hodiny neskôr
Keď dosiahnete význam
Výber víťaza
"Myslím, že B je pekné"
Na základe údajov a významnosti
Krok za krokom: nastavenie A/B testu
Krok 1 – Napíšte hypotézu. Čo testuješ a prečo? Jasná hypotéza ako „Nadpis s výhodami získa viac kliknutí ako nadpis s funkciami.“
Krok 2 — Vyberte jednu premennú. Len názov, alebo len obrázok, alebo len CTA.
Krok 3 – Vytvorte varianty. Vytvorte rôzne verzie tej istej položky pomocou AI; zvyšok udržujte konštantný.
Krok 4 — Vytvorte plán merania. Ktorá metrika určí víťaza (miera prekliku, konverzia), koľko vzorky je potrebné, ako dlho bude prebiehať.
Krok 5 — Interpretujte a overte výsledok. Zozbieralo sa dostatok údajov, je rozdiel významný? Ak to nie je významné, "žiadny rozdiel" je tiež platným výsledkom.
tri mini prípady
Prípad 1 – Jasnosť jednej premennej. Značka elektronického obchodu testovala vo svojej reklame na produkt len CTA: „Kúpiť“ a „Pridať do košíka“. Všetko ostatné bolo rovnaké. Po dostatočnom odbere vzoriek prinieslo „Pridať do košíka“ výrazne vyššie konverzie. Rozdiel sa dal jasne interpretovať, pretože bola izolovaná jedna premenná. AI vytvorila dve CTA, víťaza vybrali údaje.
Prípad 2 – Pasca na skoré rozhodnutie. Značka zastavila test, pretože verzia B mala náskok v prvých 3 hodinách testu A/B a otvorila B pre celý rozpočet. Pri pohľade na celkové údaje nasledujúci deň bolo A v skutočnosti o niečo lepšie; Rozdiel v prvých hodinách bol náhodný. Rozpočet bol premrhaný. Chyba: predčasné rozhodnutie s nedostatočnou veľkosťou vzorky.
Prípad 3 – „Žiadny rozdiel“ je tiež záverom. Značka testovala dva rôzne obrázky a po dostatočnom odbere vzoriek dosiahli oba takmer rovnaký výsledok. Zatiaľ čo tím sa chystal lamentovať, že „test zlyhal“, správne čítanie bolo, že obrázok nie je v tejto kampani rozhodujúcim faktorom, takže úsilie by malo smerovať k titulku a ponuke. Cennou informáciou je aj fakt, že sa nezistil žiadny významný rozdiel.
Štyri kopírovateľné šablóny
1) Návrh hypotézy a testu:
Čo chcem otestovať: [napr. ad title].Úloha: (1) Napíšte jedinú testovateľnú hypotézu (vo forme "... zvyšuje ... zvyšuje").(2) Uveďte jednu premennú, ktorú treba izolovať a tie, ktoré sa majú udržiavať konštantné.(3) Navrhnite metriku, ktorá určí víťaza (miera prekliknutia/konverzia).(4) Napíšte, čomu musím venovať pozornosť pri validácii testu (vzorka, trvanie, riziko skorého rozhodnutia).
2) Generátor variantov (jediný variant):
Pevná reklama: obrázok [rovnaký], výzva na akciu [rovnaký], cieľ [rovnaký]. Testovaná premenná: HEADLINE. Hlavná správa: „[správa]“. Úloha: Vygenerujte 4 rôzne varianty nadpisu s rovnakým posolstvom. Každá používa iný prístup (otázka, prínos, počet, naliehavosť). Mení sa iba nadpis; Pridanie nepodloženého tvrdenia.
3) Plán merania:
Test: [Definícia A a B]. Metrika: [kliknutie/konverzia].Úloha: Navrhnite plán merania:(1) ktorá metrika je primárna, ktorá je sekundárna,(2) koľko údajov/času je potrebných na vyhlásenie víťaza (vysvetlite logiku),(3) ako rovnomerne a spravodlivo rozdeliť návštevnosť medzi A a B,(4) aké vonkajšie faktory môžu skresliť výsledok (sezóna, deň v týždni). Predpokladajme, že použijem nástroj na výpočet významnosti.
4) Tlmočník výsledkov (opatrný):
Moje výsledky A/B testu (skutočné údaje): [A: impresie/kliknutia/konverzia],[B: impresie/kliknutia/konverzia].Úloha: (1) Vypočítajte a zobrazte miery každej verzie.(2) Vyjadrite sa k veľkosti rozdielu, ale ak vzorka nie je dostatočná, povedzte „nedostatočné údaje na zmysluplný výsledok.“(3) Pripomeňte riziká čítania predčasne/definovať významnosť. Potvrdím pomocou nástroja samostatného účtu.
Slabá výzva / Silná výzva
Slabá výzva:
Vyrobte verziu A a B pre moju reklamu, povedzte mi, ktorá je lepšia.
Premenná nie je izolovaná, neexistuje žiadna hypotéza a meranie; AI nemôže bez údajov vedieť, ktorý z nich je „dobrý“, tvorí ich.
Výkonná výzva:
Nastavujem A/B testovanie. Opravené: obrázok a výzva na akciu zostanú rovnaké.Testovaná iba premenná: nadpis reklamy.Hypotéza: „Nadpis s číslami získava viac kliknutí ako všeobecný nadpis.“Hlavné posolstvo: „Doručené do 3 dní.“ Úloha: (1) Vytvorte 1 všeobecný nadpis pre kontrolu, 3 nadpisy s číslami pre variant. (2) Povedzte mi, na ktorú metriku by som si mal pozrieť chyby.(3) Pripomeňte mi neplatnosť 3 test.Nepredpovedajte, ktorý z nich vyhrá; Rozhodnú o tom údaje.
Druhý nárok izoluje jedinú premennú, zahŕňa hypotézu a meranie; ponecháva víťaza na dáta.
Časté chyby
- Výmena viacerých položiek naraz. Dôvod víťaza sa stáva nejasným; Jedna premenná musí byť izolovaná.
- Rozhodovanie s nedostatočnými vzorkami. Rozdiel v prvých hodinách je často náhodný.
- Testovanie bez hypotéz. „Uvidíme, čo sa stane“ testovanie neprináša učenie; Najprv napíšte, čo očakávate.
- Pomýliť si výsledok „Žiadny rozdiel“ ako zlyhanie. Nedostatok významného rozdielu je tiež informatívny.
- Výber víťaza na základe vkusu. Testovanie je práve preto, aby sa vylúčil osobný vkus; Postupujte podľa údajov.
- Zabúdanie na vonkajšie faktory. Sezóna, deň kampane, tok správ môže skresliť výsledok; Udržujte podmienky testovania spravodlivé.
Pozor: Cieľom A/B testovania nie je „vyhrať“, ale naučiť sa. Aj variant straty je cennou informáciou; Skutočnou stratou je spoliehanie sa na nesprávny výsledok s nedostatočnými údajmi a viazanie rozpočtu na ne.
V súhrne
A/B testovanie je výkonná metóda, ktorá posúva reklamné rozhodnutia od nápadu k údajom. Zlaté pravidlo je izolovať jednu premennú: v teste by sa mal zmeniť iba jeden prvok, zvyšok by mal zostať konštantný. Druhým pilierom je primeraný výber vzoriek a štatistická významnosť; Vyhlásenie víťaza s malým množstvom údajov je najdrahšia chyba. Umelá inteligencia je užitočná pri vytváraní viacerých variantov a výpočte a interpretácii šancí, ale víťaza určujú údaje, nie AI. Dokonca aj výsledok „žiadny rozdiel“ je poučením. Hypotéza, metrika a rozhodovací prah by mali byť napísané pred začiatkom testu.
Aplikačná úloha
Vyberte kreatívu (nadpis, obrázok alebo výzvu na akciu). (1) Napíšte jednu testovateľnú hypotézu a izolovanú premennú pomocou "Hypotézy a návrhu testu". (2) Vygenerujte 1 ovládací prvok + 3 varianty s "Generátorom variantov"; Stačí zmeniť tento prvok. (3) Naplánujte si, na ktorú metriku sa budete pozerať, ako dlho a s akými údajmi, pomocou „plánu merania“. (4) Vopred si zapíšte svoju hranicu pre vyhlásenie víťaza (koľko konverzií / aký význam). (5) Zvážte hypotetické výsledky pomocou „prekladača výsledkov“ a všimnite si, prečo by ste sa nerozhodli v scenári, v ktorom sú údaje nedostatočné.
kontrolný zoznam
- [ ] V teste som izoloval iba jednu premennú.
- [ ] Pred testom som napísal jasnú hypotézu.
- [ ] Ukážku a čas potrebný pre víťaza som už určil.
- [ ] Víťaza som vybral na základe údajov, nie osobného vkusu.
- [ ] Výsledok „žiadny rozdiel“ som považoval za platné učenie.
- [ ] Skontroloval som vonkajšie faktory, ktoré by mohli skresliť výsledok.