Zyski:
- Umiejętność zrozumienia koncepcji testów A/B, kontroli/wariantu, współczynnika konwersji i istotności statystycznej oraz ustalania hipotez i projektów testów z wykorzystaniem sztucznej inteligencji.
- Możliwość wyizolowania pojedynczej zmiennej do przetestowania i stworzenia wariantu tekstu/obrazu oraz planu pomiarów przy wsparciu sztucznej inteligencji
- Umiejętność rozróżnienia, że interpretacja testu sztucznej inteligencji jest ograniczona wielkością i znaczeniem próby oraz ryzykiem odczytania przedwczesnych/nieprawidłowych wyników
Najbardziej niebezpieczne zdanie w reklamie brzmi: „Myślę, że to jest lepsze”. Dane, a nie opinia, mówią Ci, czy nagłówek, obraz czy przycisk są naprawdę lepsze. Najczęstszym sposobem pomiaru tego są testy A/B: pokazywanie prawdziwym użytkownikom dwóch (lub więcej) wersji tej samej reklamy i porównywanie, która z nich działa lepiej. „A” to zazwyczaj wersja bieżąca (kontrola), natomiast „B” to testowana nowa wersja (wariant). Możesz na przykład zmienić tylko tytuł tej samej reklamy i sprawdzić, który tytuł jest częściej klikany. Sztuczna inteligencja jest pomocna w tym procesie zarówno w generowaniu dużej liczby wariantów, jak i interpretacji wyniku; Jednak ważność naukowa testu zależy od zasad projektowania i cierpliwości.
Złota zasada testów A/B: jedna zmienna
Najbardziej podstawową zasadą testów A/B jest wyizolowanie pojedynczej zmiennej. Jeśli jednocześnie zmienisz tytuł, obraz i przycisk, a wersja B wygra, nigdy nie dowiesz się, co zwyciężyło. Zatem w teście powinien zmienić się tylko jeden element, reszta powinna pozostać stała. Jeśli chcesz testować więcej niż jeden element jednocześnie i systematycznie, nazywa się to testowaniem wielowymiarowym i wymaga znacznie większej próby; Na początek warto zacząć od jednowymiarowych testów A/B.
Drugą podstawową koncepcją jest istotność statystyczna. Załóżmy, że wersja A uzyskała 3 procent kliknięć, a wersja B 3,3 procent kliknięć. Czy ta różnica to realna zaleta czy przypadek? Jeśli pokazałeś test tylko 100 osobom, ta różnica może być przypadkowa. Istotność statystyczna oznacza, że zaobserwowana różnica jest wystarczająco mało prawdopodobna, aby wynikała z przypadku (tj. różnica jest prawdopodobnie rzeczywista). Wymaga to wystarczającej wielkości próby (liczby osób oglądających test). Ogłoszenie „zwycięzcy” przy niewielkiej liczbie danych to najczęstszy i kosztowny błąd.
Wskazówka: Przed rozpoczęciem testu odpowiedz na pytanie „kiedy ogłoszę zwycięzcę”: ile osób/po konwersji, na jakim poziomie istotności. Podjęcie tej decyzji z wyprzedzeniem pozwala uniknąć wplątania się w hałas w pierwszych godzinach i podjęcia przedwczesnej decyzji.
Poniższa tabela porównuje dobry i zły projekt testu A/B:
przedmiot
zły projekt
dobry projekt
Liczba zmiennych
Tytuł + obraz + przycisk razem
tylko tytuł
hipoteza
(brak) „zobaczymy, co się stanie”
„Tytuły z pytaniami zwiększają liczbę kliknięć”
próbka
80 osób
Wstępnie obliczone kworum
czas decyzji
2 godziny później
Kiedy osiągniesz znaczenie
Wybór zwycięzcy
„Myślę, że B jest miłe”
Na podstawie danych i znaczenia
Krok po kroku: konfiguracja testu A/B
Krok 1 — Napisz hipotezę. Co testujesz i dlaczego? Jasna hipoteza, np. „Nagłówek z korzyściami uzyskuje więcej kliknięć niż nagłówek z funkcjami”.
Krok 2 — Wybierz pojedynczą zmienną. Tylko tytuł, sam obraz lub samo wezwanie do działania.
Krok 3 — Wygeneruj warianty. Twórz różne wersje tego samego przedmiotu za pomocą sztucznej inteligencji; resztę zachowaj na stałym poziomie.
Krok 4 — Skonfiguruj plan pomiarów. Który wskaźnik wyłoni zwycięzcę (współczynnik klikalności, konwersja), ile próbki potrzeba, jak długo będzie działać.
Krok 5 — Zinterpretuj i zweryfikuj wynik. Czy zebrano wystarczającą ilość danych, czy różnica jest znacząca? Jeśli wynik nie jest znaczący, „brak różnicy” jest również prawidłowym wynikiem.
trzy mini etui
Przypadek 1 — Jasność pojedynczej zmiennej. Marka e-commerce przetestowała w swojej reklamie produktu samo CTA: „Kup” i „Dodaj do koszyka”. Wszystko inne było takie samo. Po wystarczającym pobraniu próbek opcja „Dodaj do koszyka” przyniosła znacznie wyższe konwersje. Różnicę można było jasno zinterpretować, ponieważ wyizolowano pojedynczą zmienną. Sztuczna inteligencja wygenerowała dwa wezwania do działania, a dane wyłoniły zwycięzcę.
Przypadek 2 – Pułapka wczesnej decyzji. Marka przerwała test, ponieważ wersja B wyprzedziła wersję B w pierwszych 3 godzinach testu A/B i otworzyła B na cały budżet. Patrząc na wszystkie dane następnego dnia, A był rzeczywiście nieco lepszy; Różnica w pierwszych godzinach była przypadkowa. Budżet został zmarnowany. Błąd: podjęcie przedwczesnej decyzji przy niewystarczającej wielkości próby.
Przypadek 3 — „Bez różnicy” to także wniosek. Marka przetestowała dwa różne obrazy i po wystarczającym pobraniu próbek oba dały prawie taki sam wynik. Chociaż zespół miał już ubolewać, że „test się nie udał”, prawidłowy odczyt był taki, że obraz nie jest czynnikiem decydującym w tej kampanii, dlatego należy skupić wysiłki na nagłówku i ofercie. Cenną informacją jest także fakt, że nie stwierdzono istotnej różnicy.
Cztery szablony do kopiowania
1) Hipoteza i projekt testu:
Co chcę przetestować: [np. tytuł reklamy].Zadanie: (1) Napisz pojedynczą testowalną hipotezę (w formie „… wzrasta… wzrasta”). (2) Wymień jedną zmienną, którą należy wyizolować, i te, które mają pozostać stałe. (3) Zaproponuj miernik, który wyłoni zwycięzcę (współczynnik klikalności/konwersję). (4) Napisz, na co muszę zwrócić uwagę, aby przeprowadzić walidację testu (próbka, czas trwania, ryzyko wczesnej decyzji).
2) Generator wariantów (pojedynczy wariant):
Przyklejona reklama: obraz [taki sam], CTA [taki sam], cel [taki sam]. Testowana zmienna: HEADLINE. Główna wiadomość: „[wiadomość]”. Zadanie: Wygeneruj 4 różne warianty nagłówka z tym samym komunikatem. Każdy z nich stosuje inne podejście (pytanie, korzyść, liczba, pilność). Zmienia się tylko nagłówek; Dodanie bezpodstawnego roszczenia.
3) Plan pomiarów:
Test: [Definicja A i B]. Metryka: [kliknięcie/konwersja].Zadanie: Przygotuj plan pomiarów:(1) która metryka jest podstawowa, a która drugorzędna,(2) ile danych/czasu potrzeba, aby wyłonić zwycięzcę (wyjaśnij logikę),(3) jak równomiernie i sprawiedliwie podzielić ruch pomiędzy A i B,(4) jakie czynniki zewnętrzne mogą zniekształcić wynik (pora roku, dzień tygodnia).Załóżmy, że będę używać narzędzia istotności do obliczenia dokładnych statystyk.
4) Interpreter wyniku (ostrożnie):
Wyniki mojego testu A/B (rzeczywiste dane): [A: wyświetlenia/kliknięcia/konwersja], [B: wyświetlenia/kliknięcia/konwersja]. Zadanie: (1) Oblicz i wyświetl stawki dla każdej wersji. (2) Skomentuj wielkość różnicy, ale jeśli próbka nie jest wystarczająca, powiedz „niewystarczające dane, aby uzyskać znaczący wynik”. (3) Przypomnij o ryzyku przedwczesnego/błędnego odczytania. Nie podawaj definitywnych twierdzeń o znaczeniu; Potwierdzę to za pomocą osobnego narzędzia do konta.
Słaba zachęta/silna zachęta
Słaba zachęta:
Stwórz wersję A i B dla mojej reklamy, powiedz mi, która jest lepsza.
Zmienna nie jest izolowana, nie ma hipotezy i pomiaru; Sztuczna inteligencja nie może wiedzieć, który jest „dobry” bez danych, ona to wymyśla.
Potężny monit:
Konfiguruję testy A/B. Naprawiono: obraz i wezwanie do działania pozostaną takie same. Testowana tylko zmienna: nagłówek reklamy. Hipoteza: „Nagłówek z liczbami uzyskuje więcej kliknięć niż ogólny nagłówek”. Główna wiadomość: „Dostarczone w ciągu 3 dni”. Zadanie: (1) Stwórz 1 ogólny nagłówek do kontroli, 3 nagłówki z liczbami dla wariantu. (2) Powiedz mi, na które dane powinienem zwrócić uwagę, aby zmierzyć zwycięzcę. (3) Przypomnij mi o 3 błędach, które mogą unieważnić test. Nie rób tego. przewidzieć, który z nich wygra; Dane o tym zadecydują.
Drugie twierdzenie wyodrębnia pojedynczą zmienną, obejmuje hipotezę i pomiar; pozostawia zwycięzcę danym.
Typowe błędy
- Zmiana wielu elementów na raz. Powód zwycięzcy staje się niejasny; Należy wyizolować pojedynczą zmienną.
- Podejmowanie decyzji przy niewystarczającej liczbie próbek. Różnica w pierwszych godzinach jest często przypadkowa.
- Testowanie bez hipotez. Testowanie „Zobaczmy, co się stanie” nie skutkuje nauką; Najpierw napisz, czego oczekujesz.
- Uznanie wyniku „Bez różnicy” za porażkę. Brak istotnej różnicy ma również charakter informacyjny.
- Wybór zwycięzcy na podstawie gustu. Testowanie ma właśnie na celu wykluczenie osobistego gustu; Śledź dane.
- Zapominanie o czynnikach zewnętrznych. Sezon, dzień kampanii, przepływ wiadomości mogą zniekształcić wynik; Zadbaj o uczciwe warunki testowania.
Uwaga: Celem testów A/B nie jest „wygrana”, ale nauka. Nawet wariant przegranej jest cenną informacją; Prawdziwą stratą jest oparcie się na złym wyniku przy niewystarczających danych i powiązaniu z tym budżetu.
Podsumowując
Testy A/B to potężna metoda, która przenosi decyzje reklamowe z pomysłu na dane. Złotą zasadą jest wyodrębnienie jednej zmiennej: w teście powinien zmienić się tylko jeden element, reszta powinna pozostać stała. Drugi filar to odpowiednie pobieranie próbek i istotność statystyczna; Ogłoszenie zwycięzcy przy niewielkiej liczbie danych to najdroższy błąd. Sztuczna inteligencja jest pomocna w generowaniu wielu wariantów oraz obliczaniu i interpretowaniu kursów, ale to dane określają zwycięzcę, a nie sztuczną inteligencję. Nawet wynik „braku różnicy” jest nauką. Przed rozpoczęciem testu należy zapisać hipotezę, metrykę i próg decyzyjny.
Zadanie aplikacji
Wybierz kreację (nagłówek, obraz lub wezwanie do działania). (1) Napisz pojedynczą sprawdzalną hipotezę i izolowaną zmienną za pomocą „Hipotezy i projektu testu”. (2) Wygeneruj 1 sterowanie + 3 warianty za pomocą „Generatora wariantów”; Wystarczy zmienić ten element. (3) Zaplanuj, jakie metryki będziesz przeglądać, jak długo i z jakimi danymi, korzystając z „planu pomiarów”. (4) Zapisz z góry próg ogłoszenia zwycięzcy (ile konwersji / jakie znaczenie). (5) Rozważ hipotetyczne wyniki za pomocą „interpretatora wyników” i zanotuj, dlaczego nie podjąłbyś decyzji w scenariuszu, w którym dane są niewystarczające.
lista kontrolna
- [ ] W teście wyodrębniłem tylko jedną zmienną.
- [ ] Przed testem postawiłem jasną hipotezę.
- [ ] Ustaliłem już próbkę i czas wymagany dla zwycięzcy.
- [ ] Zwycięzcę wybrałem na podstawie danych, a nie osobistego gustu.
- [ ] Wynik „braku różnic” uznałem za ważną naukę.
- [ ] Sprawdziłem, czy nie występują czynniki zewnętrzne, które mogłyby zniekształcić wynik.