Zyski:
- Możliwość generowania systematycznych wariantów tekstu, które izolują pojedyncze zmienne do testów A/B
- Możliwość przekształcenia hipotezy w mierzalny układ eksperymentalny
- Umiejętność interpretacji wyników testów pod kątem istotności statystycznej i uczenia się
Intuicja jest cenna w marketingu, ale dowody są cenniejsze. Który nagłówek zdobywa więcej kliknięć, które CTA sprzedaje więcej, który obraz przyciąga większą uwagę? Zamiast zgadywać, możesz to zmierzyć za pomocą testów A/B. Testy A/B to metoda eksperymentalna, która pokazuje prawdziwym odbiorcom dwie wersje tej samej treści (A i B) i mierzy, która z nich działa lepiej. Sztuczna inteligencja szybko tworzy dane wejściowe do tych testów, a mianowicie warianty; Jednak aby test zadziałał, wymagana jest zasada naukowa: jedna zmienna na raz. W tej części dowiesz się, jak generować warianty, przekładać hipotezę na mierzalny eksperyment i interpretować wyniki pod kątem istotności statystycznej.
Złota zasada: wyizoluj jedną zmienną
Aby zinterpretować wynik testu, między A i B musi różnić się tylko jedna rzecz. Jeśli jednocześnie zmienisz tytuł, obraz i wezwanie do działania, nigdy nie dowiesz się, który z nich zadecydował o zwycięstwie B. Wyodrębnienie testowanej zmiennej jest jedyną rzeczą, która umożliwia uczenie się.
Typowe zmienne, które można testować:
- Tytuł: ten sam obraz i treść, inny tytuł.
- Tekst CTA: „Kup” czy „Dodaj do koszyka”?
- Wiersz tematu: wpływa na współczynnik otwarć wiadomości e-mail.
- Obraz: ten sam tekst, inny obraz.
- Długość/ton: Krótki vs. długi, formalny itp. szczery.
Od hipotezy do eksperymentu: krok po kroku
- Dokonaj obserwacji. „Nasza strona docelowa ma niską konwersję.”
- Hipoteza. „Nagłówek skupiający się na korzyściach generuje więcej konwersji niż nagłówek skupiający się na funkcjach”.
- Wyizoluj zmienną. Zmieni się tylko tytuł.
- Generuj warianty. 2 jasne warianty modelu (A: cecha, B: korzyść).
- Zdefiniuj swoją miarę sukcesu. Na przykład współczynnik konwersji — odsetek odwiedzających podejmujących pożądane działanie.
- Określ próbkę i czas trwania. Wystarczająco dużo ludzi i wystarczająco dużo czasu.
- Mierz, porównuj, ucz się. Dowiedz się „dlaczego”, a nie zwycięzcy.
„Hipoteza” to przewidywanie, które zostanie tutaj sprawdzone i może okazać się prawdziwe lub fałszywe; Dobra hipoteza mówi Ci, czego się spodziewasz i dlaczego.
Słaba zachęta/silna zachęta
Słaba zachęta:
Napisz alternatywy dla tego tytułu.
Potężny monit:
Wygeneruj warianty do testu A/B. Reguła: Zmieni się TYLKO tytuł, treść i CTA pozostaną takie same.HIPOTEZA: Tytuł zorientowany na korzyści zdobywa więcej kliknięć niż tytuł zorientowany na funkcje. KONTEKST: Strona docelowa. Produkt: aplikacja do zarządzania projektami. Odbiorcy: małe zespoły. ZAPYTANE:- Wariant A: tytuł zorientowany na cechy (opisuje działanie produktu) - Wariant B: tytuł zorientowany na korzyści (opisuje, co zapewnia użytkownikowi) Pod każdym wariantem napisz, jakiej motywacji psychologicznej dotyczy. Tylko 2 warianty; Obydwa powinny być pojedynczą linią o podobnej długości.
Ważne jest, aby warianty miały podobną długość; w przeciwnym razie „długość” przypadkowo stanie się drugą zmienną.
Tabela testów przed/po
Scena
Co robić
częsty błąd
hipoteza
Co, dlaczego czekam?
„Spróbujmy” bez hipotez
Zmienna
Wyodrębnij jedną rzecz
Zmiana wielu rzeczy na raz
kryterium
Wybierz jeden jasny wskaźnik
Nieokreślone „lepsze”
próbka
Wystarczająca ilość ludzi/czasu
zdecydować wcześnie
Komentarz
Dowiedz się dlaczego
Po prostu weź zwycięzcę
trzy mini etui
Przypadek 1 — Test CTA daje jednoznaczne wyniki. Witryna e-commerce przetestowała przycisk produktu: A „Kup”, B „Dodaj do koszyka”. Zmienił się jedynie tekst przycisku. W teście przeprowadzonym na 3000 odwiedzających firma B zwiększyła swój współczynnik klikalności z 4,0% do 4,9%. Po wyodrębnieniu jednej zmiennej zwycięzca był jasny: „dodaj do koszyka” wydawało się mniej wiążące.
Przypadek 2 – Błąd wieloczynnikowy. Zespół zaprojektował dwie strony docelowe, ale tytuł, obraz i kolor były różne. B wygrał, ale zespół nie wiedział, który element zrobił różnicę; nauka stała się zerowa. W następnym teście kierowali się zasadą: jedna zmienna na raz. W tym teście wyraźnie zobaczyli, że tytuł był głównym czynnikiem.
Przypadek 3 – Pułapka wczesnej decyzji. Zespół zajmujący się biuletynem przetestował dwa tematy na grupie 200 osób i stwierdził: „Zarobił piątkę” w ciągu pierwszej godziny. Próbka była bardzo mała; różnica była nieistotna statystycznie (tj. mogła wynikać z przypadku). Kiedy test został zwiększony do wystarczającej liczby próbek i czasu, wynik był odwrotny. Lekcja: nie podejmuj decyzji bez wystarczającej ilości danych.
Uwaga: różnica widoczna na małej próbie (mała liczba osób) może wprowadzać w błąd. Istotność statystyczna odnosi się do prawdopodobieństwa, że różnica jest rzeczywista, a nie spowodowana przypadkiem. Zanim wyciągniesz pochopne wnioski, upewnij się, że dotrzesz do wystarczającej liczby osób i że testowanie będzie trwało wystarczająco długo.
Szablony do kopiowania
Szablon 1 — Generator wariantów izolowanych:
Generuj warianty do testów A/B. JEDYNA zmienna do testowania: [nagłówek/CTA/obraz]. Wszystko inne pozostanie niezmienne. Hipoteza: […]. Kontekst: [...].Wariant A: [obecne podejście]. Wariant B: [podejście alternatywne]. Niech oba warianty będą miały podobną długość; nie zmieniaj niczego więcej.
Wzór 2 – Wyjaśnienie hipotezy:
Zbuduj sprawdzalną hipotezę na podstawie następującej obserwacji: „[obserwacja]”. Zapisz hipotezę w formacie „jeśli dokonamy [zmiany], [metryka] wzrośnie, ponieważ [dlaczego]”. Następnie powiedz mi, którą zmienną powinienem wyizolować.
Szablon 3 — Zestaw testowy wiersza tematu:
Utwórz 2 tematy do testu A/B dla następnego e-maila. Różnica na jednej osi: [ciekawość vs. przejrzystość / zwięzłość itp. długie / pytanie itp. wyrażenie]. Obydwa nie powinny zawierać słowa spam i powinny mieć podobną długość. Podsumowanie e-maila: [...]
Wzór 4 – Interpretacja wyników:
Interpretacja wyniku testu A/B. Zmienna: [...]. Wariant A metryka: [...]. Wariant B metryka: [...].Wielkość próby: [...]. Czas trwania: […].Powiedz mi: czy różnica wydaje się znacząca, czy też próbka jest niewielka? Czego się nauczyliśmy? Co polecasz na następny test? Nie podawaj dokładnych statystyk; Jeśli nie jest jasne, określ.
Wskazówka: nie wystarczy wyłonić „zwycięzcę” testu; Prawdziwą korzyścią jest wgląd w to, „dlaczego wygrał”. Ta wiedza stanowi podstawę do hipotezy na potrzeby następnego testu i z biegiem czasu pozwala na zdobycie wiedzy.
Priorytet: co przetestować jako pierwsze?
Istnieje nieskończona liczba elementów, które możesz przetestować, ale Twój czas i ruch są ograniczone. Dlatego priorytetyzuj testy w oparciu o potencjał uderzenia. Ogólna zasada: w pierwszej kolejności testowane są te elementy, które użytkownik widzi jako pierwsze i mają największy wpływ na decyzję. Na stronie docelowej największy wpływ na kliknięcia ma nagłówek; ponieważ użytkownik czyta go jako pierwszy i decyduje, czy kontynuować. Szczegóły takie jak kolor przycisku często mają mniejszy wpływ; zostaw je na koniec.
Praktycznym sposobem ustalenia priorytetów jest ocena każdego pomysłu na testowanie na trzech osiach: oczekiwany wpływ (jak duża będzie różnica, jeśli wygra?), pewność (jak bardzo jesteśmy pewni, że wygra?) i łatwość (jak szybko można go skonfigurować?). Na pierwszym miejscu znajdują się testy o dużym wpływie, dużej pewności i niewielkim wysiłku. Dzięki temu możesz przydzielić ograniczony ruch do eksperymentów, które przynoszą najwięcej wiedzy. Sztuczna inteligencja może dać Ci szybki plan oceniania i ustalania priorytetów listy pomysłów według tych trzech osi; Ty decydujesz.
Szablon 5 – Ustalanie priorytetów testów:
Nadaj priorytet następującym pomysłom na testy A/B. Oceń każdy z nich pod kątem osi uderzenia (1-5), niezawodności (1-5) i łatwości montażu (1-5), uszereguj je według łącznej punktacji i wyjaśnij jednym zdaniem, dlaczego są w takiej kolejności. POMYSŁY NA TEST: [lista]
Typowe błędy
- Tak zmienny jednocześnie. Wynik staje się niemożliwy do interpretacji.
- Testowanie bez hipotez. „Spróbujmy i zobaczmy” nie prowadzi do nauki.
- Wczesna decyzja. W przypadku małej próbki różnicę uważa się za rzeczywistą przez przypadek.
- Warianty o różnych długościach. Druga zmienna została utworzona przypadkowo.
- Po prostu wybiorę zwycięzcę. Jeśli przyczyna nie zostanie poznana, informacje nie będą gromadzone.
Podsumowując
- Złota zasada testów A/B: jedna zmienna na raz.
- Każdy test powinien zaczynać się od hipotezy: czego oczekuję i dlaczego?
- Zdefiniuj jedną jasną miarę sukcesu i odpowiednią próbkę.
- Różnica w małej próbie jest myląca; Zwróć uwagę na istotność statystyczną.
- Dowiedz się dlaczego, a nie zwycięzcy; Ta wiedza zostanie wykorzystana w następnym teście.
Zadanie aplikacji
Wybierz obserwację na temat jednej ze swoich treści. Korzystając z Szablonu 2, przełóż to na jasną hipotezę i zidentyfikuj zmienną, którą należy wyizolować. Utwórz dwa warianty za pomocą szablonu 1 (podobna długość, tylko różnica). Na koniec dopasuj hipotetyczne liczby wyników, zinterpretuj je za pomocą Szablonu 4 i zanotuj, co model mówi o adekwatności próby. Czas trwania: około 25 minut.
lista kontrolna
- [ ] Zacząłem test od jasnej hipotezy.
- [ ] Wyodrębniłem tylko jedną zmienną.
- [ ] Warianty pozostały podobne w pozostałych osiach (długość itp.).
- [ ] Zdefiniowałem jeden wyraźny miernik sukcesu.
- [ ] Nie podjąłem decyzji bez wystarczającej ilości próbki/czasu.
- [ ] Zanotowałem powód zwycięzcy następnego testu.