Печалби:
- Възможност за генериране на систематични текстови варианти, които изолират единични променливи за A/B тестване
- Способност за трансформиране на хипотеза в измерима експериментална постановка
- Способност за интерпретиране на резултатите от теста по отношение на статистическа значимост и обучение
Интуицията е ценна в маркетинга, но доказателствата са по-ценни. Кое заглавие получава повече кликвания, кое CTA продава повече, кое изображение привлича повече внимание? Вместо да гадаете, можете да измерите това с A/B тестване. A/B тестването е експериментален метод, който показва две версии на едно и също съдържание (A и B) на реална аудитория и измерва коя от тях се представя по-добре. Изкуственият интелект бързо произвежда входни данни за тези тестове, а именно варианти; Но за да работи тестът изисква научно правило: една променлива наведнъж. В този модул ще научите как да генерирате варианти, да превеждате хипотеза в измерим експеримент и да интерпретирате резултатите от гледна точка на статистическа значимост.
Златно правило: изолирайте една променлива
За да интерпретирате резултата от тест, само едно нещо трябва да е различно между A и B. Ако промените заглавието, изображението и CTA едновременно, никога няма да разберете кое е направило разликата, когато B спечели. Изолирането на променливата за тестване е единственото нещо, което прави ученето възможно.
Типични променливи, които могат да бъдат тествани:
- Заглавие: същото изображение и тяло, различно заглавие.
- CTA текст: „Купете“ или „Добавете в количката“?
- Тема: Влияе на честотата на отваряне на имейл.
- Изображение: Същият текст, различно изображение.
- Дължина/тон: Кратък срещу дълъг, официален и т.н. искрен.
От хипотеза към експеримент: стъпка по стъпка
- Направете наблюдение. „Нашата целева страница има ниска реализация.“
- Хипотеза. „Заглавието, фокусирано върху предимствата, преобразува повече от заглавието, фокусирано върху функциите.“
- Изолирайте променливата. Само заглавието ще се промени.
- Генериране на варианти. 2 ясни варианта с модела (A: функция, B: полза).
- Определете своята мярка за успех. Например процент на реализация — процентът на посетителите, предприели желаното действие.
- Определете пробата и продължителността. Достатъчно хора и достатъчно време.
- Измерете, сравнете, научете. Научете "защо", а не победителя.
„Хипотеза“ е прогноза, която ще бъде тествана тук и може да се окаже вярна или невярна; Добрата хипотеза ви казва какво очаквате и защо.
Слаба подкана / Силна подкана
Слаба подкана:
Напишете няколко алтернативи за това заглавие.
Мощна подкана:
Генериране на варианти за A/B тест. Правило: САМО заглавието ще се промени, основният текст и CTA ще останат същите. ХИПОТЕЗА: Заглавието, ориентирано към ползите, получава повече кликвания от заглавието, ориентирано към функции. КОНТЕКСТ: Целева страница. Продукт: приложение за управление на проекти. Аудитория: малки екипи. ЗАЯВКА:- Вариант A: заглавие, ориентирано към функции (описва какво прави продуктът)- Вариант B: заглавие, ориентирано към ползите (описва какво предоставя на потребителя) Под всеки вариант напишете каква психологическа мотивация засяга. Само 2 варианта; И двете трябва да са една линия с еднаква дължина.
Важно е вариантите да са с еднаква дължина; в противен случай "дължината" неволно се превръща във втора променлива.
Таблица преди/след тест
Етап
Какво да правя
честа грешка
хипотеза
Какво, защо чакам?
„Да опитаме“ без хипотези
Променлива
Изолирайте едно нещо
Промяна на много неща наведнъж
критерий
Изберете един ясен показател
Неопределено "по-добре"
проба
Достатъчно хора/време
решете рано
Коментирайте
Научете защо
Просто вземете победителя
три мини калъфа
Случай 1 — CTA тестът дава ясни резултати. Сайт за електронна търговия тества продуктовия бутон: A „Купи“, B „Добави в количката“. Променен е само текстът на бутона. При тест с 3000 посетители B увеличи честотата си на кликване от 4,0% на 4,9%. С изолираната единична променлива победителят беше ясен: „добавяне в количката“ не се стори толкова обвързващо.
Случай 2 — Многовариантна грешка. Екип проектира две целеви страници, но заглавието, изображението и цветът бяха различни. Б спечели, но отборът не знаеше кой елемент прави разликата; обучението стана нула. В следващия тест те следват правилото: една променлива наведнъж. В този тест те ясно видяха, че заглавието е основният фактор.
Случай 3 — Капан за ранно вземане на решения. Екип на бюлетина тества две теми на група от 200 души и каза: „Спечели A“ през първия час. Пробата беше много малка; разликата е статистически незначима (т.е. може да се дължи на случайност). Когато тестът беше увеличен до достатъчно вземане на проби и време, резултатът беше обърнат. Поука: не вземайте решения без достатъчно данни.
Внимание: Разликата, наблюдавана в малка извадка (малък брой хора), може да е подвеждаща. Статистическата значимост се отнася до вероятността разликата да е реална, а не случайна. Уверете се, че са достигнати достатъчно хора и тестването продължава достатъчно дълго, преди да правите прибързани заключения.
Копируеми шаблони
Шаблон 1 — Генератор на изолиран вариант:
Генериране на варианти за A/B тестване. ЕДИНСТВЕНАТА променлива за тестване: [заглавие/CTA/изображение]. Всичко останало ще остане постоянно. Хипотеза: [...]. Контекст: [...].Вариант А: [текущ подход]. Вариант Б: [алтернативен подход]. Нека двата варианта са с еднаква дължина; не променяй нищо друго.
Шаблон 2 — Изясняване на хипотези:
Изградете проверима хипотеза от следното наблюдение: „[наблюдение]“. Напишете хипотезата във формата „ако направим [промяна], [метрика] се увеличава, защото [защо]“. Тогава ми кажете коя единична променлива трябва да изолирам.
Шаблон 3 — Набор от тестове за предмет:
Създайте 2 реда за тема за A/B тест за следния имейл. Разлика по една ос: [любопитство срещу яснота/лаконичност и т.н. дълго/въпрос и т.н. изразяване]. И двете не трябва да съдържат думата спам и трябва да са с еднаква дължина. Имейл резюме: [...]
Шаблон 4 — Тълкуване на резултатите:
Интерпретирайте резултата от A/B тест. Променлива: [...]. Вариант А показател: [...]. Показател за вариант Б: [...].Размер на извадката: [...]. Продължителност: [...]. Кажете ми: Разликата изглежда ли значителна или извадката е малка? Какво научихме? Какво препоръчвате за следващия тест? Не изисквайте точна статистика; Ако не е ясно, уточнете.
Съвет: Не е достатъчно да получите "победителя" от теста; Истинската печалба е прозрението „защо спечели“. Това прозрение се захранва с хипотезата за следващия тест и изгражда набор от знания с течение на времето.
Приоритет: какво да тествам първо?
Има безкрайни елементи, които можете да тествате, но вашето време и трафик са ограничени. Затова дайте приоритет на тестовете въз основа на потенциала за въздействие. Общо правило: първо се тестват елементите, които потребителят вижда първи и имат най-голямо влияние върху решението. На целевата страница заглавието има най-голямо влияние върху кликванията; защото потребителят първо го чете и там решава или не да продължи. Детайли като цвета на бутоните често оказват по-слабо въздействие; оставете ги за накрая.
Практичен начин за приоритизиране е да оцените всяка идея за тестване по три оси: очаквано въздействие (каква разлика ще има, ако спечели?), увереност (колко сме уверени, че ще спечели?) и лекота (колко бързо се настройва?). Тестовете с голямо въздействие, висока увереност и малко усилия са поставени на първо място. Това ви позволява да разпределите ограничен трафик към експериментите, които носят най-много знания. AI може да ви даде бърз план за оценяване и приоритизиране на списък от идеи по тези три оси; Вие решавате.
Шаблон 5 — Приоритизиране на теста:
Дайте приоритет на следните идеи за A/B тестване. Оценете всеки по осите на въздействие (1-5), надеждност (1-5) и лекота на инсталиране (1-5), класирайте ги според общия резултат и обяснете с едно изречение защо са в този ред. ИДЕИ ЗА ТЕСТ: [списък]
Често срещани грешки
- Толкова променлива в същото време. Резултатът става неинтерпретируем.
- Тестване без хипотези. „Да опитаме и да видим“ не води до учене.
- Ранно решение. В малка извадка разликата се смята за реална случайно.
- Варианти с различна дължина. Неволно е създадена втора променлива.
- Просто вземам победителя. Ако причината не се научи, информацията няма да се натрупа.
В обобщение
- Златното правило на A/B тестването: една променлива наведнъж.
- Всеки тест трябва да започва с хипотеза: какво очаквам и защо?
- Определете една ясна мярка за успех и адекватна извадка.
- Разликата в малката извадка е подвеждаща; Обърнете внимание на статистическата значимост.
- Разберете защо, а не победителят; Това прозрение се вписва в следващия тест.
Задача за приложение
Изберете наблюдение за едно от вашите съдържание. С шаблон 2 преведете това в ясна хипотеза и идентифицирайте променливата, която да изолирате. Създайте два варианта с шаблон 1 (подобна дължина, само разлика). И накрая, напаснете числата на хипотетичните резултати, интерпретирайте ги с помощта на Шаблон 4 и отбележете какво казва моделът за адекватността на извадката. Продължителност: приблизително 25 минути.
контролен списък
- [ ] Започнах теста с ясна хипотеза.
- [ ] Изолирах само една променлива.
- [ ] Вариантите останаха подобни в други оси (дължина и т.н.).
- [] Определих един ясен показател за успех.
- [ ] Не реших без достатъчно проба/време.
- [ ] Отбелязах причината за победителя за следващия тест.