Прибуток:
- Можливість генерувати систематичні текстові варіанти, які виділяють окремі змінні для тестування A/B
- Здатність трансформувати гіпотезу в вимірювану експериментальну установку
- Здатність інтерпретувати результати тесту з точки зору статистичної значущості та навчання
Інтуїція цінна в маркетингу, але докази цінніші. Який заголовок отримує більше кліків, який CTA продає більше, яке зображення привертає більше уваги? Замість того, щоб гадати, ви можете виміряти це за допомогою тестування A/B. A/B-тестування – це експериментальний метод, який показує реальній аудиторії дві версії одного вмісту (A та B) і визначає, яка з них ефективніша. Штучний інтелект швидко створює вхідні дані для цих тестів, а саме варіанти; Але для того, щоб тест працював, потрібне наукове правило: одна змінна за раз. У цьому розділі ви навчитеся генерувати варіанти, перетворювати гіпотезу в вимірюваний експеримент і інтерпретувати результати з точки зору статистичної значущості.
Золоте правило: виділіть одну змінну
Щоб інтерпретувати результат тесту, лише одна річ має відрізнятися між А та Б. Якщо ви зміните назву, зображення та заклик до дії одночасно, ви ніколи не дізнаєтеся, який з них зробив різницю, коли В переможе. Виокремлення змінної, що перевіряється, є єдиним, що робить навчання можливим.
Типові змінні, які можна перевірити:
- Заголовок: однакове зображення й основний текст, інша назва.
- Текст CTA: «Купити» чи «Додати в кошик»?
- Рядок теми: впливає на швидкість відкриття електронного листа.
- Зображення: той самий текст, інше зображення.
- Довжина/тон: короткий проти довгого, офіційний тощо щирий.
Від гіпотези до експерименту: крок за кроком
- Зробіть спостереження. «Наша цільова сторінка має низьку конверсію».
- Гіпотеза. «Заголовок, орієнтований на переваги, перетворює більше, ніж заголовок, орієнтований на функції».
- Ізолюйте змінну. Зміниться лише назва.
- Генеруйте варіанти. 2 чітких варіанти з моделлю (A: особливість, B: користь).
- Визначте свою міру успіху. Наприклад, коефіцієнт конверсії — відсоток відвідувачів, які виконують бажану дію.
- Визначте вибірку та тривалість. Досить людей і достатньо часу.
- Вимірюйте, порівнюйте, вивчайте. Дізнайтеся «чому», а не переможець.
«Гіпотеза» — це передбачення, яке буде перевірено тут і може виявитися істинним або хибним; Хороша гіпотеза говорить вам, чого ви очікуєте і чому.
Слабка підказка / Сильна підказка
Слабка підказка:
Напишіть кілька варіантів цієї назви.
Потужна підказка:
Створення варіантів для A/B тесту. Правило: зміниться ЛИШЕ заголовок, основний текст і заклик до дії залишаться незмінними. ГІПОТЕЗА: назва, орієнтована на переваги, отримує більше кліків, ніж назва, орієнтована на функції. КОНТЕКСТ: Цільова сторінка. Продукт: додаток для управління проектами. Аудиторія: невеликі команди.ЗАПИТАННЯ:- Варіант А: назва, орієнтована на функції (описує, що робить продукт)- Варіант Б: назва, орієнтована на користь (описує, що він надає користувачеві) Під кожним варіантом напишіть, якої психологічної мотивації він стосується. Тільки 2 варіанти; Обидва мають бути однією лінією однакової довжини.
Важливо, щоб варіанти були однакової довжини; інакше «довжина» ненавмисно стає другою змінною.
Таблиця тесту до/після
етап
Що робити
часта помилка
гіпотеза
Що, чому я чекаю?
«Спробуємо» без гіпотез
змінна
Ізолювати щось одне
Зміна багатьох речей одночасно
критерій
Виберіть один чіткий показник
Невизначене «краще»
зразок
Досить людей/часу
вирішити рано
коментар
Дізнайтеся чому
Просто візьміть переможця
три міні-чохла
Випадок 1 — тест CTA дає чіткі результати. Сайт електронної комерції протестував кнопку продукту: A «Купити», B «Додати в кошик». Змінився лише текст кнопки. Під час тестування 3000 відвідувачів B збільшив свій рейтинг кліків з 4,0% до 4,9%. З виділенням єдиної змінної переможець був очевидним: «додати до кошика» здавалося менш обов’язковим.
Випадок 2 — багатовимірна помилка. Команда розробила дві цільові сторінки, але заголовок, зображення та колір були різними. B виграв, але команда не знала, який елемент зробив різницю; навчання стало нульовим. У наступному тесті вони дотримувалися правила: одна змінна за раз. У цьому тесті вони чітко побачили, що назва була головним фактором.
Випадок 3 — Пастка для раннього прийняття рішення. Команда інформаційного бюлетеня протестувала дві теми на групі з 200 осіб і сказала: «Це заробило A» за першу годину. Вибірка була дуже малою; різниця була статистично незначущою (тобто могла бути випадковою). Коли тест було збільшено до достатньої вибірки та часу, результат був протилежним. Урок: не приймайте рішення, не маючи достатньо даних.
Застереження: різниця в невеликій вибірці (невелика кількість людей) може ввести в оману. Статистична значущість означає ймовірність того, що різниця є реальною, а не випадковою. Переконайтеся, що охоплено достатньо людей і що тестування триває достатньо довго, перш ніж робити поспішні висновки.
Шаблони, які можна копіювати
Шаблон 1 — Генератор ізольованих варіантів:
Створення варіантів для A/B тестування. ЄДИНА змінна для перевірки: [заголовок/CTA/зображення]. Все інше залишиться постійним. Гіпотеза: [...]. Контекст: [...].Варіант А: [поточний підхід]. Варіант Б: [альтернативний підхід]. Нехай обидва варіанти мають однакову довжину; більше нічого не змінюй.
Шаблон 2 — Уточнювач гіпотези:
Побудуйте перевірену гіпотезу на основі такого спостереження: "[спостереження]". Запишіть гіпотезу у форматі «якщо ми внесемо [зміну], [показник] збільшиться, тому що [чому]». Тоді скажіть мені, яку єдину змінну я маю виділити.
Шаблон 3 — Тестовий набір предметного рядка:
Створіть 2 рядки теми для тестування A/B для наступного електронного листа. Різниця на одній осі: [допитливість проти ясності/стислості тощо. довго/питання тощо. вираження]. Обидва не повинні містити слова спам і мати однакову довжину. Резюме по електронній пошті: [...]
Шаблон 4 — Інтерпретація результатів:
Інтерпретуйте результат тесту A/B. Змінна: [...]. Варіант А метрики: [...]. Показник варіанту B: [...]. Розмір вибірки: [...]. Тривалість: [...].Скажіть мені: чи різниця здається значною, чи вибірка мала? Чого ми навчилися? Що ви рекомендуєте для наступного тесту? Не вимагайте точної статистики; Якщо незрозуміло, уточніть.
Порада: недостатньо отримати «переможця» з тесту; Справжня перевага — це розуміння того, «чому це перемогло». Це розуміння бере участь у гіпотезі для наступного тесту та формує сукупність знань з часом.
Пріоритет: що перевірити в першу чергу?
Ви можете протестувати безліч предметів, але ваш час і трафік обмежені. Тож визначте пріоритет тестів на основі потенціалу впливу. Загальне правило: першими тестуються ті елементи, які користувач бачить першими та мають найбільший вплив на прийняття рішення. На цільовій сторінці заголовок має найбільший вплив на кліки; тому що користувач читає його першим і там вирішує, продовжувати чи ні. Такі деталі, як колір кнопки, часто справляють менший вплив; залиште їх наостанок.
Практичний спосіб розставити пріоритети – оцінити кожну ідею тестування за трьома вісями: очікуваний вплив (наскільки це матиме значення, якщо вона виграє?), впевненість (наскільки ми впевнені, що вона виграє?) і легкість (як швидко її налаштувати?). На перше місце ставляться тести з високим рівнем впливу, високою впевненістю та невеликими зусиллями. Це дозволяє виділити обмежений трафік на експерименти, які приносять найбільше знань. AI може дати вам швидкий план оцінки та пріоритетності списку ідей за цими трьома осями; Ви вирішуєте.
Шаблон 5 — Пріоритезація тесту:
Надайте пріоритет наступним ідеям тестування A/B. Оцініть кожен з них за ударністю (1-5), надійністю (1-5) і легкістю встановлення (1-5), розташуйте їх відповідно до загальної кількості балів і поясніть одним реченням, чому вони в такому порядку. ТЕСТ ІДЕЙ: [список]
Поширені помилки
- Такий мінливий водночас. Результат стає неінтерпретованим.
- Перевірка без гіпотез. «Давайте спробуємо і подивимося» не дає результату навчання.
- Раннє рішення. У невеликій вибірці відмінність вважається реальною випадково.
- Варіанти різної довжини. Друга змінна створена ненавмисно.
- Просто взяти переможця. Якщо причину не дізнатися, інформація не буде накопичуватися.
Підсумовуючи
- Золоте правило A/B-тестування: одна змінна за раз.
- Кожен тест повинен починатися з гіпотези: чого я очікую і чому?
- Визначте єдину чітку міру успішності та адекватну вибірку.
- Різниця в невеликій вибірці вводить в оману; Зверніть увагу на статистичну значущість.
- Дізнайтеся чому, а не переможець; Це розуміння бере участь у наступному тесті.
Аплікаційне завдання
Виберіть спостереження щодо одного зі своїх матеріалів. За допомогою шаблону 2 переведіть це в чітку гіпотезу та визначте змінну, яку потрібно виділити. Виготовте два варіанти з шаблоном 1 (схожа довжина, тільки різниця). Нарешті, підберіть гіпотетичні результати, інтерпретуйте їх за допомогою Шаблону 4 і зверніть увагу на те, що модель говорить про адекватність вибірки. Тривалість: приблизно 25 хвилин.
контрольний список
- [ ] Я почав тест із чіткої гіпотези.
- [ ] Я виділив лише одну змінну.
- [ ] Варіанти залишилися подібними в інших осях (довжина тощо).
- [] Я визначив одну чітку метрику успіху.
- [ ] Я не вирішив, не маючи достатньо зразків/часу.
- [ ] Я зазначив причину переможця для наступного тесту.