Прибыль:
- Возможность генерировать систематические варианты текста, которые изолируют отдельные переменные для A/B-тестирования.
- Способность превратить гипотезу в измеримую экспериментальную установку.
- Способность интерпретировать результаты тестов с точки зрения статистической значимости и обучаемости.
Интуиция ценна в маркетинге, но доказательства более ценны. Какой заголовок получает больше кликов, какой призыв к действию продает больше, какое изображение привлекает больше внимания? Вместо того чтобы гадать, вы можете измерить это с помощью A/B-тестирования. A/B-тестирование — это экспериментальный метод, который показывает две версии одного и того же контента (A и B) реальной аудитории и определяет, какая из них работает лучше. Искусственный интеллект быстро предоставляет входные данные для этих тестов, а именно варианты; Но для того, чтобы тест работал, необходимо соблюдать научное правило: по одной переменной за раз. В этом модуле вы узнаете, как генерировать варианты, переводить гипотезу в измеримый эксперимент и интерпретировать результаты с точки зрения статистической значимости.
Золотое правило: изолируйте одну переменную
Чтобы интерпретировать результат теста, между A и B должно отличаться только одно. Если вы одновременно измените заголовок, изображение и призыв к действию, вы никогда не узнаете, какое из них имело значение в случае победы B. Изолирование переменной, подлежащей тестированию, — единственное, что делает возможным обучение.
Типичные переменные, которые можно протестировать:
- Название: То же изображение и текст, другое название.
- Текст призыва к действию: «Купить» или «Добавить в корзину»?
- Тема письма: влияет на скорость открытия электронного письма.
- Изображение: Тот же текст, другое изображение.
- Длина/тон: короткий или длинный, формальный и искренний.
От гипотезы к эксперименту: шаг за шагом
- Сделайте наблюдение. «У нашей целевой страницы низкая конверсия».
- Гипотеза. «Заголовок, ориентированный на преимущества, конвертирует больше, чем заголовок, ориентированный на особенности».
- Изолируйте переменную. Изменится только заголовок.
- Генерируйте варианты. 2 понятных варианта модели (A: особенность, B: выгода).
- Определите свою меру успеха. Например, коэффициент конверсии — процент посетителей, совершающих желаемое действие.
- Определите выборку и продолжительность. Достаточно людей и достаточно времени.
- Измеряйте, сравнивайте, учитесь. Узнайте «почему», а не победителя.
«Гипотеза» — это предсказание, которое будет проверено здесь и может оказаться истинным или ложным; Хорошая гипотеза говорит вам, чего вы ожидаете и почему.
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Напишите несколько вариантов этого названия.
Мощная подсказка:
Создайте варианты для A/B-теста. Правило: изменится ТОЛЬКО заголовок, тело и призыв к действию останутся прежними. ГИПОТЕЗА: заголовок, ориентированный на преимущества, получает больше кликов, чем заголовок, ориентированный на функции. КОНТЕКСТ: целевая страница. Продукт: приложение для управления проектами. Аудитория: небольшие команды. ЗАПРОС: - Вариант А: функционально-ориентированное название (описывает, что делает продукт) - Вариант Б: ориентированное на пользу название (описывает, что он дает пользователю) Под каждым вариантом напишите, какую психологическую мотивацию он затрагивает. Всего 2 варианта; Оба должны быть одной строкой одинаковой длины.
Важно, чтобы варианты были одинаковой длины; в противном случае «длина» непреднамеренно становится второй переменной.
Таблица испытаний до/после
Этап
Что делать?
частая ошибка
гипотеза
Что, почему я жду?
«Попробуем» без гипотез
Переменная
Изолировать одну вещь
Изменение многих вещей одновременно
критерий
Выберите одну четкую метрику
Неопределенное «лучше»
образец
Достаточно людей/времени
решить рано
Комментарий
Узнайте, почему
Просто возьми победителя
три мини-кейса
Случай 1 — тест СТА дает четкие результаты. Сайт электронной коммерции протестировал кнопку товара: A «Купить», B «Добавить в корзину». Изменился только текст кнопки. В тесте с участием 3000 посетителей сайт B увеличил рейтинг кликов с 4,0% до 4,9%. Когда была изолирована единственная переменная, победитель был очевиден: «добавить в корзину» казалось менее обязательным.
Случай 2 — Многомерная ошибка. Команда разработала две целевые страницы, но заголовок, изображение и цвет были разными. B выиграл, но команда не знала, какой элемент имеет решающее значение; обучение стало нулевым. В следующем тесте они следовали правилу: по одной переменной за раз. В этом тесте они ясно увидели, что титул является главным фактором.
Случай 3 — Ловушка раннего решения. Команда отдела информационного бюллетеня протестировала две темы на группе из 200 человек и за первый час получила оценку «пятерка». Выборка была очень маленькой; разница была статистически недостоверной (т. е. могла быть случайной). Когда тест был увеличен до достаточного количества выборки и времени, результат был обратным. Урок: не принимайте решения без достаточного количества данных.
Внимание: разница, наблюдаемая на небольшой выборке (небольшом количестве людей), может ввести в заблуждение. Статистическая значимость означает вероятность того, что разница реальна, а не случайна. Прежде чем делать поспешные выводы, убедитесь, что охвачено достаточное количество людей и тестирование продолжается достаточно долго.
Копируемые шаблоны
Шаблон 1. Генератор изолированного варианта:
Создавайте варианты для A/B-тестирования. ЕДИНСТВЕННАЯ переменная для тестирования: [headline/CTA/image]. Все остальное останется неизменным. Гипотеза: [...]. Контекст: [...].Вариант А: [текущий подход]. Вариант Б: [альтернативный подход]. Пусть оба варианта имеют одинаковую длину; больше ничего не меняй.
Шаблон 2 — Уточнение гипотез:
Постройте проверяемую гипотезу на основе следующего наблюдения: «[наблюдение]». Запишите гипотезу в формате «если мы внесем [изменение], [показатель] увеличится, потому что [почему]». Тогда скажите мне, какую переменную мне следует изолировать.
Шаблон 3. Набор тестов для темы письма:
Создайте 2 темы для A/B-теста для следующего электронного письма. Разница по одной оси: [любопытство против ясности/краткости и т. д. длинного/вопроса и т. д. выражения]. Оба не должны содержать слова «спам» и должны быть одинаковой длины. Краткое описание электронной почты: [...]
Форма 4. Интерпретация результатов:
Интерпретируйте результат A/B-теста. Переменная: [...]. Метрика варианта А: [...]. Метрика варианта B: [...]. Размер выборки: [...]. Продолжительность: [...].Скажите мне: разница кажется значительной или выборка мала? Что мы узнали? Что посоветуете для следующего теста? Не претендуйте на точную статистику; Если неясно, уточните.
Совет: недостаточно получить «победителя» теста; Настоящая выгода — это понимание того, «почему оно победило». Это понимание лежит в основе гипотезы для следующего теста и со временем формирует основу обучения.
Приоритет: что протестировать в первую очередь?
Вы можете протестировать бесконечное количество предметов, но ваше время и трафик ограничены. Поэтому расставьте приоритеты тестов на основе потенциального воздействия. Общее правило: в первую очередь тестируются те элементы, которые пользователь видит первыми и которые оказывают наибольшее влияние на решение. На целевой странице заголовок оказывает наибольшее влияние на количество кликов; потому что пользователь сначала читает его и решает, продолжать или нет. Такие детали, как цвет кнопки, часто оказывают меньшее влияние; оставь их напоследок.
Практический способ расставить приоритеты — оценить каждую идею тестирования по трем осям: ожидаемое воздействие (насколько она будет иметь значение в случае победы?), уверенность (насколько мы уверены в ее победе?) и простота (насколько быстро ее можно настроить?). На первое место ставятся тесты с высокой эффективностью, высокой достоверностью и минимальными усилиями. Это позволяет вам выделять ограниченный трафик на эксперименты, которые приносят больше всего знаний. ИИ может дать вам быстрый план оценки и расстановки приоритетов в списке идей по этим трем осям; Вы решаете.
Шаблон 5. Приоритизация тестов:
Расставьте приоритеты для следующих идей A/B-тестирования. Оцените каждый по осям удара (1-5), надежности (1-5) и простоты установки (1-5), проранжируйте их по общему баллу и объясните в одном предложении, почему они расположены именно в таком порядке. ИДЕИ ДЛЯ ТЕСТОВ: [список]
Распространенные ошибки
- Такой изменчивый одновременно. Результат становится неинтерпретируемым.
- Тестирование без гипотез. «Давайте попробуем и посмотрим» не приводит к обучению.
- Раннее решение. В небольшой выборке разница считается реальной случайно.
- Варианты разной длины. Вторая переменная создается непреднамеренно.
- Просто беру победителя. Если причина не установлена, информация не будет накапливаться.
В заключение
- Золотое правило A/B-тестирования: по одной переменной за раз.
- Каждый тест должен начинаться с гипотезы: чего я ожидаю и почему?
- Определите единый четкий показатель успеха и адекватную выборку.
- Разница в небольшой выборке обманчива; Обратите внимание на статистическую значимость.
- Узнайте, почему, а не победитель; Это понимание послужит основой для следующего теста.
Задача приложения
Выберите наблюдение об одном из ваших материалов. С помощью шаблона 2 преобразуйте это в четкую гипотезу и определите переменную, которую нужно изолировать. Изготовьте два варианта с шаблоном 1 (одинаковая длина, только разница). Наконец, сопоставьте гипотетические числа результатов, интерпретируйте их, используя шаблон 4, и обратите внимание, что модель говорит об адекватности выборки. Продолжительность: около 25 минут.
контрольный список
- [ ] Я начал тест с четкой гипотезой.
- [ ] Я выделил только одну переменную.
- [ ] Варианты остались схожими по другим осям (длина и т. д.).
- [ ] Я определил один четкий показатель успеха.
- [ ] Я не принял решение без достаточного количества образцов/времени.
- [ ] Я отметил причину победителя следующего теста.