Прибыль:
- Способность понимать концепции A/B-тестирования, контроля/варианта, коэффициента конверсии и статистической значимости, а также выдвигать гипотезы и разрабатывать проекты тестов с помощью искусственного интеллекта.
- Возможность изолировать одну переменную для тестирования и создать вариант текста/изображения и плана измерений с поддержкой искусственного интеллекта.
- Способность различать, что интерпретация теста искусственного интеллекта ограничена размером и значимостью выборки, а также риском получения преждевременных/неправильных результатов.
Самое опасное предложение в рекламе — «Я думаю, это лучше». Данные, а не мнения, подскажут вам, действительно ли заголовок, изображение или кнопка лучше. Самый распространенный способ измерить это — A/B-тестирование: показ двух (или более) версий одного и того же объявления реальным пользователям и сравнение того, какая из них работает лучше. «A» обычно представляет собой текущую версию (контрольную), а «B» — новую пробуемую версию (вариант). Например, вы можете изменить только заголовок в одном и том же объявлении и измерить, по какому заголовку кликают чаще. Искусственный интеллект помогает в этом процессе как генерировать большое количество вариантов, так и интерпретировать результат; Но научная достоверность теста зависит от правил проектирования и терпения.
Золотое правило A/B-тестирования: одна переменная
Самое основное правило A/B-тестирования — изолировать одну переменную. Если вы одновременно измените заголовок, изображение и кнопку и победит версия Б, вы никогда не узнаете, что победило. То есть в тесте должен меняться только один элемент, остальные должны оставаться постоянными. Если вы хотите протестировать более одного элемента одновременно и систематически, это называется многовариантным тестированием и требует гораздо большей выборки; Одномерное A/B-тестирование — это способ начать.
Второе базовое понятие – статистическая значимость. Допустим, версия А получила 3 процента кликов, а версия Б — 3,3 процента кликов. Является ли эта разница реальным преимуществом или случайностью? Если бы вы показали тест только 100 людям, эта разница могла бы быть случайной. Статистическая значимость означает, что наблюдаемая разница с достаточной вероятностью не является случайной (т. е. разница, вероятно, реальна). Для этого требуется достаточный размер выборки (количество людей, которые видели тест). Объявление «победителя» при небольшом количестве данных — самая распространенная и дорогостоящая ошибка.
Совет: Прежде чем начать тест, ответьте на вопрос «когда я объявлю победителя»: сколько человек/постконверсия, на каком уровне значимости. Принятие этого решения заранее не позволит вам в первые часы погрузиться в шум и принять преждевременное решение.
В следующей таблице сравниваются хороший и плохой дизайн A/B-теста:
предмет
плохой дизайн
хороший дизайн
Количество переменных
Название + изображение + кнопка вместе
только заголовок
гипотеза
(нет) «посмотрим, что будет»
«Заголовки с вопросами увеличивают количество кликов»
образец
80 человек
Предварительно рассчитанный кворум
время принятия решения
2 часа спустя
Когда вы достигнете значимости
Выбор победителя
«Я думаю, что Б хорош»
На основе данных и значимости
Шаг за шагом: настройка A/B-теста
Шаг 1 — Напишите гипотезу. Что вы тестируете и почему? Четкая гипотеза типа «Заголовок с преимуществами получает больше кликов, чем заголовок с функциями».
Шаг 2 — Выберите одну переменную. Просто заголовок, или просто изображение, или просто призыв к действию.
Шаг 3 — Генерация вариантов. Создавайте разные версии одного и того же предмета с помощью ИИ; остальное оставьте постоянным.
Шаг 4 — Создайте план измерений. Какой показатель определит победителя (рейтинг кликов, конверсия), какой объем выборки потребуется, как долго будет работать.
Шаг 5 — Интерпретируйте и проверьте результат. Достаточно ли собрано данных, существенна ли разница? Если это не существенно, «нет разницы» также является допустимым результатом.
три мини-кейса
Случай 1. Ясность одной переменной. Бренд электронной коммерции протестировал в рекламе своего продукта только призыв к действию: «Купить» и «Добавить в корзину». Все остальное было таким же. После достаточного количества выборок «Добавить в корзину» принесло значительно больше конверсий. Разницу можно было четко интерпретировать, поскольку была изолирована одна переменная. ИИ создал два призыва к действию, данные выбрали победителя.
Случай 2 — Ловушка раннего решения. Бренд остановил тест, потому что версия B была впереди в первые 3 часа A/B-теста и открыла B для всего бюджета. Глядя на общие данные на следующий день, A на самом деле был немного лучше; Разница в первые часы была случайной. Бюджет был потрачен впустую. Ошибка: принятие преждевременного решения при недостаточном размере выборки.
Случай 3 — «Нет разницы» — это тоже вывод. Бренд протестировал два разных изображения, и после достаточного количества выборок они оба дали почти одинаковый результат. Хотя команда уже собиралась сетовать на то, что «тест провалился», правильным прочтением было то, что изображение не является решающим фактором в этой кампании, поэтому усилия следует направить на заголовок и предложение. Тот факт, что существенной разницы обнаружено не было, также является ценной информацией.
Четыре копируемых шаблона
1) Гипотеза и дизайн теста:
Что я хочу проверить: [например. Задание: (1) Напишите единственную проверяемую гипотезу (в форме «... увеличивается ... увеличивается»). (2) Перечислите одну переменную, которую нужно изолировать, и те, которые следует оставить постоянными. (3) Предложите метрику, которая определит победителя (рейтинг кликов/конверсия). (4) Напишите, на что мне нужно обратить внимание, чтобы проверить тест (выборка, продолжительность, риск раннего принятия решения).
2) Вариант генератора (одиночный вариант):
Прикрепленное объявление: изображение [то же самое], призыв к действию [то же самое], цель [то же самое]. Проверяемая переменная: HEADLINE. Основное сообщение: «[сообщение]». Задача: Сгенерировать 4 разных варианта заголовка с одним и тем же сообщением. Каждый из них использует свой подход (вопрос, выгода, количество, срочность). Меняется только заголовок; Добавление необоснованной претензии.
3) План измерений:
Тест: [Определение A и B]. Метрика: [клик/конверсия]. Задача: Составьте план измерения: (1) какая метрика основная, какая второстепенная, (2) сколько данных/времени необходимо, чтобы объявить победителя (объясните логику), (3) как равномерно и справедливо разделить трафик между А и Б, (4) какие внешние факторы могут исказить результат (сезон, день недели). Предположим, я воспользуюсь инструментом значимости для расчета точной статистики.
4) Интерпретатор результатов (осторожно):
Результаты моего A/B-теста (реальные данные): [A: показы/клики/конверсии],[B: показы/клики/конверсии]. Задача: (1) Рассчитайте и отобразите показатели каждой версии. (2) Прокомментируйте величину разницы, но если выборки недостаточно, скажите: «Недостаточно данных для значимого результата». (3) Напомните о рисках преждевременного или неправильного прочтения. Не делайте однозначных заявлений о значимости; Я подтвержу это с помощью отдельного инструмента учетной записи.
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Подготовьте версию А и Б для моего объявления, скажите, какая из них лучше.
Переменная не изолирована, нет гипотезы и измерения; ИИ не может знать, какой из них «хороший», без данных, он сам это выдумывает.
Мощная подсказка:
Я настраиваю A/B-тестирование. Исправлено: изображение и призыв к действию останутся прежними. Проверяется только переменная: заголовок объявления. Гипотеза: «Заголовок с цифрами получает больше кликов, чем общий заголовок». Основное сообщение: «Доставлено через 3 дня». Задача: (1) Создать 1 общий заголовок для контроля, 3 заголовка с цифрами для варианта. (2) Скажите мне, на какой показатель мне следует обратить внимание, чтобы оценить победителя. (3) Напомните мне о 3 ошибках, которые могут сделать тест недействительным. Не предсказывать какой из них победит; Данные определят это.
Второе утверждение изолирует одну переменную, включает гипотезу и измерение; оставляет победителя данным.
Распространенные ошибки
- Изменение многих элементов одновременно. Причина победителя становится неясной; Одна переменная должна быть изолирована.
- Принятие решений при недостаточном количестве выборок. Разница в первые часы часто бывает случайной.
- Тестирование без гипотез. Тестирование «посмотрим, что произойдет» не приводит к обучению; Сначала запишите, чего вы ожидаете.
- Принятие результата «Нет разницы» за неудачу. Отсутствие значимой разницы также информативно.
- Выбираем победителя по вкусу. Целью тестирования является исключение личного вкуса; Следите за данными.
- Забвение внешних факторов. Время года, день кампании, поток новостей могут исказить результат; Сохраняйте справедливые условия тестирования.
Внимание: цель A/B-тестирования — не «победить», а научиться. Даже потеря варианта является ценной информацией; Настоящая потеря — это полагаться на неверный результат при недостаточности данных и привязывать к нему бюджет.
В итоге
A/B-тестирование — мощный метод, который перемещает рекламные решения от идеи к данным. Золотое правило — изолировать одну переменную: в тесте должен меняться только один элемент, остальные должны оставаться постоянными. Второй столп – адекватная выборка и статистическая значимость; Объявление победителя с небольшим количеством данных — самая дорогая ошибка. ИИ помогает генерировать несколько вариантов, рассчитывать и интерпретировать шансы, но победителя определяют данные, а не ИИ. Даже результат «нет разницы» — это обучение. Гипотеза, метрика и порог принятия решения должны быть записаны до начала теста.
Задача приложения
Выберите креатив (заголовок, изображение или призыв к действию). (1) Напишите одну проверяемую гипотезу и изолированную переменную с помощью «Гипотеза и дизайн теста». (2) Создайте 1 контрольный + 3 варианта с помощью «Генератор вариантов»; Просто измените этот элемент. (3) С помощью «плана измерений» спланируйте, какие показатели вы будете рассматривать, как долго и с какими данными. (4) Заранее запишите свой порог для объявления победителя (сколько конверсий/какая значимость). (5) Рассмотрите гипотетические результаты с помощью «интерпретатора результатов» и отметьте, почему вы не примете решение в сценарии, когда данных недостаточно.
контрольный список
- [ ] В тесте я выделил только одну переменную.
- [ ] Перед тестом я написал четкую гипотезу.
- [ ] Я уже определил образец и время, необходимое для победителя.
- [ ] Я выбрал победителя на основе данных, а не личного вкуса.
- [ ] Я считал результат «нет разницы» действительным обучением.
- [ ] Я проверил внешние факторы, которые могли исказить результат.