Прибуток:
- Здатність розуміти концепції A/B-тестування, контролю/варіанту, коефіцієнта конверсії та статистичної значущості, а також встановлювати гіпотези та проекти тестів за допомогою штучного інтелекту.
- Можливість виділити єдину змінну для тестування та створити варіант тексту/зображення та план вимірювання з підтримкою штучного інтелекту
- Здатність розрізнити, що інтерпретація тесту штучного інтелекту обмежена розміром і значущістю вибірки та ризиком читання передчасних/невірних результатів
Найнебезпечніше речення в рекламі: «Я думаю, що так краще». Дані, а не думка, підкажуть вам, чи заголовок, зображення чи кнопка справді кращі. Найпоширенішим способом вимірювання цього є A/B-тестування: показ двох (або більше) версій однієї реклами реальним користувачам і порівняння того, яка з них працює краще. "A" зазвичай є поточною версією (контрольною), а "B" - новою версією, яку перевіряють (варіант). Наприклад, ви можете змінити лише заголовок в тому самому оголошенні та визначити, який заголовок натискають частіше. Штучний інтелект допомагає в цьому процесі як у створенні великої кількості варіантів, так і в інтерпретації результату; Але наукова обґрунтованість тесту залежить від правил проектування та терпіння.
Золоте правило A/B-тестування: одна змінна
Основне правило A/B-тестування полягає в тому, щоб виділити одну змінну. Якщо ви одночасно зміните назву, зображення та кнопку та виграє версія B, ви ніколи не дізнаєтесь, що виграє. Таким чином, у тесті повинен змінюватися лише один елемент, решта повинні залишатися постійними. Якщо ви хочете протестувати більше одного елемента одночасно і систематично, це називається багатоваріантним тестуванням і вимагає набагато більшої вибірки; Однофакторне A/B-тестування – це спосіб почати.
Друга базова концепція — статистична значущість. Припустімо, версія A отримала 3 відсотки кліків, а версія B отримала 3,3 відсотка кліків. Чи ця різниця справжня перевага чи випадковість? Якби ви показали тест лише 100 людям, ця різниця могла бути випадковою. Статистична значущість означає, що спостережувана різниця є досить малоймовірною випадковістю (тобто різниця, ймовірно, реальна). Для цього потрібен достатній розмір вибірки (кількість людей, які бачать тест). Оголошення «переможця» з невеликою кількістю даних є найпоширенішою та дорогою помилкою.
Порада: перед початком тесту дайте відповідь на запитання «коли я оголошу переможця»: скільки осіб/постконверсії, на якому рівні значущості. Прийнявши це рішення заздалегідь, ви не потрапите в шум у перші години та не приймете передчасного рішення.
У наведеній нижче таблиці порівнюється хороший і поганий дизайн A/B-тесту:
пункт
поганий дизайн
хороший дизайн
Кількість змінних
Заголовок + зображення + кнопка разом
лише заголовок
гіпотеза
(немає) "подивимося, що буде"
«Заголовки з питаннями збільшують кліки»
зразок
80 осіб
Попередньо розрахований кворум
час прийняття рішення
через 2 години
Коли ви досягнете значущості
Вибір переможця
"Я вважаю, що B - це добре"
На основі даних і значущості
Крок за кроком: налаштування A/B тесту
Крок 1 — Напишіть гіпотезу. Що ви тестуєте і чому? Чітка гіпотеза на зразок «Заголовок із перевагами отримує більше кліків, ніж заголовок із функціями».
Крок 2 — Виберіть одну змінну. Лише назва, чи лише зображення, чи лише CTA.
Крок 3 — Створіть варіанти. Створюйте різні версії одного предмета за допомогою ШІ; залишити решту постійною.
Крок 4 — Налаштуйте план вимірювань. Яка метрика визначатиме переможця (рейтинг кліків, конверсія), скільки вибірки потрібно, скільки часу працювати.
Крок 5 — Інтерпретуйте та перевірте результат. Чи достатньо даних зібрано, чи суттєва різниця? Якщо він незначний, «відсутність різниці» також є дійсним результатом.
три міні-чохла
Випадок 1 — Чіткість однієї змінної. Бренд електронної комерції перевірив лише CTA у своїй рекламі продукту: «Купити» та «Додати в кошик». Все інше було так само. Після достатньої вибірки функція «Додати в кошик» принесла значно більше конверсій. Різницю можна чітко інтерпретувати, оскільки була виділена одна змінна. ШІ підготував два CTA, дані вибрали переможця.
Випадок 2 — Пастка для раннього прийняття рішення. Бренд зупинив тестування, оскільки версія B була попереду в перші 3 години тестування A/B і відкрила B для всього бюджету. Подивившись на загальні дані наступного дня, А насправді було трохи краще; Різниця в перші години була випадковою. Бюджет був витрачений даремно. Помилка: передчасне прийняття рішення через недостатній розмір вибірки.
Випадок 3 — «Немає різниці» також є висновком. Бренд протестував два різні зображення, і після достатньої вибірки обидва дали майже однаковий результат. Хоча команда збиралася нарікати на те, що «тест провалився», правильним було те, що зображення не є вирішальним фактором у цій кампанії, тому зусилля слід спрямувати на заголовок і пропозицію. Той факт, що істотної різниці не виявлено, також є цінною інформацією.
Чотири шаблони, які можна копіювати
1) Гіпотеза та дизайн тесту:
Що я хочу перевірити: [наприклад. заголовок оголошення]. Завдання: (1) Напишіть одну гіпотезу, яку можна перевірити (у формі «... збільшується ... збільшується»). (2) Перерахуйте єдину змінну, яку потрібно виділити, і ті, які слід залишати постійними. (3) Запропонуйте показник, який визначатиме переможця (рейтинг кліків/конверсія). (4) Напишіть, на що мені потрібно звернути увагу, щоб підтвердити тест (зразок, тривалість, ризик раннього прийняття рішення).
2) Генератор варіантів (один варіант):
Прикріплена реклама: зображення [те саме], CTA [те саме], ціль [те саме]. Перевірена змінна: HEADLINE. Основне повідомлення: "[повідомлення]". Завдання: Створити 4 різних варіанти заголовка з однаковим повідомленням. Кожен використовує інший підхід (питання, користь, кількість, терміновість). Змінюється лише заголовок; Додавання необґрунтованої претензії.
3) План вимірювання:
Тест: [Визначення А і Б]. Метрика: [клік/конверсія]. Завдання: скласти план вимірювання: (1) яка метрика є основною, а яка другорядною, (2) скільки даних/часу потрібно для оголошення переможця (поясніть логіку), (3) як рівномірно та справедливо розподілити трафік між А та Б, (4) які зовнішні фактори можуть спотворити результат (пора року, день тижня). Припустімо, що я буду використовувати інструмент значущості для точного розрахунку статистика.
4) Інтерпретатор результатів (обережно):
Результати моїх тестів A/B (реальні дані): [A: покази/кліки/конверсія], [B: покази/кліки/конверсія]. Завдання: (1) Обчислити та відобразити коефіцієнти кожної версії. (2) Прокоментувати величину різниці, але якщо вибірка недостатня, скажіть «недостатньо даних для значущого результату». (3) Нагадайте про ризики передчасного/неправильного читання. Не робіть остаточних тверджень щодо значущість; Я підтверджу за допомогою окремого облікового запису.
Слабка підказка / Сильна підказка
Слабка підказка:
Виготовте для моєї реклами версії А і Б, підкажіть, яка з них краща.
Змінна не ізольована, немає гіпотези та вимірювання; ШІ не може знати, який із них «хороший» без даних, він сам це вигадує.
Потужна підказка:
Я налаштовую A/B тестування. Виправлено: зображення та заклик до дії залишаться незмінними. Перевірено лише змінну: заголовок оголошення. Гіпотеза: «Заголовок із цифрами отримує більше кліків, ніж звичайний заголовок». Основне повідомлення: «Доставлено за 3 дні». Завдання: (1) Створити 1 загальний заголовок для контролю, 3 заголовки з цифрами для варіанту. (2) Скажіть мені, на який показник я маю звернути увагу, щоб визначити переможця. (3) Нагадати мені з 3 помилок, які можуть зробити тест недійсним. Не прогнозуйте, хто з них переможе; Дані визначатимуть це.
Друга вимога виділяє одну змінну, включає гіпотезу та вимірювання; залишає переможця за даними.
Поширені помилки
- Зміна багатьох елементів одночасно. Причина переможця стає незрозумілою; Необхідно виділити одну змінну.
- Прийняття рішень з недостатньою вибіркою. Різниця в перші години часто буває випадковою.
- Тестування без гіпотез. Тестування «Подивимося, що буде» не дає навчання; Спочатку запишіть, що ви очікуєте.
- Результат «Без різниці» прийняти за помилку. Відсутність істотної різниці також є інформативною.
- Вибір переможця за смаком. Тестування саме для того, щоб виключити особистий смак; Слідкуйте за даними.
- Забувши про зовнішні фактори. Сезон, день кампанії, потік новин можуть спотворити результат; Зберігайте справедливі умови тестування.
Увага: мета A/B-тестування — не «перемога», а навчання. Навіть втрата варіанту є цінною інформацією; Справжня втрата полягає в тому, що ви покладаєтеся на неправильний результат із недостатньою кількістю даних і прив’язуєте бюджет до нього.
Підсумовуючи
A/B-тестування – це потужний метод, який переносить рекламні рішення від ідеї до даних. Золоте правило полягає в тому, щоб виділити одну змінну: тільки один елемент повинен змінюватися в тесті, решта повинні залишатися постійними. Другий стовп – це адекватна вибірка та статистична значущість; Оголошення переможця з невеликою кількістю даних є найдорожчою помилкою. ШІ допомагає генерувати кілька варіантів, обчислювати та інтерпретувати шанси, але переможця визначають дані, а не ШІ. Навіть результат «без різниці» є навчанням. Гіпотезу, показник і поріг прийняття рішення слід записати перед початком тесту.
Аплікаційне завдання
Виберіть креатив (заголовок, зображення або CTA). (1) Напишіть одну перевірену гіпотезу та ізольовану змінну за допомогою «Гіпотези та дизайну тесту». (2) Створіть 1 елемент управління + 3 варіанти за допомогою «Генератора варіантів»; Просто змініть цей елемент. (3) Плануйте, який показник ви будете переглядати, як довго та з якими даними, за допомогою «плану вимірювання». (4) Заздалегідь запишіть порогове значення для оголошення переможця (кількість конверсій / яка значущість). (5) Розгляньте гіпотетичні результати за допомогою «інтерпретатора результатів» і зауважте, чому ви не приймете рішення в ситуації, коли даних недостатньо.
контрольний список
- [ ] Я виділив лише одну змінну в тесті.
- [ ] Я написав чітку гіпотезу перед тестом.
- [ ] Я вже визначив вибірку та час, необхідний для переможця.
- [ ] Я обрав переможця на основі даних, а не особистих смаків.
- [ ] Я вважав результат «без різниці» дійсним навчанням.
- [ ] Я перевірив наявність зовнішніх факторів, які могли б спотворити результат.