Печалби:
- Способност за разбиране на концепциите за A/B тестване, контрол/вариант, процент на преобразуване и статистическа значимост и установяване на хипотези и тестови дизайни с изкуствен интелект.
- Възможност за изолиране на единичната променлива за тестване и създаване на вариант на текст/изображение и план за измерване с поддръжка на изкуствен интелект
- Способност да се разграничи, че интерпретацията на теста на изкуствения интелект е ограничена от размера и значимостта на извадката и риска от четене на преждевременни/неправилни резултати
Най-опасното изречение в рекламата е „Мисля, че така е по-добре“. Данните, а не мнението, ви казват дали дадено заглавие, изображение или бутон са наистина по-добри. Най-често срещаният начин за измерване на това е A/B тестване: показване на две (или повече) версии на една и съща реклама на реални потребители и сравняване коя работи по-добре. „A“ обикновено е текущата версия (контрола), докато „B“ е новата версия, която се изпробва (вариант). Например, можете да промените само заглавието в една и съща реклама и да измерите върху кое заглавие се кликва повече. Изкуственият интелект помага в този процес както при генерирането на голям брой варианти, така и при интерпретирането на резултата; Но научната валидност на теста зависи от правилата за проектиране и търпението.
Златното правило на A/B тестването: една променлива
Най-основното правило на A/B тестването е да се изолира една променлива. Ако промените заглавието, изображението и бутона едновременно и версия B спечели, никога няма да разберете какво е спечелило. Така че в теста само един елемент трябва да се промени, останалите трябва да останат постоянни. Ако искате да тествате повече от един елемент едновременно и систематично, това се нарича многовариантно тестване и изисква много по-голяма извадка; Едновариантното A/B тестване е начинът да започнете.
Втората основна концепция е статистическата значимост. Да кажем, че версия A има 3 процента кликвания, а версия B има 3,3 процента кликвания. Дали тази разлика е истинско предимство или случайност? Ако сте показали теста само на 100 души, тази разлика може да е случайна. Статистическата значимост означава, че наблюдаваната разлика е достатъчно малко вероятно да се дължи на случайност (т.е. разликата вероятно е реална). Това изисква достатъчен размер на извадката (брой хора, които виждат теста). Обявяването на „победител“ с малко данни е най-честата и скъпа грешка.
Съвет: Преди да започнете теста, отговорете на въпроса „кога ще обявя победителя“: колко души/след реализация, на какво ниво на значимост. Предварителното вземане на това решение ви предпазва от увличане в шума в първите часове и преждевременно вземане на решение.
Следната таблица сравнява добрия и лошия A/B тест дизайн:
елемент
лош дизайн
добър дизайн
Брой променливи
Заглавие + изображение + бутон заедно
само заглавие
хипотеза
(няма) "да видим какво ще стане"
„Заглавията с въпроси увеличават кликванията“
проба
80 души
Предварително изчислен кворум
време за вземане на решение
2 часа по-късно
Когато достигнете значимост
Избор на победител
„Мисля, че Б е хубаво“
Въз основа на данни и значимост
Стъпка по стъпка: настройка на A/B тест
Стъпка 1 — Напишете хипотеза. Какво тествате и защо? Ясна хипотеза като „Заглавие с предимства получава повече кликвания от заглавие с функции“.
Стъпка 2 — Изберете една променлива. Само заглавието, или само изображението, или само CTA.
Стъпка 3 — Генериране на варианти. Създавайте различни версии на един и същ елемент с AI; поддържайте останалото постоянно.
Стъпка 4 — Настройте план за измерване. Кой показател ще определи победителя (честота на кликване, преобразуване), колко извадка е необходима, колко време да се изпълнява.
Стъпка 5 — Интерпретирайте и проверете резултата. Събрани ли са достатъчно данни, значителна ли е разликата? Ако не е значим, „няма разлика“ също е валиден резултат.
три мини калъфа
Случай 1 — Яснота на една променлива. Марка за електронна търговия тества само CTA в продуктовата си реклама: „Купете“ и „Добавяне в количката“. Всичко останало беше същото. След достатъчно вземане на проби „Добавяне в количката“ донесе значително по-високи реализации. Разликата може да се тълкува ясно, тъй като е изолирана една променлива. AI създаде два CTA, данните избраха победителя.
Случай 2 — Капан за ранно вземане на решения. Една марка спря теста, защото версия B беше по-напред в първите 3 часа от A/B теста и отвори B за целия бюджет. Разглеждайки общите данни на следващия ден, A всъщност беше малко по-добре; Разликата в първите часове беше случайна. Бюджетът беше пропилян. Грешка: вземане на преждевременно решение с недостатъчен размер на извадката.
Случай 3 — „Няма разлика“ също е заключението. Една марка тества две различни изображения и след достатъчно проби и двете дадоха почти същия резултат. Докато екипът беше на път да се оплаква, че „тестът се провали“, правилното четене беше, че изображението не е решаващият фактор в тази кампания, така че усилията трябва да бъдат насочени към заглавието и офертата. Фактът, че не е открита значителна разлика, също е ценна информация.
Четири копируеми шаблона
1) Хипотеза и дизайн на теста:
Какво искам да тествам: [напр. заглавие на рекламата].Задача: (1) Напишете една тествана хипотеза (във формата „... увеличава ... увеличава“). (2) Избройте единичната променлива, която да изолирате, и тези, които да поддържате постоянни. (3) Предложете показателя, който ще определи победителя (честота на кликване/реализация). (4) Напишете на какво трябва да обърна внимание, за да валидирам теста (проба, продължителност, риск от ранно вземане на решение).
2) Вариант генератор (единичен вариант):
Залепваща реклама: изображение [същото], CTA [същото], цел [същото]. Тествана променлива: HEADLINE. Основно съобщение: "[съобщение]". Задача: Генерирайте 4 различни варианта на заглавие с едно и също послание. Всеки използва различен подход (въпрос, полза, брой, спешност). Само заглавието се променя; Добавяне на необоснована претенция.
3) План за измерване:
Тест: [Определение на A и B]. Показател: [щракване/преобразуване]. Задача: Изготвяне на план за измерване: (1) кой показател е основен, кои са второстепенни, (2) колко данни/време са необходими за обявяване на победителя (обяснете логиката), (3) как да разделите трафика равномерно и справедливо между A и B, (4) какви външни фактори могат да изкривят резултата (сезон, ден от седмицата). Да приемем, че ще използвам инструмент за значимост, за да изчисля точно статистика.
4) Интерпретатор на резултатите (внимателно):
Моите резултати от A/B тестове (реални данни): [A: импресии/кликове/преобразуване], [B: импресии/кликове/преобразуване]. Задача: (1) Изчислете и покажете процентите на всяка версия. (2) Коментирайте големината на разликата, но ако извадката не е достатъчна, кажете „недостатъчно данни за смислен резултат“. (3) Напомнете за рисковете от преждевременно/неправилно разчитане. Не правете окончателно твърдение за значимост; Ще потвърдя с отделен инструмент за акаунт.
Слаба подкана / Силна подкана
Слаба подкана:
Изработете версия A и B за моята реклама, кажете ми коя е по-добра.
Променливата не е изолирана, няма хипотеза и измерване; AI не може да знае кой е „добър“ без данни, той си го измисля.
Мощна подкана:
Настройвам A/B тестване. Коригирано: изображението и CTA ще останат същите. Тествана е само променлива: заглавие на рекламата. Хипотеза: „Заглавието с числа получава повече кликвания от общото заглавие.“ Основно съобщение: „Доставено за 3 дни.“ Задача: (1) Създаване на 1 общо заглавие за контрол, 3 заглавия с числа за вариант. (2) Кажете ми кой показател трябва да гледам, за да измеря победителя. (3) Напомнете ми от 3 грешки, които могат да обезсилят теста. Не прогнозирайте коя ще спечели; Данните ще го определят.
Второто твърдение изолира една променлива, включва хипотеза и измерване; оставя победителя на данните.
Често срещани грешки
- Смяна на много елементи наведнъж. Причината за победителя става неясна; Една единствена променлива трябва да бъде изолирана.
- Вземане на решения с недостатъчно извадки. Разликата в първите часове често е случайна.
- Тестване без хипотези. „Да видим какво ще се случи” тестването не води до учене; Първо напишете какво очаквате.
- Погрешно приемане на резултата „Няма разлика“ като неуспех. Информативна е и липсата на съществена разлика.
- Избор на победител въз основа на вкус. Тестването е именно за да се изключи личният вкус; Следвайте данните.
- Забравяйки външните фактори. Сезонът, денят на кампанията, новинарският поток могат да изкривят резултата; Поддържайте справедливи условия за тестване.
Внимание: Целта на A/B тестването не е да "спечелите", а да научите. Дори загубата на вариант е ценна информация; Истинската загуба е разчитането на грешен резултат с недостатъчно данни и обвързването на бюджета с него.
В обобщение
A/B тестването е мощен метод, който премества рекламните решения от идея към данни. Златното правило е да се изолира една променлива: само един елемент трябва да се промени в теста, останалите трябва да останат постоянни. Вторият стълб е адекватна извадка и статистическа значимост; Обявяването на победител с малко данни е най-скъпата грешка. AI е полезен при генерирането на множество варианти и изчисляването и тълкуването на шансовете, но данните определят победителя, а не AI. Дори резултатът „без разлика“ е обучение. Хипотезата, показателят и прагът на решение трябва да бъдат написани преди началото на теста.
Задача за приложение
Изберете рекламно послание (заглавие, изображение или CTA). (1) Напишете една тествана хипотеза и изолирана променлива с „Хипотеза и дизайн на тест“. (2) Генериране на 1 контрола + 3 варианта с "Генератор на варианти"; Просто сменете този елемент. (3) Планирайте коя метрика ще разглеждате, за колко време и с какви данни, с „плана за измерване“. (4) Запишете своя праг за обявяване на победителя (колко реализации / каква значимост) предварително. (5) Обмислете хипотетични резултати с „интерпретатор на резултати“ и отбележете защо не бихте взели решение в сценарий, при който данните са недостатъчни.
контролен списък
- [ ] Изолирах само една променлива в теста.
- [ ] Написах ясна хипотеза преди теста.
- [ ] Вече определих пробата и времето, необходимо за победителя.
- [ ] Избрах победителя въз основа на данни, а не на личен вкус.
- [ ] Сметнах резултата „без разлика“ за валидно обучение.
- [ ] Проверих за външни фактори, които биха могли да изкривят резултата.