Добивки:
- Способност за разбирање на концептите на A/B тестирање, контрола/варијанта, стапка на конверзија и статистичка значајност и воспоставување хипотези и дизајни за тестирање со вештачка интелигенција.
- Способност да се изолира единствената променлива што треба да се тестира и да се произведе варијантен текст/слика и план за мерење со поддршка за вештачка интелигенција
- Способност да се разликува дека интерпретацијата на тестот на вештачката интелигенција е ограничена од големината и значењето на примерокот и ризикот од читање предвремени/неточни резултати
Најопасната реченица во рекламирањето е „Мислам дека ова е подобро“. Податоците, а не мислењето, ви кажуваат дали насловот, слика или копче е навистина подобар. Најчестиот начин за мерење на ова е A/B тестирањето: прикажување две (или повеќе) верзии на иста реклама на вистински корисници и споредување која работи подобро. „А“ е обично тековната верзија (контрола), додека „Б“ е новата верзија што се пробува (варијанта). На пример, можете само да го промените насловот во истата реклама и да измерите на кој наслов е кликнато повеќе. Вештачката интелигенција е од помош во овој процес и за генерирање на голем број варијанти и за толкување на резултатот; Но, научната валидност на тестот зависи од правилата за дизајн и трпеливоста.
Златното правило на A/B тестирањето: една променлива
Најосновното правило на A/B тестирањето е да се изолира една променлива. Ако ги промените насловот, сликата и копчето во исто време и победи верзијата Б, никогаш нема да знаете што победи. Значи, во тестот треба да се промени само еден елемент, а остатокот треба да остане константен. Ако сакате да тестирате повеќе од една ставка истовремено и систематски, ова се нарекува повеќеваријатно тестирање и бара многу поголем примерок; Униваријатното A/B тестирање е начин да се започне.
Вториот основен концепт е статистичка значајност. Да речеме дека верзијата А добила 3 проценти кликнувања, а верзијата Б добила 3,3 проценти. Дали оваа разлика е вистинска предност или несреќен случај? Ако го покажевте тестот само на 100 луѓе, оваа разлика би можела да биде случајна. Статистичката значајност значи дека забележаната разлика е доволно мала веројатноста да се должи на случајност (т.е., разликата веројатно е реална). Ова бара доволна големина на примерокот (број на луѓе кои го гледаат тестот). Прогласувањето „победник“ со малку податоци е најчеста и најскапа грешка.
Совет: Пред да започнете со тестот, одговорете на прашањето „кога ќе го прогласам победникот“: колку луѓе/пост-конверзија, на кое ниво на значајност. Донесувањето на оваа одлука однапред ве спречува да се фатите во бучавата во првите часови и да донесете прерана одлука.
Следната табела го споредува добриот и лошиот дизајн на тестот А/Б:
ставка
лош дизајн
добар дизајн
Број на променливи
Наслов + слика + копче заедно
само наслов
хипотеза
(никој) "ајде да видиме што ќе се случи"
„Насловите со прашања ги зголемуваат кликовите“
примерок
80 луѓе
Однапред пресметан кворум
време на одлучување
2 часа подоцна
Кога ќе го достигнете значењето
Избор на победник
„Мислам дека Б е убаво“
Врз основа на податоци и значајност
Чекор по чекор: поставување на A/B тест
Чекор 1 - Напишете хипотеза. Што тестираш и зошто? Јасна хипотеза како „Наслов со придобивки добива повеќе кликови отколку наслов со карактеристики“.
Чекор 2 - Изберете една променлива. Само насловот, или само сликата, или само CTA.
Чекор 3 - Генерирајте варијанти. Креирајте различни верзии на иста ставка со вештачка интелигенција; држете го остатокот константен.
Чекор 4 - Поставете план за мерење. Која метрика ќе го одреди победникот (стапка на кликнување, конверзија), колку примерок е потребен, колку долго да се извршува.
Чекор 5 - Толкувајте го и потврдете го резултатот. Дали се собрани доволно податоци, дали разликата е значајна? Ако не е значајно, „нема разлика“ е исто така валиден резултат.
три мини футроли
Случај 1 - Јасност на една променлива. Бренд за е-трговија тестираше само CTA во својата реклама за производ: „Купи“ и „Додај во кошничка“. Се друго беше исто. По доволно земање примероци, „Додај во кошничка“ донесе значително повисоки конверзии. Разликата можеше јасно да се толкува бидејќи беше изолирана една променлива. ВИ произведе два CTA, податоците го избраа победникот.
Случај 2 - Замка за рана одлука. Еден бренд го прекина тестот затоа што верзијата Б беше напред во првите 3 часа од A/B тестот и го отвори B за целиот буџет. Гледајќи ги вкупните податоци следниот ден, А всушност беше малку подобар; Разликата во првите часови беше случајна. Буџетот се потроши. Грешка: донесување предвремена одлука со недоволна големина на примерокот.
Случај 3 - „Нема разлика“ е исто така заклучокот. Еден бренд тестираше две различни слики, и по доволно земање примероци, и двете го дадоа речиси истиот резултат. Додека тимот сакаше да жали дека „тестот не успеа“, правилното читање беше дека сликата не е одлучувачки фактор во оваа кампања, па затоа напорот треба да се насочи кон насловот и понудата. Вредна информација е и фактот што не е пронајдена значајна разлика.
Четири шаблони за копирање
1) Хипотеза и дизајн на тест:
Што сакам да тестирам: [на пр. наслов на реклама].Задача: (1) Напишете една хипотеза што може да се тестира (во форма „... се зголемува ... се зголемува“).(2) Наведете ја единствената променлива што треба да се изолира и оние што треба да се одржуваат константни. (3) Предложете ја метриката што ќе го одреди победникот (стапка на кликнување/конверзија).
2) Генератор на варијанти (единечна варијанта):
Леплива реклама: слика [иста], CTA [иста], цел [исто]. Тестирана променлива: HEADLINE. Главна порака: „[порака]“. Задача: Генерирајте 4 различни варијанти на наслови со иста порака. Секој користи различен пристап (прашање, корист, број, итност). Се менува само насловот; Додавање на неосновано тврдење.
3) Мерен план:
Тест: [Дефиниција на А и Б]. Метрика: [клик/конверзија]. Задача: нацртајте план за мерење: (1) која метрика е примарна, која е секундарна, (2) колку податоци/време се потребни за да се прогласи победникот (објаснете ја логиката), (3) како да се подели сообраќајот рамномерно и правично помеѓу А и Б, (4) кои надворешни фактори можат да ја нарушат употребата на збирот на значајната алатка на неделата (седното значење). пресметајте точна статистика.
4) Преведувач на резултати (внимателно):
Моите резултати од тестот А/Б (вистински податоци): [A: впечатоци/кликови/конверзија], [Б: впечатоци/кликови/конверзија]. Задача: (1) Пресметајте ги и прикажете ги стапките на секоја верзија. (2) Коментирајте ја големината на разликата, но ако примерокот не е доволен, кажете „недоволни податоци за ризици за значаен резултат“. предвремено/погрешно читање. Нема дефинитивно тврдење за важност; Ќе потврдам со посебна алатка за сметка.
Слаб промпт / Силен промпт
Слаба навестување:
Направете А и Б верзија за мојата реклама, кажете ми која е подобра.
Променливата не е изолирана, нема хипотеза и мерење; Вештачката интелигенција не може да знае која е „добра“ без податоци, таа го сочинува.
Моќен потсетник:
Поставувам A/B тестирање. Поправено: сликата и CTA ќе останат исти. Тестирани само променливи: наслов на реклама. Хипотеза: „Насловот со бројки добива повеќе кликнувања од генералниот наслов.“ Главна порака: „Доставено за 3 дена.“ Задача: (1) Направете 1 општ наслов за контрола, 3 наслови со бројки за варијанта. од 3 грешки кои би можеле да го поништат тестот. Не предвидувајте кој ќе победи; Податоците ќе го одредат тоа.
Второто тврдење изолира една променлива, вклучува хипотеза и мерење; го остава победникот на податоците.
Вообичаени грешки
- Менување на многу предмети одеднаш. Причината за победникот станува нејасна; Една променлива мора да биде изолирана.
- Донесување одлуки со недоволни примероци. Разликата во првите часови често е случајна.
- Тестирање без хипотези. Тестирањето „Ајде да видиме што ќе се случи“ не произведува учење; Прво запишете што очекувате.
- Грешка на резултатот „Нема разлика“ како неуспех. Информативно е и недостатокот на значајна разлика.
- Избор на победник по вкус. Тестирањето е токму за да се исклучи личниот вкус; Следете ги податоците.
- Заборавајќи ги надворешните фактори. Сезоната, денот на кампањата, текот на вестите може да го нарушат исходот; Одржувајте фер услови за тестирање.
Внимание: Целта на А/Б тестирањето не е „победа“ туку учење. Дури и варијанта што губи е вредна информација; Вистинската загуба е потпирање на погрешен резултат со недоволни податоци и врзување на буџетот за него.
Сумирано
А/Б тестирањето е моќен метод кој ги преместува одлуките за рекламирање од идеја до податоци. Златното правило е да се изолира една променлива: само еден елемент треба да се промени во тестот, а остатокот треба да остане константен. Вториот столб е соодветното земање примероци и статистичка значајност; Да се прогласи победник со малку податоци е најскапата грешка. Вештачката интелигенција е корисна за генерирање на повеќе варијанти и пресметување и толкување на шансите, но податоците го одредуваат победникот, а не вештачката интелигенција. Дури и резултатот „без разлика“ е учење. Хипотезата, метриката и прагот на одлучување треба да се напишат пред да започне тестот.
Задача за апликација
Изберете креативец (наслов, слика или CTA). (1) Напишете една хипотеза што може да се тестира и изолирана променлива со „Хипотеза и дизајн на тест“. (2) Генерирајте 1 контрола + 3 варијанти со „Генератор на варијанти“; Само сменете го тој елемент. (3) Планирајте која метрика ќе ја погледнете, колку долго и со какви податоци, со „план за мерење“. (4) Запишете го вашиот праг за прогласување на победникот (колку конверзии / какво значење) однапред. (5) Размислете за хипотетички резултати со „преведувач на резултати“ и забележете зошто не би донеле одлука во сценарио каде што податоците се недоволни.
листа за проверка
- [ ] Изолирав само една променлива во тестот.
- [ ] Напишав јасна хипотеза пред тестот.
- [ ] Веќе ги одредив примерокот и времето потребно за победникот.
- [ ] Го избрав победникот врз основа на податоци, а не на личен вкус.
- [ ] Го сметав резултатот „без разлика“ како валидно учење.
- [ ] Проверив за надворешни фактори кои би можеле да го нарушат резултатот.