Добици:
- Способност разумевања концепата А/Б тестирања, контроле/варијанте, стопе конверзије и статистичког значаја и успостављања хипотеза и дизајна тестова са вештачком интелигенцијом.
- Способност изоловања једне варијабле која се тестира и израде варијантног текста/слике и плана мерења уз подршку вештачке интелигенције
- Способност разликовања да је интерпретација теста вештачке интелигенције ограничена величином узорка и значајем и ризиком од читања преурањених/нетачних резултата
Најопаснија реченица у рекламирању је „Мислим да је ово боље“. Подаци, а не мишљење, говоре да ли су наслов, слика или дугме заиста бољи. Најчешћи начин да се ово измери је А/Б тестирање: приказивање две (или више) верзија истог огласа стварним корисницима и поређење која боље функционише. „А“ је обично тренутна верзија (контрола), док је „Б“ нова верзија која се испробава (варијанта). На пример, можете да промените само наслов у истом огласу и мерите на који наслов је више кликнуто. Вештачка интелигенција помаже у овом процесу како у генерисању великог броја варијанти, тако и у тумачењу резултата; Али научна валидност теста зависи од правила дизајна и стрпљења.
Златно правило А/Б тестирања: једна варијабла
Најосновније правило А/Б тестирања је да се изолује једна варијабла. Ако промените наслов, слику и дугме у исто време и победи верзија Б, никада нећете знати шта је победило. Дакле, у тесту само један елемент треба да се промени, остали треба да остану константни. Ако желите да тестирате више од једне ставке истовремено и систематски, ово се зове мултиваријантно тестирање и захтева много већи узорак; Једноваријантно А/Б тестирање је начин за почетак.
Други основни концепт је статистичка значајност. Рецимо да је верзија А имала 3 процента кликова, а верзија Б 3,3 процента кликова. Да ли је ова разлика стварна предност или случајност? Ако бисте тест показали само на 100 људи, ова разлика би могла бити случајна. Статистичка значајност значи да је мало вероватно да је примећена разлика последица случајности (тј. разлика је вероватно стварна). Ово захтева довољну величину узорка (број људи који виде тест). Проглашавање „победника“ са мало података је најчешћа и најскупља грешка.
Савет: Пре него што започнете тест, одговорите на питање „када ћу прогласити победника“: колико људи/пост-конверзије, на ком нивоу значаја. Доношење ове одлуке унапред спречава вас да у првим сатима будете ухваћени у буку и донесете преурањену одлуку.
Следећа табела пореди добар и лош дизајн А/Б теста:
предмет
лош дизајн
добар дизајн
Број променљивих
Наслов + слика + дугме заједно
само наслов
хипотеза
(нема) "да видимо шта ће се десити"
„Наслови са питањима повећавају број кликова“
узорак
80 људи
Унапред израчунати кворум
време одлуке
2 сата касније
Када достигнете значај
Избор победника
"Мислим да је Б лепо"
На основу података и значаја
Корак по корак: постављање А/Б теста
Корак 1 — Напишите хипотезу. Шта тестирате и зашто? Јасна хипотеза попут „Наслов са предностима добија више кликова од наслова са функцијама“.
Корак 2 — Изаберите једну променљиву. Само наслов, или само слика, или само позив на акцију.
Корак 3 — Генеришите варијанте. Креирајте различите верзије исте ставке помоћу вештачке интелигенције; одржавајте остатак константним.
Корак 4 — Поставите план мерења. Који показатељ ће одредити победника (стопа кликова, конверзија), колико узорка је потребно, колико дуго се изводи.
Корак 5 — Протумачите и проверите резултат. Да ли је прикупљено довољно података, да ли је разлика значајна? Ако није значајно, „без разлике“ је такође валидан резултат.
три мини кофера
Случај 1 — Јасноћа једне променљиве. Бренд за е-трговину тестирао је само позив на акцију у свом огласу за производ: „Купи“ и „Додај у корпу“. Све остало је било исто. Након довољно узорковања, „Додај у корпу“ донео је знатно веће конверзије. Разлика би се могла јасно протумачити јер је једна варијабла била изолована. АИ је произвела два ЦТА-а, подаци су изабрали победника.
Случај 2 — Замка за рану одлуку. Бренд је прекинуо тестирање јер је верзија Б била испред у прва 3 сата А/Б теста и отворила Б за цео буџет. Гледајући укупне податке следећег дана, А је заправо био нешто бољи; Разлика у првим сатима била је случајна. Буџет је протраћен. Грешка: доношење преурањене одлуке са недовољном величином узорка.
Случај 3 — „Нема разлике“ је такође закључак. Бренд је тестирао две различите слике, и након довољно узорковања, обе су дале скоро исти резултат. Док се тим спремао да ламентира да је „тест пао“, исправно читање је било да имиџ није одлучујући фактор у овој кампањи, тако да напор треба усмерити ка наслову и понуди. Чињеница да није пронађена значајна разлика је такође драгоцена информација.
Четири шаблона за копирање
1) Хипотеза и дизајн теста:
Шта желим да тестирам: [нпр. ад титле].Задатак: (1) Напишите једну хипотезу која се може тестирати (у облику „... повећава се ... повећава“).(2) Наведите једну променљиву коју треба изоловати и оне које треба одржавати константном. (3) Предложите метрику која ће одредити победника (стопа кликова/конверзија).(4) Напишите на шта треба да обратим пажњу да бих проверио ризик, потврдио рани ризик (узорак рани тест).
2) Генератор варијанти (једна варијанта):
Лепљиви оглас: слика [исто], ЦТА [исто], циљ [исто]. Тестирана променљива: ХЕАДЛИНЕ. Главна порука: "[порука]". Задатак: Генеришите 4 различите варијанте наслова са истом поруком. Сваки од њих користи другачији приступ (питање, корист, број, хитност). Мења се само наслов; Додавање непоткрепљене тврдње.
3) План мерења:
Тест: [Дефиниција А и Б]. Метрика: [клик/конверзија]. Задатак: Нацрт плана мерења: (1) која метрика је примарна, а која секундарна, (2) колико података/времена је потребно да се прогласи победник (објасните логику), (3) како равномерно и праведно поделити саобраћај између А и Б, (4) који спољни фактори могу да изобличе резултат, знак ће користити алатку за недељу (море А). тачна статистика.
4) Тумач резултата (пажљиво):
Моји резултати А/Б теста (стварни подаци): [А: прикази/кликови/конверзија], [Б: прикази/кликови/конверзија].Задатак: (1) Израчунајте и прикажите стопе сваке верзије.(2) Коментирајте величину разлике, али ако узорак није довољан, реците „недовољно података за смислен резултат.“(3) Недостатак података за смислен резултат је преурањено/прочитано. значај; Потврдићу помоћу посебног алата за налог.
Слаби промпт / Јаки промпт
Слабо обавештење:
Направи А и Б верзију за мој оглас, реци ми која је боља.
Варијабла није изолована, нема хипотезе и мерења; АИ не може знати који је "добар" без података, он то измишља.
Снажан упит:
Постављам А/Б тестирање. Фиксно: слика и позив на акцију ће остати исти. Тестирана је само променљива: наслов огласа. Хипотеза: „Наслов са бројевима добија више кликова од општег наслова.“ Главна порука: „Испоручено за 3 дана.“ Задатак: (1) Направите 1 општи наслов за контролу, 3 наслова са бројевима за варијанту. (2) Реците ми коју метрику треба да измерим (3) да ми одговорите. од 3 грешке које би могле поништити тест. Не предвиђајте који ће победити; Подаци ће то одредити.
Друга тврдња изолује једну варијаблу, укључује хипотезу и мерење; препушта победника подацима.
Уобичајене грешке
- Промена више ставки одједном. Разлог за победника постаје нејасан; Једна варијабла мора бити изолована.
- Доношење одлука са недовољним узорцима. Разлика у првим сатима често је случајна.
- Тестирање без хипотеза. „Да видимо шта ће се десити“ тестирање не производи учење; Прво запишите шта очекујете.
- Погрешити резултат „Нема разлике“ као неуспех. Недостатак значајне разлике је такође информативан.
- Избор победника на основу укуса. Тестирање је управо да се искључи лични укус; Пратите податке.
- Заборављајући спољне факторе. Сезона, дан кампање, ток вести могу искривити исход; Нека услови тестирања буду поштени.
Пажња: Сврха А/Б тестирања није „победа“ већ учење. Чак и варијанта губитка је вредна информација; Прави губитак је ослањање на погрешан резултат са недовољним подацима и везивање буџета за њега.
Укратко
А/Б тестирање је моћна метода која помера одлуке о оглашавању од идеје до података. Златно правило је да се изолује једна променљива: само један елемент треба да се промени у тесту, а остатак треба да остане константан. Други стуб је адекватно узорковање и статистичка значајност; Проглашавање победника са мало података је најскупља грешка. АИ је од помоћи у генерисању више варијанти и израчунавању и тумачењу квота, али подаци одређују победника, а не АИ. Чак и резултат "без разлике" је учење. Хипотезу, метрику и праг одлуке треба написати пре почетка теста.
Задатак апликације
Изаберите оглас (наслов, слика или позив на акцију). (1) Напишите једну проверљиву хипотезу и изоловану променљиву са „Хипотеза и дизајн теста“. (2) Генеришите 1 контролу + 3 варијанте са "Генератором варијанти"; Само промените тај елемент. (3) Планирајте коју метрику ћете гледати, колико дуго и са којим подацима, са „планом мерења“. (4) Запишите свој праг за проглашење победника (колико конверзија / који значај) унапред. (5) Размотрите хипотетичке резултате са „интерпретачем резултата“ и запазите зашто не бисте донели одлуку у сценарију где подаци нису довољни.
контролна листа
- [ ] Изоловао сам само једну променљиву у тесту.
- [ ] Написао сам јасну хипотезу пре теста.
- [ ] Већ сам одредио узорак и време потребно за победника.
- [ ] Победника сам изабрао на основу података, а не личног укуса.
- [ ] Сматрао сам резултат „без разлике“ као валидно учење.
- [ ] Проверио сам спољне факторе који би могли да искриве резултат.