Добивки:
- Способност да се генерираат систематски варијанти на текст кои изолираат единечни променливи за A/B тестирање
- Способност да се трансформира хипотеза во мерлива експериментална поставеност
- Способност да се интерпретираат резултатите од тестот во однос на статистичка значајност и учење
Интуицијата е вредна во маркетингот, но доказите се повредни. Кој наслов добива повеќе кликови, кој CTA продава повеќе, која слика привлекува поголемо внимание? Наместо да погодувате, ова можете да го измерите со A/B тестирање. Тестирањето A/B е експериментален метод кој покажува две верзии на иста содржина (А и Б) на вистинска публика и мери која е подобра. Вештачката интелигенција брзо го произведува влезот за овие тестови, имено варијанти; Но, за да функционира тестот бара научно правило: една променлива во исто време. Во оваа единица ќе научите како да генерирате варијанти, да преведете хипотеза во мерлив експеримент и да ги толкувате резултатите во смисла на статистичка значајност.
Златно правило: изолирајте една променлива
За да се протолкува резултатот од тестот, само една работа мора да биде различна помеѓу А и Б. Ако ги промените насловот, сликата и CTA во исто време, никогаш нема да знаете која ја направила разликата кога Б победи. Изолирањето на променливата што треба да се тестира е единственото нешто што го овозможува учењето.
Типични променливи што може да се тестираат:
- Наслов: Иста слика и тело, различен наслов.
- CTA текст: „Купи“ или „Додај во кошничка“?
- Тема: Влијае на стапката на отворена е-пошта.
- Слика: ист текст, различна слика.
- Должина/тон: кратки наспроти долги, формални итн. искрени.
Од хипотеза до експеримент: чекор по чекор
- Направете набљудување. „Нашата целна страница има ниска конверзија.
- Хипотеза. „Насловот фокусиран на придобивките конвертира повеќе од насловот фокусиран на функции.
- Изолирајте ја променливата. Само насловот ќе се смени.
- Генерирајте варијанти. 2 јасни варијанти со моделот (А: карактеристика, Б: корист).
- Дефинирајте ја вашата мерка за успех. На пример, стапка на конверзија - процентот на посетители кои ја преземаат саканата акција.
- Одреди примерок и времетраење. Доволно луѓе и доволно време.
- Мери, споредувај, учи. Научете го „зошто“, а не победникот.
„Хипотеза“ е предвидување што ќе се тестира овде и може да се покаже како точно или неточно; Добрата хипотеза ви кажува што очекувате и зошто.
Слаб промпт / Силен промпт
Слаба навестување:
Напишете неколку алтернативи за овој наслов.
Моќен потсетник:
Генерирајте варијанти за A/B тест. Правило: САМО насловот ќе се промени, телото и CTA ќе останат исти. ХИПОТЕЗА: Насловот ориентиран кон придобивки добива повеќе кликови отколку насловот ориентиран кон карактеристиките. КОНТЕКСТ: Целна страница. Производ: апликација за управување со проекти. Публика: мали тимови. БАРАНИ:- Варијанта А: наслов ориентиран кон карактеристики (опишува што прави производот)- Варијанта Б: наслов ориентиран кон корист (опишува што му дава на корисникот) Под секоја варијанта напишете каква психолошка мотивација допира. Само 2 варијанти; И двете треба да бидат една линија, со слична должина.
Важно е да сакате варијантите да бидат со слична должина; инаку „должината“ ненамерно станува втора променлива.
Табела пред/по тест
Фаза
Што да се прави
честа грешка
хипотеза
Што, зошто чекам?
„Ајде да се обидеме“ без хипотези
Променлива
Изолирајте една работа
Менување на многу работи одеднаш
критериум
Изберете една јасна метрика
Неопределено „подобро“
примерок
Доволно луѓе/време
одлучи рано
Коментар
Дознајте зошто
Само земете го победникот
три мини футроли
Случај 1 - CTA тестот дава јасни резултати. Еден сајт за е-трговија го тестираше копчето за производот: A „Купи“, Б „Додај во кошничка“. Само текстот на копчето е променет. Во тест од 3.000 посетители, Б ја зголеми стапката на кликање од 4,0% на 4,9%. Со изолирана единечна променлива, победникот беше јасен: „додај во количка“ се чувствуваше помалку обврзувачки.
Случај 2 - Повеќеваријатна грешка. Тим дизајнираше две целни страници, но насловот, сликата и бојата беа различни. Б победи, но тимот не знаеше кој елемент ја направи разликата; учењето стана нула. Во следниот тест тие го следеа правилото: една променлива во исто време. На тој тест јасно увидоа дека титулата е главен фактор.
Случај 3 - Замка за рана одлука. Тим за билтен тестираше две тематски линии на група од 200 луѓе и рече: „Заработи А“ во првиот час. Примерокот беше многу мал; разликата беше статистички незначителна (т.е. можеше да се должи на случајност). Кога тестот беше зголемен на доволно земање примероци и време, резултатот беше обратен. Поука: не донесувајте одлуки без доволно податоци.
Внимание: Разликата забележана во мал примерок (мал број луѓе) може да биде погрешна. Статистичката значајност се однесува на веројатноста дека разликата е реална, а не е резултат на случајност. Погрижете се да се дојде до доволно луѓе и тестирањето да трае доволно долго пред да донесете брзи заклучоци.
Шаблони за копирање
Шаблон 1 — Генератор на изолирана варијанта:
Генерирајте варијанти за A/B тестирање. ЕДИНСТВЕНА променлива за тестирање: [наслов/CTA/слика]. Сè друго ќе остане константно. Хипотеза: [...]. Контекст: [...].Варијанта А: [тековен пристап]. Варијанта Б: [алтернативен пристап]. Нека двете варијанти се со слична должина; не менувај ништо друго.
Шаблон 2 - Појаснувач на хипотези:
Конструирај хипотеза што може да се провери од следното набљудување: „[набљудување]“. Напишете ја хипотезата во формат „ако направиме [промена], [метричката] се зголемува затоа што [зошто]“. Потоа кажи ми која променлива треба да ја изолирам.
Шаблон 3 - Тест сет на линија на тема:
Направете 2 тематски линии за A/B тест за следната е-пошта. Разлика на една оска: [љубопитност наспроти јасност / концизност итн. долго/прашање итн. изразување]. И двете не треба да го содржат зборот спам и треба да бидат со слична должина. Резиме на е-пошта: [...]
Шаблон 4 — Резултати од толкување:
Толкувајте го резултатот од A/B тест.Променлива: [...]. Варијанта А метрика: [...]. Варијанта Б метрика: [...].Големина на примерокот: [...]. Времетраење: [...].Кажи ми: Дали разликата изгледа значајна или примерокот е мал? Што научивме? Што препорачувате за следниот тест? Не барајте точна статистика; Ако е нејасно, наведете.
Совет: Не е доволно да се добие „победникот“ од тестот; Вистинската добивка е увидот во „зошто победи“. Овој увид се храни во хипотезата за следниот тест и гради тело на учење со текот на времето.
Приоритет: што прво да се тестира?
Има бескрајни ставки што можете да ги тестирате, но вашето време и сообраќај се ограничени. Затоа, дадете приоритет на тестовите врз основа на потенцијалот за влијание. Општо правило: прво се тестираат елементите што корисникот ги гледа први и имаат најголемо влијание врз одлуката. На целната страница, насловот има најголемо влијание врз кликовите; затоа што корисникот прв го чита и одлучува таму или да не продолжи. Деталите како бојата на копчињата често имаат помало влијание; оставете ги за крај.
Практичен начин да се даде приоритет е да се постигне секоја идеја за тестирање на три оски: очекувано влијание (колку разлика ќе има ако победи?), доверба (колку сме сигурни дека ќе победи?) и леснотија (колку брзо се поставува?). Тестовите со големо влијание, голема самодоверба и мал напор се ставаат на прво место. Ова ви овозможува да одвоите ограничен сообраќај на експериментите кои носат најмногу учење. Вештачката интелигенција може да ви даде брз план за бодување и приоритизирање на листа на идеи по овие три оски; Вие одлучувате.
Шаблон 5 — Приоритизација на тестот:
Дајте приоритет на следните идеи за A/B тестирање. Оценете го секој по оските на удар (1-5), доверливост (1-5) и леснотија на инсталација (1-5), рангирајте ги според вкупниот резултат и објаснете во една реченица зошто се по тој редослед. ИДЕИ ЗА ТЕСТ: [листа]
Вообичаени грешки
- Толку променлива во исто време. Резултатот станува непротолкуван.
- Тестирање без хипотези. „Ајде да се обидеме и да видиме“ не дава учење.
- Рана одлука. Во мал примерок се смета дека разликата е реална случајно.
- Варијанти со различни должини. Втората променлива е ненамерно креирана.
- Само земајќи го победникот. Ако причината не се дознае, информациите нема да се акумулираат.
Сумирано
- Златното правило на A/B тестирањето: една променлива во исто време.
- Секој тест треба да започне со хипотеза: што очекувам и зошто?
- Дефинирајте единствена јасна мерка за успех и соодветен примерок.
- Разликата во малиот примерок е погрешна; Забележете ја статистичката значајност.
- Откријте зошто, а не победникот; Овој увид се внесува во следниот тест.
Задача за апликација
Изберете набљудување за една од вашите содржини. Со Шаблон 2, преведете го ова во јасна хипотеза и идентификувајте ја променливата што треба да се изолира. Направете две варијанти со шаблон 1 (слична должина, само разлика). Конечно, поставете ги хипотетичките броеви на исходот, интерпретирате ги користејќи го Шаблон 4 и забележете што вели моделот за адекватноста на примерокот. Времетраење: приближно 25 минути.
листа за проверка
- [ ] Го започнав тестот со јасна хипотеза.
- [ ] Изолирав само една променлива.
- [ ] Варијантите останаа слични во другите оски (должина, итн.).
- [ ] Јас дефинирав една јасна метрика за успех.
- [ ] Не одлучив без доволно примерок/време.
- [ ] Ја забележав причината за победникот за следниот тест.