Добици:
- Способност генерисања систематских варијанти текста које изолују појединачне варијабле за А/Б тестирање
- Способност трансформације хипотезе у мерљиву експерименталну поставку
- Способност тумачења резултата теста у смислу статистичке значајности и учења
Интуиција је вредна у маркетингу, али докази су вреднији. Који наслов добија више кликова, који позив на акцију продаје више, која слика привлачи више пажње? Уместо нагађања, ово можете мерити А/Б тестирањем. А/Б тестирање је експериментална метода која приказује две верзије истог садржаја (А и Б) правој публици и мери која од њих има бољи учинак. Вештачка интелигенција брзо производи улазне податке за ове тестове, односно варијанте; Али да би тест радио захтева научно правило: једна по једна варијабла. У овој јединици ћете научити како да генеришете варијанте, преведете хипотезу у мерљив експеримент и интерпретирате резултате у смислу статистичке значајности.
Златно правило: изолујте једну променљиву
Да бисте протумачили резултат теста, само једна ствар мора да се разликује између А и Б. Ако промените наслов, слику и ЦТА у исто време, никада нећете знати који је направио разлику када Б победи. Изоловање варијабле која се тестира је једина ствар која омогућава учење.
Типичне варијабле које се могу тестирати:
- Наслов: Иста слика и тело, други наслов.
- Текст позива на акцију: „Купи“ или „Додај у корпу“?
- Наслов: Утиче на брзину отварања е-поште.
- Слика: Исти текст, друга слика.
- Дужина/тон: кратка вс. дуга, формална итд. искрена.
Од хипотезе до експеримента: корак по корак
- Направите запажање. „Наша одредишна страница има ниску конверзију.“
- Хипотеза. „Наслов фокусиран на предности конвертује више од наслова фокусираног на карактеристике.“
- Изолујте променљиву. Само ће се наслов променити.
- Генеришите варијанте. 2 јасне варијанте са моделом (А: карактеристика, Б: предност).
- Дефинишите своју меру успеха. На пример, стопа конверзије — проценат посетилаца који предузимају жељену радњу.
- Одредите узорак и трајање. Доста људи и довољно времена.
- Мерите, упоредите, учите. Научите „зашто“, а не победника.
„Хипотеза“ је предвиђање које ће се овде тестирати и може се показати као тачно или нетачно; Добра хипотеза вам говори шта очекујете и зашто.
Слаби промпт / Јаки промпт
Слабо обавештење:
Напишите неке алтернативе за овај наслов.
Снажан упит:
Генеришите варијанте за А/Б тест. Правило: САМО наслов ће се променити, тело и ЦТА ће остати исти. ХИПОТЕЗА: Наслов који је оријентисан на предности добија више кликова од наслова усмереног на карактеристике. КОНТЕКСТ: Одредишна страница. Производ: апликација за управљање пројектима. Публика: мали тимови.ЗАХТЕВА:- Варијанта А: наслов оријентисан на карактеристике (описује шта производ ради)- Варијанта Б: наслов оријентисан на корист (описује шта пружа кориснику) Испод сваке варијанте напишите коју психолошку мотивацију дотиче.Само 2 варијанте; Обе треба да буду једна линија, сличне дужине.
Важно је желети да варијанте буду сличне дужине; иначе "дужина" ненамерно постаје друга променљива.
Табела пре/после теста
Стаге
шта да се ради
честа грешка
хипотеза
Шта, зашто чекам?
„Хајде да покушамо“ без хипотеза
Променљива
Изолујте једну ствар
Промена много ствари одједном
критеријум
Изаберите једну јасну метрику
Неодређено "боље"
узорак
Доста људи/времена
одлучи рано
Коментар
Научите зашто
Само узми победника
три мини кофера
Случај 1 — ЦТА тест даје јасне резултате. Сајт за е-трговину тестирао је дугме за производ: А „Купи“, Б „Додај у корпу“. Промењен је само текст дугмета. У тесту од 3.000 посетилаца, Б је повећао своју стопу учесталости кликова са 4,0% на 4,9%. Са изолованом једином варијаблом, победник је био јасан: „додај у корпу“ је било мање обавезујуће.
Случај 2 — Мултиваријантна грешка. Тим је дизајнирао две одредишне странице, али су наслов, слика и боја били различити. Б је победио, али тим није знао који елемент је направио разлику; учење је постало нула. У следећем тесту следили су правило: једна по једна варијабла. У том тесту су јасно видели да је титула главни фактор.
Случај 3 — Замка за рану одлуку. Тим за билтен је тестирао две теме на групи од 200 људи и рекао: „Зарадио је А“ у првом сату. Узорак је био веома мали; разлика је била статистички безначајна (тј. могла је настати случајно). Када је тест повећан на довољно узорковања и времена, резултат је био обрнут. Поука: не доносите одлуке без довољно података.
Опрез: Разлика која се види на малом узорку (мали број људи) може да доведе у заблуду. Статистичка значајност се односи на вероватноћу да је разлика стварна, а не случајно. Уверите се да је довољно људи досегнуто и да тестирање траје довољно дуго пре него што се пребрзо доносите закључке.
Шаблони који се могу копирати
Шаблон 1 — Генератор изолованих варијанти:
Генеришите варијанте за А/Б тестирање. ЈЕДИНА променљива за тестирање: [наслов/ЦТА/слика]. Све остало ће остати константно. Хипотеза: [...]. Контекст: [...].Варијанта А: [садашњи приступ]. Варијанта Б: [алтернативни приступ]. Нека су две варијанте сличне дужине; не мењај ништа друго.
Шаблон 2 — Разјашњавање хипотеза:
Конструишите хипотезу која се може проверити из следећег запажања: „[запажање]“. Напишите хипотезу у формату „ако извршимо [промену], [метрика] се повећава јер [зашто]“. Онда ми реци коју променљиву треба да изолујем.
Шаблон 3 — Тестни сет за тему:
Направите 2 наслова за А/Б тест за следећу е-пошту. Разлика на једној оси: [радозналост наспрам јасноће/концизности итд. дуго/питање итд. израз]. Оба не би требало да садрже реч нежељена пошта и требало би да буду сличне дужине. Резиме е-поште: [...]
Шаблон 4 — Тумачење резултата:
Интерпретирајте резултат А/Б теста. Променљива: [...]. Варијанта А метрика: [...]. Варијанта Б метрика: [...].Величина узорка: [...]. Трајање: [...].Реците ми: Да ли се разлика чини значајном, или је узорак мали? Шта смо научили? Шта препоручујете за следећи тест? Немојте тврдити тачне статистике; Ако није јасно, наведите.
Савет: Није довољно да добијете „победника“ из теста; Прави добитак је увид у „зашто је победио“. Овај увид се уноси у хипотезу за следећи тест и гради тело учења током времена.
Приоритет: шта прво тестирати?
Постоје бескрајне ставке које можете тестирати, али ваше време и саобраћај су ограничени. Зато дајте приоритет тестовима на основу потенцијала утицаја. Опште правило: први се тестирају елементи које корисник први види и који имају највећи утицај на одлуку. На одредишној страници, наслов има највећи утицај на кликове; јер га корисник први чита и ту одлучује или не наставља. Детаљи попут боје дугмади често имају мањи утицај; остави их за крај.
Практичан начин да се одреди приоритет је да се свака идеја за тестирање оцени на три осе: очекивани утицај (колику разлику ће имати ако победи?), поверење (колико смо сигурни да ће победити?) и лакоћа (колико брзо се поставља?). Тестови са великим утицајем, високим самопоуздањем и малим напором су на првом месту. Ово вам омогућава да доделите ограничен саобраћај експериментима који доносе највише учења. АИ вам може дати брз нацрт за бодовање и одређивање приоритета на листи идеја дуж ове три осе; Ви одлучујете.
Шаблон 5 — Одређивање приоритета теста:
Дајте приоритет следећим идејама за А/Б тестирање. Оцените сваку по оси удара (1-5), поузданости (1-5) и лакоће уградње (1-5), рангирајте их према укупном резултату и у једној реченици објасните зашто су у том редоследу. ИДЕЈЕ ЗА ТЕСТ: [лист]
Уобичајене грешке
- Тако променљива у исто време. Резултат постаје неразумљив.
- Тестирање без хипотеза. „Хајде да пробамо и видимо“ не производи учење.
- Рана одлука. У малом узорку, сматра се да је разлика стварна случајно.
- Варијанте различитих дужина. Друга променљива је ненамерно креирана.
- Само узимам победника. Ако се не сазна разлог, информације се неће акумулирати.
Укратко
- Златно правило А/Б тестирања: једна по једна варијабла.
- Сваки тест треба да почне хипотезом: шта очекујем и зашто?
- Дефинишите једну јасну меру успеха и адекватан узорак.
- Разлика у малом узорку је погрешна; Обратите пажњу на статистички значај.
- Сазнајте зашто, а не победника; Овај увид се користи за следећи тест.
Задатак апликације
Одаберите запажање о једном од својих садржаја. Са шаблоном 2, преведите ово у јасну хипотезу и идентификујте променљиву коју треба изоловати. Направите две варијанте са шаблоном 1 (слична дужина, само разлика). Коначно, прилагодите хипотетичке бројеве исхода, протумачите их користећи шаблон 4 и забележите шта модел каже о адекватности узорка. Трајање: приближно 25 минута.
контролна листа
- [ ] Почео сам тест са јасном хипотезом.
- [ ] Изоловао сам само једну променљиву.
- [ ] Варијанте су остале сличне на другим осовинама (дужина итд.).
- [ ] Дефинисао сам једну јасну метрику успеха.
- [ ] Нисам се одлучио без довољно узорка/времена.
- [ ] Забележио сам разлог за победника за следећи тест.