Пайдалар:
- A/B тестирлөө үчүн жалгыз өзгөрмөлөрдү бөлүп турган системалуу текст варианттарын түзүү мүмкүнчүлүгү
- Гипотезаны өлчөнгөн эксперименттик түзүлүшкө айландыруу
- Статистикалык маанилүүлүк жана үйрөнүү жагынан тесттин натыйжаларын чечмелөө жөндөмдүүлүгү
Маркетингде интуиция баалуу, бирок далилдер алда канча баалуу. Кайсы баш макала көбүрөөк чыкылдатышат, кайсы CTA көбүрөөк сатат, кайсы сүрөт көбүрөөк көңүл бурат? Божомолдоонун ордуна, сиз муну A/B тести менен өлчөй аласыз. A/B тестирлөө бир эле мазмундун эки версиясын (A жана B) чыныгы аудиторияга көрсөтүп, кайсынысы жакшыраак экенин өлчөөчү эксперименталдык ыкма. Жасалма интеллект бул тесттер үчүн киргизүүнү, тактап айтканда, варианттарды тез чыгарат; Бирок тестти жасоо илимий эрежени талап кылат: бир убакта бир өзгөрмө. Бул бөлүмдө сиз варианттарды кантип түзүүнү, гипотезаны өлчөнүүчү экспериментке которууну жана статистикалык маанилүүлүк боюнча жыйынтыктарды чечмелөөнү үйрөнөсүз.
Алтын эреже: бир өзгөрмөлөрдү бөлүп алуу
Сыноонун жыйынтыгын чечмелөө үчүн А менен В ортосунда бир гана нерсе айырмаланышы керек. Эгер сиз аталышты, сүрөттү жана CTAны бир эле учурда өзгөртсөңүз, B жеңгенде кайсынысы айырмаланганын эч качан биле албай каласыз. Текшере турган өзгөрмөлөрдү изоляциялоо - бул үйрөнүүнү мүмкүн кылган жалгыз нерсе.
Текшерүүгө мүмкүн болгон типтүү өзгөрмөлөр:
- Аталышы: Бир эле сүрөт жана дене, башка аталыш.
- CTA тексти: "Сатып алуу" же "Себеге кошуу"?
- Тема сабы: Электрондук каттын ачык ылдамдыгына таасир этет.
- Сүрөт: Ошол эле текст, башка сүрөт.
- Узундук/тон: Кыска vs. узун, расмий ж.б. чын жүрөктөн.
Гипотезадан экспериментке: кадам сайын
- Байкоо жүргүзүү. "Биздин баштапкы баракчабыздын конверсиясы аз."
- Гипотеза. "Пайдаларга багытталган аталыш өзгөчөлүккө багытталган баш макалага караганда көбүрөөк өзгөрөт."
- Өзгөрмөлөрдү изоляциялоо. Аталышы гана өзгөрөт.
- Варианттарды түзүү. модели менен 2 так варианттары (A: өзгөчөлүк, B: пайда).
- Ийгиликтин өлчөмүн аныктаңыз. Мисалы, конверсия курсу - каалаган иш-аракеттерди жасаган коноктордун пайызы.
- Үлгү жана узактыгын аныктоо. Жетиштүү адамдар жана жетиштүү убакыт.
- Өлчөө, салыштыруу, үйрөнүү. Жеңүүчүнү эмес, "эмне үчүн" дегенди билиңиз.
"Гипотеза" бул жерде текшериле турган жана чын же жалган болуп чыгышы мүмкүн болгон божомол; Жакшы гипотеза сиз эмнени жана эмне үчүн күтүп жатканыңызды айтып берет.
Алсыз тездик / Күчтүү тездик
Алсыз билдирүү:
Бул аталышка альтернативаларды жазыңыз.
Күчтүү билдирүү:
A/B сынагынын варианттарын түзүңүз. Эреже: ГАНА аталышы өзгөрөт, негизги жана CTA ошол эле бойдон калат.ГИПОТЕЗА: Пайдага багытталган аталыш өзгөчөлүккө багытталган аталышка караганда көбүрөөк чыкылдатууларды алат. КОНТЕКСТ: Баштапкы бет. Продукт: долбоорду башкаруу колдонмо. Аудитория: чакан командалар.СУРАНЫЧ:- А варианты: өзгөчөлүккө багытталган аталыш (продукт эмне кылаарын сүрөттөйт)- В варианты: пайдага багытталган аталыш (колдонуучуга эмне берерин сүрөттөйт) Ар бир варианттын астына ал кандай психологиялык мотивацияга тийип жатканын жазыңыз. Болгону 2 вариант; Экөө тең бирдей узундуктагы бир сызык болушу керек.
Варианттардын узундугу окшош болушун каалоо маанилүү; антпесе "узундук" кокусунан экинчи өзгөрмө болуп калат.
Сынакка чейин/кийин диаграмма
Этап
Эмне кылуу керек
тез-тез ката
гипотеза
Эмне, эмнеге күтүп жатам?
Гипотезасыз "аракет кылалы"
Variable
Бир нерсени бөлүп ал
Бир эле учурда көп нерсени өзгөртүү
критерий
Бир так көрсөткүчтү тандаңыз
Белгисиз "жакшы"
үлгү
Жетиштүү адамдар/убакыт
эрте чеч
Комментарий
Эмне үчүн экенин билип алыңыз
Жөн гана жеңүүчүнү алыңыз
үч мини учурлар
1-жагдай — CTA тести так натыйжаларды берет. Электрондук коммерция сайты продукт баскычын сынады: A "Сатып алуу", B "Карабатка кошуу". Бир гана баскычтын тексти өзгөрдү. 3,000 коноктордун тестинде B чыкылдатуу көрсөткүчүн 4,0% дан 4,9% га жогорулатты. Жалгыз өзгөрмө обочолонгондо, жеңүүчү айкын болду: "арабага кошуу" азыраак милдеттүү сезилди.
2-жагдай — Көп өзгөрмөлүү ката. Команда эки десант баракчасын иштеп чыккан, бирок аталышы, сүрөтү жана түсү башка болгон. В жеңди, бирок команда айырманы кайсы элемент түзгөнүн билген жок; окуу нөлгө айланды. Кийинки тестте алар эрежени аткарышты: бирден бир өзгөрмө. Ошол сыноодо алар наам негизги фактор экенин ачык эле көрүштү.
3-жагдай - Эрте чечим кабыл алуу. Маалымат бюллетенинин тобу 200 адамдан турган топтун эки темасын сынап көрүп, биринчи саатта "А" алды. үлгү абдан аз болгон; айырма статистикалык жактан анча деле чоң эмес болчу (б.а. кокустуктан улам болушу мүмкүн). Сыноо жетиштүү үлгү алууга жана убакытка чейин көбөйтүлгөндө, натыйжа тескери болду. Сабак: жетиштүү маалыматсыз чечим кабыл албаңыз.
Эскертүү: Кичинекей үлгүдөгү (аз сандагы адамдардын) айырмасы адаштыруучу болушу мүмкүн. Статистикалык маанилүүлүк кокустуктан эмес, айырманын реалдуу болуу ыктымалдыгын билдирет. Корутунду чыгарууга чейин жетиштүү адамдар жетишилгендигин жана тестирлөө жетиштүү убакытка созуларын текшериңиз.
Көчүрмө шаблондор
Калып 1 — Изоляцияланган вариант генератору:
A/B тестирлөө үчүн варианттарды жаратыңыз. Сыноо үчүн ГАНА өзгөрмө: [башкы сап/CTA/сүрөт]. Калганынын баары туруктуу бойдон калат. Гипотеза: [...]. Контекст: [...]. Variant A: [учурдагы мамиле]. В варианты: [альтернативдик ыкма]. Эки вариант бирдей узундукта болсун; башка эч нерсени өзгөртпө.
Калып 2 — Гипотезаны тактоочу:
Төмөнкү байкоодон текшерилүүчү гипотезаны түзүңүз: "[байкоо]". Гипотезаны "эгер [өзгөртүү] кылсак, [метрикалык] көбөйөт, анткени [эмне үчүн]" форматында жазыңыз. Анда мага кайсы жалгыз өзгөрмөнү бөлүп алышымды айтыңыз.
Үлгү 3 — Предметтик сап тест топтому:
Төмөнкү электрондук почта үчүн A/B сынагына 2 тема сызыгын түзүңүз. Бир огу боюнча айырма: [кызыкчылык vs. ачыктык / кыскалык ж.б. узундук/суроо ж.б. билдирүү]. Экөө тең спам деген сөздү камтыбашы керек жана бирдей узундукта болушу керек. Электрондук почта корутундусу: [...]
Калып 4 — Жыйынтыктарды чечмелөө:
A/B тестинин жыйынтыгын чечмелеңиз.Өзгөрмө: [...]. Variant A метрикасы: [...]. Variant B метрикасы: [...]. Үлгү өлчөмү: [...]. Узактыгы: [...].Айтыңызчы: Айырма олуттуу көрүнөбү же үлгү азбы? Биз эмнени үйрөндүк? Кийинки тестке эмнени сунуштайсыз? Так статистиканы талап кылбаңыз; Эгер түшүнүксүз болсо, көрсөтүңүз.
Кеңеш: Тесттен "жеңүүчүнү" алуу аздык кылат; Чыныгы утуш - бул "эмне үчүн жеңди" деген түшүнүк. Бул түшүнүк кийинки сыноо үчүн гипотеза менен азыктанат жана убакыттын өтүшү менен үйрөнүү органын түзөт.
Приоритет: биринчи эмнени текшерүү керек?
Сиз сынай турган чексиз нерселер бар, бирок убактыңыз жана трафик чектелген. Ошондуктан таасир потенциалына негизделген тесттерге артыкчылык бериңиз. Жалпы эреже: колдонуучу биринчи көргөн жана чечимге эң көп таасир эткен элементтер биринчи сыналат. Баштапкы беттеги баш сөз чыкылдатууларга эң чоң таасир этет; анткени колдонуучу аны биринчи окуп, ошол жерден чечет же улантпоону. баскычтын түсү сыяктуу майда-чүйдөсүнө чейин көбүнчө азыраак таасир этет; аларды акырына калтыр.
Ар бир тестирлөө идеясын үч огу боюнча баалоо приоритеттүү кылуунун практикалык жолу болуп саналат: күтүлгөн таасир (эгер ал жеңсе, ал канчалык айырмаланат?), ишеним (анын жеңип чыгаарына канчалык ишенебиз?) жана жеңилдик (аны орнотуу канчалык тез?). Жогорку таасир, жогорку ишеним жана аз күч менен тесттер биринчи жайгаштырылат. Бул эң көп билим алып келген эксперименттерге чектелген трафикти бөлүштүрүүгө мүмкүндүк берет. AI сизге ушул үч ок боюнча идеялардын тизмесин упай топтоо жана артыкчылык берүү үчүн тез планды бере алат; Сиз чечесиз.
Үлгү 5 — Сынактын артыкчылыктуулугу:
Төмөнкү A/B тестирлөө идеяларына артыкчылык бериңиз. Ар бирине таасир этүү огу (1-5), ишенимдүүлүк (1-5) жана орнотуунун оңойлугу (1-5) боюнча балл коюңуз, аларды жалпы баллга жараша рейтингдеңиз жана эмне үчүн бул иретте экенин бир сүйлөм менен түшүндүрүңүз. ТЕСТ ИДЕЯЛАР: [тизме]
Жалпы каталар
- Ошентип, ошол эле учурда өзгөрүлмө. Натыйжа чечмеленбей калат.
- Гипотезасыз тестирлөө. "Келгиле, көрөлү" дегенден үйрөнүү болбойт.
- Эрте чечим. Кичинекей үлгүдө, айырма кокустан реалдуу деп эсептелет.
- Ар кандай узундуктагы варианттар. Экинчи өзгөрмө кокусунан түзүлөт.
- Жөн эле жеңүүчүнү алып. Себеби билинбесе, маалымат топтолбойт.
Кыскача айтканда
- A/B тестирлөөнүн алтын эрежеси: бир убакта бир өзгөрмө.
- Ар бир тест гипотеза менен башталышы керек: мен эмнени күтүп жатам жана эмне үчүн?
- Ийгиликтин бир так өлчөмүн жана адекваттуу үлгүнү аныктаңыз.
- Чакан үлгүдөгү айырма адаштыруучу; Статистикалык мааниге көңүл буруңуз.
- Жеңүүчүнү эмес, себебин билиңиз; Бул түшүнүк кийинки сыноого кирет.
Колдонмо тапшырмасы
Мазмунуңуздун бири жөнүндө байкоону тандаңыз. Калып 2 менен муну так гипотезага которуңуз жана изоляциялоо үчүн өзгөрмөнү аныктаңыз. Калып 1 менен эки вариантты чыгарыңыз (узундугу окшош, айырма гана). Акырында, гипотетикалык жыйынтык сандарын тууралаңыз, аларды Калып 4 аркылуу чечмелеңиз жана үлгүнүн адекваттуулугу жөнүндө моделдин айткандарына көңүл буруңуз. Узактыгы: болжол менен 25 мүнөт.
текшерүү тизмеси
- [ ] Мен тестти так гипотеза менен баштадым.
- [ ] Мен бир гана өзгөрмөлөрдү бөлүп койдум.
- [ ] Варианттар башка октордо окшош бойдон калган (узундук ж.б.).
- [ ] Мен бир так ийгилик метрикасын аныктадым.
- [ ] Мен жетишерлик үлгү/убакытсыз чечим чыгарган жокмун.
- [ ] Мен кийинки сынакка жеңүүчүнүн себебин белгиледим.