Пайдалар:
- A/B тестирлөө, контролдоо/вариант, конверсия курсу жана статистикалык мааниси түшүнүктөрүн түшүнүү жана жасалма интеллект менен гипотеза жана тест долбоорлорун түзүү.
- Сыноо үчүн жалгыз өзгөрмөлөрдү бөлүп алуу жана жасалма интеллект колдоосу менен варианттын текстин/сүрөтүн жана өлчөө планын түзүү мүмкүнчүлүгү
- Жасалма интеллекттин тесттик интерпретациясынын үлгүнүн өлчөмү жана мааниси жана мөөнөтүнөн мурда/туура эмес жыйынтыктарды окуу коркунучу менен чектелгендигин ажырата билүү
Жарнамадагы эң кооптуу сүйлөм – бул жакшыраак деп ойлойм. Пикир эмес, маалымат сизге баш сап, сүрөт же баскыч чындап эле жакшыраак экенин айтат. Муну өлчөөнүн эң кеңири таралган жолу - A/B тести: чыныгы колдонуучуларга бир эле жарнаманын эки (же андан көп) версиясын көрсөтүү жана кайсынысы жакшыраак экенин салыштыруу. "А" адатта учурдагы версия (башкаруу), ал эми "В" жаңы версия (вариант) сыналып жатат. Мисалы, бир эле жарнамадагы аталышты гана өзгөртүп, кайсы аталыш көбүрөөк басылганын өлчөй аласыз. Жасалма интеллект бул процессте көптөгөн варианттарды түзүүдө да, натыйжаны чечмелөөдө да жардам берет; Бирок тесттин илимий негиздүүлүгү дизайн эрежелерине жана чыдамкайлыгынан көз каранды.
A/B тестирлөөнүн алтын эрежеси: бир өзгөрмө
A/B тестирлөөнүн эң негизги эрежеси – бул бир өзгөрмөнүн изоляциясы. Эгер сиз аталышты, сүрөттү жана баскычты бир эле убакта өзгөртсөңүз жана В версиясы жеңип чыксаңыз, эмне утканын эч качан биле албайсыз. Ошентип, тестте бир гана элемент өзгөрүшү керек, калганы туруктуу болушу керек. Эгер сиз бир эле учурда жана системалуу түрдө бирден ашык нерсени сынагыңыз келсе, бул көп варианттуу тестирлөө деп аталат жана бир топ чоң үлгүнү талап кылат; Univariate A/B тестирлөө - баштоонун жолу.
Экинчи негизги түшүнүк - статистикалык маани. А версиясы 3 пайызды, ал эми В версиясы 3,3 пайызды чыкылдатты дейли. Бул айырмачылык чыныгы артыкчылыкпы же кокустукпу? Эгер сиз тестти 100 адамга гана көрсөтсөңүз, бул айырма кокустук болушу мүмкүн. Статистикалык маанилүүлүк байкалган айырма кокустуктан улам болушу мүмкүн эмес экенин билдирет (б.а., айырма, балким, реалдуу). Бул жетиштүү үлгү өлчөмүн (тестти көргөн адамдардын саны) талап кылат. Аз маалыматтар менен "жеңүүчү" деп жарыялоо эң кеңири таралган жана кымбат ката.
Кеңеш: Тестти баштоодон мурун, "качан жеңүүчү деп жарыялайм" деген суроого жооп бериңиз: канча адам/конвертациядан кийин, кандай мааниде. Бул чечимди алдын ала кабыл алуу алгачкы сааттарда ызы-чууга илинип калуудан жана эрте чечим кабыл алуудан сактайт.
Төмөнкү таблица жакшы жана жаман A/B тест дизайнын салыштырат:
пункт
жаман дизайн
жакшы дизайн
Өзгөрмөлөрдүн саны
Аталышы + сүрөт + баскычы чогуу
аталышы гана
гипотеза
(эч бири) "эмне болорун көрөбүз"
"Суроолуу аталыштар чыкылдатууларды көбөйтөт"
үлгү
80 адам
Алдын ала эсептелген кворум
чечим кабыл алуу убактысы
2 сааттан кийин
Мааниге жеткенде
Жеңүүчү тандоо
"Мен B жакшы деп ойлойм"
Маалыматтарга жана мааниге негизделген
Кадам кадам: A/B тестин орнотуу
1-кадам — Гипотеза жазыңыз. Сиз эмнени сынап жатасыз жана эмне үчүн? "Пайдалуу баш макала өзгөчөлүктөрү бар баш макалага караганда көбүрөөк чыкылдатууну алат" сыяктуу так гипотеза.
2-кадам - Жалгыз өзгөрмө тандоо. Жөн гана аталышы, же жөн эле сүрөтү, же жөн гана CTA.
3-кадам — Варианттарды түзүү. AI менен бир эле нерсенин ар кандай версияларын түзүңүз; калганын туруктуу карма.
4-кадам — өлчөө планын түзүү. Жеңүүчүнү кайсы метрика аныктайт (чыкылдатуу ылдамдыгы, конверсия), канча үлгү керек, канча убакытка чейин иштетүү керек.
5-кадам — чечмелөө жана натыйжаны текшерүү. Жетиштүү маалымат чогултулдубу, айырма олуттуубу? Маанилүү болбосо, "айырма жок" да жарактуу натыйжа болуп саналат.
үч мини учурлар
1-жагдай — Жалгыз өзгөрмөнүн ачыктыгы. Электрондук коммерция бренди өзүнүн өнүмүнүн жарнагында жөн гана CTA сынаган: "Сатып алуу" жана "Карабага кошуу." Калганынын баары бирдей эле. Жетиштүү үлгүлөрдү алгандан кийин, "Арбага кошуу" бир кыйла жогору конверсияларды алып келди. Айырмачылык так чечмелениши мүмкүн, анткени бир өзгөрмө обочолонгон. AI эки CTA чыгарды, маалыматтар жеңүүчүнү тандады.
2-жагдай - Эрте чечим кабыл алуу. Бренд тестти токтотту, анткени В версиясы A/B сынагынын алгачкы 3 саатында алдыда болуп, Б бүткүл бюджетке ачылды. Кийинки күнү жалпы маалыматтарды карап, А чынында бир аз жакшыраак болгон; Алгачкы сааттардагы айырма кокустук болду. Бюджет текке кеткен. Ката: үлгү көлөмү жетишсиз болгон мөөнөтүнөн мурда чечим кабыл алуу.
3-жагдай — «Айырмасы жок» да корутунду. Бренд эки башка сүрөттү сынап көрдү жана жетиштүү үлгүлөрдү алгандан кийин экөө тең дээрлик бирдей жыйынтык чыгарышты. Команда "сыноодон өтпөй калды" деп ыйлагысы келгенде, туура окуу бул өнөктүктө сүрөттүн чечүүчү фактору эмес, андыктан күч баш макалага жана сунушка багытталышы керек. Маанилүү айырма табылбаганы да баалуу маалымат.
Көчүрүү үчүн төрт шаблон
1) Гипотеза жана тесттин дизайны:
Мен эмнени сынагым келет: [мис. ad title].Тапшырма: (1) Текшерүүгө боло турган жалгыз гипотезаны жазыңыз ("... көбөйөт ... көбөйөт" түрүндө).(2) Изоляциялоо үчүн жалгыз өзгөрмө жана туруктуу бойдон калуу керек.(3) Жеңүүчүнү аныктай турган көрсөткүчтү сунуштаңыз (чыкылдатуу ылдамдыгы/конвертация).(4) Мен эмнеге көңүл бурушум керек экенин жазыңыз.
2) Варианттык генератор (бир вариант):
Жабышкак жарнама: сүрөт [ошол эле], CTA [ошол эле], максаттуу [ошол эле]. Сыналган өзгөрмө: HEADLINE. Негизги билдирүү: "[билдирүү]". Тапшырма: Бир эле билдирүү менен 4 башка аталыштын вариантын түзүңүз. Ар бири ар кандай ыкманы колдонушат (суроо, пайда, сан, шашылыш). Баш аты гана өзгөрөт; Негизсиз дооматты кошуу.
3) Өлчөө планы:
Тест: [А жана В аныктамасы]. Метрика: [басуу/конвертация].Тапшырма: Өлчөө планын түзүү:(1) кайсы метрика негизги, кайсынысы экинчилик,(2) жеңүүчүнү жарыялоо үчүн канча маалымат/убакыт керек (логиканы түшүндүрүү),(3) трафикти А жана В ортосунда кантип бирдей жана адилеттүү бөлүштүрүү керек,(4) кандай тышкы факторлор натыйжаны бурмалоого алып келиши мүмкүн (мезгилдин күнүн эсептеп, I мезгилди эсептөө). так статистика.
4) Жыйынтык котормочу (сак):
Менин A/B сынагымдын натыйжалары (чыныгы маалыматтар): [A: таасирлер/чыкылдатуулар/конвертация],[B: таасирлер/чыкылдатуулар/конвертация].Тапшырма: (1) Ар бир версиянын ылдамдыгын эсептеп, көрсөтүңүз.(2) Айырмачылыктын чоңдугуна комментарий бериңиз, бирок үлгү жетишсиз болсо, анда "жетишсиз" деп айтыңыз. мөөнөтүнөн мурда/туура эмес окуу.маанилүүлүк жөнүндө так доомат кылбоо; Мен өзүнчө эсеп куралы менен ырастайм.
Алсыз тездик / Күчтүү тездик
Алсыз билдирүү:
Жарнамам үчүн А жана В версиясын чыгарыңыз, кайсынысы жакшыраак экенин айтыңыз.
өзгөрмө обочолонгон эмес, гипотеза жана өлчөө жок; AI маалыматсыз кайсынысы "жакшы" экенин биле албайт, аны түзөт.
Күчтүү билдирүү:
Мен A/B тестин орнотуп жатам. Оңдолду: сүрөт жана CTA ошол бойдон калат. Текшерилген өзгөрмө гана: жарнама баш саптары. Гипотеза: "Сандар менен баш сап жалпы баш сөзгө караганда көбүрөөк чыкылдатышат."Негизги кабар: "3 күндүн ичинде жеткирилди." Тапшырма: (1) Башкаруу үчүн 1 жалпы баш макала, сандар менен 3 баш сап түзүңүз. тестти жараксыз деп эсептеген 3 катанын ичинен мени.Кайсысы жеңерин алдын ала айтпа; Аны маалыматтар аныктайт.
Экинчи доомат бир өзгөрмөнү бөлүп, гипотезаны жана өлчөөнү камтыйт; маалыматтарга жеңүүчүнү калтырат.
Жалпы каталар
- Бир эле учурда көп нерселерди өзгөртүү. Жеңүүчүнүн себеби түшүнүксүз болуп калат; Жалгыз өзгөрмө изоляцияланышы керек.
- Жетишсиз үлгүлөр менен чечимдерди кабыл алуу. Биринчи сааттардагы айырма көбүнчө кокустук болуп саналат.
- Гипотезасыз тестирлөө. «Келгиле, эмне болорун көрөбүз» тестирлөө окутууну алып келбейт; Адегенде эмнени күтүп жатканыңызды жазыңыз.
- "Айырмасы жок" деген жыйынтыкты ийгиликсиздик катары кабыл алуу. олуттуу айырмачылыктын жоктугу да маалымат болуп саналат.
- Жеңүүчүнү табитине жараша тандоо. Сыноо жеке табитти жокко чыгаруу үчүн так болуп саналат; Маалыматтарды ээрчиңиз.
- Тышкы факторлорду унутуу. Сезон, үгүт күнү, жаңылыктар агымы жыйынтыкты бурмалап коюшу мүмкүн; Сыноо шарттарын адилеттүү сактаңыз.
Көңүл буруңуз: A/B тестирлөөнүн максаты "жеңиш" эмес, үйрөнүү. Жада калса бир вариантты жоготуу баалуу маалымат болуп саналат; Чыныгы жоготуу - бул жетишсиз маалыматтар менен туура эмес жыйынтыкка таянуу жана ага бюджетти байлоо.
Кыскача айтканда
A/B тестирлөө жарнамалык чечимдерди идеядан маалыматка жылдыруучу күчтүү ыкма. Алтын эреже - бир өзгөрмөнү изоляциялоо: тестте бир гана элемент өзгөрүшү керек, калганы туруктуу бойдон калышы керек. Экинчи түркүк – адекваттуу тандоо жана статистикалык маани; Аз маалымат менен жеңүүчүнү жарыялоо эң кымбат ката. AI бир нече варианттарды жаратууда жана коэффициенттерди эсептөөдө жана чечмелөөдө пайдалуу, бирок AI эмес, маалыматтар жеңүүчүнү аныктайт. Ал тургай, "айрым жок" натыйжасы - бул үйрөнүү. Гипотеза, метрика жана чечим босогосу тест башталганга чейин жазылышы керек.
Колдонмо тапшырмасы
Чыгармачылыкты тандаңыз (баш аты, сүрөт же CTA). (1) "Гипотеза жана тест дизайны" менен бир гана текшерилүүчү гипотезаны жана обочолонгон өзгөрмөлөрдү жазыңыз. (2) "Вариант генератору" менен 1 башкаруу + 3 вариантты түзүү; Жөн гана бул элементти өзгөртүңүз. (3) "Өлчөө планы" менен кайсы метриканы, канча убакытка жана кандай маалыматтар менен карай турганыңызды пландаштырыңыз. (4) Жеңүүчүнү жарыялоо үчүн босогоңузду (канча конвертация / кандай мааниге ээ) алдын ала жазыңыз. (5) Гипотетикалык натыйжаларды "жыйынтык котормочу" менен карап чыгыңыз жана маалымат жетишсиз болгон сценарийде эмне үчүн чечим кабыл албай турганыңызды белгилеңиз.
текшерүү тизмеси
- [ ] Мен тестте бир гана өзгөрмөлөрдү бөлүп койдум.
- [ ] Мен сыноо алдында так гипотеза жазган.
- [ ] Мен жеңүүчүгө керектүү үлгүнү жана убакытты мурунтан эле аныктадым.
- [ ] Жеңүүчүнү жеке табитке эмес, маалыматтарга карап тандадым.
- [ ] Мен "айырмачылык жок" натыйжаны жарактуу окуу деп эсептедим.
- [ ] Мен натыйжаны бурмалоочу тышкы факторлорду текшердим.