Табыстар:
- A/B тестілеу, бақылау/нұсқа, конверсия жылдамдығы және статистикалық маңыздылық ұғымдарын түсіну және жасанды интеллектпен гипотезалар мен сынақ конструкцияларын құру мүмкіндігі.
- Тексерілетін жалғыз айнымалыны оқшаулау және жасанды интеллект қолдауымен нұсқа мәтінін/суретін және өлшем жоспарын жасау мүмкіндігі
- Жасанды интеллекттің сынақ интерпретациясының үлгі өлшемімен және маңыздылығымен және мерзімінен бұрын/қате нәтижелерді оқу қаупімен шектелетінін ажырату мүмкіндігі
Жарнамадағы ең қауіпті сөйлем «Менің ойымша, бұл жақсырақ». Тақырыптың, суреттің немесе түйменің шынымен жақсырақ екенін пікір емес, деректер көрсетеді. Мұны өлшеудің ең кең тараған жолы - A/B тестілеуі: нақты пайдаланушыларға бір жарнаманың екі (немесе одан да көп) нұсқасын көрсету және қайсысы жақсырақ жұмыс істейтінін салыстыру. "A" әдетте ағымдағы нұсқа (басқару), ал "B" - сыналған жаңа нұсқа (нұсқа). Мысалы, сіз бір жарнамадағы тақырыпты ғана өзгерте аласыз және қай тақырып көбірек басылатынын өлшей аласыз. Жасанды интеллект бұл процесте көптеген нұсқаларды жасауда да, нәтижені түсіндіруде де көмектеседі; Бірақ сынақтың ғылыми жарамдылығы дизайн ережелері мен шыдамдылыққа байланысты.
A/B тестінің алтын ережесі: бір айнымалы
A/B тестінің ең негізгі ережесі бір айнымалыны оқшаулау болып табылады. Егер сіз тақырыпты, суретті және түймені бір уақытта өзгертсеңіз және В нұсқасы жеңсе, не ұтқанын ешқашан біле алмайсыз. Сондықтан сынақта тек бір элемент өзгеруі керек, қалғаны тұрақты болуы керек. Бір уақытта және жүйелі түрде бірнеше элементтерді сынағыңыз келсе, бұл көп нұсқалы тестілеу деп аталады және әлдеқайда үлкен үлгіні қажет етеді; Univariate A/B тестілеу - бастау жолы.
Екінші негізгі ұғым – статистикалық маңыздылық. А нұсқасы 3 пайыз, ал В нұсқасы 3,3 пайыз басу алды делік. Бұл айырмашылық нақты артықшылық па, әлде кездейсоқтық па? Егер сіз сынақты тек 100 адамға көрсетсеңіз, бұл айырмашылық кездейсоқ болуы мүмкін. Статистикалық маңыздылық байқалған айырмашылықтың кездейсоқтыққа байланысты болуы екіталай екенін білдіреді (яғни, айырмашылық нақты болуы мүмкін). Бұл жеткілікті үлгі өлшемін қажет етеді (сынақты көрген адамдар саны). Аз деректермен «жеңімпаз» деп жариялау - ең көп таралған және қымбат қате.
Кеңес: Тестілеуді бастамас бұрын, «жеңімпазды қашан жариялаймын» деген сұраққа жауап беріңіз: қанша адам/конверсиядан кейін, қандай маңыздылық деңгейінде. Бұл шешімді алдын ала қабылдау алғашқы сағаттарда шуға түсіп, мерзімінен бұрын шешім қабылдаудан сақтайды.
Келесі кестеде жақсы және жаман A/B сынақ дизайны салыстырылады:
элемент
нашар дизайн
жақсы дизайн
Айнымалылар саны
Тақырып + сурет + түйме бірге
тек тақырып
гипотеза
(жоқ) «не болатынын көрейік»
«Сұрақтары бар атаулар басуды арттырады»
үлгі
80 адам
Алдын ала есептелген кворум
шешім қабылдау уақыты
2 сағаттан кейін
Маңыздылыққа жеткенде
Жеңімпазды таңдау
«Менің ойымша, В жақсы»
Деректер мен маңыздылыққа негізделген
Қадамдық: A/B сынағын орнату
1-қадам — Гипотеза жазу. Сіз нені сынап жатырсыз және неге? «Артықшылықтары бар тақырып мүмкіндіктері бар тақырыпқа қарағанда көбірек басылады» сияқты анық гипотеза.
2-қадам — Жалғыз айнымалыны таңдаңыз. Тек тақырып немесе жай сурет немесе жай ғана CTA.
3-қадам — Нұсқаларды жасаңыз. AI көмегімен бір элементтің әртүрлі нұсқаларын жасаңыз; қалғанын тұрақты ұстаңыз.
4-қадам — Өлшеу жоспарын орнату. Қай көрсеткіш жеңімпазды анықтайды (басу жылдамдығы, конверсия), қанша үлгі қажет, қанша уақыт жұмыс істеу керек.
5-қадам — Нәтижені түсіндіру және тексеру. Деректер жеткілікті жиналды ма, айырмашылық маңызды ма? Егер ол маңызды болмаса, «айырмашылық жоқ» да жарамды нәтиже болып табылады.
үш шағын іс
1-жағдай — Жалғыз айнымалының анықтығы. Электрондық коммерция бренді өнім жарнамасында тек CTA-ны сынады: «Сатып алу» және «Себетке қосу». Қалғанының бәрі бірдей болды. Жеткілікті іріктеуден кейін «Себетке қосу» айтарлықтай жоғары түрлендірулерді әкелді. Айырмашылықты анық түсіндіруге болады, себебі бір айнымалы оқшауланған. AI екі CTA жасады, деректер жеңімпазды таңдады.
2-жағдай - Ерте шешім тұзағы. Бренд сынақты тоқтатты, себебі B нұсқасы A/B сынағының алғашқы 3 сағатында алда болды және B нұсқасын бүкіл бюджетке ашты. Келесі күні жалпы деректерге қарасақ, A шын мәнінде сәл жақсырақ болды; Алғашқы сағаттардағы айырмашылық кездейсоқ болды. Бюджет ысырап болды. Қате: іріктеме көлемі жеткіліксіз мерзімінен бұрын шешім қабылдау.
3-жағдай — «Айырмашылық жоқ» да қорытынды. Бренд екі түрлі кескінді сынады және жеткілікті іріктеуден кейін екеуі бірдей дерлік нәтиже берді. Команда «сынақ сәтсіз аяқталды» деп қынжыла жаздаған кезде, дұрыс оқу бұл науқанда сурет шешуші фактор емес, сондықтан күш-жігерді тақырып пен ұсынысқа бағыттау керек. Айтарлықтай айырмашылық табылмағаны да құнды ақпарат.
Көшірілетін төрт үлгі
1) Гипотеза және тест құрастыру:
Мен нені сынағым келеді: [мысалы. ad title].Тапсырма: (1) Тексерілетін жалғыз гипотезаны жазыңыз («... көбейтеді ... арттырады» түрінде).(2) Оқшауланатын жалғыз айнымалы мәнді және тұрақты болып қалатындарды тізіңіз.(3) Жеңімпазды анықтайтын көрсеткішті ұсыныңыз (басу жылдамдығы/конверсия).(4) Маған назар аудару керек нәрсені жазыңыз (тәуекелге ертерек назар аударыңыз, сынақ шешімі).
2) Вариант генераторы (бір нұсқа):
Жабысқақ жарнама: сурет [бірдей], CTA [бірдей], мақсатты [бірдей]. Айнымалы мән тексерілді: HEADLINE. Негізгі хабар: "[хабарлама]". Тапсырма: Бір хабармен 4 түрлі тақырып нұсқасын жасаңыз. Әрқайсысы әртүрлі тәсілді қолданады (сұрақ, артықшылық, сан, жеделдік). Тек тақырып өзгереді; Дәлелсіз шағымды қосу.
3) Өлшеу жоспары:
Тест: [А және В анықтамасы]. Метрика: [нұқыңыз/түрлендіру]. Тапсырма: Өлшеу жоспарының жобасын жасаңыз:(1) қай метрика негізгі, қайсысы қосымша,(2) жеңімпазды жариялау үшін қанша деректер/уақыт қажет (логиканы түсіндіріңіз),(3) трафикті A және B арасында қалай біркелкі және әділ бөлу керек,(4) қандай сыртқы факторлар нәтижені бұрмалауы мүмкін (жыл мезгілі, I мезгілін есептейтін құралдар). нақты статистика.
4) Нәтиже аудармашысы (мұқият):
Менің A/B сынақ нәтижелерім (нақты деректер): [A: әсерлер/басулар/түрлендіру],[B: әсерлер/басулар/түрлендіру]. Тапсырма: (1) Әрбір нұсқаның жылдамдығын есептеп, көрсетіңіз.(2) Айырмашылықтың шамасы туралы түсініктеме беріңіз, бірақ үлгі жеткіліксіз болса, "жеткіліксіз деректер" мәнін қайталаңыз. мерзімінен бұрын/қате оқу. Маңыздылық туралы нақты мәлімдеме жасамау; Мен бөлек тіркелгі құралымен растаймын.
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Жарнама үшін А және В нұсқасын жасаңыз, қайсысы жақсы екенін айтыңыз.
Айнымалы оқшауланбаған, гипотеза мен өлшем жоқ; AI деректерсіз қайсысының «жақсы» екенін біле алмайды, ол оны жасайды.
Күшті шақыру:
Мен A/B тестін реттеп жатырмын. Бекітілген: сурет пен CTA өзгеріссіз қалады. Тек айнымалы мән тексерілді: жарнама тақырыбы. Гипотеза: "Сандары бар тақырып жалпы тақырыпқа қарағанда көбірек басылады."Негізгі хабар: "3 күнде жеткізілді." Тапсырма: (1) Бақылау үшін 1 жалпы тақырыпты, сандары бар 3 тақырыпты жасаңыз. тестті жарамсыз ететін 3 қатенің ішінен мен. Қайсысы жеңетінін болжамаңыз; Оны деректер анықтайды.
Екінші талап бір айнымалыны оқшаулайды, гипотеза мен өлшеуді қамтиды; жеңімпазды деректерге қалдырады.
Жалпы қателер
- Бір уақытта көптеген элементтерді өзгерту. Жеңімпаздың себебі түсініксіз болады; Жалғыз айнымалы оқшауланған болуы керек.
- Үлгілері жеткіліксіз шешімдер қабылдау. Алғашқы сағаттардағы айырмашылық жиі кездейсоқ болады.
- Гипотезасыз тестілеу. «Не болатынын көрейік» тестілеу оқуды тудырмайды; Алдымен не күтетініңізді жазыңыз.
- «Айырмашылық жоқ» нәтижесін сәтсіздік деп қателесу. Айтарлықтай айырмашылықтың болмауы да ақпараттық.
- Жеңімпазды талғамға қарай таңдау. Тестілеу жеке талғамды жоққа шығаруға арналған; Деректерді орындаңыз.
- Сыртқы факторларды ұмыту. Маусым, науқан күні, жаңалықтар ағыны нәтижені бұрмалауы мүмкін; Тестілеу шарттарын әділ сақтаңыз.
Назар аударыңыз: A/B тестінің мақсаты «жеңу» емес, үйрену. Тіпті нұсқаны жоғалту да құнды ақпарат болып табылады; Нақты шығын деректердің жеткіліксіздігімен қате нәтижеге сүйену және бюджетті соған байланыстыру.
Қысқаша
A/B тестілеу - бұл жарнамалық шешімдерді идеядан деректерге жылжытатын қуатты әдіс. Алтын ереже - бір айнымалыны оқшаулау: сынақта тек бір элемент өзгеруі керек, қалғаны тұрақты болуы керек. Екінші тірек – адекватты іріктеу және статистикалық маңыздылық; Аз деректермен жеңімпазды жариялау - ең қымбат қате. AI бірнеше нұсқаларды жасауда және коэффициенттерді есептеуде және түсіндіруде пайдалы, бірақ деректер AI емес, жеңімпазды анықтайды. Тіпті «айырмашылық жоқ» нәтиже - бұл оқу. Гипотеза, метрика және шешім табалдырығы сынақ басталғанға дейін жазылуы керек.
Қолданбалы тапсырма
Шығармашылықты таңдаңыз (тақырып, сурет немесе CTA). (1) «Гипотеза және сынақ дизайны» арқылы бір тексерілетін гипотезаны және оқшауланған айнымалыны жазыңыз. (2) «Вариант генераторымен» 1 басқару + 3 нұсқаны жасаңыз; Тек сол элементті өзгертіңіз. (3) «Өлшем жоспарымен» қай метриканы, қанша уақытқа және қандай деректермен қарайтыныңызды жоспарлаңыз. (4) Жеңімпазды жариялау шегін (қанша түрлендіру/қандай маңызды) алдын ала жазып алыңыз. (5) «Нәтиже аудармашысы» арқылы гипотетикалық нәтижелерді қарастырыңыз және деректер жеткіліксіз болған сценарийде неге шешім қабылдамайтыныңызды ескеріңіз.
бақылау парағы
- [ ] Мен сынақта тек бір айнымалыны оқшауладым.
- [ ] Мен сынақ алдында нақты гипотеза жаздым.
- [ ] Мен жеңімпазға қажетті үлгі мен уақытты анықтадым.
- [ ] Мен жеңімпазды жеке талғамға емес, деректерге қарап таңдадым.
- [ ] «Айырмашылық жоқ» нәтижені дұрыс оқу деп санадым.
- [ ] Мен нәтижені бұрмалауы мүмкін сыртқы факторларды тексердім.