Табыстар:
- A/B сынағы үшін жеке айнымалыларды оқшаулайтын жүйелі мәтін нұсқаларын жасау мүмкіндігі
- Гипотезаны өлшенетін эксперименттік қондырғыға айналдыру мүмкіндігі
- Тест нәтижелерін статистикалық маңыздылық және оқу тұрғысынан түсіндіру мүмкіндігі
Маркетингте интуиция құнды, бірақ дәлелдер маңыздырақ. Қай тақырып көбірек басылады, қай CTA көп сатады, қай сурет көбірек назар аударады? Болжаудың орнына, оны A/B сынағы арқылы өлшеуге болады. A/B тестілеу – нақты аудиторияға бірдей мазмұнның екі нұсқасын (A және B) көрсететін және қайсысы жақсырақ екенін өлшейтін эксперименттік әдіс. Жасанды интеллект осы сынақтар үшін кірісті, атап айтқанда нұсқаларды жылдам шығарады; Бірақ тест жұмысын жасау ғылыми ережені талап етеді: бір уақытта бір айнымалы. Бұл бөлімде сіз нұсқаларды жасауды, гипотезаны өлшенетін экспериментке аударуды және нәтижелерді статистикалық маңыздылық тұрғысынан түсіндіруді үйренесіз.
Алтын ереже: бір айнымалыны оқшаулаңыз
Сынақ нәтижесін түсіндіру үшін A және B арасында бір ғана нәрсе ерекшеленуі керек. Тақырыпты, суретті және CTA-ны бір уақытта өзгертсеңіз, B жеңген кезде қайсысының айырмашылығы болғанын ешқашан біле алмайсыз. Тексерілетін айнымалыны оқшаулау оқуды мүмкін ететін жалғыз нәрсе.
Тексеруге болатын типтік айнымалылар:
- Тақырып: Бір сурет пен дене, басқа атау.
- CTA мәтіні: «Сатып алу» немесе «Себетке қосу»?
- Тақырып жолы: электрондық поштаның ашық жылдамдығына әсер етеді.
- Сурет: бірдей мәтін, басқа сурет.
- Ұзындық/тон: Қысқа және ұзақ, ресми т.б. шынайы.
Гипотезадан экспериментке: кезең-кезеңімен
- Бақылау жасаңыз. «Біздің бастапқы бетіміздің конверсиясы төмен».
- Гипотеза. «Артықшылықтарға бағытталған тақырып функцияға бағытталған тақырыпқа қарағанда көбірек түрлендіреді.»
- Айнымалыны оқшаулаңыз. Тек тақырып өзгереді.
- Нұсқаларды жасаңыз. Үлгі бар 2 анық нұсқа (A: ерекшелігі, B: пайдасы).
- Табыс өлшемін анықтаңыз. Мысалы, конверсия жылдамдығы — қалаған әрекетті жасайтын келушілердің пайызы.
- Үлгіні және ұзақтығын анықтаңыз. Адамдар жеткілікті және уақыт жеткілікті.
- Өлшеу, салыстыру, үйрену. Жеңімпазды емес, «неліктен» екенін біліңіз.
«Гипотеза» - бұл жерде тексерілетін болжам, ол ақиқат немесе жалған болып шығуы мүмкін; Жақсы гипотеза сізге не күтетініңізді және неге екенін айтады.
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Осы тақырыпқа бірнеше балама жазыңыз.
Күшті шақыру:
A/B сынағы үшін нұсқаларды жасаңыз. Ереже: ТЕК тақырып өзгереді, негізгі мәтін және CTA өзгеріссіз қалады. Гипотеза: Артықшылықтарға бағытталған тақырып мүмкіндіктерге бағытталған тақырыпқа қарағанда көбірек басу алады. КОНТЕКС: Қону беті. Өнім: жобаны басқару қолданбасы. Аудитория: шағын командалар. СҰРАҒАН:- А нұсқасы: мүмкіндіктерге бағытталған тақырып (өнім не істейтінін сипаттайды)- В нұсқасы: пайдаға бағытталған тақырып (ол пайдаланушыға не беретінін сипаттайды) Әрбір нұсқаның астына қандай психологиялық мотивацияны қозғайтынын жазыңыз. Тек 2 нұсқа; Екеуі де бірдей ұзындықтағы бір жол болуы керек.
Нұсқалардың ұзындығы бірдей болуын қалау маңызды; әйтпесе «ұзындық» байқаусызда екінші айнымалыға айналады.
Сынақ алдындағы/кейінгі диаграмма
Сахна
Не істеу керек
жиі қате
гипотеза
Не, мен неге күтіп отырмын?
Гипотезасыз «Байқап көрейік».
Айнымалы
Бір нәрсені оқшаулаңыз
Бір уақытта көп нәрсені өзгерту
критерий
Бір анық көрсеткішті таңдаңыз
Шексіз «жақсы»
үлгі
Адамдар/уақыт жеткілікті
ерте шешіңіз
Пікір
Неге екенін біліңіз
Тек жеңімпазды алыңыз
үш шағын іс
1-жағдай — CTA тесті нақты нәтиже береді. Электрондық коммерция сайты өнім түймешігін сынады: A «Сатып алу», B «Сәрбетке қосу». Тек түйме мәтіні өзгерді. 3 000 келушілерді тестілеуде B кликтер жылдамдығын 4,0%-дан 4,9%-ға дейін арттырды. Жалғыз айнымалы оқшауланған кезде, жеңімпаз анық болды: «себетке қосу» азырақ байланысты болды.
2-жағдай — Көп айнымалы қате. Команда екі қону бетін әзірледі, бірақ тақырып, сурет және түсі әртүрлі болды. В жеңді, бірақ команда қай элементтің айырмашылықты жасағанын білмеді; оқу нөлге тең болды. Келесі сынақта олар ережені ұстанды: бір уақытта бір айнымалы. Сол сынақта олар атақ басты фактор екенін анық көрді.
3-жағдай - Ерте шешім тұзағы. Ақпараттық бюллетень тобы 200 адамнан тұратын топта екі тақырыптық жолды сынап көрді және бірінші сағатта «Ол А алды» деді. Үлгі өте аз болды; айырмашылық статистикалық тұрғыдан шамалы болды (яғни, кездейсоқтыққа байланысты болуы мүмкін). Сынақ жеткілікті үлгі алу мен уақытқа дейін ұлғайтылған кезде, нәтиже кері болды. Сабақ: жеткілікті деректерсіз шешім қабылдамаңыз.
Абайлаңыз: шағын үлгідегі (адамдардың аз саны) көрінетін айырмашылық жаңылыстыруы мүмкін. Статистикалық маңыздылық айырмашылықтың кездейсоқ емес, нақты болу ықтималдығын білдіреді. Қорытынды жасауға кіріспес бұрын, адамдардың жеткілікті екеніне және тестілеу ұзақ уақытқа созылатынына көз жеткізіңіз.
Көшіретін үлгілер
Үлгі 1 — Оқшауланған нұсқа генераторы:
A/B сынағы үшін нұсқаларды жасаңыз. Тексерілетін ТЕК айнымалы: [тақырып/CTA/сурет]. Қалғанының бәрі тұрақты болып қалады. Гипотеза: [...]. Мәтінмән: [...]. А нұсқасы: [ағымдағы тәсіл]. В нұсқасы: [балама тәсіл]. Екі нұсқа бірдей ұзындықта болсын; басқа ештеңені өзгертпеңіз.
Үлгі 2 — Гипотезаны нақтылаушы:
Мына бақылаудан тексерілетін гипотезаны құрыңыз: «[бақылау]». Гипотезаны «егер [өзгеріс] жасасақ, [метрика] артады, себебі [неге]» форматында жазыңыз. Содан кейін қандай жалғыз айнымалыны оқшаулау керектігін айтыңыз.
Үлгі 3 — Пән жолының сынақ жинағы:
Келесі электрондық пошта үшін A/B сынағы үшін 2 тақырып жолын жасаңыз. Бір ось бойынша айырмашылық: [қызығушылық пен анықтық / қысқалық т.б. ұзақ/сұрақ т.б. өрнек]. Екеуіде де спам сөзі болмауы керек және ұзындығы бірдей болуы керек. Электрондық поштаның қысқаша мазмұны: [...]
Үлгі 4 — Нәтижелерді түсіндіру:
A/B тестінің нәтижесін түсіндіріңіз.Айнымалы: [...]. А нұсқасы метрика: [...]. В нұсқасының көрсеткіші: [...].Үлгі өлшемі: [...]. Ұзақтығы: [...].Айтыңызшы: Айырмашылық маңызды болып көріне ме, әлде үлгі аз ба? Біз не үйрендік? Келесі сынаққа не ұсынасыз? Нақты статистиканы талап етпеңіз; Түсініксіз болса, көрсетіңіз.
Кеңес: Тесттен «жеңімпазды» алу жеткіліксіз; Нағыз табыс - бұл «неге жеңді» деген түсінік. Бұл түсінік келесі сынақтың гипотезасына енеді және уақыт өте келе білім жиынтығын құрады.
Басымдық: алдымен нені сынау керек?
Тестілеуге болатын шексіз элементтер бар, бірақ уақыт пен трафик шектеулі. Сондықтан әсер ету мүмкіндігіне негізделген сынақтарға басымдық беріңіз. Жалпы ереже: пайдаланушы бірінші көретін және шешімге ең көп әсер ететін элементтер алдымен тексеріледі. Басу бетінде тақырып басуға ең үлкен әсер етеді; себебі пайдаланушы оны алдымен оқиды және сол жерде жалғастыруды немесе жалғастырмауды шешеді. Түйменің түсі сияқты мәліметтер жиі азырақ әсер етеді; оларды соңғы уақытқа қалдырыңыз.
Артықшылықты анықтаудың практикалық жолы әрбір тестілеу идеясын үш ось бойынша бағалау болып табылады: күтілетін әсер (егер ол жеңсе, ол қаншалықты өзгереді?), сенімділік (оның жеңетініне қаншалықты сенімдіміз?) және жеңілдігі (оны орнату қаншалықты жылдам?). Әсері жоғары, сенімділігі жоғары және күш-жігері аз сынақтар бірінші болып қойылады. Бұл ең көп білім беретін эксперименттерге шектеулі трафикті бөлуге мүмкіндік береді. AI сізге осы үш ось бойынша идеялар тізімін бағалау және басымдық берудің жылдам жоспарын бере алады; Сіз шешесіз.
Үлгі 5 — Сынақ басымдылығы:
Келесі A/B тестілеу идеяларына басымдық беріңіз. Әрқайсысын әсер ету осі (1-5), сенімділік (1-5) және орнатудың қарапайымдылығы (1-5) бойынша бағалаңыз, оларды жалпы ұпайға сәйкес бағалаңыз және олардың неліктен бұл ретте тұрғанын бір сөйлеммен түсіндіріңіз. Сынақ идеялары: [тізім]
Жалпы қателер
- Сонымен, бір уақытта айнымалы. Нәтиже түсініксіз болады.
- Гипотезасыз тестілеу. «Байқап көрейік және көрейік» оқуды тудырмайды.
- Ерте шешім. Кішкентай үлгіде айырмашылық кездейсоқ нақты деп есептеледі.
- Әртүрлі ұзындықтағы нұсқалар. Екінші айнымалы мәнсіз жасалған.
- Жеңімпазды ғана алыңыз. Себебін білмесе, ақпарат жинақталмайды.
Қысқаша айтқанда
- A/B тестінің алтын ережесі: бір уақытта бір айнымалы.
- Әрбір сынақ гипотезадан басталуы керек: мен нені күтемін және неге?
- Табыстың жалғыз нақты өлшемін және барабар үлгіні анықтаңыз.
- Кішігірім іріктеудегі айырмашылық жаңылыстырады; Статистикалық маңыздылыққа назар аударыңыз.
- Жеңімпазды емес, себебін біліңіз; Бұл түсінік келесі сынақты береді.
Қолданбалы тапсырма
Мазмұныңыздың бірі туралы бақылауды таңдаңыз. Үлгі 2 арқылы оны нақты гипотезаға аударыңыз және оқшауланатын айнымалыны анықтаңыз. 1-үлгімен екі нұсқаны шығарыңыз (ұзындығы ұқсас, тек айырмашылығы). Соңында, болжамды нәтиже сандарын сәйкестендіріңіз, оларды 4-үлгі арқылы түсіндіріңіз және үлгінің сәйкестігі туралы не айтқанын ескеріңіз. Ұзақтығы: шамамен 25 минут.
бақылау парағы
- [ ] Мен сынақты нақты гипотезамен бастадым.
- [ ] Мен тек бір айнымалыны оқшауладым.
- [ ] Басқа осьтерде нұсқалар ұқсас болып қалды (ұзындық, т.б.).
- [ ] Мен бір нақты табыс көрсеткішін анықтадым.
- [ ] Мен жеткілікті үлгі/уақытсыз шешім қабылдаған жоқпын.
- [ ] Мен келесі сынақта жеңімпаздың себебін атап өттім.