Daromadlar:
- A/B testi, nazorat/variant, konversiya tezligi va statistik ahamiyat tushunchalarini tushunish va sun'iy intellekt yordamida gipotezalar va test dizaynlarini yaratish qobiliyati.
- Sinov qilinadigan yagona o'zgaruvchini ajratib olish va sun'iy intellekt yordamida variant matn/tasvir va o'lchov rejasini yaratish qobiliyati
- Sun'iy intellektning test talqini namuna hajmi va ahamiyati va erta/noto'g'ri natijalarni o'qish xavfi bilan cheklanganligini farqlash qobiliyati
Reklamadagi eng xavfli jumla "Menimcha, bu yaxshiroq". Sarlavha, rasm yoki tugma haqiqatan ham yaxshiroq ekanligini fikr emas, ma'lumotlar ko'rsatadi. Buni o'lchashning eng keng tarqalgan usuli bu A/B testi: haqiqiy foydalanuvchilarga bir xil reklamaning ikkita (yoki undan ortiq) versiyasini ko'rsatish va qaysi biri yaxshiroq ishlashini solishtirish. "A" odatda joriy versiya (nazorat), "B" esa sinab ko'rilayotgan yangi versiya (variant). Misol uchun, siz faqat bitta reklamadagi sarlavhani o'zgartirishingiz va qaysi sarlavha ko'proq bosilganligini o'lchashingiz mumkin. Sun'iy intellekt bu jarayonda ham ko'p sonli variantlarni yaratishda, ham natijani sharhlashda yordam beradi; Ammo testning ilmiy asosliligi dizayn qoidalari va sabr-toqatga bog'liq.
A/B testining oltin qoidasi: bitta o'zgaruvchi
A/B testining eng asosiy qoidasi bitta o'zgaruvchini ajratishdir. Agar siz bir vaqtning o'zida sarlavha, rasm va tugmani o'zgartirsangiz va B versiyasi g'alaba qozonsa, nima yutganini hech qachon bilib olmaysiz. Shunday qilib, testda faqat bitta element o'zgarishi kerak, qolganlari doimiy bo'lib qolishi kerak. Agar siz bir vaqtning o'zida va tizimli ravishda bir nechta elementni sinab ko'rmoqchi bo'lsangiz, bu ko'p o'lchovli test deb ataladi va juda kattaroq namunani talab qiladi; Univariate A/B testi - bu boshlash usuli.
Ikkinchi asosiy tushuncha statistik ahamiyatga ega. Aytaylik, A versiyasi 3 foiz, B versiyasi esa 3,3 foiz bosilgan. Bu farq haqiqiy ustunlikmi yoki tasodifmi? Agar siz testni faqat 100 kishiga ko'rsatgan bo'lsangiz, bu farq tasodif bo'lishi mumkin. Statistik ahamiyatlilik shuni anglatadiki, kuzatilgan farq tasodif tufayli yuzaga kelishi ehtimoldan yiroq emas (ya'ni, farq haqiqatdir). Buning uchun etarli namuna hajmi (testni ko'rgan odamlar soni) talab qilinadi. Kichik ma'lumotlar bilan "g'olib" deb e'lon qilish eng keng tarqalgan va qimmat xatodir.
Maslahat: Testni boshlashdan oldin, "qachon g'olib deb e'lon qilaman" degan savolga javob bering: qancha odam/konversiyadan keyin, qanday ahamiyatga ega. Ushbu qarorni oldindan qabul qilish sizni birinchi soatlarda shovqinga tushib qolishdan va erta qaror qabul qilishdan saqlaydi.
Quyidagi jadval yaxshi va yomon A/B test dizaynini taqqoslaydi:
element
yomon dizayn
yaxshi dizayn
O'zgaruvchilar soni
Sarlavha + rasm + tugma birga
faqat sarlavha
gipoteza
(yo'q) "nima bo'lishini ko'ramiz"
"Savollar bilan sarlavhalar bosishni oshiradi"
namuna
80 kishi
Oldindan hisoblangan kvorum
qaror qabul qilish vaqti
2 soatdan keyin
Ma'noga erishganingizda
G'olibni tanlash
"Menimcha, B yaxshi"
Ma'lumotlarga va ahamiyatiga asoslanadi
Bosqichma-bosqich: A/B testini sozlash
1-qadam - Gipotezani yozing. Siz nimani sinab ko'ryapsiz va nima uchun? "Foydali sarlavha xususiyatlariga ega bo'lgan sarlavhadan ko'ra ko'proq bosish oladi" kabi aniq gipoteza.
2-qadam - bitta o'zgaruvchini tanlang. Faqat sarlavha yoki faqat rasm yoki faqat CTA.
3-qadam - Variantlar yarating. AI yordamida bir xil elementning turli xil versiyalarini yarating; qolganini doimiy ravishda saqlang.
4-qadam - O'lchov rejasini o'rnating. Qaysi ko'rsatkich g'olibni aniqlaydi (kliklash tezligi, konvertatsiya), qancha namuna kerakligi, qancha vaqt ishlashi kerak.
5-qadam - Natijani sharhlang va tekshiring. Etarlicha ma'lumot to'planganmi, farq muhimmi? Agar ahamiyatli bo'lmasa, "farq yo'q" ham haqiqiy natijadir.
uchta mini holat
1-holat - Bitta o'zgaruvchining aniqligi. Elektron tijorat brendi mahsulot reklamasida faqat CTA-ni sinab ko'rdi: "Sotib olish" va "Savatga qo'shish". Qolganlarning hammasi bir xil edi. Etarlicha namuna olingandan so'ng, "Savatga qo'shish" sezilarli darajada yuqori konversiyalarni keltirdi. Farqni aniq talqin qilish mumkin edi, chunki bitta o'zgaruvchi ajratilgan. AI ikkita CTA ishlab chiqardi, ma'lumotlar g'olibni tanladi.
2-holat - Erta qaror qabul qilish tuzog'i. Brend testni to'xtatdi, chunki B versiyasi A/B testining dastlabki 3 soatida oldinda edi va B ni butun byudjetga ochdi. Ertasi kuni umumiy ma'lumotlarga qaraganda, A aslida biroz yaxshiroq edi; Birinchi soatlardagi farq tasodif edi. Byudjet behuda ketdi. Xato: namuna hajmi etarli bo'lmagan holda erta qaror qabul qilish.
3-holat - "Farqi yo'q" ham xulosa. Brend ikki xil tasvirni sinovdan o'tkazdi va etarlicha namuna olishdan so'ng ikkalasi ham deyarli bir xil natijani berdi. Jamoa "sinov muvaffaqiyatsiz tugadi" deb nolimoqchi bo'lsa-da, to'g'ri o'qish bu kampaniyada tasvir hal qiluvchi omil emasligi, shuning uchun harakat sarlavha va taklifga yo'naltirilishi kerak edi. Hech qanday sezilarli farq topilmaganligi ham qimmatli ma'lumotdir.
To'rt nusxa ko'chirish shablonlari
1) Gipoteza va test dizayni:
Men nimani sinab ko'rmoqchiman: [masalan. ad title].Vazifa: (1) Tekshirish mumkin boʻlgan gipotezani yozing (“... ortadi ... ortadi” koʻrinishida).(2) Izolyatsiya qilinadigan yagona oʻzgaruvchini va oʻzgarmas boʻladiganlarini sanab oʻting.(3) Gʻolibni aniqlaydigan koʻrsatkichni taklif eting (klik tezligi/konversiya).(4) Men nimaga eʼtibor qaratishim kerakligini yozing, sinov qaroriga erta eʼtibor bering.
2) Variant generatori (bitta variant):
Yopishqoq reklama: rasm [bir xil], CTA [bir xil], maqsad [bir xil]. Oʻzgaruvchi sinovdan oʻtkazildi: HEADLINE. Asosiy xabar: "[xabar]". Vazifa: Xuddi shu xabar bilan 4 xil sarlavha variantini yarating. Ularning har biri boshqa yondashuvdan foydalanadi (savol, foyda, raqam, shoshilinch). Faqat sarlavha o'zgaradi; Tasdiqlanmagan da'voni qo'shish.
3) o'lchov rejasi:
Test: [A va B ta'rifi]. Metrik: [klik/konversiya].Vazifa: Oʻlchov rejasini tuzing:(1) qaysi koʻrsatkich asosiy, qaysi biri ikkinchi darajali,(2) gʻolibni eʼlon qilish uchun qancha maʼlumot/vaqt kerak (mantiqni tushuntiring),(3) trafikni A va B oʻrtasida qanday qilib teng va adolatli boʻlish kerak,(4) qanday tashqi omillar natijani buzishi mumkin (fasl belgilaridan foydalanish, agar I kunni hisoblash uchun). aniq statistika.
4) Natija tarjimoni (ehtiyot bo'ling):
Mening A/B test natijalarim (haqiqiy ma'lumotlar): [A: taassurotlar/kliklar/konversiya], [B: taassurotlar/kliklar/konversiya]. Vazifa: (1) Har bir versiyaning stavkalarini hisoblang va ko'rsating.(2) Farqning kattaligiga izoh bering, lekin namuna yetarli bo'lmasa, "yetarli emas" deb ayting. muddatidan oldin/noto'g'ri o'qish. Muhimligi haqida aniq da'vo qilmang; Men alohida hisob vositasi bilan tasdiqlayman.
Zaif taklif / Kuchli taklif
Zaif taklif:
E'lonim uchun A va B versiyalarini yarating, qaysi biri yaxshiroq ekanligini ayting.
O'zgaruvchi izolyatsiyalanmagan, gipoteza va o'lchov yo'q; AI ma'lumotlarsiz qaysi biri "yaxshi" ekanligini aniqlay olmaydi, u uni yaratadi.
Kuchli so'rov:
Men A/B testini sozlayapman. Tuzatildi: rasm va CTA bir xil boʻlib qoladi. Faqat oʻzgaruvchi sinovdan oʻtkazildi: reklama sarlavhasi. Gipoteza: “Raqamli sarlavha umumiy sarlavhaga qaraganda koʻproq bosiladi.”Asosiy xabar: “3 kun ichida yetkazildi.”Vazifa: (1) Nazorat uchun 1 ta umumiy sarlavha, raqamlar bilan 3 ta sarlavha yarating. testni bekor qilishi mumkin bo'lgan 3 ta xatodan. Qaysi biri g'alaba qozonishini oldindan aytmang; Ma'lumotlar buni aniqlaydi.
Ikkinchi da'vo bitta o'zgaruvchini ajratib turadi, gipoteza va o'lchovni o'z ichiga oladi; g'olibni ma'lumotlarga qoldiradi.
Umumiy xatolar
- Bir vaqtning o'zida ko'p narsalarni o'zgartirish. G'olibning sababi noma'lum bo'lib qoladi; Bitta o'zgaruvchi izolyatsiya qilinishi kerak.
- Yetarlicha namunalar bilan qaror qabul qilish. Birinchi soatlardagi farq ko'pincha tasodifiydir.
- Gipotezasiz sinov. “Keling, nima bo'lishini ko'ramiz” testi o'rganishga olib kelmaydi; Avval nimani kutayotganingizni yozing.
- "Farqi yo'q" natijasini muvaffaqiyatsizlik deb xato qilish. Muhim farqning yo'qligi ham informatsiondir.
- G'olibni didga qarab tanlash. Sinov shaxsiy ta'mni istisno qilish uchun aniq; Ma'lumotlarni kuzatib boring.
- Tashqi omillarni unutish. Mavsum, kampaniya kuni, yangiliklar oqimi natijani buzishi mumkin; Sinov shartlarini adolatli saqlang.
Diqqat: A/B testining maqsadi "g'alaba qozonish" emas, balki o'rganishdir. Hatto variantni yo'qotish ham qimmatli ma'lumotdir; Haqiqiy yo'qotish noto'g'ri natijaga tayanib, ma'lumotlarning etarli emasligi va unga byudjetni bog'lashdir.
qisqa bayoni; yakunida
A/B testi reklama qarorlarini g'oyadan ma'lumotlarga o'tkazadigan kuchli usuldir. Oltin qoida bitta o'zgaruvchini ajratishdir: testda faqat bitta element o'zgarishi kerak, qolganlari doimiy bo'lib qolishi kerak. Ikkinchi ustun - adekvat namuna olish va statistik ahamiyatga ega; Kichik ma'lumotlar bilan g'olibni e'lon qilish eng qimmat xatodir. AI bir nechta variantlarni yaratishda, koeffitsientlarni hisoblash va talqin qilishda yordam beradi, ammo ma'lumotlar AI emas, balki g'olibni aniqlaydi. Hatto "farq yo'q" natijasi ham o'rganishdir. Gipoteza, metrik va qaror chegarasi test boshlanishidan oldin yozilishi kerak.
Ilova vazifasi
Ijodkorlikni tanlang (sarlavha, rasm yoki CTA). (1) "Gipoteza va test dizayni" bilan bitta tekshiriladigan gipotezani va izolyatsiya qilingan o'zgaruvchini yozing. (2) "Variant generatori" bilan 1 ta boshqaruv + 3 variantni yarating; Faqat bu elementni o'zgartiring. (3) Qaysi ko'rsatkichni, qancha vaqt va qanday ma'lumotlar bilan, "o'lchov rejasi" bilan ko'rib chiqishni rejalashtiring. (4) G'olibni e'lon qilish uchun o'z chegarangizni oldindan yozing (qancha konvertatsiya / qanday ahamiyatga ega). (5) "Natija tarjimoni" bilan faraziy natijalarni ko'rib chiqing va ma'lumotlar etarli bo'lmagan stsenariyda nima uchun qaror qabul qilmasligingizga e'tibor bering.
nazorat ro'yxati
- [ ] Men testda faqat bitta o'zgaruvchini ajratib oldim.
- [ ] Men sinovdan oldin aniq faraz yozdim.
- [ ] Men g'olib uchun talab qilinadigan namuna va vaqtni allaqachon aniqladim.
- [ ] Men g‘olibni shaxsiy didga emas, ma’lumotlarga qarab tanladim.
- [ ] Men "farq yo'q" natijasini haqiqiy o'rganish deb hisobladim.
- [ ] Natijani buzishi mumkin bo'lgan tashqi omillarni tekshirdim.