Daromadlar:
- A/B testi uchun bitta o'zgaruvchini ajratib turuvchi tizimli matn variantlarini yaratish qobiliyati
- Gipotezani o'lchanadigan eksperimental qurilmaga aylantirish qobiliyati
- Test natijalarini statistik ahamiyat va o'rganish nuqtai nazaridan sharhlash qobiliyati
Marketingda sezgi qimmatli, ammo dalillar qimmatroq. Qaysi sarlavha ko'proq bosiladi, qaysi CTA ko'proq sotiladi, qaysi rasm ko'proq e'tiborni tortadi? Taxmin qilish o'rniga, buni A/B testi bilan o'lchashingiz mumkin. A/B testi haqiqiy auditoriyaga bir xil tarkibning ikkita versiyasini (A va B) ko'rsatadigan va qaysi biri yaxshiroq ishlashini o'lchaydigan eksperimental usuldir. Sun'iy intellekt tezda ushbu testlar uchun ma'lumotlarni, ya'ni variantlarni ishlab chiqaradi; Ammo test ishini bajarish ilmiy qoidani talab qiladi: bir vaqtning o'zida bitta o'zgaruvchi. Ushbu bo'limda siz variantlarni yaratishni, gipotezani o'lchash mumkin bo'lgan tajribaga aylantirishni va natijalarni statistik ahamiyatga ega bo'lgan holda sharhlashni o'rganasiz.
Oltin qoida: bitta o'zgaruvchini ajratib oling
Sinov natijasini sharhlash uchun A va B o'rtasida faqat bitta narsa farq qilishi kerak. Agar siz bir vaqtning o'zida sarlavha, rasm va CTA ni o'zgartirsangiz, B g'alaba qozonganda qaysi biri farq qilganini hech qachon bilib olmaysiz. Sinov qilinadigan o'zgaruvchini izolyatsiya qilish o'rganishni mumkin bo'lgan yagona narsadir.
Tekshirish mumkin bo'lgan odatiy o'zgaruvchilar:
- Sarlavha: Bir xil tasvir va tana, boshqa nom.
- CTA matni: "Sotib olish" yoki "Savatga qo'shish"?
- Mavzu qatori: E-pochtaning ochiq tezligiga ta'sir qiladi.
- Rasm: bir xil matn, boshqa rasm.
- Uzunlik/ohang: Qisqa va uzoq, rasmiy va boshqalar samimiy.
Gipotezadan tajribaga: bosqichma-bosqich
- Kuzatish qiling. "Bizning ochilish sahifamiz past konvertatsiyaga ega."
- Gipoteza. "Foydalarga yo'naltirilgan sarlavha xususiyatga yo'naltirilgan sarlavhadan ko'ra ko'proq narsani o'zgartiradi."
- O'zgaruvchini ajratib oling. Faqat sarlavha o'zgaradi.
- Variantlar yarating. Model bilan 2 ta aniq variant (A: xususiyat, B: foyda).
- Muvaffaqiyat mezoningizni aniqlang. Misol uchun, konvertatsiya darajasi - kerakli harakatni amalga oshiradigan tashrif buyuruvchilarning ulushi.
- Namuna va davomiyligini aniqlang. Etarli odamlar va etarli vaqt.
- O'lchang, taqqoslang, o'rganing. G'olibni emas, "nima uchun" ni bilib oling.
"Gipoteza" bu erda sinovdan o'tkaziladigan va haqiqat yoki noto'g'ri bo'lishi mumkin bo'lgan bashoratdir; Yaxshi gipoteza sizga nimani va nima uchun kutayotganingizni aytadi.
Zaif taklif / Kuchli taklif
Zaif taklif:
Ushbu sarlavha uchun bir nechta alternativalarni yozing.
Kuchli so'rov:
A/B testi uchun variantlarni yarating. Qoida: FAQAT sarlavha oʻzgaradi, asosiy matn va CTA oʻzgarishsiz qoladi. GİPOTEZA: Foydaga yoʻnaltirilgan sarlavha xususiyatga yoʻnaltirilgan sarlavhadan koʻra koʻproq bosiladi. MONTAZ: Ochilish sahifasi. Mahsulot: loyihani boshqarish dasturi. Tomoshabinlar: kichik jamoalar. TALAB QILINAN:- A varianti: xususiyatga yo'naltirilgan sarlavha (mahsulot nima qilishini tavsiflaydi)- B varianti: foydaga yo'naltirilgan sarlavha (foydalanuvchiga nimani taqdim etishini tavsiflaydi) Har bir variant ostida u qanday psixologik motivatsiyaga tegishini yozing.Faqat 2 variant; Ikkalasi ham bir xil uzunlikdagi bitta chiziq bo'lishi kerak.
Variantlar bir xil uzunlikda bo'lishini xohlash muhimdir; aks holda "uzunlik" beixtiyor ikkinchi o'zgaruvchiga aylanadi.
Sinovdan oldin/keyin diagrammasi
Bosqich
Nima qilish kerak
tez-tez xato
gipoteza
Nima, nega kutyapman?
Gipotezasiz "Keling, harakat qilaylik"
Oʻzgaruvchan
Bir narsani ajratib oling
Bir vaqtning o'zida ko'p narsalarni o'zgartirish
mezon
Bitta aniq ko'rsatkichni tanlang
Cheksiz "yaxshiroq"
namuna
Etarli odamlar/vaqt
erta qaror qabul qiling
Izoh
Sababini bilib oling
Faqat g'olibni oling
uchta mini holat
1-holati - CTA testi aniq natijalar beradi. Elektron tijorat sayti mahsulot tugmachasini sinab ko'rdi: A "Sotib olish", B "Savatga qo'shish". Faqat tugma matni o'zgartirildi. 3000 ta tashrif buyuruvchi ishtirokida o'tkazilgan testda B o'zining kliklanish tezligini 4,0% dan 4,9% gacha oshirdi. Yagona o‘zgaruvchi ajratilganda, g‘olib aniq bo‘ldi: “savatga qo‘shish” kamroq bog‘langandek tuyuldi.
2-holat - Ko'p o'zgaruvchan xato. Jamoa ikkita ochilish sahifasini loyihalashtirdi, ammo sarlavha, rasm va rang boshqacha edi. B g'alaba qozondi, ammo jamoa qaysi element farq qilganini bilmadi; o'rganish nolga aylandi. Keyingi testda ular qoidaga amal qilishdi: bir vaqtning o'zida bitta o'zgaruvchi. O'sha testda ular unvon asosiy omil ekanligini aniq ko'rdilar.
3-holat - Erta qaror qabul qilish tuzog'i. Axborot byulletenlari guruhi 200 kishidan iborat guruhda ikkita mavzu qatorini sinab ko'rdi va birinchi soatda "A" oldi. Namuna juda kichik edi; farq statistik jihatdan ahamiyatsiz edi (ya'ni, tasodif tufayli bo'lishi mumkin). Sinov etarli namuna olish va vaqtga oshirilganda, natija teskari bo'ldi. Dars: etarli ma'lumotsiz qaror qabul qilmang.
Diqqat: Kichik namunadagi farq (odamlar soni) noto'g'ri bo'lishi mumkin. Statistik ahamiyatga ega bo'lgan farq tasodif tufayli emas, balki haqiqiy bo'lish ehtimolini anglatadi. Xulosa chiqarishdan oldin yetarlicha odamlar borligiga ishonch hosil qiling va sinov uzoq davom etadi.
Nusxalanadigan shablonlar
Shablon 1 - Izolyatsiya qilingan variant generatori:
A/B testi uchun variantlarni yarating. Tekshirish uchun FAQAT oʻzgaruvchi: [sarlavha/CTA/rasm]. Qolgan hamma narsa doimiy bo'lib qoladi. Gipoteza: [...]. Kontekst: [...]. Variant A: [hozirgi yondashuv]. Variant B: [muqobil yondashuv]. Ikkala variant ham bir xil uzunlikda bo'lsin; boshqa hech narsani o'zgartirmang.
Shablon 2 - Gipotezani aniqlovchi:
Quyidagi kuzatishdan tekshiriladigan gipotezani tuzing: “[kuzatish]”. Gipotezani "agar [o'zgartirish] qilsak, [metrik] ortadi, chunki [nima uchun]" formatida yozing. Keyin menga qaysi bitta o'zgaruvchini ajratishim kerakligini ayting.
Shablon 3 - Mavzu qatori test to'plami:
Quyidagi elektron pochta uchun A/B testi uchun 2 ta mavzu qatorini yarating. Yagona o'qdagi farq: [qiziqish va ravshanlik / ixchamlik va hokazo. uzun/savol va hokazo ifoda]. Ikkalasi ham spam so'zini o'z ichiga olmaydi va bir xil uzunlikda bo'lishi kerak. Elektron pochta xulosasi: [...]
Shablon 4 - Natijalarni sharhlash:
A/B testi natijasini sharhlang.Oʻzgaruvchi: [...]. Variant A ko'rsatkichi: [...]. Variant B ko'rsatkichi: [...].Namuna hajmi: [...]. Davomiyligi: [...]. Ayting-chi: Farq sezilarli ko'rinadimi yoki namuna kichikmi? Biz nimani o'rgandik? Keyingi test uchun nimani tavsiya qilasiz? Aniq statistik ma'lumotlarni da'vo qilmang; Agar tushunarsiz bo'lsa, belgilang.
Maslahat: Testdan “g‘olib”ni olishning o‘zi yetarli emas; Haqiqiy yutuq "nima uchun g'alaba qozondi" degan tushunchadir. Ushbu tushuncha keyingi test uchun gipotezani o'z ichiga oladi va vaqt o'tishi bilan o'rganish majmuasini yaratadi.
Ustuvorlik: birinchi navbatda nimani sinab ko'rish kerak?
Siz sinab ko'rishingiz mumkin bo'lgan cheksiz narsalar mavjud, ammo vaqtingiz va trafikingiz cheklangan. Shunday qilib, ta'sir qilish potentsialiga asoslangan testlarga ustunlik bering. Umumiy qoida: foydalanuvchi birinchi bo'lib ko'rgan va qarorga eng ko'p ta'sir qiladigan elementlar birinchi navbatda sinovdan o'tkaziladi. Ochilish sahifasida sarlavha sekin urishlarga eng katta ta'sir ko'rsatadi; chunki foydalanuvchi birinchi bo'lib o'qiydi va u erda davom etish yoki davom etmaslik to'g'risida qaror qabul qiladi. Tugma rangi kabi tafsilotlar ko'pincha kichikroq ta'sir qiladi; ularni oxirigacha qoldiring.
Har bir sinov gʻoyasini uchta oʻq boʻyicha baholashning amaliy usuli bu: kutilgan taʼsir (agar u gʻalaba qozonsa, u qanchalik farq qiladi?), ishonch (u gʻalaba qozonishiga qanchalik ishonamiz?) va qulaylik (uni oʻrnatish qanchalik tez?). Yuqori ta'sir, yuqori ishonch va kam harakatga ega testlar birinchi o'rinda turadi. Bu sizga eng ko'p o'rganish olib keladigan tajribalarga cheklangan trafikni ajratish imkonini beradi. AI sizga ushbu uchta eksa bo'yicha g'oyalar ro'yxatini baholash va ustuvorlik qilish uchun tezkor rejani berishi mumkin; Siz qaror qilasiz.
Shablon 5 - Test ustuvorligi:
Quyidagi A/B test g‘oyalariga ustunlik bering. Har birini ta'sir o'qlari (1-5), ishonchliligi (1-5) va o'rnatish qulayligi (1-5) bo'yicha baholang, ularni umumiy ball bo'yicha tartiblang va nima uchun ular shunday tartibda joylashganligini bir jumla bilan tushuntiring. TEST G'oyalari: [ro'yxat]
Umumiy xatolar
- Shunday qilib, bir vaqtning o'zida o'zgaruvchan. Natija tushunarsiz bo'lib qoladi.
- Gipotezasiz sinov. "Keling, sinab ko'ramiz va ko'ramiz" o'rganishga olib kelmaydi.
- Erta qaror. Kichik namunada farq tasodifan haqiqiy deb hisoblanadi.
- Turli uzunlikdagi variantlar. Ikkinchi o'zgaruvchi beixtiyor yaratilgan.
- Faqat g'olibni olish. Agar sabab o'rganilmasa, ma'lumot to'planmaydi.
Xulosa
- A/B testining oltin qoidasi: bir vaqtning o'zida bitta o'zgaruvchi.
- Har bir test gipoteza bilan boshlanishi kerak: men nimani kutmoqdaman va nima uchun?
- Muvaffaqiyatning yagona aniq o'lchovini va adekvat namunani belgilang.
- Kichik namunadagi farq noto'g'ri; Statistik ahamiyatga e'tibor bering.
- G'olibni emas, sababini bilib oling; Ushbu tushuncha keyingi sinovga o'tadi.
Ilova vazifasi
Tarkibingizdan biri haqida kuzatishni tanlang. Shablon 2 yordamida buni aniq gipotezaga aylantiring va ajratib olinadigan o'zgaruvchini aniqlang. Shablon 1 bilan ikkita variantni ishlab chiqaring (shunga o'xshash uzunlik, faqat farq). Nihoyat, gipotetik natijalar raqamlarini moslang, ularni 4-shablon yordamida sharhlang va namunaning mosligi haqida model nima deyilganiga e'tibor bering. Davomiyligi: taxminan 25 daqiqa.
nazorat ro'yxati
- [ ] Men testni aniq faraz bilan boshladim.
- [ ] Men faqat bitta o'zgaruvchini ajratdim.
- [ ] Variantlar boshqa o'qlarda (uzunlik va boshqalar) o'xshashligicha qoldi.
- [ ] Men bitta aniq muvaffaqiyat ko'rsatkichini aniqladim.
- [ ] Men yetarlicha namuna/vaqtsiz qaror qilmadim.
- [ ] Men keyingi test uchun g'olibning sababini qayd etdim.