Qazanclar:
- A/B testi üçün tək dəyişənləri təcrid edən sistemli mətn variantları yaratmaq bacarığı
- Bir fərziyyəni ölçülə bilən eksperimental quruluşa çevirmək bacarığı
- Test nəticələrini statistik əhəmiyyət və öyrənmə baxımından şərh etmək bacarığı
Marketinqdə intuisiya dəyərlidir, lakin sübut daha qiymətlidir. Hansı başlıq daha çox klik alır, hansı CTA daha çox satır, hansı şəkil daha çox diqqət çəkir? Təxmin etmək əvəzinə, bunu A/B testi ilə ölçə bilərsiniz. A/B testi eyni məzmunun iki versiyasını (A və B) real auditoriyaya göstərən və hansının daha yaxşı performans göstərdiyini ölçən eksperimental üsuldur. Süni intellekt tez bir zamanda bu testlər üçün girişi, yəni variantları istehsal edir; Lakin test işinin aparılması elmi bir qayda tələb edir: hər dəfə bir dəyişən. Bu bölmədə siz variantlar yaratmağı, fərziyyəni ölçülə bilən təcrübəyə çevirməyi və nəticələri statistik əhəmiyyət baxımından şərh etməyi öyrənəcəksiniz.
Qızıl qayda: bir dəyişəni təcrid edin
Testin nəticəsini şərh etmək üçün A və B arasında yalnız bir şey fərqli olmalıdır. Başlığı, şəkli və CTA-nı eyni vaxtda dəyişsəniz, B qalib gələndə hansının fərq etdiyini heç vaxt bilməyəcəksiniz. Test ediləcək dəyişəni təcrid etmək öyrənməyi mümkün edən yeganə şeydir.
Test edilə bilən tipik dəyişənlər:
- Başlıq: Eyni şəkil və bədən, fərqli başlıq.
- CTA mətni: "Al" və ya "Səbətə əlavə et"?
- Mövzu xətti: E-poçtun açıq sürətinə təsir edir.
- Şəkil: Eyni mətn, fərqli şəkil.
- Uzunluq/ton: Qısa və uzun, rəsmi və s. səmimi.
Hipotezdən təcrübəyə: addım-addım
- Müşahidə aparın. "Açılış səhifəmizdə aşağı çevrilmə var."
- Hipoteza. "Faydalara yönəlmiş başlıq, xüsusiyyət yönümlü başlıqdan daha çox çevrilir."
- Dəyişənləri təcrid edin. Yalnız başlıq dəyişəcək.
- Variantları yaradın. Model ilə 2 aydın variant (A: xüsusiyyət, B: fayda).
- Uğur ölçüsünü müəyyənləşdirin. Məsələn, dönüşüm nisbəti - istədiyiniz hərəkəti edən ziyarətçilərin faizi.
- Nümunəni və müddəti təyin edin. Kifayət qədər insan və kifayət qədər vaxt.
- Ölç, müqayisə et, öyrən. Qalibi deyil, "niyə"ni öyrənin.
“Fərziyyə” burada yoxlanılacaq və doğru və ya yalan çıxa bilən proqnozdur; Yaxşı bir fərziyyə sizə nə gözlədiyinizi və niyə olduğunu söyləyir.
Zəif məlumat / Güclü göstəriş
Zəif çağırış:
Bu başlıq üçün bəzi alternativlər yazın.
Güclü göstəriş:
A/B testi üçün variantlar yaradın. Qayda: YALNIZ başlıq dəyişəcək, əsas və CTA eyni qalacaq. HİPOTEZ: Faydalara yönəlmiş başlıq xüsusiyyət yönümlü başlıqdan daha çox klik alır. MƏNZƏT: Açılış səhifəsi. Məhsul: layihə idarəetmə tətbiqi. Auditoriya: kiçik komandalar. TƏLƏB EDİLİR:- Variant A: xüsusiyyət yönümlü başlıq (məhsulun nə etdiyini təsvir edir)- Variant B: fayda yönümlü başlıq (istifadəçiyə nə təqdim etdiyini təsvir edir) Hər variantın altında onun hansı psixoloji motivasiyaya toxunduğunu yazın. Yalnız 2 variant; Hər ikisi eyni uzunluqda tək xətt olmalıdır.
Variantların eyni uzunluqda olmasını istəmək vacibdir; əks halda "uzunluq" istəmədən ikinci dəyişənə çevrilir.
Testdən əvvəl/sonra diaqramı
Mərhələ
Nə etməli
tez-tez səhv
fərziyyə
Nə, niyə gözləyirəm?
Fərziyyəsiz "Gəlin cəhd edək"
Dəyişən
Bir şeyi təcrid edin
Birdən çox şeyi dəyişdirmək
meyar
Bir aydın metrik seçin
Qeyri-müəyyən "daha yaxşı"
nümunə
Kifayət qədər insan/zaman
erkən qərar verin
Şərh
Səbəbini öyrənin
Sadəcə qalibi götür
üç mini qutu
Case 1 — CTA testi aydın nəticələr verir. Bir e-ticarət saytı məhsul düyməsini sınaqdan keçirdi: A "Al", B "Səbətə əlavə et". Yalnız düymənin mətni dəyişdi. 3000 ziyarətçinin iştirak etdiyi testdə B klik nisbətini 4,0%-dən 4,9%-ə yüksəltdi. Tək dəyişən təcrid olunduqda, qalib aydın oldu: “səbətə əlavə et” daha az məcburi hiss etdi.
2-ci hal – Çoxdəyişənli xəta. Komanda iki açılış səhifəsi hazırladı, lakin başlıq, şəkil və rəng fərqli idi. B qalib gəldi, lakin komanda fərqi hansı elementin yaratdığını bilmədi; öyrənmə sıfır oldu. Növbəti testdə onlar qaydaya əməl etdilər: hər dəfə bir dəyişən. Həmin sınaqda başlığın əsas amil olduğunu açıq şəkildə gördülər.
3-cü vəziyyət - Erkən qərar tələsi. Bir xəbər bülleteni komandası 200 nəfərlik qrupda iki mövzu xəttini sınaqdan keçirdi və ilk saatda "A qazandı" dedi. Nümunə çox kiçik idi; fərq statistik olaraq əhəmiyyətsiz idi (yəni təsadüf nəticəsində ola bilərdi). Test kifayət qədər nümunə götürməyə və vaxta qədər artırıldıqda, nəticə dəyişdirildi. Dərs: kifayət qədər məlumat olmadan qərarlar qəbul etməyin.
Diqqət: Kiçik bir nümunədə görünən fərq (az sayda insan) yanıltıcı ola bilər. Statistik əhəmiyyət, fərqin təsadüf nəticəsində deyil, real olması ehtimalına aiddir. Nəticələrə keçməzdən əvvəl kifayət qədər insanın əldə olunduğuna və sınaqların kifayət qədər uzun müddət davam etdiyinə əmin olun.
Kopyalana bilən şablonlar
Şablon 1 — İzolyasiya edilmiş variant generatoru:
A/B testi üçün variantlar yaradın. Test etmək üçün YALNIZ dəyişən: [başlıq/CTA/şəkil]. Qalan hər şey sabit qalacaq. Hipotez: [...]. Kontekst: [...]. Variant A: [cari yanaşma]. Variant B: [alternativ yanaşma]. İki variant eyni uzunluqda olsun; başqa heç nəyi dəyişmə.
Şablon 2 — Hipotezi aydınlaşdıran:
Aşağıdakı müşahidədən yoxlanıla bilən fərziyyə qurun: "[müşahidə]". Fərziyyəni “[dəyişiklik] etsək, [metrik] artır, çünki [niyə]” formatında yazın. Sonra hansı tək dəyişəni təcrid etməliyəm deyin.
Şablon 3 — Mövzu xətti test dəsti:
Aşağıdakı e-poçt üçün A/B testinə 2 mövzu xətti yaradın. Tək oxda fərq: [maraq vs aydınlıq / yığcamlıq və s. uzun/sual və s. ifadəsi]. Hər ikisi spam sözünü ehtiva etməməli və eyni uzunluqda olmalıdır. E-poçt xülasəsi: [...]
Şablon 4 — Nəticələrin şərhi:
A/B testinin nəticəsini şərh edin.Dəyişən: [...]. Variant A metrik: [...]. Variant B metrik: [...].Nümunə ölçüsü: [...]. Müddət: [...].Mənə deyin: Fərq əhəmiyyətli görünür, yoxsa nümunə kiçikdir? Biz nə öyrəndik? Növbəti test üçün nə tövsiyə edirsiniz? Dəqiq statistika tələb etməyin; Əgər aydın deyilsə, qeyd edin.
İpucu: Testdən "qalib" almaq kifayət deyil; Əsl qazanc “niyə qalib gəldiyini” başa düşməkdir. Bu fikir növbəti test üçün fərziyyə ilə qidalanır və zamanla öyrənmə orqanı qurur.
Prioritet: əvvəlcə nəyi sınamaq lazımdır?
Test edə biləcəyiniz sonsuz elementlər var, lakin vaxtınız və trafikiniz məhduddur. Beləliklə, təsir potensialına əsaslanaraq sınaqlara üstünlük verin. Ümumi qayda: istifadəçinin ilk gördüyü və qərara ən çox təsir edən elementlər əvvəlcə sınaqdan keçirilir. Açılış səhifəsində başlıq kliklərə ən çox təsir edir; çünki istifadəçi əvvəlcə onu oxuyur və orada davam edib-etməmək qərarına gəlir. Düymə rəngi kimi təfərrüatlar çox vaxt daha kiçik təsir göstərir; onları sona buraxın.
Prioritetləşdirməyin praktiki yolu hər bir sınaq ideyasını üç ox üzrə qiymətləndirməkdir: gözlənilən təsir (qalib gəlsə, nə qədər fərq olacaq?), inam (qalib olacağına nə qədər əminik?) və asanlıq (nə qədər sürətli qurulur?). Yüksək təsirli, yüksək inamlı və az səy göstərən testlər birinci yerə qoyulur. Bu, ən çox öyrənmə gətirən təcrübələrə məhdud trafik ayırmağa imkan verir. Süni intellekt sizə bu üç ox boyunca ideyalar siyahısının qiymətləndirilməsi və prioritetləşdirilməsi üçün sürətli plan təqdim edə bilər; Siz qərar verin.
Şablon 5 - Test prioritetləri:
Aşağıdakı A/B test ideyalarına üstünlük verin. Hər birini təsir oxları (1-5), etibarlılıq (1-5) və quraşdırma asanlığı (1-5) üzrə qiymətləndirin, onları ümumi bala görə sıralayın və niyə bu sırada olduqlarını bir cümlə ilə izah edin. TEST İDEALLARI: [siyahı]
Ümumi səhvlər
- Beləliklə, eyni zamanda dəyişən. Nəticə anlaşılmaz olur.
- Hipotezsiz sınaq. “Gəlin bunu sınayaq və görək” öyrənmə gətirmir.
- Erkən qərar. Kiçik bir nümunədə fərqin təsadüfən real olduğu düşünülür.
- Müxtəlif uzunluqdakı variantlar. İkinci dəyişən istəmədən yaradılır.
- Sadəcə qalibi götür. Səbəb öyrənilməsə, məlumat yığılmayacaq.
Xülasə
- A/B testinin qızıl qaydası: hər dəfə bir dəyişən.
- Hər bir test bir fərziyyə ilə başlamalıdır: mən nə gözləyirəm və niyə?
- Müvəffəqiyyətin vahid dəqiq ölçüsünü və adekvat nümunəni müəyyənləşdirin.
- Kiçik nümunədəki fərq yanıltıcıdır; Statistik əhəmiyyətə diqqət yetirin.
- Qalibi yox, səbəbini öyrənin; Bu fikir növbəti sınaq üçün qidalanır.
Tətbiq tapşırığı
Məzmunlarınızdan biri haqqında müşahidə seçin. Şablon 2 ilə bunu aydın bir fərziyyəyə çevirin və təcrid olunacaq dəyişəni müəyyənləşdirin. Şablon 1 ilə iki variant hazırlayın (oxşar uzunluq, yalnız fərq). Nəhayət, hipotetik nəticə nömrələrini uyğunlaşdırın, onları Şablon 4-dən istifadə edərək şərh edin və modelin nümunənin adekvatlığı haqqında dediklərini qeyd edin. Müddət: təxminən 25 dəqiqə.
yoxlama siyahısı
- [ ] Testə aydın bir fərziyyə ilə başladım.
- [ ] Mən yalnız bir dəyişəni təcrid etdim.
- [ ] Variantlar digər oxlarda oxşar qaldı (uzunluq və s.).
- [ ] Mən bir aydın uğur göstəricisi müəyyən etmişəm.
- [ ] Mən kifayət qədər nümunə/vaxt olmadan qərar vermədim.
- [ ] Növbəti test üçün qalibin səbəbini qeyd etdim.