Qazanclar:
- A/B testi, nəzarət/variant, konversiya dərəcəsi və statistik əhəmiyyət anlayışlarını başa düşmək və süni intellektlə fərziyyələr və test dizaynları qurmaq bacarığı.
- Sınaq ediləcək tək dəyişəni təcrid etmək və süni intellekt dəstəyi ilə variant mətn/şəkil və ölçmə planı hazırlamaq bacarığı
- Süni intellektin test şərhinin nümunə ölçüsü və əhəmiyyəti və vaxtından əvvəl/yanlış nəticələri oxumaq riski ilə məhdudlaşdığını ayırd etmək bacarığı
Reklamda ən təhlükəli cümlə “Məncə bu daha yaxşıdır” cümləsidir. Başlığın, şəklin və ya düymənin həqiqətən daha yaxşı olub-olmadığını rəy deyil, məlumatlar sizə bildirir. Bunu ölçməyin ən ümumi yolu A/B testidir: eyni reklamın iki (və ya daha çox) versiyasını real istifadəçilərə göstərmək və hansının daha yaxşı işlədiyini müqayisə etmək. "A" adətən cari versiyadır (nəzarət), "B" isə sınaqdan keçirilən yeni versiyadır (variant). Məsələn, siz yalnız eyni reklamdakı başlığı dəyişdirə və hansı başlığın daha çox tıklandığını ölçə bilərsiniz. Süni intellekt bu prosesdə həm çoxlu sayda variantların yaradılmasında, həm də nəticənin şərhində faydalıdır; Ancaq testin elmi etibarlılığı dizayn qaydalarına və səbrə bağlıdır.
A/B testinin qızıl qaydası: bir dəyişən
A/B testinin ən əsas qaydası tək dəyişəni təcrid etməkdir. Başlığı, şəkli və düyməni eyni vaxtda dəyişsəniz və B versiyası qalib gəlsə, nəyin qalib gəldiyini heç vaxt bilməyəcəksiniz. Beləliklə, testdə yalnız bir element dəyişməli, qalanları sabit qalmalıdır. Birdən çox elementi eyni vaxtda və sistematik şəkildə sınaqdan keçirmək istəyirsinizsə, bu, çoxdəyişənli test adlanır və daha böyük nümunə tələb edir; Univariate A/B testi başlamağın yoludur.
İkinci əsas anlayış statistik əhəmiyyətdir. Tutaq ki, A versiyası 3 faiz, B versiyası isə 3,3 faiz klik aldı. Bu fərq real üstünlükdür, yoxsa təsadüfdür? Testi yalnız 100 nəfərə göstərsəniz, bu fərq təsadüf ola bilər. Statistik əhəmiyyət o deməkdir ki, müşahidə olunan fərqin təsadüf nəticəsində olması ehtimalı kifayət qədər azdır (yəni, fərq yəqin ki, realdır). Bunun üçün kifayət qədər nümunə ölçüsü tələb olunur (testi görən insanların sayı). Az məlumatla “qalib” elan etmək ən çox yayılmış və bahalı səhvdir.
İpucu: Testə başlamazdan əvvəl “qalibi nə vaxt elan edəcəyəm” sualına cavab verin: neçə nəfər/konversiyadan sonra, hansı əhəmiyyət səviyyəsində. Bu qərarı əvvəlcədən vermək ilk saatlarda səs-küyə qapılmanızın və vaxtından əvvəl qərar vermənizin qarşısını alır.
Aşağıdakı cədvəl yaxşı və pis A/B test dizaynını müqayisə edir:
maddə
pis dizayn
yaxşı dizayn
Dəyişənlərin sayı
Başlıq + şəkil + düymə birlikdə
yalnız başlıq
fərziyyə
(heç biri) "görək nə olur"
"Sualları olan başlıqlar klikləri artırır"
nümunə
80 nəfər
Əvvəlcədən hesablanmış kvorum
qərar vermə vaxtı
2 saat sonra
Əhəmiyyətə çatanda
Qalib seçimi
"Məncə B gözəldir"
Məlumatlara və əhəmiyyətə əsaslanır
Addım-addım: A/B testinin qurulması
Addım 1 - Bir fərziyyə yazın. Nəyi sınayırsınız və niyə? "Faydaları olan başlıq xüsusiyyətləri olan başlıqdan daha çox klik alır" kimi aydın bir fərziyyə.
Addım 2 - Tək dəyişən seçin. Yalnız başlıq və ya sadəcə şəkil və ya sadəcə CTA.
Addım 3 - Variantları yaradın. AI ilə eyni elementin müxtəlif versiyalarını yaradın; qalanını sabit saxlayın.
Addım 4 - Ölçmə planını qurun. Qalibi hansı metrik müəyyən edəcək (klik nisbəti, dönüşüm), nə qədər nümunə lazımdır, nə qədər davam edəcək.
Addım 5 - Nəticəni şərh edin və yoxlayın. Kifayət qədər məlumat toplanıb, fərq əhəmiyyətlidirmi? Əhəmiyyətli deyilsə, "fərq yoxdur" da etibarlı nəticədir.
üç mini qutu
1-ci hal – Tək dəyişənin aydınlığı. Bir e-ticarət brendi məhsul reklamında sadəcə CTA-nı sınaqdan keçirdi: “Al” və “Səbətə əlavə et”. Qalan hər şey eyni idi. Kifayət qədər nümunə götürdükdən sonra "Səbətə əlavə et" əhəmiyyətli dərəcədə daha yüksək dönüşümlər gətirdi. Fərq aydın şəkildə şərh edilə bilər, çünki tək dəyişən təcrid edilmişdir. AI iki CTA istehsal etdi, məlumatlar qalibi seçdi.
Case 2 - Erkən qərar tələsi. A/B testinin ilk 3 saatında B versiyası qabaqda olduğu üçün brend testi dayandırdı və B-ni bütün büdcəyə açdı. Növbəti gün ümumi məlumatlara baxsaq, A əslində bir qədər yaxşı idi; İlk saatlardakı fərq təsadüfi idi. Büdcə boşa getdi. Səhv: qeyri-kafi nümunə ölçüsü ilə vaxtından əvvəl qərar vermək.
3-cü hal – “Fərq yoxdur” da nəticədir. Brend iki fərqli təsviri sınaqdan keçirdi və kifayət qədər nümunə götürdükdən sonra hər ikisi demək olar ki, eyni nəticə verdi. Komanda "sınaq uğursuz oldu" deyə kədərlənməyə hazırlaşarkən, düzgün oxunuş, bu kampaniyada təsvirin həlledici amil olmaması idi, buna görə də səylər başlığa və təklifə yönəldilməlidir. Heç bir ciddi fərqin tapılmaması da dəyərli məlumatdır.
Dörd kopyalana bilən şablon
1) Hipotez və test dizaynı:
Test etmək istədiyim şey: [məs. ad başlığı].Tapşırıq: (1) Tək sınaqdan keçirilə bilən fərziyyə yazın ("... artır ... artır" şəklində).(2) Təcrid ediləcək tək dəyişəni və sabit qalacaqlarını sadalayın.(3) Qalibi müəyyən edəcək metrikanı təklif edin (klik nisbəti/konversiya).(4) Etibarlı olmaq üçün nəyə diqqət yetirməliyəm, riskə erkən diqqət yetirməliyəm.
2) Variant generatoru (tək variant):
Yapışqan reklam: şəkil [eyni], CTA [eyni], hədəf [eyni]. Dəyişən test edildi: HEADLINE. Əsas mesaj: "[mesaj]". Tapşırıq: Eyni mesajla 4 fərqli başlıq variantı yaradın. Hər biri fərqli yanaşmadan istifadə edir (sual, fayda, nömrə, aktuallıq). Yalnız başlıq dəyişir; Əsassız iddianın əlavə edilməsi.
3) Ölçmə planı:
Test: [A və B tərifi]. Metrik: [klik/çevirmə].Tapşırıq: Ölçmə planını tərtib edin:(1) hansı metrik əsasdır, hansı ikinci dərəcəlidir,(2) qalibi elan etmək üçün nə qədər məlumat/vaxt lazımdır (məntiqi izah edin),(3) trafiki A və B arasında bərabər və ədalətli şəkildə necə bölmək olar,(4) hansı xarici amillərin nəticəsini təhrif edə bilər (mövsüm, alətlərdən istifadə edəcəklərsə) dəqiq statistika.
4) Nəticə tərcüməçisi (diqqətli):
A/B test nəticələrim (real məlumat): [A: təəssüratlar/kliklər/dönüşüm], [B: təəssüratlar/kliklər/dönüşüm]. Tapşırıq: (1) Hər versiyanın dərəcələrini hesablayın və göstərin.(2) Fərqin miqyasını şərh edin, lakin nümunə kifayət deyilsə, "qeyri-kafi deyil" deyin (mənalı riskli nəticə3) vaxtından əvvəl/yanlış oxuma. Əhəmiyyətə dair qəti iddiada olma; Ayrı bir hesab aləti ilə təsdiq edəcəyəm.
Zəif məlumat / Güclü göstəriş
Zəif çağırış:
Reklamım üçün A və B versiyasını hazırlayın, hansının daha yaxşı olduğunu söyləyin.
Dəyişən təcrid olunmur, fərziyyə və ölçü yoxdur; Süni intellekt verilənlər olmadan hansının "yaxşı" olduğunu bilə bilməz, onu düzəldir.
Güclü göstəriş:
A/B testini qururam. Düzəltildi: şəkil və CTA eyni qalacaq.Yalnız dəyişən sınaqdan keçirilib: reklam başlığı.Fərziyyə: "Rəqəmli başlıq ümumi başlıqdan daha çox klik alır."Əsas mesaj: "3 gün ərzində çatdırılır."Tapşırıq: (1) Nəzarət üçün 1 ümumi başlıq, nömrələri olan 3 başlıq hazırlayın. testi etibarsız edə biləcək 3 səhvdən məni. Hansının qalib gələcəyini təxmin etməyin; Məlumatlar bunu müəyyən edəcək.
İkinci iddia tək dəyişəni təcrid edir, fərziyyə və ölçməni əhatə edir; qalibi məlumatlara buraxır.
Ümumi səhvlər
- Birdən çox elementin dəyişdirilməsi. Qalibin səbəbi bəlli olur; Tək dəyişən təcrid olunmalıdır.
- Qeyri-kafi nümunələrlə qərarlar qəbul etmək. İlk saatlardakı fərq çox vaxt təsadüfi olur.
- Hipotezsiz sınaq. “Gəlin görək nə baş verir” testi öyrənməni təmin etmir; Əvvəlcə nə gözlədiyinizi yazın.
- “Fərq yoxdur” nəticəsini uğursuzluq kimi qəbul etmək. Əhəmiyyətli bir fərqin olmaması da məlumatlandırıcıdır.
- Zövqə görə qalibin seçilməsi. Test şəxsi zövqü istisna etmək üçün dəqiqdir; Məlumatları izləyin.
- Xarici amilləri unutmaq. Mövsüm, kampaniya günü, xəbər axını nəticəni təhrif edə bilər; Test şərtlərini ədalətli saxlayın.
Diqqət: A/B testinin məqsədi "qazanmaq" deyil, öyrənməkdir. Hətta bir variantın itirilməsi də qiymətli məlumatdır; Əsl itki qeyri-kafi məlumatlarla yanlış nəticəyə güvənmək və büdcəni ona bağlamaqdır.
Xülasə
A/B testi reklam qərarlarını ideyadan məlumatlara köçürən güclü bir üsuldur. Qızıl qayda tək dəyişəni təcrid etməkdir: testdə yalnız bir element dəyişməlidir, qalanları sabit qalmalıdır. İkinci sütun adekvat seçmə və statistik əhəmiyyətə malikdir; Az məlumatla qalib elan etmək ən bahalı səhvdir. Süni intellekt çoxsaylı variantların yaradılmasında və əmsalların hesablanmasında və şərhində faydalıdır, lakin məlumatlar AI-ni deyil, qalibi müəyyən edir. Hətta "fərq yoxdur" nəticəsi öyrənmədir. Test başlamazdan əvvəl hipotez, metrik və qərar həddi yazılmalıdır.
Tətbiq tapşırığı
Yaradıcı (başlıq, şəkil və ya CTA) seçin. (1) "Fərziyyə və test dizaynı" ilə tək sınaqdan keçirilə bilən fərziyyə və təcrid olunmuş dəyişən yazın. (2) "Variant generatoru" ilə 1 nəzarət + 3 variant yaradın; Sadəcə bu elementi dəyişdirin. (3) “Ölçmə planı” ilə hansı metrikaya, nə qədər müddətə və hansı məlumatlarla baxacağınızı planlaşdırın. (4) Qalibi elan etmək üçün həddi əvvəlcədən yazın (nə qədər çevrilmə / hansı əhəmiyyət kəsb edir). (5) “Nəticə tərcüməçisi” ilə hipotetik nəticələri nəzərdən keçirin və məlumatların kifayət etmədiyi bir ssenaridə niyə qərar qəbul etmədiyinizi qeyd edin.
yoxlama siyahısı
- [ ] Testdə yalnız bir dəyişəni təcrid etdim.
- [ ] Testdən əvvəl aydın bir fərziyyə yazdım.
- [ ] Qalib üçün tələb olunan nümunə və vaxtı artıq müəyyən etmişəm.
- [ ] Qalibi şəxsi zövqə deyil, məlumatlara əsaslanaraq seçdim.
- [ ] Mən "fərq yoxdur" nəticəsini etibarlı öyrənmə hesab etdim.
- [ ] Nəticəni təhrif edə biləcək xarici amilləri yoxladım.