Keuntungan:
- Keupayaan untuk memahami konsep ujian A/B, kawalan/varian, kadar penukaran dan kepentingan statistik serta mewujudkan hipotesis dan reka bentuk ujian dengan kecerdasan buatan.
- Keupayaan untuk mengasingkan pembolehubah tunggal untuk diuji dan menghasilkan teks/imej varian dan pelan pengukuran dengan sokongan kecerdasan buatan
- Keupayaan untuk membezakan bahawa tafsiran ujian kecerdasan buatan dihadkan oleh saiz sampel dan kepentingan serta risiko membaca keputusan pramatang/salah
Ayat yang paling berbahaya dalam pengiklanan ialah "Saya rasa ini lebih baik." Data, bukan pendapat, memberitahu anda sama ada tajuk, imej atau butang adalah benar-benar lebih baik. Cara paling biasa untuk mengukur ini ialah ujian A/B: menunjukkan dua (atau lebih) versi iklan yang sama kepada pengguna sebenar dan membandingkan yang mana satu berfungsi lebih baik. "A" biasanya versi semasa (kawalan), manakala "B" ialah versi baharu yang sedang dicuba (varian). Sebagai contoh, anda hanya boleh menukar tajuk dalam iklan yang sama dan mengukur tajuk yang lebih banyak diklik. Kecerdasan buatan membantu dalam proses ini dalam menghasilkan sejumlah besar varian dan dalam mentafsirkan hasilnya; Tetapi kesahihan saintifik ujian bergantung pada peraturan reka bentuk dan kesabaran.
Peraturan emas ujian A/B: satu pembolehubah
Peraturan paling asas bagi ujian A/B ialah mengasingkan pembolehubah tunggal. Jika anda menukar tajuk, imej dan butang pada masa yang sama dan versi B menang, anda tidak akan tahu apa yang menang. Jadi dalam ujian hanya satu elemen perlu berubah, selebihnya harus kekal malar. Jika anda ingin menguji lebih daripada satu item secara serentak dan sistematik, ini dipanggil ujian multivariate dan memerlukan sampel yang lebih besar; Ujian A/B univariate ialah cara untuk bermula.
Konsep asas kedua ialah kepentingan statistik. Katakan versi A mendapat 3 peratus klik dan versi B mendapat 3.3 peratus klik. Adakah perbezaan ini kelebihan sebenar atau kebetulan? Jika anda hanya menunjukkan ujian kepada 100 orang, perbezaan ini mungkin berlaku secara kebetulan. Kepentingan statistik bermakna perbezaan yang diperhatikan adalah tidak mungkin disebabkan oleh kebetulan (iaitu, perbezaan itu mungkin nyata). Ini memerlukan saiz sampel yang mencukupi (bilangan orang yang melihat ujian). Mengisytiharkan "pemenang" dengan sedikit data adalah kesilapan yang paling biasa dan mahal.
Petua: Sebelum memulakan ujian, jawab soalan "bila saya akan mengisytiharkan pemenang": berapa ramai orang/pasca penukaran, pada tahap kepentingan apa. Membuat keputusan ini lebih awal menghalang anda daripada terperangkap dalam bunyi bising pada jam pertama dan membuat keputusan awal.
Jadual berikut membandingkan reka bentuk ujian A/B yang baik dan buruk:
item
reka bentuk yang buruk
reka bentuk yang baik
Bilangan pembolehubah
Tajuk + imej + butang bersama-sama
tajuk sahaja
hipotesis
(tiada) "mari kita lihat apa yang berlaku"
"Tajuk dengan soalan meningkatkan klik"
sampel
80 orang
Korum prakiraan
masa membuat keputusan
2 jam kemudian
Apabila anda mencapai kepentingan
Pemilihan pemenang
"Saya rasa B bagus"
Berdasarkan data dan kepentingan
Langkah demi langkah: sediakan ujian A/B
Langkah 1 - Tulis hipotesis. Apa yang anda uji dan mengapa? Hipotesis yang jelas seperti "Tajuk dengan faedah mendapat lebih banyak klik daripada tajuk dengan ciri."
Langkah 2 — Pilih pembolehubah tunggal. Hanya tajuk, atau hanya imej, atau hanya CTA.
Langkah 3 — Hasilkan varian. Buat versi berbeza item yang sama dengan AI; pastikan selebihnya tetap.
Langkah 4 — Sediakan pelan ukuran. Metrik manakah yang akan menentukan pemenang (kadar klikan, penukaran), jumlah sampel yang diperlukan, berapa lama untuk dijalankan.
Langkah 5 — Tafsir dan sahkan keputusan. Adakah data yang mencukupi telah dikumpul, adakah perbezaan itu ketara? Jika ia tidak ketara, "tiada perbezaan" juga merupakan hasil yang sah.
tiga kes mini
Kes 1 — Kejelasan pembolehubah tunggal. Jenama e-dagang hanya menguji CTA dalam iklan produknya: "Beli" dan "Tambahkan ke troli". Semua yang lain adalah sama. Selepas pensampelan yang mencukupi, "Tambahkan pada troli" membawa penukaran yang jauh lebih tinggi. Perbezaan boleh ditafsirkan dengan jelas kerana pembolehubah tunggal diasingkan. AI menghasilkan dua CTA, data memilih pemenang.
Kes 2 — Perangkap keputusan awal. Jenama A menghentikan ujian kerana versi B mendahului dalam 3 jam pertama ujian A/B dan membuka B kepada keseluruhan belanjawan. Melihat kepada jumlah data pada hari berikutnya, A sebenarnya lebih baik sedikit; Perbezaan pada jam pertama adalah kebetulan. Bajet dibazirkan. Kesilapan: membuat keputusan pramatang dengan saiz sampel yang tidak mencukupi.
Kes 3 — “Tiada perbezaan” juga merupakan kesimpulannya. Sebuah jenama menguji dua imej berbeza, dan selepas pensampelan yang mencukupi, kedua-duanya menghasilkan hasil yang hampir sama. Walaupun pasukan itu akan merungut bahawa "ujian gagal", bacaan yang betul ialah imej bukanlah faktor penentu dalam kempen ini, jadi usaha harus ditujukan kepada tajuk dan tawaran. Hakikat bahawa tiada perbezaan ketara ditemui juga merupakan maklumat yang berharga.
Empat templat yang boleh disalin
1) Hipotesis dan reka bentuk ujian:
Perkara yang ingin saya uji: [cth. tajuk iklan].Tugas: (1) Tulis satu hipotesis yang boleh diuji (dalam bentuk "... meningkat ... meningkat").(2) Senaraikan pemboleh ubah tunggal untuk diasingkan dan yang perlu dimalarkan.(3) Cadangkan metrik yang akan menentukan pemenang (kadar klik lalu/penukaran).(4) Tulis perkara yang perlu saya perhatikan untuk mengesahkan ujian (sampel, tempoh, risiko keputusan awal).
2) Penjana varian (varian tunggal):
Iklan melekat: imej [sama], CTA [sama], sasaran [sama]. Pembolehubah diuji: HEADLINE. Mesej utama: "[mesej]". Tugasan: Hasilkan 4 varian tajuk yang berbeza dengan mesej yang sama. Masing-masing menggunakan pendekatan yang berbeza (soalan, faedah, nombor, segera). Hanya tajuk yang berubah; Menambah tuntutan yang tidak berasas.
3) Pelan pengukuran:
Ujian: [Definisi A dan B]. Metrik: [klik/penukaran].Tugas: Draf pelan pengukuran:(1) metrik manakah yang utama, yang kedua,(2) berapa banyak data/masa yang diperlukan untuk mengisytiharkan pemenang (terangkan logik),(3) cara membahagikan trafik secara sekata dan saksama antara A dan B,(4) apakah faktor luaran yang boleh memesongkan keputusan (musim, hari dalam seminggu).
4) Jurubahasa keputusan (berhati-hati):
Keputusan ujian A/B saya (data sebenar): [A: tera/klik/penukaran],[B: tera/klik/penukaran]. Tugasan: (1) Kira dan paparkan kadar setiap versi.(2) Ulas tentang magnitud perbezaan, tetapi jika sampel tidak mencukupi, sebut "data tidak mencukupi untuk hasil yang bermakna."(3) Ingatkan risiko pramatang/tanpa makna; Saya akan mengesahkan dengan alat akaun yang berasingan.
Gesaan lemah / Gesaan kuat
Gesaan yang lemah:
Hasilkan versi A dan B untuk iklan saya, beritahu saya yang mana lebih baik.
Pembolehubah tidak diasingkan, tiada hipotesis dan pengukuran; AI tidak dapat mengetahui yang mana satu "baik" tanpa data, ia membentuknya.
Gesaan kuat:
Saya sedang menyediakan ujian A/B. Dibetulkan: imej dan CTA akan kekal sama. Hanya pembolehubah yang diuji: tajuk iklan. Hipotesis: "Tajuk dengan nombor mendapat lebih banyak klik daripada tajuk umum." Mesej utama: "Dihantar dalam 3 hari." Tugas: (1) Hasilkan 1 tajuk umum untuk kawalan, 3 tajuk dengan nombor untuk varian.(2) Beritahu saya pada 3 metrik yang saya perlu ingatkan kepada saya tentang kesilapan. batalkan ujian. Jangan ramalkan yang mana satu akan menang; Data akan menentukannya.
Tuntutan kedua mengasingkan pembolehubah tunggal, melibatkan hipotesis dan pengukuran; menyerahkan pemenang kepada data.
Kesilapan biasa
- Menukar banyak item sekaligus. Sebab pemenang menjadi tidak jelas; Pembolehubah tunggal mesti diasingkan.
- Membuat keputusan dengan sampel yang tidak mencukupi. Perbezaan dalam jam pertama selalunya secara kebetulan.
- Pengujian tanpa hipotesis. "Mari kita lihat apa yang berlaku" ujian tidak menghasilkan pembelajaran; Mula-mula tulis apa yang anda harapkan.
- Menganggap keputusan "Tiada perbezaan" sebagai kegagalan. Kekurangan perbezaan yang ketara juga bermaklumat.
- Memilih pemenang berdasarkan citarasa. Pengujian adalah tepat untuk menolak citarasa peribadi; Ikut data.
- Melupakan faktor luaran. Musim, hari kempen, aliran berita boleh memesongkan keputusan; Pastikan keadaan ujian adil.
Perhatian: Tujuan ujian A/B bukan untuk "menang" tetapi untuk belajar. Malah kehilangan varian adalah maklumat yang berharga; Kerugian sebenar adalah bergantung pada hasil yang salah dengan data yang tidak mencukupi dan mengikat belanjawan kepadanya.
Secara ringkasnya
Ujian A/B ialah kaedah berkuasa yang memindahkan keputusan pengiklanan daripada idea kepada data. Peraturan emas adalah untuk mengasingkan pembolehubah tunggal: hanya satu elemen harus berubah dalam ujian, selebihnya harus kekal malar. Tunjang kedua ialah persampelan yang mencukupi dan kepentingan statistik; Mengisytiharkan pemenang dengan sedikit data adalah kesilapan yang paling mahal. AI membantu dalam menjana berbilang variasi dan mengira serta mentafsir kemungkinan, tetapi data menentukan pemenang, bukan AI. Malah hasil "tiada beza" adalah pembelajaran. Hipotesis, metrik dan ambang keputusan hendaklah ditulis sebelum ujian bermula.
Tugasan permohonan
Pilih kreatif (tajuk, imej atau CTA). (1) Tulis satu hipotesis yang boleh diuji dan pembolehubah terpencil dengan "Hipotesis dan reka bentuk ujian". (2) Hasilkan 1 kawalan + 3 varian dengan "Penjana Varian"; Tukar sahaja elemen itu. (3) Rancang metrik yang anda akan lihat, untuk berapa lama dan dengan data apa, dengan "pelan ukuran". (4) Catatkan ambang anda untuk mengisytiharkan pemenang (berapa banyak penukaran / apakah kepentingan) terlebih dahulu. (5) Pertimbangkan hasil hipotesis dengan "jurubahasa keputusan" dan perhatikan mengapa anda tidak akan membuat keputusan dalam senario di mana data tidak mencukupi.
senarai semak
- [ ] Saya mengasingkan hanya satu pembolehubah dalam ujian.
- [ ] Saya menulis hipotesis yang jelas sebelum ujian.
- [ ] Saya telah pun menentukan sampel dan masa yang diperlukan untuk pemenang.
- [ ] Saya memilih pemenang berdasarkan data, bukan citarasa peribadi.
- [ ] Saya menganggap keputusan "tiada beza" sebagai pembelajaran yang sah.
- [ ] Saya menyemak faktor luaran yang boleh memesongkan keputusan.