Keuntungan:
- Keupayaan untuk menjana varian teks sistematik yang mengasingkan pembolehubah tunggal untuk ujian A/B
- Keupayaan untuk mengubah hipotesis menjadi persediaan eksperimen yang boleh diukur
- Keupayaan untuk mentafsir keputusan ujian dari segi kepentingan statistik dan pembelajaran
Intuisi berharga dalam pemasaran, tetapi bukti lebih berharga. Tajuk yang manakah mendapat lebih banyak klik, CTA yang manakah lebih banyak menjual, imej yang manakah menarik lebih banyak perhatian? Daripada meneka, anda boleh mengukur ini dengan ujian A/B. Ujian A/B ialah kaedah percubaan yang menunjukkan dua versi kandungan yang sama (A dan B) kepada khalayak sebenar dan mengukur yang mana satu berprestasi lebih baik. Kecerdasan buatan dengan cepat menghasilkan input untuk ujian ini, iaitu varian; Tetapi membuat kerja ujian memerlukan peraturan saintifik: satu pembolehubah pada satu masa. Dalam unit ini anda akan belajar cara menjana varian, menterjemah hipotesis ke dalam eksperimen yang boleh diukur dan mentafsir keputusan dari segi kepentingan statistik.
Peraturan emas: asingkan satu pembolehubah
Untuk mentafsir keputusan ujian, hanya satu perkara yang mesti berbeza antara A dan B. Jika anda menukar tajuk, imej dan CTA pada masa yang sama, anda tidak akan tahu yang mana satu membuat perbezaan apabila B menang. Mengasingkan pembolehubah yang akan diuji adalah satu-satunya perkara yang membolehkan pembelajaran.
Pembolehubah biasa yang boleh diuji:
- Tajuk: Imej dan badan yang sama, tajuk yang berbeza.
- Teks CTA: "Beli" atau "Tambahkan ke troli"?
- Baris subjek: Mempengaruhi kadar buka e-mel.
- Imej: Teks yang sama, imej yang berbeza.
- Panjang/nada: Pendek vs panjang, formal dsb. ikhlas.
Daripada hipotesis kepada percubaan: langkah demi langkah
- Buat pemerhatian. "Halaman pendaratan kami mempunyai penukaran yang rendah."
- Hipotesis. "Tajuk berfokuskan faedah menukar lebih banyak daripada tajuk berfokuskan ciri."
- Asingkan pembolehubah. Hanya tajuk yang akan berubah.
- Hasilkan varian. 2 varian jelas dengan model (A: ciri, B: faedah).
- Tentukan ukuran kejayaan anda. Contohnya, kadar penukaran — peratusan pelawat yang mengambil tindakan yang diingini.
- Tentukan sampel dan tempoh. Orang yang cukup dan masa yang cukup.
- Ukur, bandingkan, pelajari. Ketahui "mengapa", bukan pemenang.
"Hipotesis" ialah ramalan yang akan diuji di sini dan mungkin menjadi benar atau salah; Hipotesis yang baik memberitahu anda apa yang anda jangkakan dan mengapa.
Gesaan lemah / Gesaan kuat
Gesaan yang lemah:
Tulis beberapa alternatif untuk tajuk ini.
Gesaan kuat:
Hasilkan varian untuk ujian A/B. Peraturan: HANYA tajuk akan berubah, kandungan dan CTA akan kekal sama. HIPOTESIS: Tajuk berorientasikan faedah mendapat lebih banyak klik daripada tajuk berorientasikan ciri. KONTEKS: Halaman pendaratan. Produk: aplikasi pengurusan projek. Penonton: pasukan kecil.DIMINTA:- Varian A: tajuk berorientasikan ciri (menerangkan perkara yang dilakukan oleh produk)- Varian B: tajuk berorientasikan faedah (menghuraikan perkara yang ia berikan kepada pengguna) Di bawah setiap varian, tulis motivasi psikologi yang disentuhnya. Hanya 2 varian; Kedua-duanya hendaklah satu baris, sama panjang.
Adalah penting untuk menginginkan varian mempunyai panjang yang sama; jika tidak, "panjang" secara tidak sengaja menjadi pembolehubah kedua.
Carta ujian sebelum/selepas
pentas
apa nak buat
kesilapan yang kerap
hipotesis
Apa, kenapa saya menunggu?
"Mari cuba" tanpa hipotesis
Pembolehubah
Asingkan satu perkara
Mengubah banyak perkara sekaligus
kriteria
Pilih satu metrik yang jelas
"lebih baik" yang tidak pasti
sampel
Cukup orang/masa
buat keputusan awal
Komen
Ketahui sebabnya
Ambil sahaja pemenang
tiga kes mini
Kes 1 — Ujian CTA memberikan hasil yang jelas. Tapak e-dagang menguji butang produk: A "Beli", B "Tambah ke troli". Hanya teks butang telah berubah. Dalam ujian terhadap 3,000 pelawat, B meningkatkan kadar klik lalunya daripada 4.0% kepada 4.9%. Dengan pembolehubah tunggal diasingkan, pemenang adalah jelas: "tambah ke troli" berasa kurang mengikat.
Kes 2 — Ralat pelbagai variasi. Pasukan mereka bentuk dua halaman pendaratan, tetapi tajuk, imej dan warna semuanya berbeza. B menang, tetapi pasukan tidak tahu elemen mana yang membuat perbezaan; pembelajaran menjadi sifar. Dalam ujian seterusnya, mereka mengikut peraturan: satu pembolehubah pada satu masa. Dalam ujian itu, mereka jelas melihat bahawa gelaran adalah faktor utama.
Kes 3 — Perangkap keputusan awal. Pasukan surat berita menguji dua baris subjek pada sekumpulan 200 orang dan berkata, "Ia memperoleh A" dalam jam pertama. Sampel adalah sangat kecil; perbezaannya secara statistik tidak ketara (iaitu, mungkin disebabkan oleh kebetulan). Apabila ujian ditingkatkan kepada pensampelan dan masa yang mencukupi, keputusannya telah diterbalikkan. Pengajaran: jangan buat keputusan tanpa data yang mencukupi.
Awas: Perbezaan yang dilihat dalam sampel kecil (sebilangan kecil orang) mungkin mengelirukan. Kepentingan statistik merujuk kepada kebarangkalian bahawa perbezaan adalah nyata dan bukan disebabkan oleh kebetulan. Pastikan orang ramai dicapai dan ujian berlangsung cukup lama sebelum membuat kesimpulan.
Templat yang boleh disalin
Templat 1 — Penjana varian terpencil:
Hasilkan varian untuk ujian A/B. SATU-SATUNYA pembolehubah untuk diuji: [headline/CTA/image]. Segala-galanya akan kekal berterusan. Hipotesis: [...]. Konteks: [...].Varian A: [pendekatan semasa]. Varian B: [pendekatan alternatif]. Biarkan kedua-dua varian mempunyai panjang yang sama; jangan ubah apa-apa lagi.
Templat 2 — Penjelas hipotesis:
Bina satu hipotesis yang boleh diuji daripada pemerhatian berikut: "[pemerhatian]". Tulis hipotesis dalam format "jika kita membuat [perubahan], [metrik] meningkat kerana [mengapa]". Kemudian beritahu saya pembolehubah tunggal yang harus saya asingkan.
Templat 3 — Set ujian baris subjek:
Buat 2 baris subjek untuk ujian A/B untuk e-mel berikut. Perbezaan pada paksi tunggal: [rasa ingin tahu vs. kejelasan / ringkas dll. panjang/pertanyaan dsb. ungkapan]. Kedua-duanya tidak boleh mengandungi perkataan spam dan hendaklah sama panjangnya. Ringkasan e-mel: [...]
Templat 4 — Mentafsir keputusan:
Mentafsir keputusan ujian A/B.Pembolehubah: [...]. Varian A metrik: [...]. Varian B metrik: [...].Saiz sampel: [...]. Tempoh: [...].Beritahu saya: Adakah perbezaannya kelihatan ketara, atau adakah sampelnya kecil? Apa yang kita pelajari? Apakah yang anda cadangkan untuk ujian seterusnya? Jangan tuntut statistik yang tepat; Jika tidak jelas, nyatakan.
Petua: Tidak cukup untuk mendapatkan "pemenang" daripada ujian; Keuntungan sebenar ialah pemahaman tentang "mengapa ia menang." Wawasan ini memasukkan hipotesis untuk ujian seterusnya dan membina badan pembelajaran dari semasa ke semasa.
Keutamaan: apa yang perlu diuji dahulu?
Terdapat banyak item yang boleh anda uji, tetapi masa dan trafik anda adalah terhad. Jadi utamakan ujian berdasarkan potensi impak. Peraturan am: elemen yang pengguna lihat dahulu dan mempunyai kesan yang paling besar pada keputusan diuji terlebih dahulu. Pada halaman pendaratan, tajuk mempunyai kesan terbesar pada klik; kerana pengguna membacanya terlebih dahulu dan memutuskan di sana atau tidak untuk meneruskan. Butiran seperti warna butang selalunya memberi kesan yang lebih kecil; tinggalkan mereka untuk yang terakhir.
Cara praktikal untuk memberi keutamaan ialah dengan menjaringkan setiap idea ujian pada tiga paksi: impak yang dijangkakan (berapa banyak perbezaan yang akan dilakukan jika ia menang?), keyakinan (sejauh manakah kita yakin bahawa ia akan menang?), dan kemudahan (berapa cepat ia disediakan?). Ujian dengan impak yang tinggi, keyakinan yang tinggi dan usaha yang rendah diutamakan. Ini membolehkan anda memperuntukkan trafik terhad kepada percubaan yang membawa paling banyak pembelajaran. AI boleh memberi anda pelan tindakan pantas untuk pemarkahan dan mengutamakan senarai idea di sepanjang tiga paksi ini; awak tentukan.
Templat 5 — Pengutamaan ujian:
Utamakan idea ujian A/B berikut. Skor setiap satu pada paksi impak (1-5), kebolehpercayaan (1-5) dan kemudahan pemasangan (1-5), susun mereka mengikut jumlah skor dan terangkan dalam satu ayat mengapa ia berada dalam susunan tersebut. IDEA UJIAN: [senarai]
Kesilapan biasa
- Jadi berubah-ubah pada masa yang sama. Hasilnya menjadi tidak dapat ditafsirkan.
- Ujian tanpa hipotesis. “Mari cuba dan lihat” tidak menghasilkan pembelajaran.
- Keputusan awal. Dalam sampel kecil, perbezaan itu dianggap nyata secara kebetulan.
- Varian panjang yang berbeza. Pembolehubah kedua dicipta secara tidak sengaja.
- Hanya mengambil pemenang. Jika alasannya tidak dipelajari, maklumat tidak akan terkumpul.
Secara ringkasnya
- Peraturan emas ujian A/B: satu pembolehubah pada satu masa.
- Setiap ujian harus bermula dengan hipotesis: apakah yang saya harapkan dan mengapa?
- Tentukan satu ukuran kejayaan yang jelas dan sampel yang mencukupi.
- Perbezaan dalam sampel kecil adalah mengelirukan; Perhatikan kepentingan statistik.
- Ketahui mengapa, bukan pemenang; Cerapan ini memberi masukan kepada ujian seterusnya.
Tugasan permohonan
Pilih pemerhatian tentang salah satu kandungan anda. Dengan Templat 2, terjemah ini ke dalam hipotesis yang jelas dan kenal pasti pembolehubah untuk diasingkan. Hasilkan dua varian dengan templat 1 (panjang yang sama, hanya perbezaan). Akhir sekali, muatkan nombor hasil hipotetikal, tafsirkannya menggunakan Templat 4, dan perhatikan apa yang dikatakan model tentang kecukupan sampel. Tempoh: kira-kira 25 minit.
senarai semak
- [ ] Saya memulakan ujian dengan hipotesis yang jelas.
- [ ] Saya mengasingkan hanya satu pembolehubah.
- [ ] Varian kekal serupa dalam paksi lain (panjang, dsb.).
- [ ] Saya telah menentukan satu metrik kejayaan yang jelas.
- [ ] Saya tidak membuat keputusan tanpa sampel/masa yang mencukupi.
- [ ] Saya mencatat sebab pemenang untuk ujian seterusnya.