Keuntungan:
- Kemampuan untuk menghasilkan varian teks sistematis yang mengisolasi variabel tunggal untuk pengujian A/B
- Kemampuan untuk mengubah hipotesis menjadi pengaturan eksperimental yang terukur
- Kemampuan untuk menafsirkan hasil tes dalam kaitannya dengan signifikansi statistik dan pembelajaran
Intuisi berharga dalam pemasaran, namun bukti lebih berharga. Judul mana yang mendapat lebih banyak klik, CTA mana yang terjual lebih banyak, gambar mana yang lebih menarik perhatian? Daripada menebak-nebak, Anda bisa mengukurnya dengan pengujian A/B. Pengujian A/B adalah metode eksperimental yang menampilkan dua versi konten yang sama (A dan B) kepada audiens sebenarnya dan mengukur versi mana yang berperforma lebih baik. Kecerdasan buatan dengan cepat menghasilkan masukan untuk pengujian tersebut, yaitu varian; Namun agar tes ini berhasil memerlukan aturan ilmiah: satu variabel pada satu waktu. Dalam unit ini Anda akan mempelajari cara menghasilkan varian, menerjemahkan hipotesis menjadi eksperimen terukur, dan menafsirkan hasil dalam kaitannya dengan signifikansi statistik.
Aturan emas: isolasi satu variabel
Untuk menafsirkan hasil tes, hanya ada satu hal yang harus berbeda antara A dan B. Jika Anda mengubah judul, gambar, dan CTA secara bersamaan, Anda tidak akan pernah tahu mana yang membuat perbedaan ketika B menang. Mengisolasi variabel yang akan diuji adalah satu-satunya hal yang memungkinkan pembelajaran.
Variabel umum yang dapat diuji:
- Judul: Gambar dan isi sama, judul berbeda.
- Teks CTA: "Beli" atau "Tambahkan ke troli"?
- Baris subjek: Mempengaruhi tingkat keterbukaan email.
- Gambar: Teks sama, gambar berbeda.
- Panjang/nada: Pendek vs. panjang, formal, dll. tulus.
Dari hipotesis ke eksperimen: langkah demi langkah
- Lakukan observasi. "Halaman arahan kami memiliki konversi yang rendah."
- Berhipotesis. “Judul yang berfokus pada manfaat menghasilkan lebih banyak konversi dibandingkan judul yang berfokus pada fitur.”
- Pisahkan variabelnya. Hanya judulnya yang akan berubah.
- Hasilkan varian. 2 varian yang jelas dengan modelnya (A: fitur, B: manfaat).
- Tentukan ukuran kesuksesan Anda. Misalnya, tingkat konversi — persentase pengunjung yang mengambil tindakan yang diinginkan.
- Tentukan sampel dan durasi. Cukup orang dan cukup waktu.
- Ukur, bandingkan, pelajari. Pelajari "mengapa", bukan pemenangnya.
Sebuah “hipotesis” adalah prediksi yang akan diuji di sini dan mungkin ternyata benar atau salah; Hipotesis yang baik memberi tahu Anda apa yang Anda harapkan dan mengapa.
Perintah lemah / Perintah kuat
Perintah yang lemah:
Tulis beberapa alternatif untuk judul ini.
Perintah yang kuat:
Hasilkan varian untuk pengujian A/B. Aturan: HANYA judul yang akan berubah, isi dan CTA akan tetap sama. HIPOTESIS: Judul yang berorientasi manfaat mendapat lebih banyak klik daripada judul yang berorientasi fitur. KONTEKS: Laman landas. Produk: aplikasi manajemen proyek. Audiens: tim kecil.DIMINTA:- Varian A: judul berorientasi fitur (menjelaskan fungsi produk)- Varian B: judul berorientasi manfaat (menjelaskan apa yang diberikan kepada pengguna) Di bawah setiap varian, tulis motivasi psikologis apa yang disentuhnya.Hanya 2 varian; Keduanya harus berupa satu garis, dengan panjang yang sama.
Penting untuk menginginkan varian yang memiliki panjang yang sama; jika tidak, "panjang" secara tidak sengaja menjadi variabel kedua.
Grafik tes sebelum/sesudah
Panggung
Apa yang harus dilakukan
kesalahan yang sering terjadi
hipotesis
Apa, kenapa aku menunggu?
"Ayo coba" tanpa hipotesis
Variabel
Pisahkan satu hal
Mengubah banyak hal sekaligus
kriteria
Pilih satu metrik yang jelas
"lebih baik" yang tidak terbatas
sampel
Cukup orang/waktu
memutuskan lebih awal
Komentar
Pelajari alasannya
Ambil saja pemenangnya
tiga kasus mini
Kasus 1 — Tes CTA memberikan hasil yang jelas. Sebuah situs e-niaga menguji tombol produk: A "Beli", B "Tambahkan ke troli". Hanya teks tombol yang berubah. Dalam pengujian terhadap 3.000 pengunjung, B meningkatkan rasio klik-tayangnya dari 4,0% menjadi 4,9%. Dengan mengisolasi satu variabel, pemenangnya jelas: “tambahkan ke troli” terasa kurang mengikat.
Kasus 2 — Kesalahan multivarian. Sebuah tim merancang dua halaman arahan, namun judul, gambar, dan warna semuanya berbeda. B menang, namun tim tidak mengetahui elemen mana yang membuat perbedaan; pembelajaran menjadi nol. Pada tes berikutnya, mereka mengikuti aturan: satu variabel pada satu waktu. Dalam tes tersebut, mereka melihat dengan jelas bahwa gelar adalah faktor utamanya.
Kasus 3 — Jebakan keputusan awal. Sebuah tim buletin menguji dua baris subjek pada sekelompok 200 orang dan berkata, "Mereka mendapat nilai A" dalam satu jam pertama. Sampelnya sangat kecil; perbedaannya tidak signifikan secara statistik (yaitu, mungkin saja terjadi secara kebetulan). Ketika pengujian ditingkatkan hingga pengambilan sampel dan waktu mencukupi, hasilnya sebaliknya. Hikmahnya: jangan mengambil keputusan tanpa data yang cukup.
Perhatian: Perbedaan yang terlihat pada sampel kecil (sejumlah kecil orang) mungkin menyesatkan. Signifikansi statistik mengacu pada kemungkinan bahwa suatu perbedaan adalah nyata dan bukan karena kebetulan. Pastikan cukup banyak orang yang dijangkau dan pengujian berlangsung cukup lama sebelum mengambil kesimpulan.
Templat yang dapat disalin
Templat 1 — Generator varian terisolasi:
Hasilkan varian untuk pengujian A/B. Variabel SATU-SATUNYA yang akan diuji: [headline/CTA/image]. Segala sesuatu yang lain akan tetap konstan. Hipotesis: [...]. Konteks: [...].Varian A: [pendekatan saat ini]. Varian B: [pendekatan alternatif]. Biarkan kedua varian memiliki panjang yang sama; jangan mengubah apa pun.
Templat 2 - Klarifikasi hipotesis:
Bangunlah hipotesis yang dapat diuji dari pengamatan berikut: “[pengamatan]”. Tuliskan hipotesis dalam format “jika kita melakukan [perubahan], [metrik] bertambah karena [mengapa]”. Lalu beri tahu saya variabel mana yang harus saya isolasi.
Templat 3 — Kumpulan tes baris subjek:
Buat 2 baris subjek untuk pengujian A/B untuk email berikut. Perbedaan pada satu sumbu: [keingintahuan vs. kejelasan / keringkasan dll. panjang/pertanyaan dll. ekspresi]. Keduanya tidak boleh mengandung kata spam dan panjangnya harus sama. Ringkasan email: [...]
Templat 4 — Menafsirkan hasil:
Interpretasikan hasil pengujian A/B.Variabel: [...]. Metrik varian A: [...]. Metrik varian B: [...].Ukuran sampel: [...]. Durasi: [...].Beri tahu saya: Apakah perbedaannya tampak signifikan, atau apakah sampelnya kecil? Apa yang kita pelajari? Apa yang Anda rekomendasikan untuk tes selanjutnya? Jangan mengklaim statistik pasti; Jika tidak jelas, sebutkan.
Tip: Mendapatkan "pemenang" dari ujian saja tidak cukup; Keuntungan sebenarnya adalah pemahaman tentang “mengapa mereka menang.” Wawasan ini dimasukkan ke dalam hipotesis untuk pengujian berikutnya dan membangun kerangka pembelajaran seiring berjalannya waktu.
Prioritas: apa yang harus diuji terlebih dahulu?
Ada banyak sekali item yang dapat Anda uji, tetapi waktu dan lalu lintas Anda terbatas. Jadi prioritaskan pengujian berdasarkan potensi dampak. Aturan umum: elemen yang pertama kali dilihat pengguna dan memiliki pengaruh paling besar terhadap keputusan diuji terlebih dahulu. Di laman landas, judul memiliki dampak terbesar terhadap klik; karena pengguna membacanya terlebih dahulu dan memutuskan untuk melanjutkan atau tidak. Detail seperti warna tombol sering kali memberikan pengaruh yang lebih kecil; tinggalkan mereka untuk yang terakhir.
Cara praktis untuk membuat prioritas adalah dengan menilai setiap ide pengujian pada tiga sumbu: dampak yang diharapkan (seberapa besar perbedaan yang akan dihasilkan jika ide tersebut menang?), keyakinan (seberapa yakin kita bahwa ide tersebut akan menang?), dan kemudahan (seberapa cepat penyiapannya?). Tes dengan dampak tinggi, keyakinan tinggi, dan upaya rendah ditempatkan terlebih dahulu. Hal ini memungkinkan Anda mengalokasikan lalu lintas terbatas ke eksperimen yang memberikan pembelajaran paling banyak. AI dapat memberi Anda cetak biru cepat untuk menilai dan memprioritaskan daftar ide di sepanjang tiga sumbu ini; Anda yang memutuskan.
Templat 5 — Prioritas pengujian:
Prioritaskan ide pengujian A/B berikut. Skor masing-masing pada sumbu dampak (1-5), keandalan (1-5) dan kemudahan pemasangan (1-5), rangking sesuai dengan skor total dan jelaskan dalam satu kalimat mengapa mereka berada dalam urutan tersebut. IDE UJI: [daftar]
Kesalahan umum
- Jadi variabel pada saat bersamaan. Hasilnya menjadi tidak dapat ditafsir.
- Pengujian bebas hipotesis. “Mari kita coba dan lihat” tidak menghasilkan pembelajaran.
- Keputusan awal. Dalam sampel kecil, perbedaannya dianggap nyata secara kebetulan.
- Varian dengan panjang berbeda. Variabel kedua dibuat secara tidak sengaja.
- Hanya mengambil pemenangnya. Jika alasannya tidak dipelajari, informasi tidak akan terakumulasi.
Singkatnya
- Aturan utama pengujian A/B: satu variabel dalam satu waktu.
- Setiap pengujian harus dimulai dengan hipotesis: apa yang saya harapkan dan mengapa?
- Tentukan satu ukuran keberhasilan yang jelas dan sampel yang memadai.
- Perbedaan dalam sampel kecil ini menyesatkan; Perhatikan signifikansi statistik.
- Cari tahu alasannya, bukan pemenangnya; Wawasan ini dimasukkan ke dalam tes berikutnya.
Tugas aplikasi
Pilih observasi tentang salah satu konten Anda. Dengan Templat 2, terjemahkan hipotesis ini menjadi hipotesis yang jelas dan identifikasi variabel yang akan diisolasi. Menghasilkan dua varian dengan template 1 (panjangnya mirip, hanya bedanya). Terakhir, sesuaikan angka hasil hipotetis, tafsirkan angka tersebut menggunakan Templat 4, dan catat apa yang dikatakan model tentang kecukupan sampel. Durasi: kurang lebih 25 menit.
daftar periksa
- [ ] Saya memulai tes dengan hipotesis yang jelas.
- [] Saya hanya mengisolasi satu variabel.
- [ ] Varian tetap serupa pada sumbu lainnya (panjang, dll.).
- [ ] Saya telah menetapkan satu metrik keberhasilan yang jelas.
- [ ] Saya tidak memutuskan tanpa sampel/waktu yang cukup.
- [ ] Saya mencatat alasan pemenang untuk tes berikutnya.