Keuntungan:
- Kemampuan untuk memahami konsep pengujian A/B, kontrol/varian, tingkat konversi dan signifikansi statistik serta menetapkan hipotesis dan desain pengujian dengan kecerdasan buatan.
- Kemampuan untuk mengisolasi variabel tunggal yang akan diuji dan menghasilkan varian teks/gambar dan rencana pengukuran dengan dukungan kecerdasan buatan
- Kemampuan untuk membedakan bahwa interpretasi tes kecerdasan buatan dibatasi oleh ukuran dan signifikansi sampel serta risiko pembacaan hasil yang prematur/salah
Kalimat paling berbahaya dalam periklanan adalah "Menurut saya ini lebih baik". Data, bukan opini, yang memberi tahu Anda apakah judul, gambar, atau tombol benar-benar lebih baik. Cara paling umum untuk mengukur hal ini adalah pengujian A/B: menampilkan dua (atau lebih) versi iklan yang sama kepada pengguna sebenarnya dan membandingkan mana yang bekerja lebih baik. "A" biasanya merupakan versi saat ini (kontrol), sedangkan "B" adalah versi baru yang sedang dicoba (varian). Misalnya, Anda hanya dapat mengubah judul di iklan yang sama dan mengukur judul mana yang lebih banyak diklik. Kecerdasan buatan sangat membantu dalam proses ini baik dalam menghasilkan varian dalam jumlah besar maupun dalam menafsirkan hasilnya; Namun validitas ilmiah tes tersebut bergantung pada aturan desain dan kesabaran.
Aturan emas pengujian A/B: satu variabel
Aturan paling dasar pengujian A/B adalah mengisolasi satu variabel. Jika Anda mengubah judul, gambar, dan tombol secara bersamaan dan versi B menang, Anda tidak akan pernah tahu apa yang menang. Jadi dalam suatu pengujian hanya satu elemen yang harus berubah, sisanya harus tetap konstan. Jika Anda ingin menguji lebih dari satu item secara bersamaan dan sistematis, ini disebut pengujian multivariat dan memerlukan sampel yang jauh lebih besar; Pengujian A/B univariat adalah cara untuk memulai.
Konsep dasar kedua adalah signifikansi statistik. Katakanlah versi A mendapat 3 persen klik dan versi B mendapat 3,3 persen klik. Apakah perbedaan ini benar-benar sebuah keuntungan atau sebuah kebetulan? Jika Anda hanya menunjukkan tes tersebut kepada 100 orang, perbedaan ini mungkin hanya kebetulan. Signifikansi statistik berarti bahwa perbedaan yang teramati sangat kecil kemungkinannya terjadi karena suatu kebetulan (yakni perbedaan tersebut mungkin nyata). Hal ini memerlukan ukuran sampel yang memadai (jumlah orang yang melihat tes tersebut). Mendeklarasikan “pemenang” dengan sedikit data adalah kesalahan paling umum dan mahal.
Tip: Sebelum memulai tes, jawablah pertanyaan "kapan saya akan mengumumkan pemenangnya": berapa orang/pasca konversi, pada tingkat signifikansi berapa. Membuat keputusan ini terlebih dahulu akan mencegah Anda terjebak dalam kebisingan di jam-jam pertama dan membuat keputusan prematur.
Tabel berikut membandingkan desain pengujian A/B yang baik dan buruk:
barang
desain yang buruk
desain yang bagus
Jumlah variabel
Judul + gambar + tombol bersamaan
judul saja
hipotesis
(tidak ada) "mari kita lihat apa yang terjadi"
"Judul dengan pertanyaan meningkatkan klik"
sampel
80 orang
Kuorum yang telah dihitung sebelumnya
waktu pengambilan keputusan
2 jam kemudian
Ketika Anda mencapai signifikansi
Pemilihan pemenang
"Menurutku B itu bagus"
Berdasarkan data dan signifikansi
Langkah demi langkah: menyiapkan pengujian A/B
Langkah 1 — Tulis hipotesis. Apa yang Anda uji dan mengapa? Hipotesis yang jelas seperti "Judul dengan manfaat mendapat lebih banyak klik dibandingkan judul dengan fitur".
Langkah 2 — Pilih satu variabel. Hanya judulnya saja, atau gambarnya saja, atau CTAnya saja.
Langkah 3 — Hasilkan varian. Buat versi berbeda dari item yang sama dengan AI; jaga sisanya tetap konstan.
Langkah 4 — Siapkan rencana pengukuran. Metrik mana yang akan menentukan pemenang (rasio klik-tayang, konversi), berapa banyak sampel yang dibutuhkan, berapa lama dijalankan.
Langkah 5 — Interpretasikan dan verifikasi hasilnya. Apakah data yang dikumpulkan sudah cukup, apakah perbedaannya signifikan? Jika tidak signifikan, “tidak ada perbedaan” juga merupakan hasil yang valid.
tiga kasus mini
Kasus 1 — Kejelasan satu variabel. Sebuah merek e-niaga hanya menguji CTA dalam iklan produknya: “Beli” dan “Tambahkan ke troli.” Segala sesuatu yang lain sama saja. Setelah pengambilan sampel yang cukup, “Tambahkan ke troli” menghasilkan konversi yang jauh lebih tinggi. Perbedaan tersebut dapat diinterpretasikan dengan jelas karena satu variabel diisolasi. AI menghasilkan dua CTA, data memilih pemenangnya.
Kasus 2 — Jebakan keputusan awal. Merek menghentikan pengujian karena versi B lebih unggul dalam 3 jam pertama pengujian A/B dan membuka B untuk seluruh anggaran. Melihat total data pada hari berikutnya, A sebenarnya sedikit lebih baik; Perbedaan pada jam-jam pertama adalah suatu kebetulan. Anggarannya terbuang sia-sia. Kesalahan: membuat keputusan prematur dengan ukuran sampel yang tidak mencukupi.
Kasus 3 - “Tidak ada perbedaan” juga merupakan kesimpulannya. Sebuah merek menguji dua gambar berbeda, dan setelah pengambilan sampel yang cukup, keduanya menghasilkan hasil yang hampir sama. Meskipun tim hampir menyesali bahwa "tes tersebut gagal", pemahaman yang benar adalah bahwa gambar bukanlah faktor penentu dalam kampanye ini, jadi upaya tersebut harus diarahkan pada judul dan penawaran. Fakta bahwa tidak ditemukan perbedaan signifikan juga merupakan informasi berharga.
Empat templat yang dapat disalin
1) Hipotesis dan desain pengujian:
Yang ingin saya uji: [mis. judul iklan].Tugas: (1) Menulis satu hipotesis yang dapat diuji (dalam bentuk "...meningkat...meningkat").(2) Mencantumkan variabel tunggal yang akan diisolasi dan variabel yang harus dipertahankan konstan.(3) Menyarankan metrik yang akan menentukan pemenang (rasio klik-tayang/konversi).(4) Tulis apa yang perlu saya perhatikan untuk memvalidasi pengujian (sampel, durasi, risiko keputusan awal).
2) Generator varian (varian tunggal):
Iklan melekat: gambar [sama], CTA [sama], target [sama]. Variabel yang diuji: HEADLINE. Pesan utama: "[pesan]". Tugas: Menghasilkan 4 varian judul berbeda dengan pesan yang sama. Masing-masing menggunakan pendekatan yang berbeda (pertanyaan, manfaat, jumlah, urgensi). Hanya judulnya yang berubah; Menambahkan klaim yang tidak berdasar.
3) Rencana pengukuran:
Tes: [Definisi A dan B]. Metrik: [klik/konversi].Tugas: Menyusun rencana pengukuran:(1) metrik mana yang utama, mana yang sekunder,(2) berapa banyak data/waktu yang diperlukan untuk menyatakan pemenang (jelaskan logikanya),(3) bagaimana membagi lalu lintas secara merata dan adil antara A dan B,(4) faktor eksternal apa yang dapat mengubah hasil (musim, hari dalam seminggu). Asumsikan saya akan menggunakan alat signifikansi untuk menghitung statistik yang tepat.
4) Penerjemah hasil (hati-hati):
Hasil pengujian A/B saya (data nyata): [A: tayangan/klik/konversi],[B: tayangan/klik/konversi].Tugas: (1) Menghitung dan menampilkan tarif setiap versi.(2) Mengomentari besarnya perbedaan, namun jika sampel tidak mencukupi, ucapkan "data tidak mencukupi untuk hasil yang bermakna".(3) Ingatkan risiko prematur/salah membaca.Jangan membuat klaim pasti tentang signifikansi; Saya akan mengonfirmasi dengan alat akun terpisah.
Perintah lemah / Perintah kuat
Perintah yang lemah:
Buat versi A dan B untuk iklan saya, beri tahu saya mana yang lebih baik.
Variabelnya tidak terisolasi, tidak ada hipotesis dan pengukurannya; AI tidak bisa mengetahui mana yang "baik" tanpa data, itu mengada-ada.
Perintah yang kuat:
Saya sedang menyiapkan pengujian A/B. Diperbaiki: gambar dan CTA akan tetap sama.Hanya variabel yang diuji: judul iklan.Hipotesis: "Judul dengan angka mendapatkan lebih banyak klik daripada judul umum."Pesan utama: "Dikirim dalam 3 hari."Tugas: (1) Menghasilkan 1 judul umum untuk kontrol, 3 judul dengan angka untuk varian.(2) Beri tahu saya metrik mana yang harus saya lihat untuk mengukur pemenang.(3) Ingatkan saya tentang 3 kesalahan yang dapat membatalkan pengujian.Jangan memprediksi yang mana seseorang akan menang; Data akan menentukannya.
Klaim kedua mengisolasi satu variabel, melibatkan hipotesis dan pengukuran; menyerahkan pemenangnya pada data.
Kesalahan umum
- Mengubah banyak item sekaligus. Alasan pemenangnya menjadi tidak jelas; Variabel tunggal harus diisolasi.
- Membuat keputusan dengan sampel yang tidak mencukupi. Perbedaan jam-jam pertama seringkali bersifat kebetulan.
- Pengujian tanpa hipotesis. Pengujian “Mari kita lihat apa yang terjadi” tidak menghasilkan pembelajaran; Pertama tuliskan apa yang Anda harapkan.
- Mengira hasil "Tidak ada perbedaan" sebagai kegagalan. Tidak adanya perbedaan yang signifikan juga bersifat informatif.
- Memilih pemenang berdasarkan selera. Pengujian justru untuk mengesampingkan selera pribadi; Ikuti datanya.
- Melupakan faktor eksternal. Musim, hari kampanye, arus berita dapat mendistorsi hasil; Jaga agar kondisi pengujian tetap adil.
Perhatian: Tujuan pengujian A/B bukan untuk "menang" namun untuk belajar. Bahkan varian yang hilang pun merupakan informasi berharga; Kerugian sebenarnya adalah mengandalkan hasil yang salah dengan data yang tidak mencukupi dan mengikat anggaran pada hasil tersebut.
Singkatnya
Pengujian A/B adalah metode ampuh yang memindahkan keputusan periklanan dari ide ke data. Aturan emasnya adalah mengisolasi satu variabel: hanya satu elemen yang harus berubah dalam pengujian, sisanya harus tetap konstan. Pilar kedua adalah pengambilan sampel yang memadai dan signifikansi statistik; Mendeklarasikan pemenang dengan sedikit data adalah kesalahan yang paling mahal. AI berguna dalam menghasilkan banyak varian dan menghitung serta menafsirkan peluang, namun datalah yang menentukan pemenangnya, bukan AI. Bahkan hasil “tidak ada perbedaan” adalah sebuah pembelajaran. Hipotesis, metrik, dan ambang batas keputusan harus ditulis sebelum tes dimulai.
Tugas aplikasi
Pilih materi iklan (judul, gambar, atau CTA). (1) Tulis hipotesis tunggal yang dapat diuji dan variabel terisolasi dengan "Hipotesis dan desain pengujian". (2) Hasilkan 1 kontrol + 3 varian dengan "Generator varian"; Ubah saja elemen itu. (3) Rencanakan metrik mana yang akan Anda lihat, untuk berapa lama dan dengan data apa, dengan “rencana pengukuran”. (4) Tuliskan ambang batas Anda untuk menyatakan pemenang (berapa banyak konversi / apa signifikansinya) terlebih dahulu. (5) Pertimbangkan hasil hipotetis dengan “penerjemah hasil” dan catat mengapa Anda tidak mengambil keputusan dalam skenario ketika data tidak mencukupi.
daftar periksa
- [ ] Saya hanya mengisolasi satu variabel dalam pengujian.
- [ ] Saya menulis hipotesis yang jelas sebelum ujian.
- [ ] Saya sudah menentukan sampel dan waktu yang dibutuhkan untuk pemenang.
- [ ] Saya memilih pemenang berdasarkan data, bukan selera pribadi.
- [ ] Saya menganggap hasil “tidak ada perbedaan” sebagai pembelajaran yang valid.
- [ ] Saya memeriksa faktor eksternal yang dapat mengubah hasil.