Lợi nhuận:
- Khả năng tạo các biến thể văn bản có hệ thống giúp tách biệt các biến đơn lẻ để thử nghiệm A/B
- Khả năng biến một giả thuyết thành một thiết lập thử nghiệm có thể đo lường được
- Khả năng diễn giải kết quả kiểm tra theo ý nghĩa thống kê và học tập
Trực giác có giá trị trong tiếp thị nhưng bằng chứng còn có giá trị hơn. Dòng tiêu đề nào nhận được nhiều lượt nhấp chuột hơn, CTA nào bán được nhiều hơn, hình ảnh nào thu hút nhiều sự chú ý hơn? Thay vì đoán, bạn có thể đo lường điều này bằng thử nghiệm A/B. Thử nghiệm A/B là một phương pháp thử nghiệm hiển thị hai phiên bản của cùng một nội dung (A và B) cho khán giả thực tế và đo lường xem phiên bản nào hoạt động tốt hơn. Trí tuệ nhân tạo nhanh chóng tạo ra đầu vào cho các thử nghiệm này, cụ thể là các biến thể; Nhưng để bài kiểm tra hoạt động hiệu quả cần có một quy tắc khoa học: mỗi lần một biến. Trong phần này, bạn sẽ học cách tạo ra các biến thể, chuyển giả thuyết thành một thử nghiệm có thể đo lường được và diễn giải kết quả theo ý nghĩa thống kê.
Nguyên tắc vàng: cô lập một biến
Để diễn giải kết quả kiểm tra, chỉ có một điều phải khác nhau giữa A và B. Nếu bạn thay đổi tiêu đề, hình ảnh và CTA cùng lúc, bạn sẽ không bao giờ biết điều gì đã tạo nên sự khác biệt khi B thắng. Việc cô lập biến cần kiểm tra là điều duy nhất giúp việc học có thể thực hiện được.
Các biến điển hình có thể được kiểm tra:
- Tiêu đề: Hình ảnh và nội dung giống nhau, tiêu đề khác nhau.
- Văn bản CTA: "Mua" hoặc "Thêm vào giỏ hàng"?
- Dòng chủ đề: Ảnh hưởng đến tỷ lệ mở email.
- Hình ảnh: Cùng một văn bản, hình ảnh khác nhau.
- Độ dài/giọng điệu: Ngắn và dài, trang trọng, v.v. chân thành.
Từ giả thuyết đến thử nghiệm: từng bước
- Thực hiện một quan sát. "Trang đích của chúng tôi có tỷ lệ chuyển đổi thấp."
- Giả thuyết. “Tiêu đề tập trung vào lợi ích sẽ chuyển đổi nhiều hơn tiêu đề tập trung vào tính năng.”
- Cô lập biến. Chỉ có tiêu đề sẽ thay đổi.
- Tạo các biến thể. 2 biến thể rõ ràng với mô hình (A: tính năng, B: lợi ích).
- Xác định thước đo thành công của bạn. Ví dụ: tỷ lệ chuyển đổi - phần trăm khách truy cập thực hiện hành động mong muốn.
- Xác định mẫu và thời gian. Đủ người và đủ thời gian.
- Đo lường, so sánh, học hỏi. Tìm hiểu "tại sao", không phải là người chiến thắng.
“Giả thuyết” là một dự đoán sẽ được kiểm tra ở đây và có thể đúng hoặc sai; Một giả thuyết tốt sẽ cho bạn biết bạn mong đợi điều gì và tại sao.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Viết một số lựa chọn thay thế cho tiêu đề này.
Lời nhắc mạnh mẽ:
Tạo các biến thể cho thử nghiệm A/B. Quy tắc: CHỈ tiêu đề sẽ thay đổi, nội dung và CTA sẽ giữ nguyên. GIẢ THUYẾT: Tiêu đề hướng đến lợi ích nhận được nhiều nhấp chuột hơn tiêu đề hướng đến tính năng. BỐI CẢNH: Trang đích. Sản phẩm: Ứng dụng quản lý dự án. Khán giả: các nhóm nhỏ. YÊU CẦU:- Biến thể A: tiêu đề hướng đến tính năng (mô tả chức năng của sản phẩm) - Biến thể B: tiêu đề hướng đến lợi ích (mô tả những gì nó cung cấp cho người dùng) Dưới mỗi biến thể, hãy viết động cơ tâm lý mà nó chạm đến. Chỉ có 2 biến thể; Cả hai phải là dòng đơn, có độ dài tương tự nhau.
Điều quan trọng là muốn các biến thể có độ dài tương tự nhau; nếu không thì "độ dài" vô tình trở thành biến thứ hai.
Biểu đồ trước/sau kiểm tra
Sân khấu
phải làm gì
lỗi thường xuyên
giả thuyết
Cái gì, tại sao tôi lại chờ đợi?
“Hãy thử” không có giả thuyết
Biến
Cô lập một điều
Thay đổi nhiều thứ cùng một lúc
tiêu chí
Chọn một số liệu rõ ràng
Không xác định "tốt hơn"
mẫu vật
Đủ người/lần
quyết định sớm
Bình luận
Tìm hiểu lý do tại sao
Chỉ cần lấy người chiến thắng
ba trường hợp nhỏ
Trường hợp 1 - Thử nghiệm CTA cho kết quả rõ ràng. Một trang thương mại điện tử đã thử nghiệm nút sản phẩm: A “Mua”, B “Thêm vào giỏ hàng”. Chỉ có văn bản nút đã thay đổi. Trong cuộc thử nghiệm với 3.000 khách truy cập, B đã tăng tỷ lệ nhấp từ 4,0% lên 4,9%. Với biến duy nhất được tách biệt, người chiến thắng đã rõ ràng: “thêm vào giỏ hàng” cảm thấy ít ràng buộc hơn.
Trường hợp 2 - Lỗi đa biến. Một nhóm đã thiết kế hai trang đích nhưng tiêu đề, hình ảnh và màu sắc đều khác nhau. B thắng nhưng đội không biết yếu tố nào tạo nên sự khác biệt; học tập trở thành số không. Trong bài kiểm tra tiếp theo, họ tuân theo quy tắc: mỗi lần một biến. Trong bài kiểm tra đó, họ thấy rõ rằng danh hiệu là yếu tố chính.
Trường hợp 3 – Bẫy quyết định sớm. Một nhóm bản tin đã thử nghiệm hai dòng chủ đề trên một nhóm 200 người và cho biết: "Nó đạt điểm A" trong giờ đầu tiên. Mẫu rất nhỏ; sự khác biệt không có ý nghĩa thống kê (nghĩa là có thể là do tình cờ). Khi thử nghiệm được tăng lên đến mức lấy mẫu và đủ thời gian, kết quả lại đảo ngược. Bài học: đừng đưa ra quyết định khi chưa có đủ dữ liệu.
Thận trọng: Sự khác biệt nhìn thấy trong một mẫu nhỏ (số ít người) có thể gây hiểu nhầm. Ý nghĩa thống kê đề cập đến xác suất mà sự khác biệt là có thật chứ không phải do ngẫu nhiên. Đảm bảo đã tiếp cận đủ người và quá trình thử nghiệm diễn ra đủ lâu trước khi đưa ra kết luận.
Mẫu có thể sao chép
Mẫu 1 - Trình tạo biến thể riêng biệt:
Tạo các biến thể cho thử nghiệm A/B. Biến DUY NHẤT cần kiểm tra: [tiêu đề/CTA/hình ảnh]. Mọi thứ khác sẽ không đổi. Giả thuyết: […] Bối cảnh: […].Biến thể A: [cách tiếp cận hiện tại]. Biến thể B: [cách tiếp cận thay thế]. Giả sử hai biến thể có độ dài tương tự nhau; không thay đổi bất cứ điều gì khác.
Mẫu 2 - Làm rõ giả thuyết:
Xây dựng một giả thuyết có thể kiểm chứng được từ quan sát sau: "[quan sát]". Viết giả thuyết theo dạng "nếu chúng ta thực hiện [thay đổi], [số liệu] sẽ tăng lên vì [tại sao]". Sau đó, hãy cho tôi biết tôi nên tách biến nào.
Mẫu 3 - Bộ kiểm tra dòng chủ đề:
Tạo 2 dòng chủ đề để thử nghiệm A/B cho email sau. Sự khác biệt trên một trục duy nhất: [sự tò mò so với sự rõ ràng / sự ngắn gọn, v.v. dài/câu hỏi, v.v. cách diễn đạt]. Cả hai đều không được chứa từ spam và phải có độ dài tương tự nhau. Tóm tắt email: […]
Mẫu 4 - Diễn giải kết quả:
Giải thích kết quả của thử nghiệm A/B. Biến: [...]. Số liệu của Biến thể A: […]. Chỉ số của biến thể B: […].Kích thước mẫu: […]. Thời lượng: […].Hãy cho tôi biết: Sự khác biệt có vẻ đáng kể hay mẫu nhỏ? Chúng ta đã học được gì? Bạn đề nghị gì cho bài kiểm tra tiếp theo? Đừng yêu cầu số liệu thống kê chính xác; Nếu không rõ ràng, chỉ định.
Mẹo: Chỉ lấy được “người chiến thắng” trong bài kiểm tra thôi là chưa đủ; Lợi ích thực sự là cái nhìn sâu sắc về “tại sao nó lại thắng”. Cái nhìn sâu sắc này cung cấp giả thuyết cho bài kiểm tra tiếp theo và xây dựng nội dung học tập theo thời gian.
Ưu tiên: kiểm tra cái gì trước?
Có vô số mục bạn có thể kiểm tra nhưng thời gian và lưu lượng truy cập của bạn bị hạn chế. Vì vậy hãy ưu tiên kiểm tra dựa trên khả năng tác động. Nguyên tắc chung: các yếu tố mà người dùng nhìn thấy đầu tiên và có tác động nhiều nhất đến quyết định sẽ được kiểm tra trước tiên. Trên trang đích, dòng tiêu đề có tác động lớn nhất đến số lần nhấp chuột; bởi vì người dùng đọc nó trước và quyết định có tiếp tục hay không. Các chi tiết như màu nút thường có tác động nhỏ hơn; để chúng lại lần cuối.
Một cách thực tế để ưu tiên là chấm điểm từng ý tưởng thử nghiệm theo ba trục: tác động dự kiến (nó sẽ tạo ra sự khác biệt như thế nào nếu nó thắng?), sự tự tin (chúng ta tự tin đến mức nào rằng nó sẽ thắng?) và sự dễ dàng (thiết lập nhanh như thế nào?). Các bài kiểm tra có tác động cao, độ tin cậy cao và nỗ lực thấp được đặt lên hàng đầu. Điều này cho phép bạn phân bổ lưu lượng truy cập hạn chế cho các thử nghiệm mang lại nhiều kiến thức nhất. AI có thể cung cấp cho bạn bản thiết kế nhanh chóng để ghi điểm và ưu tiên danh sách các ý tưởng dọc theo ba trục này; Bạn quyết định.
Mẫu 5 - Ưu tiên kiểm tra:
Ưu tiên các ý tưởng thử nghiệm A/B sau đây. Cho điểm từng điểm theo trục tác động (1-5), độ tin cậy (1-5) và tính dễ lắp đặt (1-5), xếp hạng chúng theo tổng điểm và giải thích bằng một câu tại sao chúng lại xếp theo thứ tự đó. Ý TƯỞNG THỬ NGHIỆM: [danh sách]
Những lỗi thường gặp
- Vì vậy, thay đổi cùng một lúc. Kết quả trở nên không thể giải thích được.
- Thử nghiệm không có giả thuyết. “Chúng ta hãy thử xem” không mang lại sự học hỏi.
- Quyết định sớm. Trong một mẫu nhỏ, sự khác biệt được cho là có thật một cách ngẫu nhiên.
- Các biến thể có độ dài khác nhau. Biến thứ hai được vô tình tạo ra.
- Chỉ lấy người chiến thắng. Nếu không tìm hiểu được nguyên nhân thì thông tin sẽ không tích lũy được.
Tóm lại
- Nguyên tắc vàng của thử nghiệm A/B: mỗi lần một biến.
- Mọi bài kiểm tra nên bắt đầu bằng một giả thuyết: tôi đang mong đợi điều gì và tại sao?
- Xác định một thước đo thành công rõ ràng và một mẫu thích hợp.
- Sự khác biệt trong mẫu nhỏ gây hiểu lầm; Lưu ý ý nghĩa thống kê.
- Tìm hiểu tại sao chứ không phải người chiến thắng; Cái nhìn sâu sắc này được đưa vào thử nghiệm tiếp theo.
Nhiệm vụ ứng dụng
Chọn một quan sát về một trong những nội dung của bạn. Với Mẫu 2, hãy chuyển điều này thành một giả thuyết rõ ràng và xác định biến cần tách biệt. Tạo hai biến thể với mẫu 1 (độ dài tương tự, chỉ khác nhau). Cuối cùng, điều chỉnh các con số kết quả giả định, diễn giải chúng bằng Mẫu 4 và lưu ý xem mô hình nói gì về tính đầy đủ của mẫu. Thời lượng: khoảng 25 phút.
danh sách kiểm tra
- [ ] Tôi bắt đầu bài kiểm tra với một giả thuyết rõ ràng.
- [ ] Tôi chỉ cô lập được một biến.
- [ ] Các biến thể vẫn tương tự ở các trục khác (chiều dài, v.v.).
- [ ] Tôi đã xác định một thước đo thành công rõ ràng.
- [ ] Tôi đã không quyết định nếu không có đủ mẫu/thời gian.
- [ ] Tôi đã ghi lại lý do người chiến thắng trong bài kiểm tra tiếp theo.