Lợi nhuận:
- Khả năng hiểu các khái niệm về thử nghiệm A/B, kiểm soát/biến thể, tỷ lệ chuyển đổi và ý nghĩa thống kê, đồng thời thiết lập các giả thuyết và thiết kế thử nghiệm bằng trí tuệ nhân tạo.
- Khả năng tách biệt biến duy nhất cần kiểm tra và tạo ra văn bản/hình ảnh biến thể và kế hoạch đo lường với sự hỗ trợ của trí tuệ nhân tạo
- Khả năng phân biệt rằng việc diễn giải bài kiểm tra của trí tuệ nhân tạo bị giới hạn bởi kích thước và tầm quan trọng của mẫu cũng như nguy cơ đọc kết quả sớm/không chính xác
Câu nguy hiểm nhất trong quảng cáo là “Tôi nghĩ cái này tốt hơn”. Dữ liệu, chứ không phải ý kiến, cho bạn biết liệu dòng tiêu đề, hình ảnh hay nút bấm có thực sự tốt hơn hay không. Cách phổ biến nhất để đo lường điều này là thử nghiệm A/B: hiển thị hai (hoặc nhiều) phiên bản của cùng một quảng cáo cho người dùng thực và so sánh phiên bản nào hoạt động tốt hơn. "A" thường là phiên bản hiện tại (điều khiển), trong khi "B" là phiên bản mới đang được thử (biến thể). Ví dụ: bạn chỉ có thể thay đổi tiêu đề trong cùng một quảng cáo và đo lường tiêu đề nào được nhấp vào nhiều hơn. Trí tuệ nhân tạo rất hữu ích trong quá trình này cả trong việc tạo ra một số lượng lớn các biến thể và diễn giải kết quả; Nhưng giá trị khoa học của bài kiểm tra phụ thuộc vào các quy tắc thiết kế và sự kiên nhẫn.
Nguyên tắc vàng của thử nghiệm A/B: một biến
Quy tắc cơ bản nhất của thử nghiệm A/B là tách biệt một biến duy nhất. Nếu bạn thay đổi tiêu đề, hình ảnh và nút cùng lúc và phiên bản B thắng, bạn sẽ không bao giờ biết cái gì thắng. Vì vậy, trong thử nghiệm chỉ có một phần tử thay đổi, phần còn lại không đổi. Nếu bạn muốn kiểm tra nhiều mục một cách đồng thời và có hệ thống, thì đây được gọi là thử nghiệm đa biến và yêu cầu mẫu lớn hơn nhiều; Thử nghiệm A/B đơn biến là cách để bắt đầu.
Khái niệm cơ bản thứ hai là ý nghĩa thống kê. Giả sử phiên bản A nhận được 3 phần trăm số nhấp chuột và phiên bản B nhận được 3,3 phần trăm số nhấp chuột. Sự khác biệt này là lợi thế thực sự hay là sự may mắn? Nếu bạn chỉ chiếu bài kiểm tra cho 100 người thì sự khác biệt này có thể là ngẫu nhiên. Ý nghĩa thống kê có nghĩa là sự khác biệt quan sát được khó có thể là do ngẫu nhiên (nghĩa là sự khác biệt có thể là có thật). Điều này đòi hỏi phải có đủ cỡ mẫu (số người xem bài kiểm tra). Tuyên bố “người chiến thắng” với ít dữ liệu là sai lầm phổ biến và tốn kém nhất.
Mẹo: Trước khi bắt đầu thử nghiệm, hãy trả lời câu hỏi “khi nào tôi sẽ công bố người chiến thắng”: có bao nhiêu người/sau chuyển đổi, ở mức ý nghĩa nào. Việc đưa ra quyết định này trước sẽ giúp bạn không bị vướng vào những ồn ào trong những giờ đầu tiên và đưa ra quyết định quá sớm.
Bảng sau so sánh thiết kế thử nghiệm A/B tốt và xấu:
mục
thiết kế tồi
thiết kế tốt
Số lượng biến
Tiêu đề + hình ảnh + nút cùng nhau
chỉ tiêu đề
giả thuyết
(không có) "hãy xem điều gì sẽ xảy ra"
"Tiêu đề có câu hỏi tăng số nhấp chuột"
mẫu vật
80 người
Số đại biểu được tính toán trước
thời điểm quyết định
2 giờ sau
Khi bạn đạt được ý nghĩa
Lựa chọn người chiến thắng
"Tôi nghĩ B là tốt"
Dựa trên dữ liệu và ý nghĩa
Từng bước: thiết lập thử nghiệm A/B
Bước 1 - Viết một giả thuyết. Bạn đang thử nghiệm cái gì và tại sao? Một giả thuyết rõ ràng như "Dòng tiêu đề có lợi ích sẽ nhận được nhiều lượt nhấp chuột hơn dòng tiêu đề có tính năng".
Bước 2 - Chọn một biến. Chỉ tiêu đề, hoặc chỉ hình ảnh, hoặc chỉ CTA.
Bước 3 - Tạo các biến thể. Tạo các phiên bản khác nhau của cùng một mặt hàng bằng AI; giữ phần còn lại không đổi.
Bước 4 - Thiết lập kế hoạch đo lường. Số liệu nào sẽ xác định người chiến thắng (tỷ lệ nhấp, chuyển đổi), cần bao nhiêu mẫu, thời gian chạy.
Bước 5 - Giải thích và xác minh kết quả. Đã thu thập đủ dữ liệu chưa, sự khác biệt có đáng kể không? Nếu nó không đáng kể thì "không có sự khác biệt" cũng là kết quả hợp lệ.
ba trường hợp nhỏ
Trường hợp 1 - Sự rõ ràng của một biến duy nhất. Một thương hiệu thương mại điện tử chỉ thử nghiệm CTA trong quảng cáo sản phẩm của mình: “Mua” và “Thêm vào giỏ hàng”. Mọi thứ khác đều giống nhau. Sau khi lấy đủ mẫu, "Thêm vào giỏ hàng" đã mang lại chuyển đổi cao hơn đáng kể. Sự khác biệt có thể được giải thích rõ ràng vì một biến duy nhất đã bị cô lập. AI tạo ra hai CTA, dữ liệu đã chọn ra người chiến thắng.
Trường hợp 2 - Bẫy quyết định sớm. Một thương hiệu đã dừng thử nghiệm vì phiên bản B dẫn trước trong 3 giờ đầu tiên của thử nghiệm A/B và mở rộng cho toàn bộ ngân sách của phiên bản B. Nhìn vào tổng số liệu ngày hôm sau, A thực sự nhỉnh hơn một chút; Sự khác biệt trong những giờ đầu tiên là ngẫu nhiên. Ngân sách đã bị lãng phí. Sai lầm: đưa ra quyết định sớm với cỡ mẫu không đủ.
Trường hợp 3 - “Không có gì khác biệt” cũng là kết luận. Một thương hiệu đã thử nghiệm hai hình ảnh khác nhau và sau khi lấy đủ mẫu, cả hai đều cho kết quả gần như giống nhau. Trong khi nhóm sắp than thở rằng "thử nghiệm thất bại", cách hiểu chính xác là hình ảnh không phải là yếu tố quyết định trong chiến dịch này, vì vậy nỗ lực nên hướng vào dòng tiêu đề và ưu đãi. Việc không tìm thấy sự khác biệt đáng kể cũng là thông tin có giá trị.
Bốn mẫu có thể sao chép
1) Giả thuyết và thiết kế thử nghiệm:
Những gì tôi muốn kiểm tra: [ví dụ. tiêu đề quảng cáo]. Nhiệm vụ: (1) Viết một giả thuyết có thể kiểm chứng duy nhất (ở dạng "... tăng ... tăng"). (2) Liệt kê một biến cần tách biệt và những biến cần giữ không đổi. (3) Đề xuất số liệu sẽ xác định người chiến thắng (tỷ lệ nhấp/chuyển đổi). (4) Viết những điều tôi cần chú ý để xác thực thử nghiệm (mẫu, thời lượng, rủi ro khi đưa ra quyết định sớm).
2) Trình tạo biến thể (biến thể đơn):
Quảng cáo cố định: hình ảnh [giống nhau], CTA [giống nhau], mục tiêu [giống nhau]. Biến được kiểm tra: HEADLINE. Tin nhắn chính: "[tin nhắn]". Nhiệm vụ: Tạo 4 biến thể tiêu đề khác nhau với cùng một thông điệp. Mỗi người sử dụng một cách tiếp cận khác nhau (câu hỏi, lợi ích, con số, mức độ khẩn cấp). Chỉ có dòng tiêu đề thay đổi; Thêm một tuyên bố không có căn cứ.
3) Kế hoạch đo lường:
Kiểm tra: [Định nghĩa của A và B]. Số liệu: [nhấp chuột/chuyển đổi]. Nhiệm vụ: Soạn thảo kế hoạch đo lường:(1) số liệu nào là chính, số liệu nào là phụ,(2) cần bao nhiêu dữ liệu/thời gian để tuyên bố người chiến thắng (giải thích logic),(3) cách phân chia lưu lượng truy cập một cách đồng đều và công bằng giữa A và B,(4) những yếu tố bên ngoài nào có thể làm sai lệch kết quả (mùa, ngày trong tuần). Giả sử tôi sẽ sử dụng một công cụ quan trọng để tính toán số liệu thống kê chính xác.
4) Trình thông dịch kết quả (cẩn thận):
Kết quả thử nghiệm A/B của tôi (dữ liệu thực): [A: số lần hiển thị/số lần nhấp/chuyển đổi], [B: số lần hiển thị/số lần nhấp/chuyển đổi]. Nhiệm vụ: (1) Tính toán và hiển thị tỷ lệ của từng phiên bản. (2) Nhận xét về mức độ khác biệt, nhưng nếu mẫu không đủ, hãy nói "không đủ dữ liệu để có kết quả có ý nghĩa".(3) Nhắc nhở rủi ro về việc đọc sớm/đọc sai. Không đưa ra tuyên bố dứt khoát về tầm quan trọng; Tôi sẽ xác nhận bằng một công cụ tài khoản riêng.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Tạo phiên bản A và B cho quảng cáo của tôi, cho tôi biết cái nào tốt hơn.
Biến không bị cô lập, không có giả thuyết và thước đo; AI không thể biết cái nào “tốt” nếu không có dữ liệu, nó bịa ra.
Lời nhắc mạnh mẽ:
Tôi đang thiết lập thử nghiệm A/B. Đã sửa: hình ảnh và CTA sẽ giữ nguyên.Chỉ thử nghiệm biến: dòng tiêu đề quảng cáo.Giả thuyết: "Dòng tiêu đề có số nhận được nhiều lượt nhấp chuột hơn dòng tiêu đề chung". Thông báo chính: "Được gửi trong 3 ngày". Nhiệm vụ: (1) Tạo 1 dòng tiêu đề chung để kiểm soát, 3 dòng tiêu đề có số cho biến thể. (2) Cho tôi biết tôi nên xem xét số liệu nào để đo lường người chiến thắng. (3) Nhắc tôi về 3 lỗi có thể làm mất hiệu lực của bài kiểm tra. Đừng dự đoán lỗi nào sẽ thắng; Dữ liệu sẽ xác định nó.
Yêu cầu thứ hai tách biệt một biến duy nhất, liên quan đến giả thuyết và đo lường; để lại người chiến thắng cho dữ liệu.
Những lỗi thường gặp
- Thay đổi nhiều mục cùng một lúc. Lý do người chiến thắng trở nên không rõ ràng; Một biến duy nhất phải được cách ly.
- Đưa ra quyết định khi không đủ mẫu. Sự khác biệt trong những giờ đầu tiên thường là ngẫu nhiên.
- Kiểm tra mà không có giả thuyết. Thử nghiệm “Hãy xem điều gì sẽ xảy ra” không mang lại kết quả học tập; Đầu tiên hãy viết ra những gì bạn mong đợi.
- Nhầm kết quả “Không có sự khác biệt” là thất bại. Việc thiếu một sự khác biệt đáng kể cũng là thông tin.
- Chọn người chiến thắng dựa trên hương vị. Thử nghiệm chính xác là để loại trừ sở thích cá nhân; Theo dõi dữ liệu.
- Bỏ quên các yếu tố bên ngoài Mùa, ngày vận động, luồng tin tức có thể làm sai lệch kết quả; Giữ điều kiện thử nghiệm công bằng.
Lưu ý: Mục đích của thử nghiệm A/B không phải là để “chiến thắng” mà là để học hỏi. Ngay cả một biến thể mất đi thông tin có giá trị; Tổn thất thực sự là dựa vào kết quả sai với dữ liệu không đầy đủ và buộc ngân sách vào đó.
Tóm lại
Thử nghiệm A/B là một phương pháp mạnh mẽ giúp chuyển các quyết định quảng cáo từ ý tưởng sang dữ liệu. Nguyên tắc vàng là tách biệt một biến duy nhất: chỉ một phần tử thay đổi trong thử nghiệm, phần còn lại không đổi. Trụ cột thứ hai là lấy mẫu đầy đủ và có ý nghĩa thống kê; Tuyên bố người chiến thắng với ít dữ liệu là sai lầm đắt giá nhất. AI rất hữu ích trong việc tạo ra nhiều biến thể cũng như tính toán và giải thích tỷ lệ cược, nhưng dữ liệu sẽ quyết định người chiến thắng chứ không phải AI. Ngay cả kết quả "không có gì khác biệt" cũng là một bài học. Ngưỡng giả thuyết, số liệu và quyết định phải được viết trước khi bắt đầu thử nghiệm.
Nhiệm vụ ứng dụng
Chọn một quảng cáo (dòng tiêu đề, hình ảnh hoặc CTA). (1) Viết một giả thuyết có thể kiểm chứng duy nhất và một biến độc lập với "Giả thuyết và thiết kế kiểm định". (2) Tạo 1 điều khiển + 3 biến thể với "Trình tạo biến thể"; Chỉ cần thay đổi yếu tố đó. (3) Lập kế hoạch xem bạn sẽ xem số liệu nào, trong bao lâu và với dữ liệu gì, với “kế hoạch đo lường”. (4) Viết trước ngưỡng của bạn để tuyên bố người chiến thắng (có bao nhiêu chuyển đổi / ý nghĩa gì). (5) Xem xét các kết quả giả định bằng “trình thông dịch kết quả” và lưu ý lý do tại sao bạn không đưa ra quyết định trong trường hợp không đủ dữ liệu.
danh sách kiểm tra
- [ ] Tôi chỉ phân lập được một biến trong bài kiểm tra.
- [ ] Tôi đã viết một giả thuyết rõ ràng trước khi kiểm tra.
- [ ] Tôi đã xác định được mẫu và thời gian cần thiết cho người chiến thắng.
- [ ] Tôi chọn người chiến thắng dựa trên dữ liệu chứ không phải sở thích cá nhân.
- [ ] Tôi coi kết quả "không có gì khác biệt" là kết quả học tập hợp lệ.
- [ ] Tôi đã kiểm tra các yếu tố bên ngoài có thể làm sai lệch kết quả.