ตัวแปรการทดสอบ A/B และการออกแบบการทดสอบ

กำไร:

• ความสามารถในการสร้างรูปแบบข้อความที่เป็นระบบซึ่งแยกตัวแปรเดี่ยวสำหรับการทดสอบ A/B
• ความสามารถในการแปลงสมมติฐานให้เป็นการตั้งค่าการทดลองที่วัดผลได้
• ความสามารถในการตีความผลการทดสอบในแง่ของนัยสำคัญทางสถิติและการเรียนรู้

สัญชาตญาณมีคุณค่าในการตลาด แต่หลักฐานมีค่ามากกว่า พาดหัวข่าวใดได้รับคลิกมากกว่า CTA ใดขายได้มากกว่า รูปภาพใดดึงดูดความสนใจได้มากกว่า แทนที่จะคาดเดา คุณสามารถวัดสิ่งนี้ได้ด้วยการทดสอบ A/B การทดสอบ A/B เป็นวิธีการทดลองที่แสดงเนื้อหาเดียวกัน 2 เวอร์ชัน (A และ B) ต่อผู้ชมจริง และวัดว่าเวอร์ชันใดทำงานได้ดีกว่า ปัญญาประดิษฐ์จะป้อนข้อมูลสำหรับการทดสอบเหล่านี้อย่างรวดเร็ว ซึ่งได้แก่ ตัวแปรต่างๆ แต่การทำให้การทดสอบใช้งานได้นั้นจำเป็นต้องมีกฎทางวิทยาศาสตร์: ทีละตัวแปร ในหน่วยนี้คุณจะได้เรียนรู้วิธีสร้างตัวแปร แปลสมมติฐานเป็นการทดลองที่วัดผลได้ และตีความผลลัพธ์ในแง่ของนัยสำคัญทางสถิติ

กฎทอง: แยกตัวแปรหนึ่งตัว

ในการตีความผลการทดสอบ มีเพียงสิ่งเดียวเท่านั้นที่ต้องแตกต่างระหว่าง A และ B หากคุณเปลี่ยนชื่อ รูปภาพ และ CTA พร้อมกัน คุณจะไม่มีทางรู้ได้เลยว่าอันไหนสร้างความแตกต่างเมื่อ B ชนะ การแยกตัวแปรที่จะทดสอบเป็นสิ่งเดียวที่ทำให้การเรียนรู้เป็นไปได้

ตัวแปรทั่วไปที่สามารถทดสอบได้:

• ชื่อเรื่อง: รูปภาพและเนื้อหาเดียวกัน ชื่อเรื่องต่างกัน
• ข้อความ CTA: "ซื้อ" หรือ "หยิบลงตะกร้า"?
• บรรทัดหัวเรื่อง: ส่งผลต่ออัตราการเปิดอีเมล
• รูปภาพ: ข้อความเดียวกันแต่รูปภาพต่างกัน
• ความยาว/น้ำเสียง: สั้นหรือยาว เป็นทางการ ฯลฯ จริงใจ

จากสมมติฐานสู่การทดลอง: ทีละขั้นตอน

1. สังเกต. "หน้า Landing Page ของเรามี Conversion ต่ำ"
2. สมมติฐาน “พาดหัวที่เน้นผลประโยชน์จะแปลงมากกว่าพาดหัวที่เน้นฟีเจอร์”
3. แยกตัวแปร ชื่อเรื่องเท่านั้นที่จะเปลี่ยน
4. สร้างตัวแปร 2 รุ่นที่ชัดเจนพร้อมรุ่น (A: คุณสมบัติ, B: ประโยชน์)
5. กำหนดการวัดความสำเร็จของคุณ ตัวอย่างเช่น อัตราการแปลง — เปอร์เซ็นต์ของผู้เข้าชมที่ดำเนินการตามที่ต้องการ
6. กำหนดตัวอย่างและระยะเวลา คนเพียงพอและมีเวลาเพียงพอ
7. วัด เปรียบเทียบ เรียนรู้ เรียนรู้ "ทำไม" ไม่ใช่ผู้ชนะ

“สมมติฐาน” คือการทำนายที่จะถูกทดสอบที่นี่ และอาจกลายเป็นจริงหรือเท็จ สมมติฐานที่ดีจะบอกคุณว่าคุณคาดหวังอะไรและทำไม

พรอมต์อ่อน / พรอมต์แข็งแกร่ง

พรอมต์ที่อ่อนแอ:

เขียนทางเลือกอื่นสำหรับชื่อเรื่องนี้

พรอมต์อันทรงพลัง:

สร้างตัวแปรสำหรับการทดสอบ A/B กฎ: มีเพียงชื่อเท่านั้นที่จะเปลี่ยน เนื้อหาและ CTA จะยังคงเหมือนเดิม สมมติฐาน: ชื่อที่เน้นสิทธิประโยชน์จะได้รับการคลิกมากกว่าชื่อที่เน้นฟีเจอร์ เนื้อหา: หน้า Landing Page สินค้า: แอปพลิเคชันการจัดการโครงการ ผู้ชม: ทีมขนาดเล็ก คำขอ:- รูปแบบ A: ชื่อที่มุ่งเน้นคุณลักษณะ (อธิบายว่าผลิตภัณฑ์ทำอะไร)- รูปแบบ B: ชื่อที่มุ่งเน้นผลประโยชน์ (อธิบายถึงสิ่งที่มอบให้กับผู้ใช้) ใต้แต่ละรูปแบบ ให้เขียนว่าผลิตภัณฑ์มีแรงจูงใจทางจิตวิทยาอะไรบ้าง มีเพียง 2 รูปแบบเท่านั้น ทั้งสองควรเป็นบรรทัดเดียวและมีความยาวเท่ากัน

สิ่งสำคัญคือต้องให้ตัวแปรต่างๆ มีความยาวใกล้เคียงกัน มิฉะนั้น "ความยาว" จะกลายเป็นตัวแปรที่สองโดยไม่ได้ตั้งใจ

แผนภูมิก่อน/หลังการทดสอบ

เวที

จะทำอย่างไร

ข้อผิดพลาดบ่อยครั้ง

สมมติฐาน

อะไรนะ ฉันจะรอทำไม?

"มาลอง" โดยไม่ต้องตั้งสมมติฐาน

ตัวแปร

แยกสิ่งหนึ่งออกไป

เปลี่ยนแปลงหลายอย่างไปพร้อมๆ กัน

เกณฑ์

เลือกเมตริกที่ชัดเจนหนึ่งรายการ

ไม่มีกำหนด "ดีกว่า"

ตัวอย่าง

คน/เวลา เพียงพอ

ตัดสินใจเร็ว

ความคิดเห็น

เรียนรู้ว่าทำไม

เพียงแค่เอาผู้ชนะ

มินิเคสสามอัน

กรณีที่ 1 — การทดสอบ CTA ให้ผลลัพธ์ที่ชัดเจน ไซต์อีคอมเมิร์ซทดสอบปุ่มผลิตภัณฑ์: A "ซื้อ" B "เพิ่มลงตะกร้า" เฉพาะข้อความปุ่มเท่านั้นที่มีการเปลี่ยนแปลง ในการทดสอบผู้เยี่ยมชม 3,000 คน B เพิ่มอัตราการคลิกผ่านจาก 4.0% เป็น 4.9% เมื่อแยกตัวแปรตัวเดียว ผู้ชนะก็ชัดเจนว่า “เพิ่มลงในรถเข็น” รู้สึกผูกพันน้อยลง

กรณีที่ 2 — ข้อผิดพลาดหลายตัวแปร ทีมงานออกแบบแลนดิ้งเพจสองหน้า แต่ชื่อเรื่อง รูปภาพ และสีต่างกันทั้งหมด B ชนะ แต่ทีมไม่รู้ว่าองค์ประกอบใดที่สร้างความแตกต่าง การเรียนรู้กลายเป็นศูนย์ ในการทดสอบครั้งต่อไป พวกเขาปฏิบัติตามกฎ: ทีละตัวแปร ในการทดสอบนั้น พวกเขาเห็นได้อย่างชัดเจนว่าตำแหน่งเป็นปัจจัยหลัก

กรณีที่ 3 — กับดักการตัดสินใจตั้งแต่เนิ่นๆ ทีมจดหมายข่าวทดสอบสองหัวเรื่องกับกลุ่มคน 200 คน และบอกว่า "ได้ A" ในชั่วโมงแรก กลุ่มตัวอย่างมีขนาดเล็กมาก ความแตกต่างไม่มีนัยสำคัญทางสถิติ (เช่น อาจเนื่องมาจากโอกาส) เมื่อการทดสอบเพิ่มขึ้นจนถึงการสุ่มตัวอย่างและเวลาที่เพียงพอ ผลลัพธ์จะกลับกัน บทเรียน: อย่าตัดสินใจโดยไม่มีข้อมูลเพียงพอ

ข้อควรระวัง: ความแตกต่างที่เห็นในกลุ่มตัวอย่างเล็กๆ (คนจำนวนน้อย) อาจทำให้เข้าใจผิดได้ นัยสำคัญทางสถิติหมายถึงความน่าจะเป็นที่ความแตกต่างนั้นมีอยู่จริงและไม่ได้เกิดจากโอกาส ตรวจสอบให้แน่ใจว่าเข้าถึงผู้คนได้เพียงพอและการทดสอบดำเนินไปนานพอก่อนที่จะสรุปผล

เทมเพลตที่คัดลอกได้

เทมเพลต 1 — ตัวสร้างตัวแปรแบบแยก:

สร้างตัวแปรสำหรับการทดสอบ A/B ตัวแปรเดียวที่จะทดสอบ: [headline/CTA/image] ทุกสิ่งทุกอย่างจะยังคงคงที่ สมมติฐาน: [...] บริบท: [...].ตัวแปร A: [แนวทางปัจจุบัน] รูปแบบ B: [แนวทางทางเลือก] ให้ทั้งสองรูปแบบมีความยาวเท่ากัน อย่าเปลี่ยนแปลงสิ่งอื่นใด

เทมเพลต 2 — ตัวชี้แจงสมมติฐาน:

สร้างสมมติฐานที่ทดสอบได้จากการสังเกตต่อไปนี้: "[การสังเกต]" เขียนสมมติฐานในรูปแบบ "ถ้าเราทำ [เปลี่ยน] [เมตริก] เพิ่มขึ้นเพราะ [ทำไม]" จากนั้นบอกฉันว่าตัวแปรตัวใดที่ฉันควรแยก

เทมเพลต 3 — ชุดทดสอบหัวเรื่อง:

สร้างหัวเรื่อง 2 หัวเรื่องเพื่อทดสอบ A/B สำหรับอีเมลต่อไปนี้ ความแตกต่างในแกนเดียว: [ความอยากรู้เทียบกับความชัดเจน / ความกระชับ ฯลฯ ยาว/คำถาม ฯลฯ การแสดงออก] ทั้งสองไม่ควรมีคำว่าสแปมและควรมีความยาวใกล้เคียงกัน สรุปอีเมล: [...]

เทมเพลต 4 — การตีความผลลัพธ์:

ตีความผลลัพธ์ของการทดสอบ A/B ตัวแปร: [...] ตัวแปร A เมตริก: [...] ตัวแปร B เมตริก: [...] ขนาดตัวอย่าง: [...] ระยะเวลา: [...].บอกฉัน: ความแตกต่างดูเหมือนมีนัยสำคัญหรือตัวอย่างมีขนาดเล็กหรือไม่ เราเรียนรู้อะไร? คุณจะแนะนำอะไรสำหรับการทดสอบครั้งต่อไป? อย่าอ้างสถิติที่แน่นอน ถ้าไม่ชัดเจนให้ระบุ

เคล็ดลับ: การได้ "ผู้ชนะ" จากการทดสอบนั้นไม่เพียงพอ ประโยชน์ที่แท้จริงคือการเข้าใจถึง "เหตุใดจึงชนะ" ข้อมูลเชิงลึกนี้จะป้อนเข้าสู่สมมติฐานสำหรับการทดสอบครั้งต่อไป และสร้างองค์การเรียนรู้เมื่อเวลาผ่านไป

ลำดับความสำคัญ: จะต้องทดสอบอะไรก่อน?

มีไอเท็มมากมายที่คุณสามารถทดสอบได้ แต่เวลาและการรับส่งข้อมูลของคุณมีจำกัด ดังนั้นจัดลำดับความสำคัญของการทดสอบโดยพิจารณาจากศักยภาพในการกระแทก กฎทั่วไป: องค์ประกอบที่ผู้ใช้เห็นก่อนและมีผลกระทบต่อการตัดสินใจมากที่สุดจะได้รับการทดสอบก่อน บนหน้า Landing Page พาดหัวมีผลกระทบต่อการคลิกมากที่สุด เพราะผู้ใช้อ่านก่อนแล้วตัดสินใจว่าจะดำเนินการต่อหรือไม่ รายละเอียดเช่นสีของปุ่มมักจะส่งผลกระทบน้อยลง ปล่อยทิ้งไว้เป็นครั้งสุดท้าย

วิธีจัดลำดับความสำคัญในทางปฏิบัติคือการให้คะแนนแนวคิดการทดสอบแต่ละแนวคิดในสามแกน: ผลกระทบที่คาดหวัง (หากชนะจะทำให้เกิดความแตกต่างมากน้อยเพียงใด) ความมั่นใจ (เรามั่นใจเพียงใดว่าจะชนะ) และความสะดวก (จะจัดเตรียมได้เร็วแค่ไหน) การทดสอบที่มีการกระแทกสูง ความมั่นใจสูง และใช้ความพยายามน้อยถือเป็นอันดับแรก ซึ่งจะทำให้คุณสามารถจัดสรรการรับส่งข้อมูลที่จำกัดให้กับการทดสอบที่นำมาซึ่งการเรียนรู้มากที่สุด AI สามารถให้พิมพ์เขียวแก่คุณในการให้คะแนนและจัดลำดับความสำคัญของรายการแนวคิดตามแกนทั้งสามนี้ คุณตัดสินใจ.

เทมเพลต 5 — การจัดลำดับความสำคัญในการทดสอบ:

จัดลำดับความสำคัญแนวคิดการทดสอบ A/B ต่อไปนี้ ให้คะแนนแต่ละแกนตามแกนของการกระแทก (1-5) ความน่าเชื่อถือ (1-5) และความง่ายในการติดตั้ง (1-5) จัดอันดับตามคะแนนรวม และอธิบายในประโยคเดียวว่าเหตุใดจึงเรียงลำดับนั้น แนวคิดการทดสอบ: [รายการ]

ข้อผิดพลาดทั่วไป

• จึงแปรผันไปพร้อมๆ กัน ผลลัพธ์ไม่สามารถตีความได้
• การทดสอบที่ปราศจากสมมติฐาน “ลองดูสิ” ไม่ได้ทำให้เกิดการเรียนรู้
• การตัดสินใจในช่วงต้น ในกลุ่มตัวอย่างเล็กๆ คิดว่าความแตกต่างเกิดขึ้นจริงโดยบังเอิญ
• รุ่นที่มีความยาวต่างกัน ตัวแปรที่สองถูกสร้างขึ้นโดยไม่ได้ตั้งใจ
• แค่เอาผู้ชนะ.. ถ้าไม่ทราบเหตุผล ข้อมูลก็จะไม่สะสม

โดยสรุป

• กฎทองของการทดสอบ A/B: ทีละตัวแปร
• การทดสอบทุกครั้งควรเริ่มต้นด้วยสมมติฐาน: ฉันคาดหวังอะไรและเพราะเหตุใด
• กำหนดตัวชี้วัดความสำเร็จที่ชัดเจนเพียงตัวเดียวและตัวอย่างที่เหมาะสม
• ความแตกต่างในกลุ่มตัวอย่างขนาดเล็กทำให้เข้าใจผิด หมายเหตุนัยสำคัญทางสถิติ
• ค้นหาสาเหตุ ไม่ใช่ผู้ชนะ ข้อมูลเชิงลึกนี้จะนำไปใช้ในการทดสอบครั้งต่อไป

งานสมัคร

เลือกข้อสังเกตเกี่ยวกับเนื้อหาของคุณ ด้วยเทมเพลต 2 ให้แปลสิ่งนี้เป็นสมมติฐานที่ชัดเจนและระบุตัวแปรที่จะแยกออก สร้างสองรูปแบบด้วยเทมเพลต 1 (ความยาวเท่ากัน ต่างกันเท่านั้น) สุดท้าย ปรับตัวเลขผลลัพธ์สมมุติให้เหมาะสม ตีความโดยใช้เทมเพลต 4 และสังเกตสิ่งที่แบบจำลองพูดเกี่ยวกับความเพียงพอของกลุ่มตัวอย่าง ระยะเวลา: ประมาณ 25 นาที

รายการตรวจสอบ

• [ ] ฉันเริ่มการทดสอบด้วยสมมติฐานที่ชัดเจน
• [ ] ฉันแยกตัวแปรได้เพียงตัวแปรเดียว
• [ ] ตัวแปรยังคงคล้ายกันในแกนอื่นๆ (ความยาว ฯลฯ)
• [ ] ฉันได้กำหนดตัวชี้วัดความสำเร็จที่ชัดเจนไว้หนึ่งตัวชี้วัด
• [ ] ฉันไม่ได้ตัดสินใจว่าไม่มีตัวอย่าง/เวลาเพียงพอ
• [ ] ฉันสังเกตเหตุผลของผู้ชนะในการทดสอบครั้งต่อไป