กำไร:
- ความสามารถในการเข้าใจแนวคิดของการทดสอบ A/B การควบคุม/ตัวแปร อัตราการแปลง และนัยสำคัญทางสถิติ และสร้างสมมติฐานและการออกแบบการทดสอบด้วยปัญญาประดิษฐ์
- ความสามารถในการแยกตัวแปรเดี่ยวที่จะทดสอบและสร้างข้อความ/รูปภาพและแผนการวัดที่หลากหลายด้วยการสนับสนุนปัญญาประดิษฐ์
- ความสามารถในการแยกแยะว่าการตีความการทดสอบของปัญญาประดิษฐ์นั้นถูกจำกัดด้วยขนาดและความสำคัญของกลุ่มตัวอย่าง และความเสี่ยงในการอ่านผลลัพธ์ก่อนเวลาอันควร/ไม่ถูกต้อง
ประโยคที่อันตรายที่สุดในการโฆษณาคือ "ฉันคิดว่านี่ดีกว่า" ข้อมูล ไม่ใช่ความคิดเห็น จะบอกคุณว่าพาดหัว รูปภาพ หรือปุ่มดีกว่าจริงหรือไม่ วิธีที่ใช้กันทั่วไปในการวัดสิ่งนี้คือการทดสอบ A/B: การแสดงโฆษณาเดียวกันสองเวอร์ชัน (หรือมากกว่า) ให้กับผู้ใช้จริง และเปรียบเทียบว่าเวอร์ชันใดทำงานได้ดีกว่า โดยปกติแล้ว "A" จะเป็นเวอร์ชันปัจจุบัน (ตัวควบคุม) ในขณะที่ "B" คือเวอร์ชันใหม่ที่กำลังลองใช้ (เวอร์ชัน) ตัวอย่างเช่น คุณสามารถเปลี่ยนชื่อในโฆษณาเดียวกันเท่านั้น และวัดได้ว่าชื่อใดที่มีการคลิกมากกว่า ปัญญาประดิษฐ์มีประโยชน์ในกระบวนการนี้ทั้งในการสร้างตัวแปรจำนวนมากและในการตีความผลลัพธ์ แต่ความถูกต้องทางวิทยาศาสตร์ของการทดสอบนั้นขึ้นอยู่กับกฎการออกแบบและความอดทน
กฎทองของการทดสอบ A/B: ตัวแปรเดียว
กฎพื้นฐานที่สุดของการทดสอบ A/B คือการแยกตัวแปรตัวเดียว หากคุณเปลี่ยนชื่อ รูปภาพ และปุ่มพร้อมกันและเวอร์ชัน B ชนะ คุณจะไม่มีทางรู้ว่าสิ่งใดชนะ ดังนั้นในการทดสอบ มีเพียงองค์ประกอบเดียวเท่านั้นที่ควรเปลี่ยนแปลง ส่วนที่เหลือควรคงที่ หากคุณต้องการทดสอบมากกว่าหนึ่งรายการพร้อมกันและเป็นระบบ สิ่งนี้เรียกว่าการทดสอบหลายตัวแปร และต้องใช้ตัวอย่างที่ใหญ่กว่ามาก การทดสอบ A/B แบบ Univariate เป็นจุดเริ่มต้น
แนวคิดพื้นฐานที่สองคือนัยสำคัญทางสถิติ สมมติว่าเวอร์ชัน A ได้รับการคลิก 3 เปอร์เซ็นต์ และเวอร์ชัน B ได้รับการคลิก 3.3 เปอร์เซ็นต์ ความแตกต่างนี้เป็นข้อได้เปรียบที่แท้จริงหรือความบังเอิญ? หากคุณแสดงแบบทดสอบต่อคนเพียง 100 คน ความแตกต่างนี้อาจเป็นเรื่องบังเอิญ นัยสำคัญทางสถิติหมายความว่าความแตกต่างที่สังเกตได้ไม่น่าเป็นไปได้เพียงพอที่จะเกิดจากโอกาส (กล่าวคือ ความแตกต่างอาจเป็นจริง) ซึ่งต้องมีขนาดตัวอย่างเพียงพอ (จำนวนคนที่ดูการทดสอบ) การประกาศเป็น “ผู้ชนะ” ด้วยข้อมูลเพียงเล็กน้อยถือเป็นข้อผิดพลาดที่พบบ่อยและมีราคาแพงที่สุด
เคล็ดลับ: ก่อนเริ่มการทดสอบ ให้ตอบคำถาม "ฉันจะประกาศผู้ชนะเมื่อใด": จำนวนคน/หลัง Conversion ในระดับนัยสำคัญใด การตัดสินใจล่วงหน้าจะป้องกันไม่ให้คุณจมอยู่กับเสียงรบกวนในชั่วโมงแรกและตัดสินใจก่อนเวลาอันควร
ตารางต่อไปนี้เปรียบเทียบการออกแบบการทดสอบ A/B ที่ดีและไม่ดี:
รายการ
การออกแบบที่ไม่ดี
การออกแบบที่ดี
จำนวนตัวแปร
ชื่อเรื่อง+รูปภาพ+ปุ่มเข้าด้วยกัน
ชื่อเท่านั้น
สมมติฐาน
(ไม่มี) “มาดูกันว่าเกิดอะไรขึ้น”
"ชื่อเรื่องที่มีคำถามเพิ่มการคลิก"
ตัวอย่าง
80 คน
องค์ประชุมที่คำนวณไว้ล่วงหน้า
เวลาตัดสินใจ
2 ชั่วโมงต่อมา
เมื่อบรรลุถึงความสำคัญแล้ว
การคัดเลือกผู้ชนะ
“ฉันว่าบีน่ารักนะ”
ขึ้นอยู่กับข้อมูลและความสำคัญ
ทีละขั้นตอน: การตั้งค่าการทดสอบ A/B
ขั้นตอนที่ 1 — เขียนสมมติฐาน คุณกำลังทดสอบอะไรและทำไม? สมมติฐานที่ชัดเจน เช่น "บรรทัดแรกที่มีประโยชน์จะได้รับการคลิกมากกว่าบรรทัดแรกที่มีคุณลักษณะ"
ขั้นตอนที่ 2 — เลือกตัวแปรเดี่ยว แค่ชื่อเรื่อง หรือแค่รูปภาพ หรือแค่ CTA
ขั้นตอนที่ 3 — สร้างตัวแปร สร้างไอเท็มเดียวกันในเวอร์ชันต่างๆ ด้วย AI รักษาส่วนที่เหลือให้คงที่
ขั้นตอนที่ 4 — จัดทำแผนการวัด ตัวชี้วัดใดที่จะกำหนดผู้ชนะ (อัตราการคลิกผ่าน, คอนเวอร์ชัน), จำนวนตัวอย่างที่ต้องการ, ระยะเวลาดำเนินการ
ขั้นตอนที่ 5 — ตีความและตรวจสอบผลลัพธ์ รวบรวมข้อมูลเพียงพอแล้ว ความแตกต่างมีนัยสำคัญหรือไม่? หากไม่มีนัยสำคัญ "ไม่มีความแตกต่าง" ก็เป็นผลลัพธ์ที่ถูกต้องเช่นกัน
มินิเคสสามอัน
กรณีที่ 1 — ความชัดเจนของตัวแปรตัวเดียว แบรนด์อีคอมเมิร์ซทดสอบเพียง CTA ในโฆษณาผลิตภัณฑ์: "ซื้อ" และ "เพิ่มลงในรถเข็น" ทุกอย่างอื่นก็เหมือนกัน หลังจากการสุ่มตัวอย่างเพียงพอแล้ว "เพิ่มลงรถเข็น" ทำให้เกิด Conversion สูงขึ้นอย่างมาก สามารถตีความความแตกต่างได้อย่างชัดเจนเนื่องจากมีการแยกตัวแปรตัวเดียว AI สร้าง CTA สองรายการ ข้อมูลเลือกผู้ชนะ
กรณีที่ 2 — กับดักการตัดสินใจตั้งแต่เนิ่นๆ แบรนด์หยุดการทดสอบเนื่องจากเวอร์ชัน B นำหน้าใน 3 ชั่วโมงแรกของการทดสอบ A/B และเปิด B ให้กับงบประมาณทั้งหมด เมื่อดูข้อมูลทั้งหมดในวันถัดไป จริงๆ แล้ว A ดีขึ้นเล็กน้อย ความแตกต่างในชั่วโมงแรกเป็นเรื่องบังเอิญ งบประมาณก็สูญเปล่า ข้อผิดพลาด: ตัดสินใจก่อนกำหนดด้วยขนาดตัวอย่างไม่เพียงพอ
กรณีที่ 3 — “ไม่มีความแตกต่าง” ก็เป็นข้อสรุปเช่นกัน แบรนด์หนึ่งทดสอบรูปภาพสองรูปที่แตกต่างกัน และหลังจากการสุ่มตัวอย่างเพียงพอ ทั้งสองรูปก็ให้ผลลัพธ์ที่เกือบจะเหมือนกัน ขณะที่ทีมงานกำลังจะคร่ำครวญว่า "การทดสอบล้มเหลว" การอ่านที่ถูกต้องคือรูปภาพไม่ใช่ปัจจัยในการตัดสินใจในแคมเปญนี้ ดังนั้นความพยายามควรมุ่งไปที่หัวข้อข่าวและข้อเสนอ ข้อเท็จจริงที่ไม่พบความแตกต่างที่มีนัยสำคัญก็เป็นข้อมูลที่มีค่าเช่นกัน
เทมเพลตที่สามารถคัดลอกได้สี่แบบ
1) สมมติฐานและการออกแบบการทดสอบ:
สิ่งที่ฉันต้องการทดสอบ: [เช่น ad title].งาน: (1) เขียนสมมติฐานที่ทดสอบได้ข้อเดียว (ในรูปแบบ "... เพิ่ม ... เพิ่มขึ้น") (2) ระบุตัวแปรเดี่ยวที่จะแยกและตัวแปรที่จะให้คงที่ (3) แนะนำตัวชี้วัดที่จะตัดสินผู้ชนะ (อัตราการคลิกผ่าน/Conversion) (4) เขียนสิ่งที่ฉันต้องใส่ใจเพื่อตรวจสอบความถูกต้องของการทดสอบ (ตัวอย่าง ระยะเวลา ความเสี่ยงในการตัดสินใจตั้งแต่เนิ่นๆ)
2) ตัวสร้างตัวแปร (ตัวแปรเดียว):
โฆษณา Sticky: รูปภาพ [เดียวกัน], CTA [เหมือนกัน] เป้าหมาย [เหมือนกัน] ตัวแปรที่ทดสอบ: HEADLINE ข้อความหลัก: "[ข้อความ]" ภารกิจ: สร้างตัวแปรพาดหัวที่แตกต่างกัน 4 แบบด้วยข้อความเดียวกัน แต่ละคนใช้แนวทางที่แตกต่างกัน (คำถาม ประโยชน์ จำนวน ความเร่งด่วน) เฉพาะหัวข้อข่าวเท่านั้นที่เปลี่ยนแปลง การเพิ่มข้อเรียกร้องที่ไม่มีมูล
3) แผนการวัด:
ทดสอบ: [คำจำกัดความของ A และ B] เมตริก: [คลิก/Conversion] งาน: ร่างแผนการวัดผล:(1) เมตริกใดเป็นเมตริกหลัก ซึ่งเป็นเมตริกรอง (2) จำนวนข้อมูล/เวลาที่จำเป็นในการประกาศผู้ชนะ (อธิบายตรรกะ)(3) วิธีแบ่งการเข้าชมอย่างเท่าเทียมกันและยุติธรรมระหว่าง A และ B (4) ปัจจัยภายนอกใดที่สามารถบิดเบือนผลลัพธ์ได้ (ฤดูกาล วันในสัปดาห์) สมมติว่าฉันจะใช้เครื่องมือที่สำคัญในการคำนวณสถิติที่แน่นอน
4) ล่ามผลลัพธ์ (ระวัง):
ผลการทดสอบ A/B ของฉัน (ข้อมูลจริง): [A: การแสดงผล/คลิก/Conversion],[B: การแสดงผล/คลิก/Conversion] งาน: (1) คำนวณและแสดงอัตราของแต่ละเวอร์ชัน (2) ให้ความเห็นเกี่ยวกับขนาดของความแตกต่าง แต่หากตัวอย่างยังไม่เพียงพอ ให้พูดว่า "ข้อมูลไม่เพียงพอสำหรับผลลัพธ์ที่มีความหมาย" (3) เตือนความเสี่ยงของการคลอดก่อนกำหนด/การอ่านผิด อย่ากล่าวอ้างนัยสำคัญที่แน่ชัด; ฉันจะยืนยันด้วยเครื่องมือบัญชีแยกต่างหาก
พรอมต์อ่อน / พรอมต์แข็งแกร่ง
พรอมต์ที่อ่อนแอ:
สร้างเวอร์ชัน A และ B สำหรับโฆษณาของฉัน บอกฉันว่าเวอร์ชันใดดีกว่า
ตัวแปรไม่ได้ถูกแยกออกจากกัน ไม่มีสมมติฐานและการวัดผล AI ไม่สามารถรู้ได้ว่าอันไหน "ดี" หากไม่มีข้อมูล มันประกอบขึ้นเอง
พรอมต์อันทรงพลัง:
ฉันกำลังตั้งค่าการทดสอบ A/B แก้ไขแล้ว: รูปภาพและ CTA จะยังคงเหมือนเดิม ทดสอบตัวแปรแล้วเท่านั้น: พาดหัวโฆษณา สมมติฐาน: "พาดหัวที่มีตัวเลขจะได้รับการคลิกมากกว่าพาดหัวทั่วไป" ข้อความหลัก: "จัดส่งภายใน 3 วัน" งาน: (1) สร้างพาดหัวทั่วไป 1 หัวข้อสำหรับการควบคุม, 3 พาดหัวข่าวพร้อมตัวเลขสำหรับตัวแปร (2) บอกฉันว่าฉันควรดูเมตริกใดเพื่อวัดผู้ชนะ (3) เตือนฉันถึงข้อผิดพลาด 3 ประการที่อาจทำให้ความถูกต้องเป็นโมฆะ ทดสอบอย่าทายว่าใครจะชนะ ข้อมูลจะเป็นตัวกำหนดมัน
ข้อกล่าวอ้างข้อที่สองแยกตัวแปรเดี่ยว เกี่ยวข้องกับสมมติฐานและการวัดผล ทิ้งผู้ชนะไว้กับข้อมูล
ข้อผิดพลาดทั่วไป
- เปลี่ยนหลายรายการในครั้งเดียว เหตุผลที่ผู้ชนะไม่ชัดเจน จะต้องแยกตัวแปรตัวเดียว
- การตัดสินใจโดยใช้ตัวอย่างไม่เพียงพอ ความแตกต่างในชั่วโมงแรกมักเป็นเรื่องบังเอิญ
- การทดสอบโดยไม่มีสมมติฐาน การทดสอบ "มาดูกันว่าเกิดอะไรขึ้น" ไม่ได้ก่อให้เกิดการเรียนรู้ ก่อนอื่นให้เขียนสิ่งที่คุณคาดหวัง
- การเข้าใจผิดว่าผลลัพธ์ "ไม่มีความแตกต่าง" ถือเป็นความล้มเหลว การขาดความแตกต่างที่มีนัยสำคัญก็เป็นข้อมูลเช่นกัน
- การเลือกผู้ชนะตามรสนิยม การทดสอบคือการแยกแยะรสนิยมส่วนตัวออกไปอย่างแม่นยำ ติดตามข้อมูล
- โดยลืมปัจจัยภายนอก ฤดูกาล วันรณรงค์ กระแสข่าวสามารถบิดเบือนผลลัพธ์ได้ รักษาเงื่อนไขการทดสอบให้ยุติธรรม
ข้อควรสนใจ: จุดประสงค์ของการทดสอบ A/B ไม่ใช่เพื่อ "ชนะ" แต่เป็นการเรียนรู้ แม้แต่ตัวแปรที่สูญเสียไปก็เป็นข้อมูลที่มีค่า การสูญเสียที่แท้จริงนั้นขึ้นอยู่กับผลลัพธ์ที่ไม่ถูกต้องโดยมีข้อมูลไม่เพียงพอและผูกงบประมาณไว้กับมัน
โดยสรุป
การทดสอบ A/B เป็นวิธีที่มีประสิทธิภาพในการย้ายการตัดสินใจด้านการโฆษณาจากแนวคิดไปสู่ข้อมูล กฎทองคือการแยกตัวแปรตัวเดียว: มีเพียงองค์ประกอบเดียวเท่านั้นที่ควรเปลี่ยนแปลงในการทดสอบ ส่วนที่เหลือควรคงที่ เสาหลักที่สองคือการสุ่มตัวอย่างที่เพียงพอและมีนัยสำคัญทางสถิติ การประกาศผู้ชนะด้วยข้อมูลเพียงเล็กน้อยถือเป็นความผิดพลาดที่แพงที่สุด AI มีประโยชน์ในการสร้างตัวแปรต่างๆ รวมถึงการคำนวณและการตีความอัตราต่อรอง แต่ข้อมูลจะตัดสินผู้ชนะ ไม่ใช่ AI แม้แต่ผลลัพธ์ที่ "ไม่แตกต่างกัน" ก็คือการเรียนรู้ ควรเขียนสมมติฐาน ตัวชี้วัด และเกณฑ์การตัดสินใจก่อนเริ่มการทดสอบ
งานสมัคร
เลือกโฆษณา (บรรทัดแรก รูปภาพ หรือ CTA) (1) เขียนสมมติฐานที่สามารถทดสอบได้เพียงข้อเดียวและตัวแปรแยกโดยใช้ "สมมติฐานและการออกแบบการทดสอบ" (2) สร้าง 1 การควบคุม + 3 ตัวแปรด้วย "ตัวสร้างตัวแปร"; เพียงแค่เปลี่ยนองค์ประกอบนั้น (3) วางแผนว่าคุณจะดูตัวชี้วัดใด ระยะเวลาและข้อมูลใด โดยใช้ “แผนการวัด” (4) จดเกณฑ์ของคุณในการประกาศผู้ชนะ (จำนวน Conversion / ความสำคัญ) ล่วงหน้า (5) พิจารณาผลลัพธ์สมมุติด้วย “ตัวแปลผลลัพธ์” และสังเกตว่าเหตุใดคุณจึงไม่ตัดสินใจในสถานการณ์ที่ข้อมูลไม่เพียงพอ
รายการตรวจสอบ
- [ ] ฉันแยกตัวแปรเพียงตัวเดียวในการทดสอบ
- [ ] ฉันเขียนสมมติฐานที่ชัดเจนก่อนการทดสอบ
- [ ] ฉันได้กำหนดตัวอย่างและเวลาที่ต้องการสำหรับผู้ชนะแล้ว
- [ ] ฉันเลือกผู้ชนะโดยพิจารณาจากข้อมูล ไม่ใช่รสนิยมส่วนตัว
- [ ] ฉันถือว่าผลลัพธ์ที่ "ไม่มีความแตกต่าง" เป็นการเรียนรู้ที่ถูกต้อง
- [ ] ฉันตรวจสอบปัจจัยภายนอกที่อาจบิดเบือนผลลัพธ์