اختبار أ/ب والتصميم التجريبي: البناء المتغير والأهمية

المكاسب:

• القدرة على فهم مفاهيم اختبار A/B والتحكم/المتغير ومعدل التحويل والأهمية الإحصائية ووضع الفرضيات وتصميمات الاختبار باستخدام الذكاء الاصطناعي.
• القدرة على عزل المتغير الفردي المراد اختباره وإنتاج نص/صورة مختلفة وخطة قياس بدعم من الذكاء الاصطناعي
• القدرة على التمييز بين أن تفسير اختبار الذكاء الاصطناعي محدود بحجم العينة وأهميتها وخطر قراءة النتائج المبكرة/غير الصحيحة

أخطر جملة في الإعلان هي "أعتقد أن هذا أفضل". البيانات، وليس الرأي، هي التي تخبرك ما إذا كان العنوان أو الصورة أو الزر هو الأفضل حقًا. الطريقة الأكثر شيوعًا لقياس ذلك هي اختبار A/B: عرض نسختين (أو أكثر) من نفس الإعلان لمستخدمين حقيقيين ومقارنة أيهما يعمل بشكل أفضل. عادةً ما يكون "A" هو الإصدار الحالي (التحكم)، بينما "B" هو الإصدار الجديد الذي يتم تجربته (المتغير). على سبيل المثال، يمكنك فقط تغيير العنوان في نفس الإعلان وقياس العنوان الذي تم النقر عليه أكثر. الذكاء الاصطناعي مفيد في هذه العملية سواء في توليد عدد كبير من المتغيرات أو في تفسير النتيجة؛ لكن الصلاحية العلمية للاختبار تعتمد على قواعد التصميم والصبر.

القاعدة الذهبية لاختبار A/B: متغير واحد

القاعدة الأساسية لاختبار A/B هي عزل متغير واحد. إذا قمت بتغيير العنوان والصورة والزر في نفس الوقت وفاز الإصدار B، فلن تعرف أبدًا ما الذي فاز به. لذا، في الاختبار، يجب أن يتغير عنصر واحد فقط، ويجب أن يظل الباقي ثابتًا. إذا كنت تريد اختبار أكثر من عنصر واحد في وقت واحد وبشكل منهجي، فإن هذا يسمى اختبار المتغيرات المتعددة ويتطلب عينة أكبر بكثير؛ اختبار A/B أحادي المتغير هو الطريقة للبدء.

المفهوم الأساسي الثاني هو الأهمية الإحصائية. لنفترض أن الإصدار "أ" حصل على 3 بالمائة من النقرات، بينما حصل الإصدار "ب" على 3.3 بالمائة من النقرات. فهل هذا الاختلاف ميزة حقيقية أم مجرد صدفة؟ إذا عرضت الاختبار على 100 شخص فقط، فقد يكون هذا الاختلاف محض صدفة. وتعني الأهمية الإحصائية أن الاختلاف الملحوظ من غير المرجح أن يكون نتيجة للصدفة (أي أن الفرق ربما يكون حقيقيا). ويتطلب ذلك حجمًا كافيًا للعينة (عدد الأشخاص الذين يشاهدون الاختبار). يعد الإعلان عن "الفائز" ببيانات قليلة هو الخطأ الأكثر شيوعًا والأكثر تكلفة.

نصيحة: قبل بدء الاختبار، أجب عن السؤال "متى سأعلن الفائز": كم عدد الأشخاص/بعد التحويل، وعلى أي مستوى أهمية. إن اتخاذ هذا القرار مسبقًا يمنعك من الوقوع في الضجيج في الساعات الأولى واتخاذ قرار سابق لأوانه.

يقارن الجدول التالي تصميم اختبار A/B الجيد والسيئ:

البند

تصميم سيء

تصميم جيد

عدد المتغيرات

العنوان + الصورة + الزر معًا

العنوان فقط

فرضية

(لا شيء) "دعونا نرى ما سيحدث"

"العناوين التي تحتوي على أسئلة تزيد النقرات"

عينة

80 شخصا

النصاب المحسوب مسبقا

وقت القرار

بعد ساعتين

عندما تصل إلى الأهمية

اختيار الفائز

"أعتقد أن B لطيف"

بناء على البيانات والأهمية

خطوة بخطوة: إعداد اختبار أ/ب

الخطوة 1 - كتابة فرضية. ماذا تختبر ولماذا؟ فرضية واضحة مثل "العنوان الذي يحتوي على فوائد يحصل على نقرات أكثر من العنوان الذي يحتوي على ميزات".

الخطوة 2 - حدد متغيرًا واحدًا. فقط العنوان، أو الصورة فقط، أو مجرد CTA.

الخطوة 3 - إنشاء المتغيرات. إنشاء إصدارات مختلفة من نفس العنصر باستخدام الذكاء الاصطناعي؛ الحفاظ على الباقي ثابتا.

الخطوة 4 - إعداد خطة القياس. ما هو المقياس الذي سيحدد الفائز (نسبة النقر إلى الظهور، التحويل)، وكم العينة المطلوبة، ومدة التشغيل.

الخطوة 5 - تفسير النتيجة والتحقق منها. هل تم جمع بيانات كافية، هل الفرق كبير؟ إذا لم يكن الأمر مهمًا، فإن "لا يوجد فرق" يعد أيضًا نتيجة صالحة.

ثلاث حالات صغيرة

الحالة 1 - وضوح متغير واحد. اختبرت إحدى العلامات التجارية للتجارة الإلكترونية CTA فقط في إعلان منتجها: "اشتر" و"أضف إلى سلة التسوق". كل شيء آخر كان هو نفسه. وبعد إجراء عدد كافٍ من العينات، جلبت ميزة "الإضافة إلى سلة التسوق" تحويلات أعلى بشكل ملحوظ. ويمكن تفسير الفرق بوضوح لأنه تم عزل متغير واحد. أنتجت منظمة العفو الدولية اثنين من عبارات الحث على اتخاذ إجراء، واختارت البيانات الفائز.

الحالة 2 - فخ القرار المبكر. أوقفت إحدى العلامات التجارية الاختبار لأن الإصدار "ب" كان متقدمًا في أول 3 ساعات من اختبار أ/ب وفتح "ب" للميزانية بأكملها. وبالنظر إلى إجمالي البيانات في اليوم التالي، كان A في الواقع أفضل قليلاً؛ وكان الاختلاف في الساعات الأولى من قبيل الصدفة. لقد ضاعت الميزانية. الخطأ: اتخاذ قرار سابق لأوانه مع عدم كفاية حجم العينة.

الحالة 3 - "لا يوجد فرق" هو ​​أيضًا الاستنتاج. اختبرت إحدى العلامات التجارية صورتين مختلفتين، وبعد أخذ عينات كافية، أنتجت كل منهما نفس النتيجة تقريبًا. وبينما كان الفريق على وشك التأسف على "فشل الاختبار"، كانت القراءة الصحيحة هي أن الصورة ليست هي العامل الحاسم في هذه الحملة، لذا يجب توجيه الجهد نحو العنوان والعرض. حقيقة أنه لم يتم العثور على اختلاف كبير هي أيضًا معلومات قيمة.

أربعة قوالب قابلة للنسخ

1) تصميم الفرضيات والاختبارات:

ما أريد اختباره: [على سبيل المثال. عنوان الإعلان].المهمة: (1) اكتب فرضية واحدة قابلة للاختبار (في النموذج "... يزيد ... يزيد"). (2) قم بإدراج المتغير الوحيد المراد عزله والمتغير الذي يجب الحفاظ عليه ثابتًا. (3) اقترح المقياس الذي سيحدد الفائز (نسبة النقر إلى الظهور/التحويل). (4) اكتب ما أحتاج إلى الاهتمام به للتحقق من صحة الاختبار (العينة، المدة، مخاطر القرار المبكر).

2) المولد المتغير (متغير واحد):

إعلان ثابت: الصورة [نفس]، CTA [نفس]، الهدف [نفس] اختبار المتغير: HEADLINE. الرسالة الرئيسية: "[رسالة]". المهمة: إنشاء 4 عناوين مختلفة مختلفة بنفس الرسالة. يستخدم كل منهم أسلوبًا مختلفًا (السؤال، المنفعة، العدد، الإلحاح). يتغير العنوان فقط؛ إضافة مطالبة لا أساس لها.

3) خطة القياس:

اختبار: [تعريف أ وب]. المقياس: [نقر/تحويل].المهمة: صياغة خطة قياس: (1) ما هو المقياس الأساسي، وما هو المقياس الثانوي، (2) مقدار البيانات/الوقت اللازم لإعلان الفائز (اشرح المنطق)، (3) كيفية تقسيم حركة المرور بالتساوي وبشكل عادل بين A وB، (4) ما هي العوامل الخارجية التي يمكن أن تشوه النتيجة (الموسم، يوم من الأسبوع). افترض أنني سأستخدم أداة أهمية لحساب الإحصائيات الدقيقة.

4) مترجم النتيجة (دقيق):

نتائج اختبار A/B (بيانات حقيقية): [أ: مرات الظهور/النقرات/التحويل]،[ب: مرات الظهور/النقرات/التحويل]. المهمة: (1) حساب وعرض معدلات كل إصدار. (2) التعليق على حجم الفرق، ولكن إذا كانت العينة غير كافية، قل "بيانات غير كافية للحصول على نتيجة ذات معنى". (3) ذكّر بمخاطر القراءة المبكرة/سوء القراءة. لا تقدم أي ادعاء نهائي بالأهمية؛ سأؤكد باستخدام أداة حساب منفصلة.

موجه ضعيف / موجه قوي

حث ضعيف:

أنتج الإصدارين A وB لإعلاني، وأخبرني أيهما أفضل.

المتغير ليس معزولاً، ولا يوجد فرضية وقياس؛ لا يستطيع الذكاء الاصطناعي معرفة أيهما "الجيد" بدون البيانات، فهو يختلقه.

مطالبة قوية:

أقوم بإعداد اختبار A/B. تم إصلاح: ستظل الصورة والحث على اتخاذ إجراء كما هو. تم اختبار المتغير فقط: عنوان الإعلان. الفرضية: "العنوان الذي يحتوي على أرقام يحصل على نقرات أكثر من العنوان العام." الرسالة الرئيسية: "يتم التسليم في 3 أيام." المهمة: (1) إنتاج عنوان عام واحد للتحكم، و3 عناوين بها أرقام للمتغير. (2) أخبرني بالمقياس الذي يجب أن أنظر إليه لقياس الفائز. (3) ذكرني بثلاثة أخطاء يمكن أن تبطل اختبار. لا تتنبأ بمن سيفوز؛ البيانات سوف تحدد ذلك.

أما الادعاء الثاني فيعزل متغيرًا واحدًا، ويتضمن فرضية وقياسًا؛ يترك الفائز للبيانات.

الأخطاء الشائعة

• تغيير العديد من العناصر في وقت واحد. يصبح سبب الفائز غير واضح. يجب عزل متغير واحد.
• اتخاذ القرارات بعينات غير كافية. غالبًا ما يكون الاختلاف في الساعات الأولى عرضيًا.
• اختبار بدون فرضيات. اختبار "دعونا نرى ما سيحدث" لا يؤدي إلى التعلم؛ اكتب أولاً ما تتوقعه.
• الخلط بين النتيجة "لا فرق" باعتبارها فشلًا. عدم وجود فرق كبير هو أيضا بالمعلومات.
• اختيار الفائز على أساس الذوق. الاختبار هو على وجه التحديد لاستبعاد الذوق الشخصي. اتبع البيانات.
• نسيان العوامل الخارجية. الموسم، ويوم الحملة الانتخابية، وتدفق الأخبار يمكن أن يشوه النتيجة؛ حافظ على ظروف الاختبار عادلة.

انتبه: الغرض من اختبار A/B ليس "الفوز" بل التعلم. حتى خسارة البديل تعتبر معلومات قيمة؛ الخسارة الحقيقية هي الاعتماد على نتيجة خاطئة وبيانات غير كافية وربط الموازنة بها.

في ملخص

يعد اختبار A/B طريقة قوية لنقل القرارات الإعلانية من الفكرة إلى البيانات. القاعدة الذهبية هي عزل متغير واحد: يجب أن يتغير عنصر واحد فقط في الاختبار، ويجب أن يظل الباقي ثابتًا. والركيزة الثانية هي أخذ العينات الكافية والأهمية الإحصائية؛ إن الإعلان عن الفائز ببيانات قليلة هو الخطأ الأكثر تكلفة. يعد الذكاء الاصطناعي مفيدًا في إنشاء متغيرات متعددة وحساب الاحتمالات وتفسيرها، لكن البيانات هي التي تحدد الفائز، وليس الذكاء الاصطناعي. حتى نتيجة "لا يوجد فرق" هي بمثابة التعلم. يجب كتابة الفرضية والمقياس وعتبة القرار قبل بدء الاختبار.

مهمة التطبيق

اختر تصميمًا إعلانيًا (عنوان أو صورة أو عبارة تحث على اتخاذ إجراء). (1) اكتب فرضية واحدة قابلة للاختبار ومتغيرًا معزولًا باستخدام "الفرضية وتصميم الاختبار". (2) إنشاء عنصر تحكم واحد + 3 متغيرات باستخدام "المولد المتغير"؛ فقط قم بتغيير هذا العنصر. (3) قم بتخطيط المقياس الذي ستنظر إليه، وإلى متى وبأي بيانات، باستخدام "خطة القياس". (4) اكتب الحد الأدنى لإعلان الفائز (كم عدد التحويلات / ما هي الأهمية) مقدمًا. (5) فكر في النتائج الافتراضية باستخدام "مترجم النتائج" ولاحظ سبب عدم اتخاذك قرارًا في سيناريو حيث تكون البيانات غير كافية.

قائمة مرجعية

• [ ] لقد قمت بعزل متغير واحد فقط في الاختبار.
• [ ] كتبت فرضية واضحة قبل الاختبار.
• [ ] لقد قمت بالفعل بتحديد العينة والوقت اللازم للفائز.
• [ ] لقد اخترت الفائز بناءً على البيانات وليس الذوق الشخصي.
• [ ] لقد اعتبرت نتيجة "لا يوجد فرق" تعليمًا صالحًا.
• [ ] لقد قمت بالتحقق من العوامل الخارجية التي قد تشوه النتيجة.