متغيرات اختبار أ/ب وتصميم التجربة

المكاسب:

• القدرة على إنشاء متغيرات نصية منهجية تعزل المتغيرات الفردية لاختبار A/B
• القدرة على تحويل الفرضية إلى إعداد تجريبي قابل للقياس
• القدرة على تفسير نتائج الاختبار من حيث الأهمية الإحصائية والتعلم

الحدس ذو قيمة في التسويق، ولكن الأدلة أكثر قيمة. ما هو العنوان الذي يحصل على المزيد من النقرات، وما هو CTA الذي يبيع أكثر، وما هي الصورة التي تجذب المزيد من الاهتمام؟ بدلاً من التخمين، يمكنك قياس ذلك باستخدام اختبار أ/ب. اختبار A/B هو طريقة تجريبية تعرض نسختين من نفس المحتوى (A وB) لجمهور حقيقي وتقيس أيهما يحقق أداءً أفضل. وينتج الذكاء الاصطناعي بسرعة مدخلات هذه الاختبارات، وهي المتغيرات؛ لكن نجاح الاختبار يتطلب قاعدة علمية: متغير واحد في كل مرة. ستتعلم في هذه الوحدة كيفية إنشاء المتغيرات، وترجمة الفرضية إلى تجربة قابلة للقياس، وتفسير النتائج من حيث الأهمية الإحصائية.

القاعدة الذهبية: عزل متغير واحد

لتفسير نتيجة الاختبار، يجب أن يكون هناك شيء واحد مختلف بين A وB. إذا قمت بتغيير العنوان والصورة والحث على اتخاذ إجراء في نفس الوقت، فلن تعرف أبدًا أيهما أحدث الفارق عندما يفوز B. إن عزل المتغير المراد اختباره هو الشيء الوحيد الذي يجعل التعلم ممكنًا.

المتغيرات النموذجية التي يمكن اختبارها:

• العنوان: نفس الصورة والنص، عنوان مختلف.
• نص CTA: "شراء" أو "أضف إلى سلة التسوق"؟
• سطر الموضوع: يؤثر على معدل فتح البريد الإلكتروني.
• الصورة: نفس النص، صورة مختلفة.
• الطول/النغمة: القصير مقابل الطويل، الرسمي وما إلى ذلك.

من الفرضية إلى التجربة: خطوة بخطوة

1. إبداء ملاحظة. "تحتوي صفحتنا المقصودة على تحويلات منخفضة."
2. الفرضية. "العنوان الذي يركز على الفوائد يحقق أكثر من العنوان الذي يركز على الميزات."
3. عزل المتغير فقط العنوان سوف يتغير
4. توليد المتغيرات. 2 متغيرات واضحة مع النموذج (أ: الميزة، ب: الفائدة).
5. تحديد مقياس النجاح الخاص بك. على سبيل المثال، معدل التحويل — النسبة المئوية للزوار الذين يتخذون الإجراء المطلوب.
6. تحديد العينة والمدة. ما يكفي من الناس وما يكفي من الوقت.
7. قياس، قارن، تعلم. تعلم "لماذا"، وليس الفائز.

"الفرضية" هي توقع سيتم اختباره هنا وقد يتبين أنه صحيح أو خاطئ؛ الفرضية الجيدة تخبرك بما تتوقعه ولماذا.

موجه ضعيف / موجه قوي

حث ضعيف:

اكتب بعض البدائل لهذا العنوان.

مطالبة قوية:

إنشاء متغيرات لاختبار A/B. القاعدة: سيتغير العنوان فقط، وسيظل النص وعبارات الحث على اتخاذ إجراء كما هي. الفرضية: يحصل العنوان الموجه نحو المزايا على نقرات أكثر من العنوان الموجه نحو الميزات. السياق: الصفحة المقصودة. المنتج: تطبيق إدارة المشاريع. الجمهور: فرق صغيرة. المطلوب: - البديل أ: عنوان موجه نحو الميزة (يصف ما يفعله المنتج) - البديل ب: عنوان موجه نحو المنفعة (يصف ما يقدمه للمستخدم) تحت كل متغير، اكتب الدافع النفسي الذي يمسه. متغيران فقط؛ يجب أن يكون كلاهما سطرًا واحدًا، بطول مماثل.

من المهم أن تكون المتغيرات ذات طول مماثل؛ وإلا فإن "الطول" يصبح عن غير قصد متغيرًا ثانيًا.

قبل / بعد الرسم البياني للاختبار

المرحلة

ماذا تفعل

خطأ متكرر

فرضية

ماذا، لماذا أنتظر؟

"دعونا نحاول" دون فرضيات

متغير

عزل شيء واحد

تغيير أشياء كثيرة في وقت واحد

المعيار

اختر مقياسًا واحدًا واضحًا

غير محدد "أفضل"

عينة

ما يكفي من الناس / الوقت

تقرر في وقت مبكر

التعليق

تعرف على السبب

فقط خذ الفائز

ثلاث حالات صغيرة

الحالة 1 – اختبار CTA يعطي نتائج واضحة. قام أحد مواقع التجارة الإلكترونية باختبار زر المنتج: A "شراء"، B "إضافة إلى سلة التسوق". لقد تغير نص الزر فقط. في اختبار شمل 3000 زائر، قام B بزيادة نسبة النقر إلى الظهور من 4.0% إلى 4.9%. مع عزل المتغير الوحيد، كان الفائز واضحًا: بدت عبارة "الإضافة إلى سلة التسوق" أقل إلزامًا.

الحالة 2 - خطأ متعدد المتغيرات. قام فريق بتصميم صفحتين مقصودتين، لكن العنوان والصورة واللون كانا مختلفين. فاز فريق B، لكن الفريق لم يعرف أي عنصر صنع الفارق؛ التعلم أصبح صفر وفي الاختبار التالي، اتبعوا القاعدة: متغير واحد في كل مرة. وفي هذا الاختبار، رأوا بوضوح أن العنوان كان العامل الرئيسي.

الحالة 3 - فخ القرار المبكر. قام فريق نشرة إخبارية باختبار سطرين من المواضيع على مجموعة مكونة من 200 شخص وقال: "لقد حصلت على درجة A" في الساعة الأولى. وكانت العينة صغيرة جداً؛ وكان الفرق ضئيلا إحصائيا (أي يمكن أن يكون بسبب الصدفة). وعندما تم زيادة الاختبار إلى ما يكفي من العينات والوقت، تم عكس النتيجة. الدرس المستفاد: لا تتخذ قرارات دون وجود بيانات كافية.

تنبيه: قد يكون الاختلاف الذي لوحظ في عينة صغيرة (عدد قليل من الأشخاص) مضللاً. تشير الدلالة الإحصائية إلى احتمال أن يكون الفرق حقيقيا وليس نتيجة للصدفة. تأكد من الوصول إلى عدد كافٍ من الأشخاص ومن استمرار الاختبار لفترة كافية قبل القفز إلى الاستنتاجات.

قوالب قابلة للنسخ

القالب 1 - مولد متغير معزول:

إنشاء متغيرات لاختبار A/B. المتغير الوحيد الذي سيتم اختباره: [headline/CTA/image]. كل شيء آخر سيبقى ثابتا. فرضية: [...]. السياق: [...]. البديل أ: [النهج الحالي]. البديل ب: [نهج بديل]. دع المتغيرين يكونان متساويين في الطول؛ لا تغير أي شيء آخر.

النموذج 2 – توضيح الفرضية:

قم ببناء فرضية قابلة للاختبار من الملاحظة التالية: "[الملاحظة]". اكتب الفرضية بالصيغة "إذا قمنا بـ [تغيير]، فإن [المقياس] يزيد بسبب [لماذا]". ثم أخبرني بالمتغير الوحيد الذي يجب أن أعزله.

النموذج 3 - مجموعة اختبار سطر الموضوع:

قم بإنشاء سطرين للموضوع لاختبار A/B للبريد الإلكتروني التالي. الفرق على محور واحد: [الفضول مقابل الوضوح/الإيجاز الخ الطويل/السؤال الخ التعبير]. يجب ألا يحتوي كلاهما على كلمة بريد عشوائي ويجب أن يكونا بنفس الطول. ملخص البريد الإلكتروني: [...]

النموذج 4 - تفسير النتائج:

تفسير نتيجة اختبار A/B.المتغير: [...]. البديل أ المقياس: [...]. مقياس البديل ب: [...].حجم العينة: [...]. المدة: [...].أخبرني: هل يبدو الفرق كبيراً أم أن العينة صغيرة؟ ماذا تعلمنا؟ ماذا تنصح للاختبار القادم؟ لا تدعي إحصائيات دقيقة؛ إذا كان غير واضح، حدد.

نصيحة: لا يكفي الحصول على "الفائز" من الاختبار؛ المكسب الحقيقي هو فهم "لماذا فاز". تغذي هذه الرؤية فرضية الاختبار التالي وتبني مجموعة من التعلم بمرور الوقت.

الأولوية: ما الذي يجب اختباره أولاً؟

هناك عدد لا يحصى من العناصر التي يمكنك اختبارها، ولكن وقتك وحركة المرور محدودة. لذا، قم بإعطاء الأولوية للاختبارات بناءً على احتمالية التأثير. القاعدة العامة: العناصر التي يراها المستخدم أولاً ولها التأثير الأكبر على القرار يتم اختبارها أولاً. في الصفحة المقصودة، يكون للعنوان أكبر الأثر على النقرات؛ لأن المستخدم يقرأها أولاً ويقرر هناك أو لا يستمر. غالبًا ما يكون للتفاصيل مثل لون الزر تأثيرًا أقل؛ اتركهم للأخير.

إحدى الطرق العملية لتحديد الأولويات هي تسجيل كل فكرة اختبار على ثلاثة محاور: التأثير المتوقع (ما مدى الفارق الذي ستحدثه إذا فازت؟)، والثقة (ما مدى ثقتنا في فوزها؟)، والسهولة (ما مدى سرعة الإعداد؟). يتم وضع الاختبارات ذات التأثير العالي والثقة العالية والجهد المنخفض أولاً. يتيح لك ذلك تخصيص حركة مرور محدودة للتجارب التي تحقق أكبر قدر من التعلم. يمكن أن يمنحك الذكاء الاصطناعي مخططًا سريعًا لتسجيل قائمة الأفكار وتحديد أولوياتها على طول هذه المحاور الثلاثة؛ عليك أن تقرر.

النموذج 5 - تحديد أولويات الاختبار:

قم بإعطاء الأولوية لأفكار اختبار A/B التالية. سجل كل منها على محاور التأثير (1-5)، والموثوقية (1-5)، وسهولة التثبيت (1-5)، ورتبها حسب مجموع الدرجات واشرح في جملة واحدة سبب ترتيبها بهذا الترتيب. أفكار الاختبار: [قائمة]

الأخطاء الشائعة

• متغير جدا في نفس الوقت. تصبح النتيجة غير قابلة للتفسير.
• اختبار خالي من الفرضيات. "دعونا نجرب ونرى" لا يؤدي إلى التعلم.
• قرار مبكر. وفي عينة صغيرة، يُعتقد أن الفرق حقيقي بالصدفة.
• المتغيرات بأطوال مختلفة. تم إنشاء متغير ثاني عن غير قصد.
• مجرد أخذ الفائز. إذا لم يتم معرفة السبب، فلن تتراكم المعلومات.

باختصار

• القاعدة الذهبية لاختبار A/B: متغير واحد في كل مرة.
• يجب أن يبدأ كل اختبار بفرضية: ما الذي أتوقعه ولماذا؟
• تحديد مقياس واحد واضح للنجاح وعينة مناسبة.
• إن الاختلاف في العينة الصغيرة مضلل؛ لاحظ الأهمية الإحصائية.
• اكتشف السبب، وليس الفائز؛ هذه الرؤية تغذي الاختبار التالي.

مهمة التطبيق

اختر ملاحظة حول أحد محتوياتك. باستخدام النموذج 2، قم بترجمة ذلك إلى فرضية واضحة وحدد المتغير المراد عزله. قم بإنتاج متغيرين باستخدام القالب 1 (طول مماثل، اختلاف فقط). وأخيرًا، قم بملاءمة أرقام النتائج الافتراضية، وفسرها باستخدام النموذج 4، ولاحظ ما يقوله النموذج حول مدى كفاية العينة. المدة: حوالي 25 دقيقة.

قائمة مرجعية

• [ ] لقد بدأت الاختبار بفرضية واضحة.
• [ ] لقد قمت بعزل متغير واحد فقط.
• [ ] ظلت المتغيرات متشابهة في المحاور الأخرى (الطول، وما إلى ذلك).
• [ ] لقد قمت بتحديد مقياس نجاح واحد واضح.
• [ ] لم أتخذ قرارًا بدون عينة/وقت كافٍ.
• [ ] ذكرت سبب الفائز في الاختبار القادم.