فائدہ:
- A/B ٹیسٹنگ، کنٹرول/ویرینٹ، تبادلوں کی شرح اور شماریاتی اہمیت کے تصورات کو سمجھنے اور مصنوعی ذہانت کے ساتھ مفروضے اور ٹیسٹ ڈیزائن قائم کرنے کی صلاحیت۔
- ٹیسٹ کیے جانے والے واحد متغیر کو الگ تھلگ کرنے اور مصنوعی ذہانت کے ساتھ مختلف متن/تصویر اور پیمائش کا منصوبہ تیار کرنے کی صلاحیت
- یہ فرق کرنے کی صلاحیت کہ مصنوعی ذہانت کی جانچ کی تشریح نمونے کے سائز اور اہمیت اور قبل از وقت/غلط نتائج پڑھنے کے خطرے سے محدود ہے۔
اشتہار میں سب سے خطرناک جملہ ہے "میرے خیال میں یہ بہتر ہے۔" ڈیٹا، رائے نہیں، آپ کو بتاتا ہے کہ آیا سرخی، تصویر، یا بٹن واقعی بہتر ہے۔ اس کی پیمائش کرنے کا سب سے عام طریقہ A/B ٹیسٹنگ ہے: ایک ہی اشتہار کے دو (یا زیادہ) ورژن حقیقی صارفین کو دکھانا اور اس کا موازنہ کرنا کہ کون سا بہتر کام کرتا ہے۔ "A" عام طور پر موجودہ ورژن (کنٹرول) ہے، جبکہ "B" نیا ورژن ہے جسے آزمایا جا رہا ہے (متغیر)۔ مثال کے طور پر، آپ صرف اسی اشتہار میں عنوان تبدیل کر سکتے ہیں اور پیمائش کر سکتے ہیں کہ کس عنوان پر زیادہ کلک کیا گیا ہے۔ مصنوعی ذہانت اس عمل میں بڑی تعداد میں مختلف قسمیں پیدا کرنے اور نتیجہ کی تشریح دونوں میں مددگار ہے۔ لیکن ٹیسٹ کی سائنسی صداقت ڈیزائن کے قواعد اور صبر پر منحصر ہے۔
A/B ٹیسٹنگ کا سنہری اصول: ایک متغیر
A/B ٹیسٹنگ کا سب سے بنیادی اصول ایک واحد متغیر کو الگ کرنا ہے۔ اگر آپ ایک ہی وقت میں عنوان، تصویر، اور بٹن کو تبدیل کرتے ہیں اور ورژن B جیت جاتا ہے، تو آپ کبھی نہیں جان پائیں گے کہ کیا جیتا ہے۔ لہذا ایک امتحان میں صرف ایک عنصر کو تبدیل ہونا چاہئے، باقی کو مستقل رہنا چاہئے۔ اگر آپ بیک وقت اور منظم طریقے سے ایک سے زیادہ آئٹمز کی جانچ کرنا چاہتے ہیں، تو اسے ملٹی ویریٹ ٹیسٹنگ کہا جاتا ہے اور اس کے لیے بہت بڑے نمونے کی ضرورت ہوتی ہے۔ غیر متغیر A/B ٹیسٹنگ شروع کرنے کا طریقہ ہے۔
دوسرا بنیادی تصور شماریاتی اہمیت ہے۔ فرض کریں کہ ورژن A کو 3 فیصد کلکس ملے اور ورژن B کو 3.3 فیصد کلکس ملے۔ کیا یہ فرق حقیقی فائدہ ہے یا فلک؟ اگر آپ نے صرف 100 لوگوں کو ٹیسٹ دکھایا تو یہ فرق اتفاقیہ ہو سکتا ہے۔ شماریاتی اہمیت کا مطلب یہ ہے کہ مشاہدہ شدہ فرق موقع کی وجہ سے ہونے کا کافی امکان نہیں ہے (یعنی، فرق شاید حقیقی ہے)۔ اس کے لیے کافی نمونہ سائز کی ضرورت ہے (ٹیسٹ دیکھنے والے لوگوں کی تعداد)۔ کم ڈیٹا کے ساتھ "فاتح" کا اعلان کرنا سب سے عام اور مہنگی غلطی ہے۔
مشورہ: ٹیسٹ شروع کرنے سے پہلے اس سوال کا جواب دیں کہ "میں فاتح کا اعلان کب کروں گا": کتنے لوگ/بعد کی تبدیلی، کس اہمیت کی سطح پر۔ یہ فیصلہ پہلے سے کرنا آپ کو پہلے ہی گھنٹوں میں شور و غل میں پھنسنے اور قبل از وقت فیصلہ کرنے سے روکتا ہے۔
درج ذیل جدول اچھے اور برے A/B ٹیسٹ ڈیزائن کا موازنہ کرتا ہے:
آئٹم
خراب ڈیزائن
اچھا ڈیزائن
متغیرات کی تعداد
عنوان + تصویر + بٹن ایک ساتھ
صرف عنوان
مفروضہ
(کوئی نہیں) "دیکھتے ہیں کیا ہوتا ہے"
"سوالات والے عنوانات کلکس میں اضافہ کرتے ہیں"
نمونہ
80 لوگ
پہلے سے حساب شدہ کورم
فیصلے کا وقت
2 گھنٹے بعد
جب آپ اہمیت کو پہنچ جاتے ہیں۔
فاتح کا انتخاب
"میرے خیال میں بی اچھا ہے"
ڈیٹا اور اہمیت کی بنیاد پر
مرحلہ وار: A/B ٹیسٹ ترتیب دینا
مرحلہ 1 - ایک مفروضہ لکھیں۔ آپ کیا ٹیسٹ کر رہے ہیں اور کیوں؟ ایک واضح مفروضہ جیسے "فوائد والی سرخی کو خصوصیات والی سرخی سے زیادہ کلکس ملتے ہیں۔"
مرحلہ 2 - واحد متغیر کو منتخب کریں۔ صرف عنوان، یا صرف تصویر، یا صرف CTA۔
مرحلہ 3 - مختلف قسمیں بنائیں۔ AI کے ساتھ ایک ہی شے کے مختلف ورژن بنائیں؛ باقی مسلسل رکھیں.
مرحلہ 4 — پیمائش کا منصوبہ ترتیب دیں۔ کون سا میٹرک فاتح کا تعین کرے گا (کلک کے ذریعے شرح، تبدیلی)، کتنے نمونے کی ضرورت ہے، کتنی دیر تک چلنا ہے۔
مرحلہ 5 - نتیجہ کی تشریح اور تصدیق کریں۔ کیا کافی ڈیٹا اکٹھا کیا گیا ہے، کیا فرق اہم ہے؟ اگر یہ اہم نہیں ہے تو، "کوئی فرق نہیں" بھی ایک درست نتیجہ ہے۔
تین چھوٹے مقدمات
کیس 1 - ایک متغیر کی وضاحت۔ ایک ای کامرس برانڈ نے اپنے پروڈکٹ کے اشتہار میں صرف CTA کا تجربہ کیا: "خریدیں" اور "کارٹ میں شامل کریں۔" باقی سب کچھ ویسا ہی تھا۔ کافی نمونے لینے کے بعد، "کارٹ میں شامل کریں" سے نمایاں طور پر زیادہ تبدیلیاں آئیں۔ فرق کو واضح طور پر سمجھا جا سکتا ہے کیونکہ ایک واحد متغیر الگ تھلگ تھا۔ AI نے دو CTAs تیار کیے، ڈیٹا نے فاتح کا انتخاب کیا۔
کیس 2 - ابتدائی فیصلے کا جال۔ ایک برانڈ نے ٹیسٹ روک دیا کیونکہ ورژن B A/B ٹیسٹ کے پہلے 3 گھنٹوں میں آگے تھا اور B کو پورے بجٹ میں کھول دیا گیا تھا۔ اگلے دن کے کل ڈیٹا کو دیکھتے ہوئے، A حقیقت میں قدرے بہتر تھا۔ پہلے گھنٹوں میں فرق اتفاقی تھا۔ بجٹ ضائع ہوا۔ غلطی: نمونے کے ناکافی سائز کے ساتھ قبل از وقت فیصلہ کرنا۔
کیس 3 - "کوئی فرق نہیں" بھی نتیجہ ہے۔ ایک برانڈ نے دو مختلف تصاویر کا تجربہ کیا، اور کافی نمونے لینے کے بعد، ان دونوں نے تقریباً ایک ہی نتیجہ نکالا۔ جب ٹیم اس بات پر افسوس کرنے والی تھی کہ "ٹیسٹ فیل ہو گیا"، درست پڑھنا یہ تھا کہ تصویر اس مہم میں فیصلہ کن عنصر نہیں ہے، اس لیے کوشش کو سرخی اور پیشکش کی طرف لے جانا چاہیے۔ حقیقت یہ ہے کہ کوئی خاص فرق نہیں پایا گیا یہ بھی قیمتی معلومات ہے۔
چار کاپی کرنے کے قابل ٹیمپلیٹس
1) مفروضہ اور ٹیسٹ ڈیزائن:
میں کیا جانچنا چاہتا ہوں: [مثال کے طور پر۔ اشتہار کا عنوان]۔ٹاسک: (1) ایک قابل امتحان مفروضہ لکھیں ("... بڑھتا ہے ... بڑھتا ہے" کی شکل میں)۔ (2) الگ تھلگ کرنے کے لیے واحد متغیر کی فہرست بنائیں اور مستقل رکھنے کے لیے۔ (3) میٹرک تجویز کریں جو فاتح کا تعین کرے گا (کلک کے ذریعے شرح/تبدیلی)۔ (4) لکھیں کہ مجھے کیا ضرورت ہے، خطرے کی جانچ پر توجہ دینے کی ضرورت ہے، ابتدائی فیصلہ پر توجہ دینا۔
2) متغیر جنریٹر (واحد مختلف):
چسپاں اشتہار: تصویر [ساہی]، سی ٹی اے [ایک ہی]، ہدف [سام]۔ متغیر کا تجربہ کیا گیا: HEADLINE۔ اہم پیغام: "[پیغام]"۔ ٹاسک: ایک ہی پیغام کے ساتھ 4 مختلف سرخی کی مختلف حالتیں بنائیں۔ ہر ایک مختلف طریقہ استعمال کرتا ہے (سوال، فائدہ، نمبر، عجلت)۔ صرف سرخی بدلتی ہے۔ ایک غیر مصدقہ دعوی شامل کرنا۔
3) پیمائش کا منصوبہ:
ٹیسٹ: [A اور B کی تعریف]۔ میٹرک: [کلک/تبدیلی]۔ ٹاسک: پیمائش کا ایک منصوبہ تیار کریں: (1) کون سا میٹرک بنیادی ہے، جو ثانوی ہے، (2) فاتح کا اعلان کرنے کے لیے کتنا ڈیٹا/وقت درکار ہے (منطق کی وضاحت کریں)، (3) ٹریفک کو A اور B کے درمیان یکساں اور منصفانہ طور پر کیسے تقسیم کیا جائے، (4) کون سے بیرونی عوامل استعمال کر سکتے ہیں ایک دن کے آلے کے نتائج کو بگاڑ دیں گے۔ درست اعدادوشمار کا حساب لگانے کے لیے۔
4) نتیجہ مترجم (احتیاط سے):
میرے A/B ٹیسٹ کے نتائج (حقیقی ڈیٹا): [A: نقوش/کلکس/تبادلہ]، [B: نقوش/کلکس/تبادلہ]۔ٹاسک: (1) ہر ورژن کی شرح کا حساب لگائیں اور ڈسپلے کریں۔ (2) فرق کی شدت پر تبصرہ کریں، لیکن اگر نمونہ کافی نہیں ہے، تو کہیے کہ "ناکافی نتائج کا مطلب ہے خطرے کے لیے ناکافی ڈیٹا۔" قبل از وقت/غلط پڑھنا۔اہمیت کا کوئی حتمی دعویٰ نہ کریں۔ میں ایک علیحدہ اکاؤنٹ ٹول سے تصدیق کروں گا۔
کمزور فوری / مضبوط اشارہ
کمزور اشارہ:
میرے اشتہار کے لیے A اور B ورژن تیار کریں، مجھے بتائیں کہ کون سا بہتر ہے۔
متغیر الگ تھلگ نہیں ہے، کوئی مفروضہ اور پیمائش نہیں ہے۔ AI یہ نہیں جان سکتا کہ ڈیٹا کے بغیر کون سا "اچھا" ہے، یہ اسے بناتا ہے۔
طاقتور اشارہ:
میں A/B ٹیسٹنگ ترتیب دے رہا ہوں۔ فکسڈ: تصویر اور CTA ایک جیسے رہیں گے۔ صرف متغیر کا تجربہ کیا گیا: اشتہار کی سرخی۔ مفروضہ: "نمبروں والی ہیڈ لائن کو عام سرخی سے زیادہ کلکس ملتے ہیں۔" اہم پیغام: "3 دن میں ڈیلیور کیا گیا۔" ٹاسک: (1) کنٹرول کے لیے 1 عام سرخی تیار کریں، متغیر کے لیے نمبروں کے ساتھ 3 سرخیاں بنائیں۔ (2) جس کی پیمائش کرنی چاہیے (2) کو جیتنا چاہیے۔ مجھے 3 غلطیوں کے بارے میں یاد دلائیں جو ٹیسٹ کو باطل کر سکتی ہیں۔ پیشن گوئی نہ کریں کہ کون جیتے گا۔ ڈیٹا اس کا تعین کرے گا۔
دوسرا دعوی ایک واحد متغیر کو الگ کرتا ہے، جس میں مفروضہ اور پیمائش شامل ہے۔ فاتح کو ڈیٹا پر چھوڑ دیتا ہے۔
عام غلطیاں
- ایک ساتھ کئی اشیاء کو تبدیل کرنا۔ فاتح کی وجہ غیر واضح ہو جاتی ہے۔ ایک واحد متغیر کو الگ کرنا ضروری ہے۔
- ناکافی نمونوں کے ساتھ فیصلے کرنا۔ پہلے گھنٹوں میں فرق اکثر اتفاقیہ ہوتا ہے۔
- مفروضوں کے بغیر جانچ۔ "آئیے دیکھتے ہیں کیا ہوتا ہے" ٹیسٹنگ سیکھنے کی پیداوار نہیں کرتی ہے۔ پہلے لکھیں کہ آپ کیا توقع کرتے ہیں۔
- نتیجہ "کوئی فرق نہیں" کو ناکامی سمجھنا۔ ایک اہم فرق کی کمی بھی معلوماتی ہے۔
- ذائقہ کی بنیاد پر فاتح کا انتخاب۔ ٹیسٹنگ ذاتی ذائقہ کو مسترد کرنے کے لئے ہے؛ ڈیٹا پر عمل کریں۔
- بیرونی عوامل کو بھولنا۔ موسم، مہم کا دن، خبروں کا بہاؤ نتائج کو بگاڑ سکتا ہے۔ جانچ کے حالات کو منصفانہ رکھیں۔
دھیان دیں: A/B ٹیسٹنگ کا مقصد "جیتنا" نہیں بلکہ سیکھنا ہے۔ یہاں تک کہ مختلف قسم کا کھو جانا بھی قیمتی معلومات ہے۔ اصل نقصان ناکافی اعداد و شمار کے ساتھ غلط نتائج پر انحصار کرنا اور بجٹ کو اس سے جوڑنا ہے۔
خلاصہ میں
A/B ٹیسٹنگ ایک طاقتور طریقہ ہے جو اشتہاری فیصلوں کو خیال سے ڈیٹا تک منتقل کرتا ہے۔ سنہری اصول ایک واحد متغیر کو الگ کرنا ہے: ٹیسٹ میں صرف ایک عنصر کو تبدیل ہونا چاہیے، باقی کو مستقل رہنا چاہیے۔ دوسرا ستون مناسب نمونے لینے اور شماریاتی اہمیت ہے۔ کم ڈیٹا کے ساتھ فاتح قرار دینا سب سے مہنگی غلطی ہے۔ AI متعدد قسمیں پیدا کرنے اور مشکلات کا حساب لگانے اور تشریح کرنے میں مددگار ہے، لیکن ڈیٹا فاتح کا تعین کرتا ہے، AI کا نہیں۔ یہاں تک کہ "کوئی فرق نہیں" نتیجہ سیکھنا ہے۔ مفروضہ، میٹرک اور فیصلے کی حد کو ٹیسٹ شروع ہونے سے پہلے لکھا جانا چاہیے۔
درخواست کا کام
ایک تخلیقی (ہیڈ لائن، تصویر یا CTA) کا انتخاب کریں۔ (1) ایک واحد قابل امتحان مفروضہ اور الگ تھلگ متغیر "Hypothesis and test design" کے ساتھ لکھیں۔ (2) "ویرینٹ جنریٹر" کے ساتھ 1 کنٹرول + 3 ویریئنٹس تیار کریں۔ بس اس عنصر کو تبدیل کریں۔ (3) منصوبہ بنائیں کہ آپ کس میٹرک کو دیکھیں گے، کتنی دیر تک اور کس ڈیٹا کے ساتھ، "پیمائش کے منصوبے" کے ساتھ۔ (4) فاتح کا اعلان کرنے کے لیے اپنی حد (کتنے تبادلوں / کیا اہمیت) پہلے سے لکھ دیں۔ (5) ایک "نتیجہ کے ترجمان" کے ساتھ فرضی نتائج پر غور کریں اور نوٹ کریں کہ آپ ایسے منظر نامے میں فیصلہ کیوں نہیں کریں گے جہاں ڈیٹا ناکافی ہو۔
چیک لسٹ
- میں نے ٹیسٹ میں صرف ایک متغیر کو الگ کیا۔
- میں نے ٹیسٹ سے پہلے ایک واضح مفروضہ لکھا تھا۔
- میں نے پہلے ہی فاتح کے لیے مطلوبہ نمونہ اور وقت کا تعین کر لیا ہے۔
- میں نے فاتح کا انتخاب ڈیٹا کی بنیاد پر کیا نہ کہ ذاتی ذائقہ کی بنیاد پر۔
- میں نے "کوئی فرق نہیں" نتیجہ کو درست سیکھنے کے طور پر سمجھا۔
- [ ] میں نے بیرونی عوامل کی جانچ کی جو نتیجہ کو بگاڑ سکتے ہیں۔