انواع تست A/B و طراحی آزمایش

سود:

• توانایی تولید انواع متنی سیستماتیک که متغیرهای منفرد را برای تست A/B جدا می کند
• توانایی تبدیل یک فرضیه به یک مجموعه آزمایشی قابل اندازه گیری
• توانایی تفسیر نتایج آزمون از نظر اهمیت آماری و یادگیری

شهود در بازاریابی ارزشمند است، اما شواهد ارزشمندتر هستند. کدام عنوان کلیک بیشتری می کند، کدام CTA بیشتر می فروشد، کدام تصویر توجه بیشتری را به خود جلب می کند؟ به جای حدس زدن، می توانید این را با تست A/B اندازه گیری کنید. تست A/B یک روش آزمایشی است که دو نسخه از یک محتوا (A و B) را به مخاطب واقعی نشان می‌دهد و عملکرد بهتری را اندازه می‌گیرد. هوش مصنوعی به سرعت ورودی این تست ها را تولید می کند، یعنی انواع. اما انجام آزمایش به یک قانون علمی نیاز دارد: یک متغیر در یک زمان. در این بخش شما یاد خواهید گرفت که چگونه انواع مختلف را تولید کنید، یک فرضیه را به یک آزمایش قابل اندازه گیری ترجمه کنید و نتایج را بر اساس اهمیت آماری تفسیر کنید.

قانون طلایی: یک متغیر را جدا کنید

برای تفسیر نتیجه یک تست، فقط یک چیز باید بین A و B متفاوت باشد. اگر عنوان، تصویر و CTA را همزمان تغییر دهید، هرگز نخواهید فهمید که کدام یک تفاوت را در زمان برنده شدن B ایجاد کرده است. جداسازی متغیر مورد آزمایش تنها چیزی است که یادگیری را ممکن می کند.

متغیرهای معمولی قابل آزمایش:

• عنوان: تصویر و بدنه یکسان، عنوان متفاوت.
• متن CTA: "خرید" یا "افزودن به سبد خرید"؟
• موضوع: بر نرخ باز شدن ایمیل تأثیر می گذارد.
• تصویر: متن مشابه، تصویر متفاوت.
• طول/تن: کوتاه در مقابل بلند، رسمی و غیره صمیمانه.

از فرضیه تا آزمایش: گام به گام

1. مشاهده کنید. "صفحه فرود ما تبدیل پایینی دارد."
2. فرضیه. "عنوان متمرکز بر مزایا بیشتر از عنوان متمرکز بر ویژگی تبدیل می شود."
3. متغیر را جدا کنید. فقط عنوان تغییر خواهد کرد.
4. ایجاد انواع 2 نوع واضح با مدل (A: ویژگی، B: سود).
5. معیار موفقیت خود را مشخص کنید. به عنوان مثال، نرخ تبدیل - درصد بازدیدکنندگانی که اقدام مورد نظر را انجام می دهند.
6. نمونه و مدت زمان را تعیین کنید. افراد کافی و زمان کافی.
7. اندازه گیری، مقایسه، یادگیری. "چرا" را یاد بگیرید، نه برنده را.

«فرضیه» پیش‌بینی است که در اینجا آزمایش می‌شود و ممکن است درست یا نادرست باشد. یک فرضیه خوب به شما می گوید که چه انتظاری دارید و چرا.

اعلان ضعیف / اعلان قوی

اعلان ضعیف:

چند گزینه جایگزین برای این عنوان بنویسید.

اعلان قدرتمند:

انواع مختلفی را برای تست A/B ایجاد کنید. قانون: فقط عنوان تغییر می کند، بدنه و CTA یکسان باقی می مانند. فرضیه: عنوان مزایا گرا بیشتر از عنوان ویژگی محور کلیک می کند. Context: صفحه فرود. محصول: برنامه مدیریت پروژه مخاطب: تیم های کوچک. درخواست شده: - نوع A: عنوان ویژگی محور (توضیح می دهد که محصول چه کاری انجام می دهد) - نوع B: عنوان سود محور (توضیح می دهد که چه چیزی در اختیار کاربر قرار می دهد) در زیر هر نوع، انگیزه روانی را بنویسید. هر دو باید یک خط با طول مشابه باشند.

این مهم است که بخواهیم انواع مختلف طول مشابهی داشته باشند. در غیر این صورت "طول" ناخواسته تبدیل به متغیر دوم می شود.

نمودار قبل و بعد از آزمون

مرحله

چه باید کرد

خطای مکرر

فرضیه

چیه چرا منتظرم

"بیا تلاش کنیم" بدون فرضیه

متغیر

یک چیز را جدا کنید

تغییر دادن خیلی چیزها به یکباره

معیار

یک معیار مشخص را انتخاب کنید

نامحدود "بهتر"

نمونه

افراد/زمان کافی

زود تصمیم بگیرید

نظر دهید

یاد بگیرید چرا

Just take the winner

سه کیف کوچک

مورد 1 - آزمایش CTA نتایج واضحی را ارائه می دهد. یک سایت تجارت الکترونیک دکمه محصول را آزمایش کرد: A "خرید"، B "افزودن به سبد خرید". فقط متن دکمه تغییر کرده است. در آزمایشی از 3000 بازدیدکننده، B نرخ کلیک خود را از 4.0٪ به 4.9٪ افزایش داد. با جداسازی تک متغیر، برنده واضح بود: «افزودن به سبد خرید» کمتر الزام آور بود.

مورد 2 - خطای چند متغیره. A team designed two landing pages, but the title, image, and color were all different. B برنده شد، اما تیم نمی دانست کدام عنصر تفاوت را ایجاد می کند. یادگیری صفر شد در آزمون بعدی، آنها از این قانون پیروی کردند: یک متغیر در یک زمان. در آن آزمون به وضوح دیدند که عنوان عامل اصلی است.

مورد 3 - تله تصمیم گیری اولیه. یک تیم خبرنامه دو خط موضوع را روی یک گروه 200 نفره آزمایش کرد و گفت: "در یک ساعت اول نمره A کسب کرد." نمونه بسیار کوچک بود. تفاوت از نظر آماری ناچیز بود (یعنی ممکن است به دلیل شانس باشد). هنگامی که آزمون به نمونه برداری و زمان کافی افزایش یافت، نتیجه معکوس شد. درس: بدون اطلاعات کافی تصمیم نگیرید.

احتیاط: تفاوت مشاهده شده در یک نمونه کوچک (تعداد کمی از افراد) ممکن است گمراه کننده باشد. معنی‌داری آماری به احتمال واقعی بودن تفاوت و نه ناشی از تصادف اشاره دارد. اطمینان حاصل کنید که افراد کافی در دسترس هستند و قبل از نتیجه گیری سریع، آزمایش به اندازه کافی طولانی ادامه دارد.

قالب های قابل کپی

الگو 1 - مولد انواع جدا شده:

انواع مختلفی را برای تست A/B ایجاد کنید. تنها متغیر مورد آزمایش: [headline/CTA/image]. بقیه چیزها ثابت خواهند ماند. فرضیه: [...]. زمینه: [...]. نوع A: [رویکرد فعلی]. نوع B: [رویکرد جایگزین]. اجازه دهید دو نوع از طول مشابه باشند. هیچ چیز دیگری را تغییر نده

الگو 2 - روشن کننده فرضیه:

یک فرضیه قابل آزمایش از مشاهده زیر بسازید: "[مشاهده]". فرضیه را در قالب «اگر [تغییر] ایجاد کنیم، [متریک] به دلیل [چرا] افزایش می‌یابد» بنویسید. سپس به من بگویید که کدام متغیر را جدا کنم.

الگو 3 - مجموعه آزمون خط موضوع:

برای ایمیل زیر 2 خط موضوع در آزمون A/B ایجاد کنید. تفاوت در یک محور: [کنجکاوی در مقابل وضوح / مختصر و غیره. طولانی / سوال و غیره بیان]. هر دو نباید حاوی کلمه هرزنامه باشند و باید طول یکسانی داشته باشند. خلاصه ایمیل: [...]

الگو 4 - تفسیر نتایج:

نتیجه یک آزمون A/B را تفسیر کنید. متغیر: [...]. متغیر A متریک: [...]. متغیر B متریک: [...].حجم نمونه: [...]. مدت زمان: [...].به من بگویید: آیا تفاوت به نظر قابل توجه است یا نمونه کوچک است؟ چه چیزی یاد گرفتیم؟ برای تست بعدی چه پیشنهادی دارید؟ ادعای آمار دقیق نکنید. اگر نامشخص است، مشخص کنید.

نکته: گرفتن "برنده" از آزمون کافی نیست. سود واقعی، بینش «چرا برنده شد» است. این بینش به فرضیه آزمون بعدی وارد می شود و در طول زمان مجموعه ای از یادگیری را می سازد.

اولویت: اول چه چیزی را تست کنیم؟

آیتم های بی پایانی وجود دارد که می توانید آزمایش کنید، اما زمان و ترافیک شما محدود است. بنابراین تست ها را بر اساس پتانسیل تاثیر اولویت بندی کنید. قانون کلی: ابتدا عناصری را که کاربر می بیند و بیشترین تأثیر را در تصمیم گیری دارد، آزمایش می کند. در صفحه فرود، عنوان بیشترین تأثیر را بر روی کلیک ها دارد. زیرا کاربر ابتدا آن را می خواند و تصمیم می گیرد در آنجا ادامه دهد یا نه. جزئیاتی مانند رنگ دکمه اغلب تاثیر کمتری دارند. آنها را برای آخر رها کنید

یک راه عملی برای اولویت بندی، امتیاز دادن به هر ایده آزمایشی در سه محور است: تأثیر مورد انتظار (اگر برنده شود چقدر تفاوت خواهد داشت؟)، اعتماد به نفس (چقدر مطمئن هستیم که برنده خواهد شد؟)، و سهولت (سرعت راه اندازی آن چقدر است؟). تست هایی با تاثیر بالا، اعتماد به نفس بالا و تلاش کم در درجه اول قرار می گیرند. این به شما امکان می دهد ترافیک محدودی را به آزمایش هایی اختصاص دهید که بیشترین یادگیری را به همراه دارند. هوش مصنوعی می‌تواند طرحی سریع برای امتیازدهی و اولویت‌بندی فهرستی از ایده‌ها در این سه محور به شما بدهد. شما تصمیم بگیرید

الگوی 5 - اولویت بندی آزمون:

ایده های تست A/B زیر را در اولویت قرار دهید. هر کدام را در محورهای ضربه (1-5)، قابلیت اطمینان (1-5) و سهولت نصب (1-5) امتیاز دهید، آنها را بر اساس نمره کل رتبه بندی کنید و در یک جمله توضیح دهید که چرا آنها به ترتیب هستند. ایده های تست: [فهرست]

اشتباهات رایج

• بنابراین در همان زمان متغیر است. نتیجه غیر قابل تفسیر می شود.
• آزمایش بدون فرضیه "بیایید آن را امتحان کنیم و ببینیم" باعث یادگیری نمی شود.
• تصمیم اولیه در یک نمونه کوچک، این تفاوت به طور تصادفی واقعی است.
• انواع با طول های مختلف. متغیر دوم ناخواسته ایجاد شده است.
• فقط بردن برنده اگر دلیل آن آموخته نشود، اطلاعات جمع نمی شود.

به طور خلاصه

• قانون طلایی تست A/B: هر بار یک متغیر.
• هر آزمونی باید با یک فرضیه شروع شود: چه انتظاری دارم و چرا؟
• یک معیار مشخص برای موفقیت و یک نمونه کافی تعریف کنید.
• تفاوت در نمونه کوچک گمراه کننده است. به اهمیت آماری توجه کنید.
• دریابید که چرا، نه برنده. این بینش به آزمون بعدی کمک می کند.

وظیفه کاربردی

یک مشاهده در مورد یکی از مطالب خود انتخاب کنید. با الگوی 2، این را به یک فرضیه واضح ترجمه کنید و متغیری را که باید جداسازی کنید، شناسایی کنید. دو نوع با الگوی 1 تولید کنید (طول مشابه، فقط تفاوت). در نهایت، اعداد نتیجه فرضی را مطابقت دهید، آنها را با استفاده از الگوی 4 تفسیر کنید، و توجه داشته باشید که مدل در مورد کفایت نمونه چه می گوید. مدت زمان: تقریبا 25 دقیقه

چک لیست

• [ ] I started the test with a clear hypothesis.
• [ ] من فقط یک متغیر را جدا کردم.
• [ ] انواع در سایر محورها (طول و غیره) مشابه باقی ماندند.
• [ ] من یک معیار موفقیت واضح تعریف کرده ام.
• [ ] من بدون نمونه/زمان کافی تصمیم نگرفتم.
• [ ] دلیل برنده شدن در آزمون بعدی را ذکر کردم.