גרסאות מבחן A/B ועיצוב ניסוי

רווחים:

• יכולת ליצור גרסאות טקסט שיטתיות המבודדות משתנים בודדים לבדיקת A/B
• יכולת להפוך השערה למערך ניסיוני מדיד
• יכולת לפרש את תוצאות המבחן במונחים של מובהקות סטטיסטית ולמידה

לאינטואיציה יש ערך בשיווק, אבל ראיות חשובות יותר. איזו כותרת מקבלת יותר קליקים, איזו CTA מוכרת יותר, איזו תמונה מושכת יותר תשומת לב? במקום לנחש, אתה יכול למדוד זאת באמצעות בדיקת A/B. בדיקת A/B היא שיטה ניסיונית המציגה שתי גרסאות של אותו תוכן (A ו-B) לקהל אמיתי ומודד מי מהם מניב ביצועים טובים יותר. בינה מלאכותית מייצרת במהירות את הקלט עבור הבדיקות הללו, כלומר גרסאות; אבל כדי שהבדיקה תעבוד דורש כלל מדעי: משתנה אחד בכל פעם. ביחידה זו תלמדו כיצד ליצור גרסאות, לתרגם השערה לניסוי מדיד ולפרש תוצאות במונחים של מובהקות סטטיסטית.

כלל הזהב: לבודד משתנה אחד

כדי לפרש את התוצאה של מבחן, רק דבר אחד חייב להיות שונה בין A ל-B. אם תשנה את הכותרת, התמונה וה-CTA בו-זמנית, לעולם לא תדע מי מהם עשה את ההבדל כאשר B מנצח. בידוד המשתנה המיועד לבדיקה הוא הדבר היחיד שמאפשר את הלמידה.

משתנים אופייניים שניתן לבדוק:

• כותרת: אותה תמונה וגוף, כותרת שונה.
• טקסט קריאה לפעולה: "קנה" או "הוסף לעגלה"?
• שורת הנושא: משפיע על קצב הפתיחה של אימייל.
• תמונה: אותו טקסט, תמונה שונה.
• אורך/טון: קצר לעומת ארוך, רשמי וכו' כנה.

מהשערה לניסוי: צעד אחר צעד

1. בצע תצפית. "לדף הנחיתה שלנו יש המרות נמוכות."
2. השערה. "הכותרת הממוקדת ביתרונות ממירה יותר מהכותרת הממוקדת בתכונות."
3. לבודד את המשתנה. רק הכותרת תשתנה.
4. צור גרסאות. 2 גרסאות ברורות עם הדגם (A: תכונה, B: תועלת).
5. הגדר את מידת ההצלחה שלך. לדוגמה, שיעור המרה - אחוז המבקרים שמבצעים את הפעולה הרצויה.
6. קבע מדגם ומשך זמן. מספיק אנשים ומספיק זמן.
7. למדוד, להשוות, ללמוד. למד את ה"למה", לא המנצח.

"השערה" היא תחזית שתיבחן כאן ועשויה להתברר כנכונה או שקרית; השערה טובה אומרת לך למה אתה מצפה ולמה.

הנחיה חלשה / הנחיה חזקה

הנחיה חלשה:

כתוב כמה חלופות לכותרת זו.

הנחיה עוצמתית:

צור גרסאות למבחן A/B. כלל: רק הכותרת תשתנה, הגוף והקריאה לפעולה יישארו זהים. השערה: כותרת מוכוונת הטבות מקבלת יותר קליקים מאשר כותרת מכוונת תכונה. הקשר: דף נחיתה. מוצר: אפליקציה לניהול פרויקטים. קהל: צוותים קטנים.מבוקשים:- וריאנט א': כותרת מכוונת תכונה (מתארת ​​את מה שהמוצר עושה)- וריאנט ב': כותרת מכוונת תועלת (מתארת ​​מה היא מספקת למשתמש) מתחת לכל וריאציה, כתוב באיזו מוטיבציה פסיכולוגית היא נוגעת. 2 גרסאות בלבד; שניהם צריכים להיות קו בודד, באורך דומה.

חשוב לרצות שהווריאציות יהיו באורך דומה; אחרת "אורך" הופך ללא כוונה למשתנה שני.

טבלת בדיקה לפני/אחרי

במה

מה לעשות

שגיאה תכופה

השערה

מה, למה אני מחכה?

"בוא ננסה" בלי השערות

משתנה

תבודד דבר אחד

משנים הרבה דברים בבת אחת

קריטריון

בחר מדד ברור אחד

"טוב יותר" ללא הגבלה

מדגם

מספיק אנשים/זמן

להחליט מוקדם

הערה

למד מדוע

פשוט קח את המנצח

שלושה מיני תיקים

מקרה 1 - מבחן CTA נותן תוצאות ברורות. אתר מסחר אלקטרוני בדק את כפתור המוצר: א "קנה", ב "הוסף לסל". רק טקסט הכפתור השתנה. במבחן של 3,000 מבקרים, B הגדילה את שיעור ההקלקות שלה מ-4.0% ל-4.9%. כשהמשתנה היחיד מבודד, המנצח היה ברור: "הוסף לעגלה" הרגיש פחות מחייב.

מקרה 2 - שגיאה רב-משתנית. צוות עיצב שני דפי נחיתה, אבל הכותרת, התמונה והצבע היו שונים. ב' ניצחה, אבל הקבוצה לא ידעה איזה מרכיב עשה את ההבדל; הלמידה הפכה לאפס. במבחן הבא הם פעלו לפי הכלל: משתנה אחד בכל פעם. במבחן הזה הם ראו בבירור שהכותרת היא הגורם העיקרי.

מקרה 3 - מלכודת החלטה מוקדמת. צוות ניוזלטר בדק שתי שורות נושא על קבוצה של 200 אנשים ואמר, "זה הרוויח A" בשעה הראשונה. המדגם היה קטן מאוד; ההבדל היה חסר משמעות סטטיסטית (כלומר, יכול היה לנבוע במקרה). כאשר הבדיקה הוגדלה לכמות מספקת של דגימה וזמן, התוצאה התהפכה. לקח: אל תקבל החלטות בלי מספיק נתונים.

זהירות: ההבדל שנראה במדגם קטן (מספר קטן של אנשים) עשוי להיות מטעה. מובהקות סטטיסטית מתייחסת להסתברות שההבדל הוא אמיתי ולא נובע מקריות. ודא שמגיעים למספיק אנשים והבדיקות נמשכות מספיק זמן לפני שקופצים למסקנות.

תבניות הניתנות להעתקה

תבנית 1 - מחולל וריאציות מבודדות:

צור גרסאות לבדיקת A/B. המשתנה היחיד לבדיקה: [כותרת/CTA/תמונה]. כל השאר יישאר קבוע. השערה: [...]. הקשר: [...].וריאנט א': [גישה נוכחית]. וריאנט ב': [גישה חלופית]. תנו לשתי הגרסאות להיות באורך דומה; לא לשנות שום דבר אחר.

תבנית 2 - מבהיר השערות:

בנה השערה הניתנת לבדיקה מהתצפית הבאה: "[תצפית]". כתוב את ההשערה בפורמט "אם נבצע [שינוי], [מדד] עולה כי [למה]". אז אמור לי איזה משתנה בודד עלי לבודד.

תבנית 3 - ערכת בדיקות של שורת הנושא:

צור 2 שורות נושא למבחן A/B עבור האימייל הבא. הבדל על ציר בודד: [סקרנות מול בהירות/תמציתיות וכו' ארוך/שאלה וכו' ביטוי]. שניהם לא צריכים להכיל את המילה ספאם וצריכים להיות באורך דומה. סיכום אימייל: [...]

תבנית 4 - פירוש תוצאות:

לפרש את התוצאה של מבחן A/B.משתנה: [...]. מדד וריאנט A: [...]. מדד וריאנט B: [...]. גודל מדגם: [...]. משך: [...].תגיד לי: ההבדל נראה משמעותי, או שהמדגם קטן? מה למדנו? מה אתה ממליץ למבחן הבא? אל תטען סטטיסטיקה מדויקת; אם לא ברור, פרט.

טיפ: לא מספיק לקבל את ה"מנצח" מהמבחן; הרווח האמיתי הוא התובנה "למה זה זכה". תובנה זו מזינה את ההשערה למבחן הבא ובונה גוף למידה לאורך זמן.

עדיפות: מה לבדוק קודם?

יש אינסוף פריטים שאתה יכול לבדוק, אבל הזמן והתנועה שלך מוגבלים. אז תעדוף בדיקות על סמך פוטנציאל ההשפעה. כלל כללי: האלמנטים שהמשתמש רואה קודם והמשפיעים הכי הרבה על ההחלטה נבדקים תחילה. בדף נחיתה, לכותרת יש את ההשפעה הגדולה ביותר על הקליקים; כי המשתמש קורא אותו קודם ומחליט שם ​​או לא להמשיך. פרטים כמו צבע הכפתור גורמים לרוב להשפעה קטנה יותר; להשאיר אותם לסוף.

דרך מעשית לתעדוף היא להבקיע כל רעיון בדיקה בשלושה צירים: השפעה צפויה (כמה זה ישפיע אם הוא ינצח?), ביטחון עצמי (כמה אנחנו בטוחים שהוא ינצח?), וקלות (כמה מהר להגדיר אותו?). מבחנים בעלי השפעה גבוהה, ביטחון גבוה ומאמץ נמוך ממוקמים במקום הראשון. זה מאפשר לך להקצות תעבורה מוגבלת לניסויים שמביאים את מירב הלמידה. בינה מלאכותית יכולה לתת לך שרטוט מהיר לניקוד ותעדוף רשימה של רעיונות לאורך שלושת הצירים הללו; אתה מחליט.

תבנית 5 - תעדוף לבדיקה:

תעדוף את הרעיונות הבאים לבדיקות A/B. ציינו כל אחד בצירי הפגיעה (1-5), מהימנות (1-5) וקלות ההתקנה (1-5), דרג אותם לפי הציון הכולל והסביר במשפט אחד מדוע הם בסדר הזה. רעיונות לבדיקה: [רשימה]

טעויות נפוצות

• כל כך משתנה בו זמנית. התוצאה הופכת לבלתי ניתנת לפירוש.
• בדיקה ללא השערות. "בואו ננסה ונראה" לא מייצר למידה.
• החלטה מוקדמת. במדגם קטן נראה שההבדל אמיתי במקרה.
• גרסאות באורכים שונים. משתנה שני נוצר ללא כוונה.
• רק לקחת את המנצח. אם הסיבה לא נלמדת, מידע לא יצטבר.

לסיכום

• כלל הזהב של בדיקת A/B: משתנה אחד בכל פעם.
• כל מבחן צריך להתחיל בהשערה: למה אני מצפה ולמה?
• הגדירו מדד אחד ברור להצלחה ומדגם הולם.
• ההבדל במדגם הקטן מטעה; שימו לב למובהקות סטטיסטית.
• גלה מדוע, לא המנצח; התובנה הזו ניזונה למבחן הבא.

משימת יישום

בחר תצפית על אחד מהתכנים שלך. בעזרת תבנית 2, תרגם זאת להשערה ברורה וזיהוי המשתנה שיש לבודד. צור שתי גרסאות עם תבנית 1 (אורך דומה, הבדל בלבד). לבסוף, התאימו את מספרי התוצאה ההיפותטיים, פרשו אותם באמצעות תבנית 4, ושימו לב מה אומר המודל על הלימות המדגם. משך: כ-25 דקות.

רשימת בדיקה

• [ ] התחלתי את המבחן עם השערה ברורה.
• [ ] בודדתי רק משתנה אחד.
• [ ] גרסאות נותרו דומות בצירים אחרים (אורך וכו').
• [ ] הגדרתי מדד הצלחה אחד ברור.
• [ ] לא החלטתי בלי מספיק דגימה/זמן.
• [ ] ציינתי את הסיבה לזוכה למבחן הבא.