A/B चाचणी आणि प्रायोगिक डिझाइन: भिन्न बांधकाम आणि महत्त्व

नफा:

• A/B चाचणी, नियंत्रण/व्हेरिएंट, रूपांतरण दर आणि सांख्यिकीय महत्त्व या संकल्पना समजून घेण्याची आणि कृत्रिम बुद्धिमत्तेसह गृहितके आणि चाचणी डिझाइन स्थापित करण्याची क्षमता.
• चाचणीसाठी एकल व्हेरिएबल वेगळे करण्याची क्षमता आणि कृत्रिम बुद्धिमत्ता समर्थनासह भिन्न मजकूर/प्रतिमा आणि मापन योजना तयार करण्याची क्षमता
• कृत्रिम बुद्धिमत्तेची चाचणी व्याख्या नमुन्याचा आकार आणि महत्त्व आणि अकाली/चुकीचे निकाल वाचण्याच्या जोखमीद्वारे मर्यादित आहे हे ओळखण्याची क्षमता

जाहिरातीतील सर्वात धोकादायक वाक्य "मला वाटते हे अधिक चांगले आहे." डेटा, मत नाही, तुम्हाला हेडलाइन, इमेज किंवा बटण खरोखर चांगले आहे की नाही हे सांगते. हे मोजण्याचा सर्वात सामान्य मार्ग म्हणजे A/B चाचणी: वास्तविक वापरकर्त्यांना एकाच जाहिरातीच्या दोन (किंवा अधिक) आवृत्त्या दाखवणे आणि कोणती चांगली काम करते याची तुलना करणे. "A" ही सहसा वर्तमान आवृत्ती (नियंत्रण) असते, तर "B" ही नवीन आवृत्ती वापरून पाहिली जात आहे (व्हेरियंट). उदाहरणार्थ, तुम्ही फक्त त्याच जाहिरातीतील शीर्षक बदलू शकता आणि कोणत्या शीर्षकावर अधिक क्लिक केले आहे हे मोजू शकता. कृत्रिम बुद्धिमत्ता या प्रक्रियेत मोठ्या प्रमाणात रूपे निर्माण करण्यासाठी आणि परिणामाचा अर्थ लावण्यासाठी उपयुक्त आहे; परंतु चाचणीची वैज्ञानिक वैधता डिझाइन नियम आणि संयम यावर अवलंबून असते.

A/B चाचणीचा सुवर्ण नियम: एक चल

A/B चाचणीचा सर्वात मूलभूत नियम म्हणजे एकल व्हेरिएबल वेगळे करणे. तुम्ही एकाच वेळी शीर्षक, प्रतिमा आणि बटण बदलल्यास आणि आवृत्ती B जिंकल्यास, काय जिंकले हे तुम्हाला कधीच कळणार नाही. म्हणून परीक्षेत फक्त एक घटक बदलला पाहिजे, बाकीचे स्थिर राहिले पाहिजे. जर तुम्हाला एकाच वेळी आणि पद्धतशीरपणे एकापेक्षा जास्त आयटमची चाचणी करायची असेल, तर याला मल्टीव्हेरिएट टेस्टिंग म्हणतात आणि त्यासाठी खूप मोठा नमुना आवश्यक आहे; युनिव्हेरिएट A/B चाचणी हा प्रारंभ करण्याचा मार्ग आहे.

दुसरी मूलभूत संकल्पना सांख्यिकीय महत्त्व आहे. आवृत्ती A ला 3 टक्के क्लिक आणि आवृत्ती B ला 3.3 टक्के क्लिक मिळाले असे समजा. हा फरक खरा फायदा आहे की फ्ल्यूक? तुम्ही फक्त 100 लोकांना चाचणी दाखवली, तर हा फरक योगायोग असू शकतो. सांख्यिकीय महत्त्वाचा अर्थ असा आहे की पाहिलेला फरक संधीमुळे असण्याची पुरेशी शक्यता नाही (म्हणजे, फरक कदाचित वास्तविक आहे). यासाठी पुरेसा नमुना आकार आवश्यक आहे (चाचणी पाहणाऱ्या लोकांची संख्या). कमी डेटासह "विजेता" घोषित करणे ही सर्वात सामान्य आणि महाग चूक आहे.

टीप: चाचणी सुरू करण्यापूर्वी, "मी विजेता कधी घोषित करू" या प्रश्नाचे उत्तर द्या: किती लोक/परिवर्तनानंतर, कोणत्या महत्त्वाच्या पातळीवर. हा निर्णय अगोदर घेतल्याने तुम्हाला पहिल्या तासात गोंगाटात अडकण्यापासून आणि अकाली निर्णय घेण्यापासून प्रतिबंध होतो.

खालील सारणी चांगल्या आणि वाईट A/B चाचणी डिझाइनची तुलना करते:

आयटम

खराब डिझाइन

चांगले डिझाइन

चलांची संख्या

शीर्षक + प्रतिमा + बटण एकत्र

फक्त शीर्षक

गृहीतक

(काही नाही) "बघूया काय होते ते"

"प्रश्नांसह शीर्षके क्लिक वाढवतात"

नमुना

80 लोक

पूर्वगणना केलेला कोरम

निर्णय वेळ

2 तासांनंतर

जेव्हा तुम्ही महत्त्वापर्यंत पोहोचता

विजेत्याची निवड

"मला वाटते बी छान आहे"

डेटा आणि महत्त्व यावर आधारित

चरण-दर-चरण: A/B चाचणी सेट करणे

पायरी 1 - एक गृहितक लिहा. तुम्ही कशाची चाचणी घेत आहात आणि का? एक स्पष्ट गृहीतक जसे की "फायद्यांसह शीर्षकाला वैशिष्ट्यांसह शीर्षकापेक्षा अधिक क्लिक मिळतात."

पायरी 2 - सिंगल व्हेरिएबल निवडा. फक्त शीर्षक, किंवा फक्त प्रतिमा, किंवा फक्त CTA.

पायरी 3 - रूपे व्युत्पन्न करा. AI सह समान आयटमच्या भिन्न आवृत्त्या तयार करा; उर्वरित स्थिर ठेवा.

पायरी 4 - मापन योजना सेट करा. कोणता मेट्रिक विजेता ठरवेल (क्लिक-थ्रू दर, रूपांतरण), किती नमुना आवश्यक आहे, किती वेळ चालवायचा आहे.

पायरी 5 - निकालाचा अर्थ लावा आणि सत्यापित करा. पुरेसा डेटा गोळा केला गेला आहे, फरक लक्षणीय आहे का? जर ते महत्त्वपूर्ण नसेल, तर "कोणताही फरक नाही" हा देखील एक वैध परिणाम आहे.

तीन लहान प्रकरणे

केस 1 - एका व्हेरिएबलची स्पष्टता. एका ई-कॉमर्स ब्रँडने त्याच्या उत्पादन जाहिरातीमध्ये फक्त CTA ची चाचणी केली: “खरेदी करा” आणि “कार्टमध्ये जोडा.” बाकी सर्व काही तसेच होते. पुरेशा सॅम्पलिंगनंतर, "कार्टमध्ये जोडा" ने लक्षणीय उच्च रूपांतरणे आणली. फरक स्पष्टपणे स्पष्ट केला जाऊ शकतो कारण एकच व्हेरिएबल वेगळे केले गेले होते. AI ने दोन CTAs तयार केले, डेटाने विजेता निवडला.

केस 2 - लवकर निर्णय सापळा. एका ब्रँडने चाचणी थांबवली कारण आवृत्ती B ने A/B चाचणीच्या पहिल्या 3 तासात पुढे होती आणि B ला संपूर्ण बजेटसाठी उघडले. दुसऱ्या दिवशीचा एकूण डेटा पाहता, ए प्रत्यक्षात थोडा चांगला होता; पहिल्या तासातला फरक योगायोगच होता. बजेट वाया गेले. चूक: अपुऱ्या नमुना आकारासह अकाली निर्णय घेणे.

केस 3 - "कोणताही फरक नाही" हा देखील निष्कर्ष आहे. एका ब्रँडने दोन भिन्न प्रतिमांची चाचणी केली आणि पुरेशी नमुने घेतल्यानंतर, दोघांनीही जवळजवळ समान परिणाम दिले. टीम "चाचणी अयशस्वी" झाल्याबद्दल शोक करणार असतानाच, योग्य वाचन असे होते की या मोहिमेतील प्रतिमा निर्णायक घटक नाही, म्हणून प्रयत्न हेडलाइन आणि ऑफरकडे निर्देशित केले पाहिजेत. कोणताही महत्त्वपूर्ण फरक आढळला नाही ही वस्तुस्थिती देखील मौल्यवान माहिती आहे.

चार कॉपी करण्यायोग्य टेम्पलेट्स

1) गृहीतक आणि चाचणी डिझाइन:

मला काय तपासायचे आहे: [उदा. जाहिरात शीर्षक].कार्य: (१) एकच चाचणी करण्यायोग्य गृहितक लिहा ("... वाढते ... वाढते" या स्वरूपात). (२) एकल व्हेरिएबल वेगळे करा आणि ते स्थिर ठेवा. (३) मेट्रिक सुचवा जे विजेते ठरवेल (क्लिक-थ्रू दर/रूपांतरण). (४) मला काय लिहावे लागेल ते लिहा, जोखीम चाचणीकडे लक्ष द्या, लवकर निर्णय घ्या.

2) प्रकार जनरेटर (एकल प्रकार):

चिकट जाहिरात: प्रतिमा [समान], CTA [समान], लक्ष्य [समान]. व्हेरिएबल चाचणी केली: HEADLINE. मुख्य संदेश: "[संदेश]". कार्य: समान संदेशासह 4 भिन्न शीर्षलेख रूपे व्युत्पन्न करा. प्रत्येकजण भिन्न दृष्टीकोन वापरतो (प्रश्न, लाभ, संख्या, निकड). फक्त मथळा बदलतो; एक अप्रमाणित दावा जोडणे.

3) मापन योजना:

चाचणी: [A आणि B ची व्याख्या]. मेट्रिक: [क्लिक/रूपांतरण].कार्य: मोजमाप योजना तयार करा:(1) कोणते मेट्रिक प्राथमिक आहे, जे दुय्यम आहेत, (2) विजेते घोषित करण्यासाठी किती डेटा/वेळ आवश्यक आहे (तर्क स्पष्ट करा), (3) ट्रॅफिक A आणि B मध्ये समान रीतीने आणि निष्पक्षपणे कसे विभाजित करावे, (4) कोणते बाह्य घटक दिवसाच्या साधनाचा परिणाम विकृत करू शकतात. अचूक आकडेवारी मोजण्यासाठी.

४) निकाल दुभाषी (काळजीपूर्वक):

माझे A/B चाचणी परिणाम (वास्तविक डेटा): [A: इंप्रेशन/क्लिक/रूपांतर], [बी: इंप्रेशन/क्लिक्स/रूपांतर].कार्य: (1) प्रत्येक आवृत्तीचे दर मोजा आणि प्रदर्शित करा. (2) फरकाच्या विशालतेवर टिप्पणी करा, परंतु नमुना पुरेसा नसल्यास, "अपुरा परिणाम डेटा" म्हणा (पुन्हा जोखमीचा अर्थ असा अपुरा डेटा) अकाली / चुकीचे वाचन. महत्त्वाचा कोणताही निश्चित दावा करू नका; मी वेगळ्या खाते साधनाने पुष्टी करेन.

कमकुवत प्रॉम्प्ट / मजबूत प्रॉम्प्ट

कमकुवत प्रॉम्प्ट:

माझ्या जाहिरातीसाठी A आणि B आवृत्ती तयार करा, कोणती चांगली आहे ते मला सांगा.

व्हेरिएबल वेगळे नाही, कोणतीही गृहीते आणि मापन नाही; एआय डेटाशिवाय कोणता "चांगला" आहे हे समजू शकत नाही, ते तयार करते.

शक्तिशाली सूचना:

मी A/B चाचणी सेट करत आहे. निश्चित: प्रतिमा आणि CTA सारखेच राहतील. फक्त व्हेरिएबल चाचणी केलेले: जाहिरात शीर्षक. गृहीतक: "संख्या असलेल्या हेडलाइनला सामान्य मथळ्यापेक्षा जास्त क्लिक मिळतात." मुख्य संदेश: "3 दिवसात वितरित केला जातो." कार्य: (1) नियंत्रणासाठी 1 सामान्य शीर्षक तयार करा, व्हेरिएंटसाठी क्रमांकांसह 3 मथळे तयार करा. (मी 2 जिंकण्यासाठी मी 2) दिसले पाहिजे. मला 3 चुकांची आठवण करून द्या ज्यामुळे चाचणी अवैध होऊ शकते. कोणती जिंकेल याचा अंदाज लावू नका; डेटा ते निश्चित करेल.

दुसरा दावा एकल व्हेरिएबल वेगळे करतो, त्यात गृहीतक आणि मोजमाप समाविष्ट आहे; विजेत्याला डेटावर सोडते.

सामान्य चुका

• एकाच वेळी अनेक आयटम बदलणे. विजेत्याचे कारण अस्पष्ट होते; एकच चल वेगळे करणे आवश्यक आहे.
• अपुऱ्या नमुन्यांसह निर्णय घेणे. पहिल्या तासांतील फरक अनेकदा योगायोग असतो.
• परिकल्पनाशिवाय चाचणी. “काय होते ते पाहूया” चाचणीमुळे शिक्षण मिळत नाही; प्रथम तुम्हाला काय अपेक्षित आहे ते लिहा.
• "कोणताही फरक नाही" असा निकाल चुकला म्हणून चुकणे. लक्षणीय फरक नसणे देखील माहितीपूर्ण आहे.
• चवीनुसार विजेता निवडणे. चाचणी वैयक्तिक चव वगळण्यासाठी तंतोतंत आहे; डेटाचे अनुसरण करा.
• बाह्य घटक विसरणे. हंगाम, प्रचाराचे दिवस, बातम्यांचा प्रवाह परिणाम विकृत करू शकतो; चाचणी परिस्थिती योग्य ठेवा.

लक्ष द्या: A/B चाचणीचा उद्देश "जिंकणे" नसून शिकणे आहे. एक प्रकार गमावणे देखील मौल्यवान माहिती आहे; अपुऱ्या डेटासह चुकीच्या निकालावर विसंबून राहणे आणि त्याच्याशी बजेट जोडणे हे खरे नुकसान आहे.

सारांशात

A/B चाचणी ही एक शक्तिशाली पद्धत आहे जी जाहिरात निर्णयांना कल्पनांपासून डेटाकडे हलवते. एकल व्हेरिएबल वेगळे करणे हा सुवर्ण नियम आहे: चाचणीमध्ये फक्त एक घटक बदलला पाहिजे, बाकीचे स्थिर राहिले पाहिजे. दुसरा स्तंभ पुरेसा नमुना आणि सांख्यिकीय महत्त्व आहे; कमी डेटासह विजेता घोषित करणे ही सर्वात महाग चूक आहे. AI एकाधिक रूपे निर्माण करण्यात आणि शक्यतांची गणना आणि व्याख्या करण्यात उपयुक्त आहे, परंतु डेटा विजेता ठरवतो, AI नाही. अगदी "कोणताही फरक नाही" परिणाम एक शिकणे आहे. परिकल्पना, मेट्रिक आणि निर्णय थ्रेशोल्ड चाचणी सुरू होण्यापूर्वी लिहिली पाहिजे.

अर्ज कार्य

एक सर्जनशील (शीर्षक, प्रतिमा किंवा CTA) निवडा. (1) "Hypothesis and test design" सह एकच चाचणी करण्यायोग्य गृहितक आणि पृथक चल लिहा. (2) "व्हेरिएंट जनरेटर" सह 1 नियंत्रण + 3 रूपे व्युत्पन्न करा; फक्त तो घटक बदला. (३) तुम्ही कोणते मेट्रिक पहाल, किती काळ आणि कोणत्या डेटासह, "मापन योजना" सह योजना करा. (4) विजेते घोषित करण्यासाठी तुमचा उंबरठा (किती रूपांतरणे / काय महत्त्व आहे) आगाऊ लिहा. (5) "परिणाम दुभाष्या" सह काल्पनिक परिणामांचा विचार करा आणि डेटा अपुरा आहे अशा परिस्थितीत तुम्ही निर्णय का घेणार नाही याची नोंद घ्या.

चेकलिस्ट

• [ ] मी चाचणीमध्ये फक्त एक चल वेगळे केले.
• [ ] मी चाचणीपूर्वी एक स्पष्ट गृहितक लिहिले.
• विजेत्यासाठी लागणारा नमुना आणि वेळ मी आधीच ठरवले आहे.
• [ ] मी वैयक्तिक चव नसून डेटाच्या आधारे विजेते निवडले.
• मी "कोणताही फरक नाही" परिणाम वैध शिक्षण म्हणून मानले.
• [ ] मी बाह्य घटक तपासले जे परिणाम विकृत करू शकतात.