लाभ:
- ए/बी परीक्षण, नियंत्रण/संस्करण, रूपांतरण दर और सांख्यिकीय महत्व की अवधारणाओं को समझने और कृत्रिम बुद्धिमत्ता के साथ परिकल्पना और परीक्षण डिजाइन स्थापित करने की क्षमता।
- परीक्षण के लिए एकल चर को अलग करने और कृत्रिम बुद्धिमत्ता समर्थन के साथ भिन्न पाठ/छवि और माप योजना तैयार करने की क्षमता
- यह भेद करने की क्षमता कि कृत्रिम बुद्धिमत्ता की परीक्षण व्याख्या नमूना आकार और महत्व और समय से पहले/गलत परिणाम पढ़ने के जोखिम से सीमित है
विज्ञापन में सबसे खतरनाक वाक्य है "मुझे लगता है कि यह बेहतर है।" डेटा, राय नहीं, आपको बताता है कि कोई शीर्षक, छवि या बटन वास्तव में बेहतर है या नहीं। इसे मापने का सबसे आम तरीका ए/बी परीक्षण है: वास्तविक उपयोगकर्ताओं को एक ही विज्ञापन के दो (या अधिक) संस्करण दिखाना और तुलना करना कि कौन सा बेहतर काम करता है। "ए" आमतौर पर वर्तमान संस्करण (नियंत्रण) है, जबकि "बी" आजमाया जा रहा नया संस्करण (वेरिएंट) है। उदाहरण के लिए, आप केवल उसी विज्ञापन में शीर्षक बदल सकते हैं और माप सकते हैं कि किस शीर्षक पर अधिक क्लिक किया गया है। आर्टिफिशियल इंटेलिजेंस इस प्रक्रिया में बड़ी संख्या में वेरिएंट उत्पन्न करने और परिणाम की व्याख्या करने में सहायक है; लेकिन परीक्षण की वैज्ञानिक वैधता डिज़ाइन नियमों और धैर्य पर निर्भर करती है।
ए/बी परीक्षण का सुनहरा नियम: एक चर
ए/बी परीक्षण का सबसे बुनियादी नियम एकल चर को अलग करना है। यदि आप एक ही समय में शीर्षक, छवि और बटन बदलते हैं और संस्करण बी जीतता है, तो आप कभी नहीं जान पाएंगे कि क्या जीता। इसलिए एक परीक्षण में केवल एक तत्व बदलना चाहिए, बाकी स्थिर रहना चाहिए। यदि आप एक से अधिक वस्तुओं का एक साथ और व्यवस्थित रूप से परीक्षण करना चाहते हैं, तो इसे बहुभिन्नरूपी परीक्षण कहा जाता है और इसके लिए बहुत बड़े नमूने की आवश्यकता होती है; यूनीवेरिएट ए/बी परीक्षण शुरू करने का तरीका है।
दूसरी मूल अवधारणा सांख्यिकीय महत्व है। मान लें कि संस्करण A को 3 प्रतिशत क्लिक मिले और संस्करण B को 3.3 प्रतिशत क्लिक मिले। क्या यह अंतर वास्तविक लाभ है या आकस्मिक? यदि आपने केवल 100 लोगों को परीक्षण दिखाया, तो यह अंतर संयोग हो सकता है। सांख्यिकीय महत्व का मतलब है कि देखा गया अंतर संयोग के कारण होने की पर्याप्त संभावना नहीं है (यानी, अंतर संभवतः वास्तविक है)। इसके लिए पर्याप्त नमूना आकार (परीक्षण देखने वाले लोगों की संख्या) की आवश्यकता होती है। कम डेटा के साथ "विजेता" घोषित करना सबसे आम और महंगी गलती है।
युक्ति: परीक्षण शुरू करने से पहले, इस प्रश्न का उत्तर दें कि "मैं विजेता की घोषणा कब करूंगा": कितने लोग/रूपांतरण के बाद, किस महत्व स्तर पर। पहले से यह निर्णय लेने से आप पहले घंटों में शोर में फंसने और समय से पहले निर्णय लेने से बच जाते हैं।
निम्न तालिका अच्छे और ख़राब ए/बी परीक्षण डिज़ाइन की तुलना करती है:
आइटम
ख़राब डिज़ाइन
अच्छा डिज़ाइन
चरों की संख्या
शीर्षक + छवि + बटन एक साथ
केवल शीर्षक
परिकल्पना
(कोई नहीं) "चलो देखते हैं क्या होता है"
"प्रश्नों वाले शीर्षक क्लिक बढ़ाते हैं"
नमूना
80 लोग
पूर्व परिकलित कोरम
निर्णय का समय
2 घंटे बाद
जब आप महत्व तक पहुँच जाते हैं
विजेता चयन
"मुझे लगता है बी अच्छा है"
डेटा और महत्व के आधार पर
चरण दर चरण: ए/बी परीक्षण स्थापित करना
चरण 1 - एक परिकल्पना लिखें। आप क्या परीक्षण कर रहे हैं और क्यों? एक स्पष्ट परिकल्पना जैसे "लाभ वाले शीर्षक को सुविधाओं वाले शीर्षक की तुलना में अधिक क्लिक मिलते हैं।"
चरण 2 - एकल चर का चयन करें। सिर्फ शीर्षक, या सिर्फ छवि, या सिर्फ सीटीए।
चरण 3 - वेरिएंट उत्पन्न करें। एआई के साथ एक ही आइटम के विभिन्न संस्करण बनाएं; बाकी को स्थिर रखें.
चरण 4 - एक माप योजना स्थापित करें। कौन सा मीट्रिक विजेता (क्लिक-थ्रू दर, रूपांतरण) निर्धारित करेगा, कितने नमूने की आवश्यकता है, कितनी देर तक चलाना है।
चरण 5 - परिणाम की व्याख्या करें और सत्यापित करें। क्या पर्याप्त डेटा एकत्र किया गया है, क्या अंतर महत्वपूर्ण है? यदि यह महत्वपूर्ण नहीं है, तो "कोई अंतर नहीं" भी एक वैध परिणाम है।
तीन मिनी मामले
केस 1 - एकल चर की स्पष्टता। एक ई-कॉमर्स ब्रांड ने अपने उत्पाद विज्ञापन में केवल CTA का परीक्षण किया: "खरीदें" और "कार्ट में जोड़ें।" बाकी सब कुछ वैसा ही था. पर्याप्त नमूने के बाद, "कार्ट में जोड़ें" ने काफी अधिक रूपांतरण लाए। अंतर को स्पष्ट रूप से समझा जा सका क्योंकि एक एकल चर को अलग कर दिया गया था। एआई ने दो सीटीए तैयार किए, डेटा ने विजेता को चुना।
केस 2 - शीघ्र निर्णय जाल। एक ब्रांड ने परीक्षण रोक दिया क्योंकि संस्करण बी ए/बी परीक्षण के पहले 3 घंटों में आगे था और उसने बी को पूरे बजट के लिए खोल दिया। अगले दिन कुल डेटा को देखते हुए, A वास्तव में थोड़ा बेहतर था; पहले घंटों में अंतर संयोगवश था। बजट बर्बाद हो गया. गलती: अपर्याप्त नमूना आकार के साथ समय से पहले निर्णय लेना।
केस 3 - "कोई अंतर नहीं" भी निष्कर्ष है। एक ब्रांड ने दो अलग-अलग छवियों का परीक्षण किया, और पर्याप्त नमूने के बाद, उन दोनों ने लगभग एक ही परिणाम दिया। जबकि टीम विलाप करने वाली थी कि "परीक्षण विफल रहा", सही रीडिंग यह थी कि छवि इस अभियान में निर्णायक कारक नहीं है, इसलिए प्रयास को शीर्षक और प्रस्ताव की ओर निर्देशित किया जाना चाहिए। यह तथ्य कि कोई महत्वपूर्ण अंतर नहीं पाया गया, भी मूल्यवान जानकारी है।
चार प्रतिलिपि योग्य टेम्पलेट
1) परिकल्पना और परीक्षण डिज़ाइन:
मैं क्या परीक्षण करना चाहता हूं: [उदा. विज्ञापन शीर्षक]। कार्य: (1) एक एकल परीक्षण योग्य परिकल्पना लिखें ("...बढ़ती है...बढ़ती है" के रूप में)।(2) अलग करने के लिए एकल चर की सूची बनाएं और स्थिर रखने के लिए।
2) वेरिएंट जनरेटर (एकल वेरिएंट):
चिपचिपा विज्ञापन: छवि [समान], सीटीए [समान], लक्ष्य [समान]। परिवर्तनीय परीक्षण: शीर्षक। मुख्य संदेश: "[संदेश]"। कार्य: एक ही संदेश के साथ 4 अलग-अलग शीर्षक संस्करण तैयार करें। प्रत्येक एक अलग दृष्टिकोण (प्रश्न, लाभ, संख्या, तात्कालिकता) का उपयोग करता है। केवल शीर्षक बदलता है; एक निराधार दावा जोड़ा जा रहा है.
3) माप योजना:
परीक्षण: [ए और बी की परिभाषा]। मीट्रिक: [क्लिक/रूपांतरण]। कार्य: एक माप योजना का मसौदा तैयार करें: (1) कौन सा मीट्रिक प्राथमिक है, कौन सा द्वितीयक है, (2) विजेता घोषित करने के लिए कितना डेटा/समय आवश्यक है (तर्क स्पष्ट करें), (3) ए और बी के बीच ट्रैफ़िक को समान रूप से और निष्पक्ष रूप से कैसे विभाजित किया जाए, (4) कौन से बाहरी कारक परिणाम को विकृत कर सकते हैं (मौसम, सप्ताह का दिन)। मान लीजिए कि मैं सटीक आंकड़ों की गणना करने के लिए एक महत्वपूर्ण उपकरण का उपयोग करूंगा।
4) परिणाम दुभाषिया (सावधान):
मेरे ए/बी परीक्षण परिणाम (वास्तविक डेटा): [ए: इंप्रेशन/क्लिक/रूपांतरण], [बी: इंप्रेशन/क्लिक/रूपांतरण]। कार्य: (1) प्रत्येक संस्करण की दरों की गणना करें और प्रदर्शित करें। (2) अंतर की भयावहता पर टिप्पणी करें, लेकिन यदि नमूना पर्याप्त नहीं है, तो "सार्थक परिणाम के लिए अपर्याप्त डेटा" कहें। (3) समय से पहले/गलत पढ़ने के जोखिमों की याद दिलाएं। महत्व का कोई निश्चित दावा न करें; मैं एक अलग अकाउंट टूल से पुष्टि करूंगा।
कमजोर संकेत/मजबूत संकेत
कमजोर संकेत:
मेरे विज्ञापन के लिए ए और बी संस्करण तैयार करें, मुझे बताएं कि कौन सा बेहतर है।
चर पृथक नहीं है, कोई परिकल्पना और माप नहीं है; डेटा के बिना एआई यह नहीं जान सकता कि कौन सा "अच्छा" है, वह इसे बना देता है।
शक्तिशाली संकेत:
मैं ए/बी परीक्षण स्थापित कर रहा हूं। समाधान: छवि और सीटीए वही रहेंगे। केवल वेरिएबल का परीक्षण किया गया: विज्ञापन शीर्षक। परिकल्पना: "संख्याओं वाले शीर्षक को सामान्य शीर्षक की तुलना में अधिक क्लिक मिलते हैं।" मुख्य संदेश: "3 दिनों में वितरित।" कौन जीतेगा; डेटा इसका निर्धारण करेगा.
दूसरा दावा एक एकल चर को अलग करता है, इसमें परिकल्पना और माप शामिल है; विजेता को डेटा पर छोड़ देता है।
सामान्य गलतियाँ
- एक साथ कई वस्तुएँ बदलना। विजेता का कारण अस्पष्ट हो जाता है; एक एकल चर को पृथक किया जाना चाहिए।
- अपर्याप्त नमूनों के साथ निर्णय लेना। पहले घंटों में अंतर अक्सर संयोगात्मक होता है।
- परिकल्पना के बिना परीक्षण. "देखते हैं क्या होता है" परीक्षण से सीख नहीं मिलती; सबसे पहले यह लिखें कि आप क्या अपेक्षा करते हैं।
- परिणाम "कोई अंतर नहीं" को विफलता समझ लेना। महत्वपूर्ण अंतर का अभाव भी जानकारीपूर्ण है।
- स्वाद के आधार पर विजेता का चयन। परीक्षण निश्चित रूप से व्यक्तिगत रुचि को खारिज करने के लिए है; डेटा का पालन करें.
- बाहरी कारकों को भूल जाना. सीज़न, अभियान दिवस, समाचार प्रवाह परिणाम को विकृत कर सकते हैं; परीक्षण की स्थिति निष्पक्ष रखें.
ध्यान दें: ए/बी परीक्षण का उद्देश्य "जीतना" नहीं बल्कि सीखना है। यहां तक कि एक प्रकार का खोना भी बहुमूल्य जानकारी है; वास्तविक नुकसान अपर्याप्त डेटा के साथ गलत परिणाम पर भरोसा करना और बजट को उससे जोड़ना है।
सारांश
ए/बी परीक्षण एक शक्तिशाली तरीका है जो विज्ञापन निर्णयों को विचार से डेटा तक ले जाता है। एकल चर को अलग करने का सुनहरा नियम है: परीक्षण में केवल एक तत्व बदलना चाहिए, बाकी स्थिर रहना चाहिए। दूसरा स्तंभ पर्याप्त नमूनाकरण और सांख्यिकीय महत्व है; कम डेटा के साथ विजेता घोषित करना सबसे महंगी गलती है। एआई कई प्रकार उत्पन्न करने और बाधाओं की गणना और व्याख्या करने में सहायक है, लेकिन डेटा विजेता का निर्धारण करता है, एआई का नहीं। यहां तक कि "कोई अंतर नहीं" परिणाम भी एक सीख है। परीक्षण शुरू होने से पहले परिकल्पना, मीट्रिक और निर्णय सीमा लिखी जानी चाहिए।
आवेदन कार्य
एक क्रिएटिव (शीर्षक, छवि या सीटीए) चुनें। (1) "परिकल्पना और परीक्षण डिजाइन" के साथ एक एकल परीक्षण योग्य परिकल्पना और पृथक चर लिखें। (2) "वेरिएंट जेनरेटर" के साथ 1 नियंत्रण + 3 वेरिएंट उत्पन्न करें; बस उस तत्व को बदलो. (3) "माप योजना" के साथ योजना बनाएं कि आप किस मीट्रिक को, कितनी देर तक और किस डेटा के साथ देखेंगे। (4) विजेता घोषित करने के लिए अपनी सीमा (कितने रूपांतरण/क्या महत्व) पहले से लिख लें। (5) "परिणाम दुभाषिया" के साथ काल्पनिक परिणामों पर विचार करें और ध्यान दें कि आप ऐसे परिदृश्य में निर्णय क्यों नहीं लेंगे जहां डेटा अपर्याप्त है।
चेकलिस्ट
- [ ] मैंने परीक्षण में केवल एक चर को अलग किया है।
- [ ] मैंने परीक्षण से पहले एक स्पष्ट परिकल्पना लिखी थी।
- [ ] मैंने विजेता के लिए आवश्यक नमूना और समय पहले ही निर्धारित कर लिया है।
- [ ] मैंने व्यक्तिगत रुचि के आधार पर नहीं, बल्कि डेटा के आधार पर विजेता को चुना।
- [ ] मैंने "कोई अंतर नहीं" परिणाम को वैध शिक्षण माना।
- [ ] मैंने बाहरी कारकों की जाँच की जो परिणाम को विकृत कर सकते हैं।