ए/बी टेस्ट वेरिएंट और प्रयोग डिजाइन

लाभ:

• ए/बी परीक्षण के लिए एकल चर को अलग करने वाले व्यवस्थित पाठ संस्करण उत्पन्न करने की क्षमता
• एक परिकल्पना को मापने योग्य प्रयोगात्मक सेटअप में बदलने की क्षमता
• सांख्यिकीय महत्व और सीखने के संदर्भ में परीक्षण परिणामों की व्याख्या करने की क्षमता

विपणन में अंतर्ज्ञान मूल्यवान है, लेकिन साक्ष्य अधिक मूल्यवान है। किस शीर्षक को अधिक क्लिक मिलते हैं, कौन सी CTA अधिक बिकती है, कौन सी छवि अधिक ध्यान आकर्षित करती है? अनुमान लगाने के बजाय, आप इसे ए/बी परीक्षण से माप सकते हैं। ए/बी परीक्षण एक प्रायोगिक विधि है जो वास्तविक दर्शकों को एक ही सामग्री (ए और बी) के दो संस्करण दिखाती है और मापती है कि कौन सा बेहतर प्रदर्शन करता है। आर्टिफिशियल इंटेलिजेंस इन परीक्षणों के लिए तेजी से इनपुट तैयार करता है, अर्थात् वेरिएंट; लेकिन परीक्षण को कार्यान्वित करने के लिए एक वैज्ञानिक नियम की आवश्यकता होती है: एक समय में एक चर। इस इकाई में आप सीखेंगे कि विभिन्नताएँ कैसे उत्पन्न करें, एक परिकल्पना को मापने योग्य प्रयोग में कैसे परिवर्तित करें और सांख्यिकीय महत्व के संदर्भ में परिणामों की व्याख्या करें।

सुनहरा नियम: एक चर को अलग करें

किसी परीक्षण के परिणाम की व्याख्या करने के लिए, ए और बी के बीच केवल एक चीज अलग होनी चाहिए। यदि आप एक ही समय में शीर्षक, छवि और सीटीए बदलते हैं, तो बी के जीतने पर आपको कभी पता नहीं चलेगा कि किसने अंतर बनाया। परीक्षण किए जाने वाले चर को अलग करना ही एकमात्र चीज है जो सीखना संभव बनाती है।

विशिष्ट चर जिनका परीक्षण किया जा सकता है:

• शीर्षक: एक ही छवि और शरीर, अलग शीर्षक।
• सीटीए टेक्स्ट: "खरीदें" या "कार्ट में जोड़ें"?
• विषय पंक्ति: ईमेल की खुली दर को प्रभावित करती है।
• छवि: वही पाठ, अलग छवि.
• लंबाई/स्वर: छोटा बनाम लंबा, औपचारिक आदि ईमानदार।

परिकल्पना से प्रयोग तक: चरण दर चरण

1. अवलोकन करें. "हमारे लैंडिंग पृष्ठ पर कम रूपांतरण है।"
2. परिकल्पना. "लाभ-केंद्रित शीर्षक सुविधा-केंद्रित शीर्षक की तुलना में अधिक परिवर्तन लाता है।"
3. चर को अलग करें. केवल शीर्षक बदलेगा.
4. वेरिएंट उत्पन्न करें. मॉडल के साथ 2 स्पष्ट वेरिएंट (ए: सुविधा, बी: लाभ)।
5. अपनी सफलता का माप परिभाषित करें. उदाहरण के लिए, रूपांतरण दर - वांछित कार्रवाई करने वाले आगंतुकों का प्रतिशत।
6. नमूना और अवधि निर्धारित करें. पर्याप्त लोग और पर्याप्त समय.
7. मापें, तुलना करें, सीखें। विजेता को नहीं, "क्यों" को जानें।

एक "परिकल्पना" एक भविष्यवाणी है जिसका परीक्षण यहां किया जाएगा और यह सच या गलत हो सकता है; एक अच्छी परिकल्पना आपको बताती है कि आप क्या अपेक्षा करते हैं और क्यों।

कमजोर संकेत/मजबूत संकेत

कमजोर संकेत:

इस शीर्षक के लिए कुछ विकल्प लिखें।

शक्तिशाली संकेत:

ए/बी परीक्षण के लिए वेरिएंट तैयार करें। नियम: केवल शीर्षक बदलेगा, मुख्य भाग और सीटीए वही रहेंगे। परिकल्पना: लाभ-उन्मुख शीर्षक को फीचर-उन्मुख शीर्षक की तुलना में अधिक क्लिक मिलते हैं। संदर्भ: लैंडिंग पृष्ठ। उत्पाद: परियोजना प्रबंधन अनुप्रयोग. श्रोता: छोटी टीमें। अनुरोधित: - वैरिएंट ए: सुविधा-उन्मुख शीर्षक (वर्णन करता है कि उत्पाद क्या करता है) - वैरिएंट बी: लाभ-उन्मुख शीर्षक (यह वर्णन करता है कि यह उपयोगकर्ता को क्या प्रदान करता है) प्रत्येक संस्करण के तहत, लिखें कि यह किस मनोवैज्ञानिक प्रेरणा को छूता है। केवल 2 प्रकार; दोनों एक ही लाइन की, समान लंबाई की होनी चाहिए।

यह महत्वपूर्ण है कि वेरिएंट समान लंबाई के हों; अन्यथा "लंबाई" अनजाने में दूसरा चर बन जाता है।

परीक्षण से पहले/बाद का चार्ट

मंच

क्या करें?

बारंबार त्रुटि

परिकल्पना

क्या, मैं इंतज़ार क्यों कर रहा हूँ?

बिना किसी परिकल्पना के "आइए प्रयास करें"।

परिवर्तनीय

एक बात अलग कर दीजिए

एक साथ कई चीजें बदलना

कसौटी

एक स्पष्ट मीट्रिक चुनें

अनिश्चितकालीन "बेहतर"

नमूना

पर्याप्त लोग/समय

जल्दी फैसला करो

टिप्पणी करें

जानें क्यों

बस विजेता को लीजिए

तीन मिनी मामले

केस 1 - सीटीए परीक्षण स्पष्ट परिणाम देता है। एक ई-कॉमर्स साइट ने उत्पाद बटन का परीक्षण किया: ए "खरीदें", बी "कार्ट में जोड़ें"। केवल बटन टेक्स्ट बदल गया है. 3,000 आगंतुकों के परीक्षण में, बी ने अपनी क्लिक-थ्रू दर 4.0% से बढ़ाकर 4.9% कर दी। एकल चर को अलग करने से, विजेता स्पष्ट था: "कार्ट में जोड़ें" कम बाध्यकारी लगा।

केस 2 - बहुभिन्नरूपी त्रुटि। एक टीम ने दो लैंडिंग पृष्ठ डिज़ाइन किए, लेकिन शीर्षक, छवि और रंग सभी अलग-अलग थे। बी जीत गया, लेकिन टीम को नहीं पता था कि किस तत्व ने अंतर पैदा किया; सीखना शून्य हो गया. अगले परीक्षण में, उन्होंने नियम का पालन किया: एक समय में एक चर। उस परीक्षण में, उन्होंने स्पष्ट रूप से देखा कि शीर्षक ही मुख्य कारक था।

केस 3 - शीघ्र निर्णय जाल। एक न्यूज़लेटर टीम ने 200 लोगों के समूह पर दो विषय पंक्तियों का परीक्षण किया और कहा, "इसने पहले घंटे में ए अर्जित किया"। नमूना बहुत छोटा था; अंतर सांख्यिकीय रूप से महत्वहीन था (अर्थात, संयोग के कारण हो सकता है)। जब परीक्षण को पर्याप्त नमूनाकरण और समय तक बढ़ाया गया, तो परिणाम उलट गया। सबक: पर्याप्त डेटा के बिना निर्णय न लें।

सावधानी: एक छोटे से नमूने (कम संख्या में लोगों) में देखा गया अंतर भ्रामक हो सकता है। सांख्यिकीय महत्व इस संभावना को संदर्भित करता है कि अंतर वास्तविक है और संयोग के कारण नहीं है। सुनिश्चित करें कि पर्याप्त लोगों तक पहुंच बनाई जाए और किसी नतीजे पर पहुंचने से पहले परीक्षण काफी देर तक चलता रहे।

कॉपी करने योग्य टेम्पलेट

टेम्प्लेट 1 - पृथक वैरिएंट जनरेटर:

ए/बी परीक्षण के लिए वेरिएंट तैयार करें। परीक्षण के लिए एकमात्र चर: [शीर्षक/सीटीए/छवि]। बाकी सब चीजें स्थिर रहेंगी. परिकल्पना: [...]। संदर्भ: [...].संस्करण ए: [वर्तमान दृष्टिकोण]। वैरिएंट बी: [वैकल्पिक दृष्टिकोण]। मान लीजिए कि दोनों वेरिएंट समान लंबाई के हैं; और कुछ मत बदलो.

टेम्प्लेट 2 - परिकल्पना स्पष्टकर्ता:

निम्नलिखित अवलोकन से एक परीक्षण योग्य परिकल्पना का निर्माण करें: "[अवलोकन]"। परिकल्पना को "यदि हम [परिवर्तन] करते हैं, तो [मीट्रिक] बढ़ जाती है क्योंकि [क्यों]" प्रारूप में लिखें। फिर मुझे बताएं कि मुझे किस एकल चर को अलग करना चाहिए।

टेम्प्लेट 3 - विषय पंक्ति परीक्षण सेट:

निम्नलिखित ईमेल के लिए ए/बी परीक्षण के लिए 2 विषय पंक्तियाँ बनाएँ। एक ही धुरी पर अंतर: [जिज्ञासा बनाम स्पष्टता/संक्षिप्तता आदि लंबी/प्रश्न आदि अभिव्यक्ति]। दोनों में स्पैम शब्द नहीं होना चाहिए और समान लंबाई का होना चाहिए। ईमेल सारांश: [...]

टेम्प्लेट 4 - परिणामों की व्याख्या करना:

ए/बी परीक्षण के परिणाम की व्याख्या करें। चर: [...] वैरिएंट ए मेट्रिक: [...]। वैरिएंट बी मीट्रिक: [...]। नमूना आकार: [...]। अवधि: [...] मुझे बताएं: क्या अंतर महत्वपूर्ण लगता है, या नमूना छोटा है? हमने क्या सीखा? आप अगले परीक्षण के लिए क्या अनुशंसा करते हैं? सटीक आंकड़ों का दावा न करें; यदि अस्पष्ट हो तो निर्दिष्ट करें।

युक्ति: परीक्षण से "विजेता" प्राप्त करना पर्याप्त नहीं है; वास्तविक लाभ यह अंतर्दृष्टि है कि "यह क्यों जीता।" यह अंतर्दृष्टि अगले परीक्षण के लिए परिकल्पना में शामिल होती है और समय के साथ सीखने का एक समूह तैयार करती है।

प्राथमिकता: पहले क्या परीक्षण करें?

ऐसे अनगिनत आइटम हैं जिनका आप परीक्षण कर सकते हैं, लेकिन आपका समय और ट्रैफ़िक सीमित है। इसलिए प्रभाव क्षमता के आधार पर परीक्षणों को प्राथमिकता दें। सामान्य नियम: जिन तत्वों को उपयोगकर्ता सबसे पहले देखता है और निर्णय पर सबसे अधिक प्रभाव डालता है, उनका पहले परीक्षण किया जाता है। लैंडिंग पृष्ठ पर, क्लिक पर शीर्षक का सबसे अधिक प्रभाव पड़ता है; क्योंकि उपयोगकर्ता पहले इसे पढ़ता है और वहीं निर्णय लेता है कि उसे आगे बढ़ना है या नहीं। बटन का रंग जैसे विवरण अक्सर कम प्रभाव डालते हैं; उन्हें आख़िरी के लिए छोड़ दें.

प्राथमिकता देने का एक व्यावहारिक तरीका प्रत्येक परीक्षण विचार को तीन अक्षों पर स्कोर करना है: अपेक्षित प्रभाव (यदि यह जीतता है तो इसमें कितना अंतर होगा?), आत्मविश्वास (हम कितने आश्वस्त हैं कि यह जीतेगा?), और सहजता (इसे स्थापित करने में कितनी तेजी है?)। उच्च प्रभाव, उच्च आत्मविश्वास और कम प्रयास वाले परीक्षणों को पहले स्थान पर रखा जाता है। यह आपको उन प्रयोगों के लिए सीमित ट्रैफ़िक आवंटित करने की अनुमति देता है जो सबसे अधिक सीख लाते हैं। एआई आपको इन तीन अक्षों के साथ विचारों की सूची को स्कोर करने और प्राथमिकता देने के लिए एक त्वरित खाका दे सकता है; आप तय करें।

टेम्प्लेट 5 - परीक्षण प्राथमिकता:

निम्नलिखित ए/बी परीक्षण विचारों को प्राथमिकता दें। प्रत्येक को प्रभाव (1-5), विश्वसनीयता (1-5) और स्थापना में आसानी (1-5) के आधार पर स्कोर दें, उन्हें कुल स्कोर के अनुसार रैंक करें और एक वाक्य में बताएं कि वे उस क्रम में क्यों हैं। परीक्षण विचार: [सूची]

सामान्य गलतियाँ

• एक ही समय में इतना परिवर्तनशील. परिणाम अस्पष्ट हो जाता है.
• परिकल्पना-मुक्त परीक्षण। "आइए इसे आज़माएं और देखें" से सीख नहीं मिलती।
• शीघ्र निर्णय. एक छोटे से नमूने में, अंतर को संयोग से वास्तविक माना जाता है।
• विभिन्न लंबाई के वेरिएंट. एक दूसरा वेरिएबल अनजाने में बनाया गया है।
• बस विजेता ले रहा हूँ. यदि कारण नहीं जाना गया तो जानकारी एकत्रित नहीं हो सकेगी।

संक्षेप में

• ए/बी परीक्षण का सुनहरा नियम: एक समय में एक चर।
• प्रत्येक परीक्षण एक परिकल्पना से शुरू होना चाहिए: मैं क्या अपेक्षा कर रहा हूं और क्यों?
• सफलता का एक स्पष्ट माप और पर्याप्त नमूना परिभाषित करें।
• छोटे नमूने में अंतर भ्रामक है; सांख्यिकीय महत्व पर ध्यान दें.
• कारण का पता लगाएं, विजेता नहीं; यह अंतर्दृष्टि अगले परीक्षण में शामिल होती है।

आवेदन कार्य

अपनी सामग्री में से किसी एक के बारे में एक अवलोकन चुनें। टेम्प्लेट 2 के साथ, इसे एक स्पष्ट परिकल्पना में अनुवादित करें और अलग करने के लिए चर की पहचान करें। टेम्प्लेट 1 (समान लंबाई, केवल अंतर) के साथ दो वेरिएंट तैयार करें। अंत में, काल्पनिक परिणाम संख्याओं को फिट करें, टेम्पलेट 4 का उपयोग करके उनकी व्याख्या करें, और ध्यान दें कि मॉडल नमूना पर्याप्तता के बारे में क्या कहता है। अवधि: लगभग 25 मिनट.

चेकलिस्ट

• [ ] मैंने एक स्पष्ट परिकल्पना के साथ परीक्षण शुरू किया।
• [ ] मैंने केवल एक वेरिएबल को अलग किया है।
• [ ] वेरिएंट अन्य अक्षों (लंबाई, आदि) में समान रहे।
• [ ] मैंने एक स्पष्ट सफलता मीट्रिक परिभाषित की है।
• [ ] मैंने पर्याप्त नमूने/समय के बिना निर्णय नहीं लिया।
• [ ] मैंने अगले टेस्ट के विजेता का कारण नोट कर लिया।