एकाइ 8 / 11

A/B टेस्ट भेरियन्ट र प्रयोग डिजाइन

लाभ:

  • A/B परीक्षणका लागि एकल चरहरू अलग गर्ने व्यवस्थित पाठ भेरियन्टहरू उत्पन्न गर्ने क्षमता
  • परिकल्पनालाई मापनयोग्य प्रयोगात्मक सेटअपमा रूपान्तरण गर्ने क्षमता
  • सांख्यिकीय महत्व र सिकाइको सर्तमा परीक्षण परिणामहरू व्याख्या गर्ने क्षमता

अन्तर्ज्ञान मार्केटिङ मा मूल्यवान छ, तर प्रमाण अधिक मूल्यवान छ। कुन शीर्षकले बढी क्लिक पाउँछ, कुन CTA ले बढी बिक्री गर्छ, कुन छविले बढी ध्यान आकर्षित गर्छ? अनुमान लगाउनुको सट्टा, तपाइँ यसलाई A/B परीक्षणको साथ मापन गर्न सक्नुहुन्छ। A/B परीक्षण एक प्रयोगात्मक विधि हो जसले वास्तविक दर्शकहरूलाई एउटै सामग्री (A र B) को दुई संस्करणहरू देखाउँछ र कुनले राम्रो प्रदर्शन गर्छ मापन गर्दछ। आर्टिफिसियल इन्टेलिजेन्सले चाँडै यी परीक्षणहरूको लागि इनपुट उत्पादन गर्दछ, अर्थात् भिन्नताहरू; तर परीक्षण कार्य बनाउनको लागि एक वैज्ञानिक नियम चाहिन्छ: एक पटकमा एक चर। यस एकाइमा तपाईंले भेरियन्टहरू कसरी उत्पन्न गर्ने, परिकल्पनालाई मापनयोग्य प्रयोगमा अनुवाद गर्ने, र तथ्याङ्कीय महत्त्वका आधारमा परिणामहरू व्याख्या गर्ने तरिका सिक्नुहुनेछ।

सुनौलो नियम: एक चर अलग गर्नुहोस्

परीक्षणको नतिजाको व्याख्या गर्न, A र B बीच एउटा मात्र कुरा फरक हुनुपर्छ। यदि तपाईंले एकै समयमा शीर्षक, छवि, र CTA परिवर्तन गर्नुभयो भने, B ले जित्दा कुनले फरक पार्छ भन्ने कुरा तपाईंले कहिल्यै थाहा पाउनुहुनेछैन। परिक्षण गर्न को लागी चर अलग गर्नु एक मात्र चीज हो जसले सिक्न सम्भव बनाउँछ।

परीक्षण गर्न सकिने विशिष्ट चरहरू:

  • शीर्षक: एउटै छवि र शरीर, फरक शीर्षक।
  • CTA पाठ: "किन्नुहोस्" वा "कार्टमा थप्नुहोस्"?
  • विषय रेखा: इमेलको खुला दरलाई असर गर्छ।
  • छवि: एउटै पाठ, फरक छवि।
  • लम्बाइ/टोन: छोटो बनाम लामो, औपचारिक आदि इमानदार।

परिकल्पना देखि प्रयोग सम्म: चरण द्वारा चरण

  1. एक अवलोकन गर्नुहोस्। "हाम्रो ल्यान्डिङ पृष्ठमा कम रूपान्तरण छ।"
  2. परिकल्पना। "लाभ-केन्द्रित शीर्षकले सुविधा-केन्द्रित शीर्षक भन्दा बढी रूपान्तरण गर्दछ।"
  3. चर अलग गर्नुहोस्। शीर्षक मात्र परिवर्तन हुनेछ।
  4. भेरियन्टहरू उत्पन्न गर्नुहोस्। मोडेलसँग २ स्पष्ट भेरियन्टहरू (A: सुविधा, B: लाभ)।
  5. आफ्नो सफलताको मापन परिभाषित गर्नुहोस्। उदाहरण को लागी, रूपान्तरण दर - इच्छित कार्य लिने आगन्तुकहरुको प्रतिशत।
  6. नमूना र अवधि निर्धारण गर्नुहोस्। पर्याप्त मान्छे र पर्याप्त समय।
  7. मापन गर्नुहोस्, तुलना गर्नुहोस्, सिक्नुहोस्। "किन" जान्नुहोस्, विजेता होइन।

एक "परिकल्पना" एक भविष्यवाणी हो जुन यहाँ परीक्षण गरिनेछ र सत्य वा गलत हुन सक्छ; एक राम्रो परिकल्पनाले तपाईंलाई बताउँछ कि तपाईं के आशा गर्नुहुन्छ र किन।

कमजोर प्रम्प्ट / बलियो प्रम्प्ट

कमजोर प्रम्प्ट:

यस शीर्षकको लागि केही विकल्पहरू लेख्नुहोस्।

शक्तिशाली प्रम्प्ट:

A/B परीक्षणको लागि भेरियन्टहरू उत्पन्न गर्नुहोस्। नियम: केवल शीर्षक परिवर्तन हुनेछ, मुख्य भाग र CTA एउटै रहनेछ। हाइपोथेसिस: सुविधा-उन्मुख शीर्षक भन्दा लाभ-उन्मुख शीर्षकले धेरै क्लिकहरू पाउँछ। CONTEXT: ल्यान्डिङ पृष्ठ। उत्पादन: परियोजना व्यवस्थापन आवेदन। श्रोताहरू: सानो टोलीहरू। अनुरोध गरिएको:- भेरिएन्ट A: विशेषता-उन्मुख शीर्षक (उत्पादनले के गर्छ वर्णन गर्दछ)- भेरिएन्ट B: लाभ-उन्मुख शीर्षक (यसले प्रयोगकर्तालाई के प्रदान गर्दछ वर्णन गर्दछ) प्रत्येक संस्करण अन्तर्गत, यसले कस्तो मनोवैज्ञानिक प्रेरणा छुन्छ लेख्नुहोस्। केवल 2 प्रकारहरू; दुवै समान लम्बाइको एकल रेखा हुनुपर्छ।

भेरियन्टहरू समान लम्बाइको होस् भन्ने चाहनु महत्त्वपूर्ण छ; अन्यथा "लम्बाइ" अन्जानमा दोस्रो चर बन्छ।

परीक्षण चार्ट अघि / पछि

स्टेज

के गर्ने

बारम्बार त्रुटि

परिकल्पना

के, म किन पर्खिरहेको छु?

परिकल्पना बिना "कोसिस गरौं"

चर

एउटा कुरा अलग गर्नुहोस्

एकैचोटि धेरै चीजहरू परिवर्तन गर्दै

मापदण्ड

एउटा स्पष्ट मेट्रिक छान्नुहोस्

अनिश्चित "राम्रो"

नमूना

पर्याप्त मान्छे/समय

चाँडो निर्णय गर्नुहोस्

टिप्पणी गर्नुहोस्

जान्नुहोस् किन

केवल विजेता लिनुहोस्

तीन मिनी केसहरू

केस 1 - CTA परीक्षणले स्पष्ट परिणाम दिन्छ। एक ई-वाणिज्य साइटले उत्पादन बटन परीक्षण गर्यो: A "किन्नुहोस्", B "कार्टमा थप्नुहोस्"। बटन पाठ मात्र परिवर्तन भएको छ। 3,000 आगन्तुकहरूको परीक्षणमा, B ले यसको क्लिक-थ्रु दर 4.0% बाट 4.9% मा बढायो। एकल चर पृथक संग, विजेता स्पष्ट थियो: "कार्टमा थप्नुहोस्" कम बाध्यकारी महसुस भयो।

केस 2 - बहुविध त्रुटि। एउटा टोलीले दुईवटा ल्यान्डिङ पृष्ठहरू डिजाइन गरे, तर शीर्षक, छवि र रङ सबै फरक थिए। B जित्यो, तर टोलीलाई थाहा थिएन कुन तत्वले फरक पार्यो; पढाइ शून्य भयो। अर्को परीक्षणमा, तिनीहरूले नियम पालना गरे: एक पटकमा एक चर। त्यो परीक्षणमा, तिनीहरूले स्पष्ट रूपमा देखे कि शीर्षक मुख्य कारक थियो।

केस ३ - प्रारम्भिक निर्णय जाल। एक न्यूजलेटर टोलीले 200 व्यक्तिहरूको समूहमा दुई विषय रेखाहरू परीक्षण गर्यो र भन्यो, "यसले पहिलो घण्टामा A" कमाएको छ। नमूना धेरै सानो थियो; भिन्नता सांख्यिकीय रूपमा नगण्य थियो (अर्थात्, संयोगको कारण हुन सक्छ)। जब परीक्षण पर्याप्त नमूना र समय मा बढाइयो, परिणाम उल्टो भयो। पाठ: पर्याप्त डाटा बिना निर्णय नगर्नुहोस्।

सावधानी: सानो नमूना (सानो संख्यामा मानिसहरू) मा देखिएको भिन्नता भ्रामक हुन सक्छ। सांख्यिकीय महत्वले सम्भाव्यतालाई बुझाउँछ कि भिन्नता वास्तविक छ र संयोगको कारणले होइन। निश्चित गर्नुहोस् कि पर्याप्त व्यक्तिहरू पुगेका छन् र निष्कर्षमा जम्प गर्नु अघि परीक्षण लामो समयसम्म जान्छ।

प्रतिलिपि गर्न मिल्ने टेम्प्लेटहरू

टेम्प्लेट १ — पृथक संस्करण जनरेटर:

A/B परीक्षणका लागि भेरियन्टहरू उत्पन्न गर्नुहोस्। परीक्षण गर्नको लागि मात्र चल: [शीर्षक/CTA/छवि]। अरू सबै स्थिर रहनेछ। परिकल्पना: [...]। सन्दर्भ: [...]। संस्करण A: [वर्तमान दृष्टिकोण]। संस्करण B: [वैकल्पिक दृष्टिकोण]। दुई भेरियन्टहरू समान लम्बाइको हुन दिनुहोस्; अरु केहि परिवर्तन नगर्नुहोस्।

टेम्प्लेट २ — परिकल्पना स्पष्टकर्ता:

निम्न अवलोकनबाट परीक्षण योग्य परिकल्पना निर्माण गर्नुहोस्: "[अवलोकन]"। परिकल्पनालाई ढाँचामा लेख्नुहोस् "यदि हामीले [परिवर्तन] गर्छौं भने, [मेट्रिक] बढ्छ किनभने [किन]"। त्यसपछि मलाई बताउनुहोस् कि कुन एकल चरलाई मैले अलग गर्नुपर्छ।

टेम्प्लेट ३ — विषय रेखा परीक्षण सेट:

निम्न इमेलको लागि A/B परीक्षणमा 2 विषय रेखाहरू सिर्जना गर्नुहोस्। एकल अक्षमा भिन्नता: [जिज्ञासा बनाम स्पष्टता / संक्षिप्तता आदि। लामो/प्रश्न आदि अभिव्यक्ति]। दुबैमा स्प्याम शब्द समावेश हुनु हुँदैन र समान लम्बाइको हुनुपर्छ। ईमेल सारांश: [...]

टेम्प्लेट ४ — व्याख्या परिणाम:

A/B परीक्षणको नतिजाको व्याख्या गर्नुहोस्।चर: [...]। संस्करण A मेट्रिक: [...]। भेरियन्ट बी मेट्रिक: [...]।नमूना आकार: [...]। अवधि: [...]।मलाई भन्नुहोस्: के भिन्नता महत्त्वपूर्ण देखिन्छ, वा नमूना सानो छ? हामीले के सिक्यौं? तपाइँ अर्को परीक्षणको लागि के सिफारिस गर्नुहुन्छ? सही तथ्याङ्क दावी नगर्नुहोस्; यदि स्पष्ट छैन भने, निर्दिष्ट गर्नुहोस्।

सुझाव: यो परीक्षणबाट "विजेता" प्राप्त गर्न पर्याप्त छैन; वास्तविक लाभ "किन जित्यो" मा अन्तरदृष्टि हो। यो अन्तर्दृष्टिले अर्को परीक्षणको लागि परिकल्पनालाई फिड गर्दछ र समयसँगै सिक्ने शरीर निर्माण गर्दछ।

प्राथमिकता: पहिले के परीक्षण गर्ने?

तपाईंले परीक्षण गर्न सक्ने अनन्त वस्तुहरू छन्, तर तपाईंको समय र ट्राफिक सीमित छन्। त्यसैले प्रभाव क्षमतामा आधारित परीक्षणलाई प्राथमिकता दिनुहोस्। सामान्य नियम: प्रयोगकर्ताले पहिले देख्ने र निर्णयमा सबैभन्दा बढी प्रभाव पार्ने तत्वहरू पहिले परीक्षण गरिन्छ। ल्यान्डिङ पृष्ठमा, हेडलाइनले क्लिकहरूमा सबैभन्दा ठूलो प्रभाव पार्छ; किनभने प्रयोगकर्ताले यसलाई पहिले पढ्छ र त्यहाँ जारी राख्न वा नगर्ने निर्णय गर्दछ। बटन रङ जस्ता विवरणहरूले अक्सर सानो प्रभाव पार्छ; तिनीहरूलाई अन्तिमको लागि छोड्नुहोस्।

प्राथमिकता दिने व्यावहारिक तरिका भनेको प्रत्येक परीक्षण विचारलाई तीनवटा अक्षहरूमा स्कोर गर्नु हो: अपेक्षित प्रभाव (यसले जित्यो भने यसले कति फरक पार्छ?), आत्मविश्वास (यसले जित्छ भन्नेमा हामी कत्तिको विश्वस्त छौं?), र सहजता (सेटअप गर्न कति छिटो छ?)। उच्च प्रभाव, उच्च आत्मविश्वास र कम प्रयासको साथ परीक्षणहरू पहिलो स्थानमा राखिन्छन्। यसले तपाईंलाई प्रयोगहरूमा सीमित ट्राफिक छुट्याउन अनुमति दिन्छ जसले सबैभन्दा धेरै सिकाउँछ। AI ले तपाईंलाई यी तीन अक्षहरूमा विचारहरूको सूची स्कोर र प्राथमिकताका लागि द्रुत खाका दिन सक्छ; तपाईं निर्णय गर्नुहोस्।

टेम्प्लेट ५ — परीक्षण प्राथमिकता:

निम्न A/B परीक्षण विचारहरूलाई प्राथमिकता दिनुहोस्। प्रभाव (1-5), विश्वसनीयता (1-5) र स्थापनाको सहजता (1-5) को अक्षहरूमा प्रत्येकलाई स्कोर गर्नुहोस्, तिनीहरूलाई कुल स्कोर अनुसार क्रमबद्ध गर्नुहोस् र तिनीहरू किन त्यस क्रममा छन् भनेर एक वाक्यमा व्याख्या गर्नुहोस्। परीक्षण विचारहरू: [सूची]

सामान्य गल्तीहरू

  • त्यसैले एकै समयमा चर। नतिजा व्याख्या गर्न नसकिने बन्छ।
  • परिकल्पना-मुक्त परीक्षण। "यसलाई प्रयास गरौं र हेरौं" ले सिकाइ उत्पादन गर्दैन।
  • प्रारम्भिक निर्णय। एउटा सानो नमूनामा, भिन्नतालाई संयोगले वास्तविक मानिन्छ।
  • विभिन्न लम्बाइका भेरियन्टहरू। दोस्रो चर अनजानमा सिर्जना गरिएको छ।
  • बिजेता लिएर मात्रै । यदि कारण थाहा छैन भने, जानकारी संकलन हुनेछैन।

संक्षेपमा

  • A/B परीक्षणको सुनौलो नियम: एक पटकमा एउटा चल।
  • प्रत्येक परीक्षण एक परिकल्पना संग सुरु हुनुपर्छ: म के आशा गर्दैछु र किन?
  • सफलताको एकल स्पष्ट मापन र पर्याप्त नमूना परिभाषित गर्नुहोस्।
  • सानो नमूना मा भिन्नता भ्रामक छ; सांख्यिकीय महत्व नोट गर्नुहोस्।
  • पत्ता लगाउनुहोस् किन, विजेता होइन; यो अन्तरदृष्टि अर्को परीक्षणमा फीड गर्दछ।

आवेदन कार्य

तपाइँको सामग्री मध्ये एक को बारे मा एक अवलोकन छान्नुहोस्। टेम्प्लेट २ को साथ, यसलाई स्पष्ट परिकल्पनामा अनुवाद गर्नुहोस् र पृथक गर्न चर पहिचान गर्नुहोस्। टेम्प्लेट 1 (समान लम्बाइ, केवल भिन्नता) सँग दुई संस्करणहरू उत्पादन गर्नुहोस्। अन्तमा, काल्पनिक परिणाम संख्याहरू फिट गर्नुहोस्, टेम्प्लेट 4 प्रयोग गरेर तिनीहरूलाई व्याख्या गर्नुहोस्, र नमूना पर्याप्तताको बारेमा मोडेलले के भन्छ नोट गर्नुहोस्। अवधि: लगभग 25 मिनेट।

चेकलिस्ट

  • [] मैले स्पष्ट परिकल्पनाको साथ परीक्षण सुरु गरें।
  • [ ] मैले एउटा मात्र चरलाई अलग गरें।
  • अन्य अक्ष (लम्बाइ, आदि) मा भिन्नताहरू समान रह्यो।
  • [] मैले एउटा स्पष्ट सफलता मेट्रिक परिभाषित गरेको छु।
  • [] मैले पर्याप्त नमूना/समय बिना निर्णय गरेन।
  • [ ] मैले अर्को परीक्षाको लागि विजेताको कारण नोट गरें।