A/B चाचणी प्रकार आणि प्रयोग डिझाइन

नफा:

• A/B चाचणीसाठी एकल व्हेरिएबल्स वेगळे करणारे पद्धतशीर मजकूर प्रकार व्युत्पन्न करण्याची क्षमता
• परिकल्पना मोजता येण्याजोग्या प्रायोगिक सेटअपमध्ये रूपांतरित करण्याची क्षमता
• सांख्यिकीय महत्त्व आणि शिक्षणाच्या दृष्टीने चाचणी परिणामांचा अर्थ लावण्याची क्षमता

विपणनामध्ये अंतर्ज्ञान मौल्यवान आहे, परंतु पुरावा अधिक मौल्यवान आहे. कोणत्या मथळ्याला अधिक क्लिक मिळतात, कोणती CTA अधिक विकते, कोणती प्रतिमा अधिक लक्ष वेधते? अंदाज लावण्याऐवजी, तुम्ही हे A/B चाचणीने मोजू शकता. A/B चाचणी ही एक प्रायोगिक पद्धत आहे जी एकाच सामग्रीच्या दोन आवृत्त्या (A आणि B) प्रत्यक्ष प्रेक्षकांना दाखवते आणि कोणती चांगली कामगिरी करते हे मोजते. कृत्रिम बुद्धिमत्ता त्वरीत या चाचण्यांसाठी इनपुट तयार करते, म्हणजे रूपे; परंतु चाचणी कार्य करण्यासाठी एक वैज्ञानिक नियम आवश्यक आहे: एका वेळी एक चल. या युनिटमध्ये तुम्ही रूपे कशी निर्माण करायची, परिकल्पना मोजता येण्याजोग्या प्रयोगात कशी भाषांतरित करायची आणि सांख्यिकीय महत्त्वाच्या दृष्टीने परिणामांचा अर्थ कसा लावायचा हे शिकाल.

सुवर्ण नियम: एक व्हेरिएबल अलग करा

चाचणीच्या निकालाचा अर्थ लावण्यासाठी, A आणि B मध्ये फक्त एक गोष्ट वेगळी असली पाहिजे. तुम्ही एकाच वेळी शीर्षक, प्रतिमा आणि CTA बदलल्यास, B जिंकल्यावर कोणता फरक पडला हे तुम्हाला कधीच कळणार नाही. चाचणीसाठी व्हेरिएबल वेगळे करणे ही एकमेव गोष्ट आहे जी शिकणे शक्य करते.

चाचणी केली जाऊ शकते असे ठराविक चल:

• शीर्षक: समान प्रतिमा आणि शरीर, भिन्न शीर्षक.
• CTA मजकूर: "खरेदी करा" किंवा "कार्टमध्ये जोडा"?
• विषय ओळ: ईमेलच्या ओपन रेटवर परिणाम करते.
• प्रतिमा: समान मजकूर, भिन्न प्रतिमा.
• लांबी/टोन: लहान वि. लांब, औपचारिक इ. प्रामाणिक.

गृहीतकांपासून प्रयोगापर्यंत: चरण-दर-चरण

1. एक निरीक्षण करा. "आमच्या लँडिंग पृष्ठावर कमी रूपांतरण आहे."
2. गृहीतक. "फायदे-केंद्रित हेडलाइन वैशिष्ट्य-केंद्रित शीर्षकापेक्षा अधिक रूपांतरित करते."
3. व्हेरिएबल वेगळे करा. फक्त शीर्षक बदलेल.
4. रूपे व्युत्पन्न करा. मॉडेलसह 2 स्पष्ट रूपे (A: वैशिष्ट्य, B: लाभ).
5. तुमचे यशाचे माप परिभाषित करा. उदाहरणार्थ, रूपांतरण दर — इच्छित कृती करणाऱ्या अभ्यागतांची टक्केवारी.
6. नमुना आणि कालावधी निश्चित करा. पुरेसे लोक आणि पुरेसा वेळ.
7. मोजा, ​​तुलना करा, शिका. "का" जाणून घ्या, विजेता नाही.

एक "परिकल्पना" ही एक भविष्यवाणी आहे जी येथे चाचणी केली जाईल आणि ती खरी किंवा खोटी असू शकते; एक चांगली गृहितक तुम्हाला काय अपेक्षित आहे आणि का ते सांगते.

कमकुवत प्रॉम्प्ट / मजबूत प्रॉम्प्ट

कमकुवत प्रॉम्प्ट:

या शीर्षकासाठी काही पर्याय लिहा.

शक्तिशाली सूचना:

A/B चाचणीसाठी रूपे व्युत्पन्न करा. नियम: फक्त शीर्षक बदलेल, मुख्य भाग आणि CTA समान राहतील. हायपोथेसिस: वैशिष्ट्य-देणारं शीर्षकापेक्षा फायदे-देणारं शीर्षकाला अधिक क्लिक मिळतात. संदर्भ: लँडिंग पृष्ठ. उत्पादन: प्रकल्प व्यवस्थापन अनुप्रयोग. प्रेक्षक: लहान संघ. विनंती:- व्हेरिएंट A: वैशिष्ट्य-देणारं शीर्षक (उत्पादन काय करते याचे वर्णन करते)- व्हेरिएंट B: लाभाभिमुख शीर्षक (ते वापरकर्त्याला काय प्रदान करते याचे वर्णन करते) प्रत्येक व्हेरियंटखाली, ते कोणत्या मनोवैज्ञानिक प्रेरणाला स्पर्श करते ते लिहा. फक्त 2 प्रकार; दोन्ही समान लांबीच्या, एकल रेषा असाव्यात.

रूपे समान लांबीचे असावेत हे महत्त्वाचे आहे; अन्यथा "लांबी" हे अजाणतेपणे दुसरे चल बनते.

चाचणी चार्ट आधी/नंतर

स्टेज

काय करावे

वारंवार त्रुटी

गृहीतक

काय, मी का वाट पाहत आहे?

गृहितकांशिवाय "प्रयत्न करूया".

चल

एक गोष्ट वेगळी करा

एकाच वेळी अनेक गोष्टी बदलणे

निकष

एक स्पष्ट मेट्रिक निवडा

अनिश्चित "चांगले"

नमुना

पुरेसे लोक/वेळ

लवकर निर्णय घ्या

टिप्पणी द्या

का ते जाणून घ्या

फक्त विजेता घ्या

तीन लहान प्रकरणे

केस 1 - CTA चाचणी स्पष्ट परिणाम देते. एका ई-कॉमर्स साइटने उत्पादन बटणाची चाचणी केली: A "खरेदी करा", B "कार्टमध्ये जोडा". फक्त बटणाचा मजकूर बदलला आहे. 3,000 अभ्यागतांच्या चाचणीमध्ये, B ने त्याचा क्लिक-थ्रू दर 4.0% वरून 4.9% पर्यंत वाढवला. एकल व्हेरिएबल वेगळे केल्यामुळे, विजेता स्पष्ट होता: “कार्टमध्ये जोडा” कमी बंधनकारक वाटले.

केस 2 - बहुविध त्रुटी. एका संघाने दोन लँडिंग पृष्ठे डिझाइन केली, परंतु शीर्षक, प्रतिमा आणि रंग सर्व भिन्न होते. ब जिंकला, पण कोणत्या घटकामुळे फरक पडला हे संघाला माहीत नव्हते; शिकणे शून्य झाले. पुढील चाचणीमध्ये, त्यांनी नियमाचे पालन केले: एका वेळी एक चल. त्या चाचणीत त्यांना स्पष्टपणे दिसले की जेतेपद हा मुख्य घटक आहे.

प्रकरण 3 - लवकर निर्णय सापळा. एका वृत्तपत्र संघाने 200 लोकांच्या गटावर दोन विषय ओळींची चाचणी केली आणि सांगितले, "याने पहिल्या तासात एक A" मिळवला. नमुना खूपच लहान होता; फरक सांख्यिकीयदृष्ट्या क्षुल्लक होता (म्हणजे, संधीमुळे असू शकतो). जेव्हा चाचणी पुरेशा सॅम्पलिंग आणि वेळेत वाढवली गेली तेव्हा परिणाम उलट झाला. धडा: पुरेशा डेटाशिवाय निर्णय घेऊ नका.

खबरदारी: लहान नमुन्यात दिसणारा फरक (लोकांची कमी संख्या) दिशाभूल करणारा असू शकतो. सांख्यिकीय महत्त्व संभाव्यतेचा संदर्भ देते की फरक वास्तविक आहे आणि संधीमुळे नाही. निष्कर्षापर्यंत जाण्यापूर्वी पुरेसे लोक पोहोचले आहेत आणि चाचणी बराच काळ सुरू असल्याची खात्री करा.

कॉपी करण्यायोग्य टेम्पलेट्स

टेम्पलेट 1 — पृथक प्रकार जनरेटर:

A/B चाचणीसाठी रूपे व्युत्पन्न करा. चाचणीसाठी फक्त व्हेरिएबल: [शीर्षक/CTA/इमेज]. बाकी सर्व काही स्थिर राहील. गृहीतक: [...]. संदर्भ: [...].Variant A: [वर्तमान दृष्टिकोन]. व्हेरिएंट बी: [पर्यायी दृष्टीकोन]. दोन रूपे समान लांबीचे असू द्या; इतर काहीही बदलू नका.

टेम्प्लेट 2 — गृहीतक स्पष्ट करणारा:

खालील निरीक्षणावरून चाचणी करण्यायोग्य गृहीतक तयार करा: "[निरीक्षण]". परिकल्पना "आम्ही [बदल] केल्यास, [मेट्रिक] वाढते कारण [का]" या फॉरमॅटमध्ये लिहा. मग मला सांगा की मी कोणते एकल व्हेरिएबल वेगळे करावे.

टेम्पलेट 3 — विषय ओळ चाचणी संच:

खालील ईमेलसाठी A/B चाचणीसाठी 2 विषय ओळी तयार करा. एका अक्षावरील फरक: [कुतूहल वि. स्पष्टता / संक्षिप्तता इ. दीर्घ/प्रश्न इ. अभिव्यक्ती]. दोन्हीमध्ये स्पॅम शब्द नसावा आणि समान लांबीचा असावा. ईमेल सारांश: [...]

टेम्प्लेट 4 — परिणामांचा अर्थ लावणे:

A/B चाचणीच्या निकालाचा अर्थ लावा. व्हेरिएबल: [...]. व्हेरिएंट ए मेट्रिक: [...]. व्हेरिएंट बी मेट्रिक: [...].नमुना आकार: [...]. कालावधी: [...].मला सांगा: फरक लक्षणीय वाटतो की नमुना लहान आहे? आम्ही काय शिकलो? पुढील चाचणीसाठी तुम्ही काय सुचवाल? अचूक आकडेवारीचा दावा करू नका; अस्पष्ट असल्यास, निर्दिष्ट करा.

टीप: चाचणीतून "विजेता" मिळवणे पुरेसे नाही; खरा फायदा म्हणजे "तो का जिंकला" याची अंतर्दृष्टी आहे. ही अंतर्दृष्टी पुढील चाचणीसाठी गृहीतकांमध्ये फीड करते आणि कालांतराने शिकण्याचे एक मुख्य भाग तयार करते.

प्राधान्य: प्रथम काय चाचणी करावी?

तुम्ही चाचणी करू शकता अशा अंतहीन आयटम आहेत, परंतु तुमचा वेळ आणि रहदारी मर्यादित आहे. त्यामुळे प्रभावाच्या क्षमतेवर आधारित चाचण्यांना प्राधान्य द्या. सामान्य नियम: वापरकर्ता प्रथम पाहतो आणि निर्णयावर सर्वाधिक प्रभाव पाडणारे घटक प्रथम तपासले जातात. लँडिंग पृष्ठावर, मथळ्याचा क्लिकवर सर्वात मोठा प्रभाव पडतो; कारण वापरकर्ता प्रथम ते वाचतो आणि तेथे सुरू ठेवायचे की नाही हे ठरवतो. बटणाच्या रंगासारखे तपशील अनेकदा लहान प्रभाव पाडतात; त्यांना शेवटपर्यंत सोडा.

प्राधान्य देण्याचा एक व्यावहारिक मार्ग म्हणजे प्रत्येक चाचणी कल्पना तीन अक्षांवर गुणांकन करणे: अपेक्षित प्रभाव (तो जिंकल्यास किती फरक पडेल?), आत्मविश्वास (तो जिंकेल याचा आम्हाला किती विश्वास आहे?), आणि सहजता (ते सेट करणे किती जलद आहे?). उच्च प्रभाव, उच्च आत्मविश्वास आणि कमी प्रयत्न असलेल्या चाचण्यांना प्रथम स्थान दिले जाते. हे तुम्हाला सर्वात जास्त शिकणाऱ्या प्रयोगांसाठी मर्यादित रहदारी वाटप करण्यास अनुमती देते. AI तुम्हाला या तीन अक्षांसह कल्पनांची यादी स्कोअर करण्यासाठी आणि प्राधान्य देण्यासाठी एक द्रुत ब्लूप्रिंट देऊ शकते; तुम्ही ठरवा.

टेम्पलेट 5 — चाचणी प्राधान्य:

खालील A/B चाचणी कल्पनांना प्राधान्य द्या. प्रभावाच्या अक्षांवर (1-5), विश्वासार्हता (1-5) आणि इंस्टॉलेशनची सुलभता (1-5) वर प्रत्येकाचा स्कोअर करा, त्यांना एकूण गुणांनुसार रँक करा आणि ते त्या क्रमाने का आहेत हे एका वाक्यात स्पष्ट करा. चाचणी कल्पना: [सूची]

सामान्य चुका

• त्यामुळे एकाच वेळी व्हेरिएबल. परिणाम अव्याख्यात होतो.
• हायपोथिसिस-मुक्त चाचणी. “चला करून बघूया” मुळे शिक्षण मिळत नाही.
• लवकर निर्णय. एका लहान नमुन्यात, फरक योगायोगाने वास्तविक असल्याचे मानले जाते.
• भिन्न लांबीचे रूपे. दुसरे व्हेरिएबल अजाणतेपणे तयार केले जाते.
• फक्त विजेता घेऊन. कारण जाणून घेतले नाही तर माहिती जमा होणार नाही.

सारांशात

• A/B चाचणीचा सुवर्ण नियम: एका वेळी एक चल.
• प्रत्येक चाचणी एका गृहीतकाने सुरू झाली पाहिजे: मी काय अपेक्षा करत आहे आणि का?
• यशाचे एक स्पष्ट माप आणि पुरेसा नमुना परिभाषित करा.
• लहान नमुन्यातील फरक दिशाभूल करणारा आहे; सांख्यिकीय महत्त्व लक्षात घ्या.
• विजेता का नाही ते शोधा; ही अंतर्दृष्टी पुढील चाचणीसाठी फीड करते.

अर्ज कार्य

तुमच्या एका आशयाचे निरीक्षण निवडा. टेम्प्लेट 2 सह, हे एका स्पष्ट गृहीतकात भाषांतरित करा आणि वेगळे करण्यासाठी व्हेरिएबल ओळखा. टेम्पलेट 1 (समान लांबी, फक्त फरक) सह दोन रूपे तयार करा. शेवटी, काल्पनिक परिणाम संख्या जुळवा, टेम्पलेट 4 वापरून त्यांचा अर्थ लावा आणि नमुना पर्याप्ततेबद्दल मॉडेल काय म्हणते ते लक्षात घ्या. कालावधी: अंदाजे 25 मिनिटे.

चेकलिस्ट

• [ ] मी एका स्पष्ट गृहीतकासह चाचणी सुरू केली.
• मी फक्त एक व्हेरिएबल वेगळे केले.
• अन्य अक्षांमध्ये (लांबी इ.) रूपे सारखीच राहिली.
• [] मी एक स्पष्ट यश मेट्रिक परिभाषित केले आहे.
• पुरेशा नमुना/वेळेशिवाय मी निर्णय घेतला नाही.
• [ ] मी पुढील चाचणीसाठी विजेत्याचे कारण लक्षात घेतले.