A/B ટેસ્ટ વેરિઅન્ટ્સ અને પ્રયોગ ડિઝાઇન

નફો:

• A/B પરીક્ષણ માટે સિંગલ વેરિયેબલ્સને અલગ પાડતા વ્યવસ્થિત ટેક્સ્ટ વેરિઅન્ટ્સ જનરેટ કરવાની ક્ષમતા
• ધારણાને માપી શકાય તેવા પ્રાયોગિક સેટઅપમાં રૂપાંતરિત કરવાની ક્ષમતા
• આંકડાકીય મહત્વ અને શિક્ષણના સંદર્ભમાં પરીક્ષણ પરિણામોનું અર્થઘટન કરવાની ક્ષમતા

માર્કેટિંગમાં અંતર્જ્ઞાન મૂલ્યવાન છે, પરંતુ પુરાવા વધુ મૂલ્યવાન છે. કઈ હેડલાઈન વધુ ક્લિક્સ મેળવે છે, કઈ CTA વધુ વેચે છે, કઈ ઈમેજ વધુ ધ્યાન આકર્ષિત કરે છે? અનુમાન લગાવવાને બદલે, તમે આને A/B પરીક્ષણ વડે માપી શકો છો. A/B પરીક્ષણ એ પ્રાયોગિક પદ્ધતિ છે જે વાસ્તવિક પ્રેક્ષકોને સમાન સામગ્રીના બે સંસ્કરણો (A અને B) બતાવે છે અને માપે છે કે કયું વધુ સારું પ્રદર્શન કરે છે. કૃત્રિમ બુદ્ધિ ઝડપથી આ પરીક્ષણો માટે ઇનપુટ ઉત્પન્ન કરે છે, એટલે કે પ્રકારો; પરંતુ પરીક્ષણ કાર્ય કરવા માટે એક વૈજ્ઞાનિક નિયમની જરૂર છે: એક સમયે એક ચલ. આ એકમમાં તમે શીખી શકશો કે કેવી રીતે વેરિઅન્ટ્સ જનરેટ કરવા, એક પૂર્વધારણાને માપી શકાય તેવા પ્રયોગમાં કેવી રીતે અનુવાદિત કરવી અને આંકડાકીય મહત્વના સંદર્ભમાં પરિણામોનું અર્થઘટન કરવું.

સુવર્ણ નિયમ: એક ચલને અલગ કરો

પરીક્ષણના પરિણામનું અર્થઘટન કરવા માટે, A અને B વચ્ચે માત્ર એક જ વસ્તુ અલગ હોવી જોઈએ. જો તમે એક જ સમયે શીર્ષક, છબી અને CTA બદલો છો, તો તમે ક્યારેય જાણશો નહીં કે જ્યારે B જીતે ત્યારે કયો ફરક પડ્યો. ચકાસવા માટેના ચલને અલગ કરવું એ એકમાત્ર વસ્તુ છે જે શીખવાનું શક્ય બનાવે છે.

લાક્ષણિક ચલો કે જે ચકાસી શકાય છે:

• શીર્ષક: સમાન છબી અને શરીર, અલગ શીર્ષક.
• CTA ટેક્સ્ટ: "ખરીદો" અથવા "કાર્ટમાં ઉમેરો"?
• વિષય રેખા: ઈમેલના ઓપન રેટને અસર કરે છે.
• છબી: સમાન ટેક્સ્ટ, અલગ છબી.
• લંબાઈ/સ્વર: ટૂંકી વિ. લાંબી, ઔપચારિક વગેરે નિષ્ઠાવાન.

પૂર્વધારણાથી પ્રયોગ સુધી: પગલું દ્વારા પગલું

1. એક અવલોકન કરો. "અમારા લેન્ડિંગ પૃષ્ઠમાં ઓછું રૂપાંતરણ છે."
2. પૂર્વધારણા. "લાભ-કેન્દ્રિત હેડલાઇન સુવિધા-કેન્દ્રિત હેડલાઇન કરતાં વધુ રૂપાંતરિત કરે છે."
3. ચલને અલગ કરો. માત્ર શીર્ષક બદલાશે.
4. વેરિઅન્ટ્સ જનરેટ કરો. મોડેલ સાથે 2 સ્પષ્ટ પ્રકારો (A: લક્ષણ, B: લાભ).
5. તમારી સફળતાના માપને વ્યાખ્યાયિત કરો. ઉદાહરણ તરીકે, રૂપાંતર દર — ઇચ્છિત પગલાં લેતા મુલાકાતીઓની ટકાવારી.
6. નમૂના અને અવધિ નક્કી કરો. પૂરતા લોકો અને પૂરતો સમય.
7. માપો, સરખામણી કરો, શીખો. "શા માટે" જાણો, વિજેતા નહીં.

"પૂર્તિકલ્પના" એ એક આગાહી છે જેનું અહીં પરીક્ષણ કરવામાં આવશે અને તે સાચું કે ખોટું હોઈ શકે છે; સારી પૂર્વધારણા તમને કહે છે કે તમે શું અપેક્ષા રાખો છો અને શા માટે.

નબળા પ્રોમ્પ્ટ / મજબૂત પ્રોમ્પ્ટ

નબળા પ્રોમ્પ્ટ:

આ શીર્ષક માટે કેટલાક વિકલ્પો લખો.

શક્તિશાળી પ્રોમ્પ્ટ:

A/B ટેસ્ટ માટે વેરિઅન્ટ્સ જનરેટ કરો. નિયમ: માત્ર શીર્ષક બદલાશે, મુખ્ય ભાગ અને CTA એ જ રહેશે. હાયપોથીસિસ: લાભ-લક્ષી શીર્ષકને વિશેષતા-લક્ષી શીર્ષક કરતાં વધુ ક્લિક્સ મળે છે. સંદર્ભ: લેન્ડિંગ પૃષ્ઠ. ઉત્પાદન: પ્રોજેક્ટ મેનેજમેન્ટ એપ્લિકેશન. પ્રેક્ષકો: નાની ટીમો. વિનંતી:- વેરિએન્ટ A: લક્ષણ-લક્ષી શીર્ષક (ઉત્પાદન શું કરે છે તેનું વર્ણન કરે છે)- વેરિએન્ટ B: લાભ-લક્ષી શીર્ષક (વર્ણન કરે છે કે તે વપરાશકર્તાને શું પ્રદાન કરે છે) દરેક વેરિઅન્ટ હેઠળ, તે કઈ મનોવૈજ્ઞાનિક પ્રેરણાને સ્પર્શે છે તે લખો. માત્ર 2 પ્રકારો; બંને સિંગલ લાઇન, સમાન લંબાઈના હોવા જોઈએ.

વેરિઅન્ટ સમાન લંબાઈના હોય તેવું ઈચ્છવું મહત્વપૂર્ણ છે; અન્યથા "લંબાઈ" અજાણતાં જ બીજું ચલ બની જાય છે.

ટેસ્ટ ચાર્ટ પહેલાં/પછી

સ્ટેજ

શું કરવું

વારંવાર ભૂલ

પૂર્વધારણા

શું, હું શા માટે રાહ જોઈ રહ્યો છું?

પૂર્વધારણાઓ વિના "ચાલો પ્રયાસ કરીએ".

ચલ

એક વસ્તુ અલગ કરો

એક સાથે ઘણી વસ્તુઓ બદલવી

માપદંડ

એક સ્પષ્ટ મેટ્રિક પસંદ કરો

અનિશ્ચિત "વધુ સારું"

નમૂના

પૂરતા લોકો/સમય

વહેલો નિર્ણય કરો

ટિપ્પણી

શા માટે જાણો

ફક્ત વિજેતા લો

ત્રણ નાના કેસો

કેસ 1 - CTA પરીક્ષણ સ્પષ્ટ પરિણામો આપે છે. એક ઈ-કોમર્સ સાઇટે ઉત્પાદન બટનનું પરીક્ષણ કર્યું: A "ખરીદો", B "કાર્ટમાં ઉમેરો". ફક્ત બટન લખાણ બદલાયું છે. 3,000 મુલાકાતીઓના પરીક્ષણમાં, B એ તેનો ક્લિક-થ્રુ રેટ 4.0% થી વધારીને 4.9% કર્યો. સિંગલ વેરીએબલને અલગ કરીને, વિજેતા સ્પષ્ટ હતો: "કાર્ટમાં ઉમેરો" ઓછું બંધનકર્તા લાગ્યું.

કેસ 2 - બહુવિધ ભૂલ. એક ટીમે બે લેન્ડિંગ પૃષ્ઠો ડિઝાઇન કર્યા, પરંતુ શીર્ષક, છબી અને રંગ બધા અલગ હતા. B જીત્યો, પરંતુ ટીમને ખબર ન હતી કે કયા તત્વથી તફાવત થયો; ભણતર શૂન્ય થઈ ગયું. આગલી કસોટીમાં, તેઓએ નિયમનું પાલન કર્યું: એક સમયે એક ચલ. તે પરીક્ષણમાં, તેઓએ સ્પષ્ટપણે જોયું કે શીર્ષક મુખ્ય પરિબળ હતું.

કેસ 3 - પ્રારંભિક નિર્ણય છટકું. ન્યૂઝલેટર ટીમે 200 લોકોના જૂથ પર બે વિષય રેખાઓનું પરીક્ષણ કર્યું અને કહ્યું, "તેને પ્રથમ કલાકમાં A" મળ્યો. નમૂના ખૂબ નાનો હતો; તફાવત આંકડાકીય રીતે નજીવો હતો (એટલે ​​​​કે, તકને કારણે હોઈ શકે છે). જ્યારે પરીક્ષણને પર્યાપ્ત નમૂના અને સમય સુધી વધારવામાં આવ્યું, ત્યારે પરિણામ ઉલટું આવ્યું. પાઠ: પૂરતા ડેટા વિના નિર્ણયો ન લો.

સાવધાન: નાના નમૂનામાં જોવામાં આવેલો તફાવત (લોકોની ઓછી સંખ્યા) ભ્રામક હોઈ શકે છે. આંકડાકીય મહત્વ એ સંભાવનાને દર્શાવે છે કે તફાવત વાસ્તવિક છે અને તકને કારણે નથી. ખાતરી કરો કે પૂરતા લોકો સુધી પહોંચી ગયા છે અને નિષ્કર્ષ પર પહોંચતા પહેલા પરીક્ષણ લાંબા સમય સુધી ચાલે છે.

નકલ કરી શકાય તેવા નમૂનાઓ

નમૂનો 1 — અલગ ચલ જનરેટર:

A/B પરીક્ષણ માટે વેરિઅન્ટ્સ જનરેટ કરો. ચકાસવા માટેનું એકમાત્ર ચલ: [હેડલાઇન/CTA/છબી]. બાકીનું બધું સ્થિર રહેશે. પૂર્વધારણા: [...]. સંદર્ભ: [...].વેરિયન્ટ A: [વર્તમાન અભિગમ]. વેરિઅન્ટ B: [વૈકલ્પિક અભિગમ]. બે ચલો સમાન લંબાઈના હોવા દો; બીજું કંઈપણ બદલશો નહીં.

નમૂનો 2 — પૂર્વધારણા સ્પષ્ટકર્તા:

નીચેના અવલોકનમાંથી પરીક્ષણ કરી શકાય તેવી પૂર્વધારણા બનાવો: "[નિરીક્ષણ]". પૂર્વધારણાને ફોર્મેટમાં લખો "જો આપણે [ફેરફાર] કરીએ, તો [મેટ્રિક] વધે છે કારણ કે [શા માટે]". પછી મને કહો કે મારે કયા સિંગલ વેરીએબલને અલગ કરવું જોઈએ.

નમૂનો 3 — વિષય રેખા પરીક્ષણ સમૂહ:

નીચેના ઈમેલ માટે A/B ટેસ્ટ માટે 2 વિષય રેખાઓ બનાવો. એક અક્ષ પર તફાવત: [જિજ્ઞાસા વિ. સ્પષ્ટતા / સંક્ષિપ્તતા વગેરે. લાંબી/પ્રશ્ન વગેરે. અભિવ્યક્તિ]. બંનેમાં સ્પામ શબ્દ ન હોવો જોઈએ અને સમાન લંબાઈનો હોવો જોઈએ. ઇમેઇલ સારાંશ: [...]

નમૂનો 4 - પરિણામોનું અર્થઘટન:

A/B પરીક્ષણના પરિણામનું અર્થઘટન કરો. ચલ: [...]. વેરિઅન્ટ A મેટ્રિક: [...]. વેરિઅન્ટ B મેટ્રિક: [...].નમૂનાનું કદ: [...]. અવધિ: [...].મને કહો: શું તફાવત નોંધપાત્ર લાગે છે, અથવા નમૂનો નાનો છે? આપણે શું શીખ્યા? આગામી પરીક્ષણ માટે તમે શું ભલામણ કરશો? ચોક્કસ આંકડાઓનો દાવો કરશો નહીં; જો અસ્પષ્ટ હોય, તો સ્પષ્ટ કરો.

ટીપ: પરીક્ષણમાંથી "વિજેતા" મેળવવા માટે તે પૂરતું નથી; વાસ્તવિક લાભ એ "શા માટે જીત્યો" ની સમજ છે. આ આંતરદૃષ્ટિ આગલી કસોટી માટે પૂર્વધારણામાં ફીડ કરે છે અને સમય જતાં શીખવાની સંસ્થા બનાવે છે.

પ્રાધાન્યતા: પ્રથમ શું પરીક્ષણ કરવું?

ત્યાં અનંત વસ્તુઓ છે જે તમે ચકાસી શકો છો, પરંતુ તમારો સમય અને ટ્રાફિક મર્યાદિત છે. તેથી પ્રભાવ સંભવિતના આધારે પરીક્ષણોને પ્રાધાન્ય આપો. સામાન્ય નિયમ: વપરાશકર્તા જે તત્વો પ્રથમ જુએ છે અને નિર્ણય પર સૌથી વધુ અસર કરે છે તે પ્રથમ પરીક્ષણ કરવામાં આવે છે. લેન્ડિંગ પૃષ્ઠ પર, હેડલાઇનની ક્લિક્સ પર સૌથી વધુ અસર થાય છે; કારણ કે વપરાશકર્તા તેને પહેલા વાંચે છે અને ત્યાં નક્કી કરે છે કે ચાલુ રાખવું કે નહીં. બટનના રંગ જેવી વિગતો ઘણીવાર નાની અસર કરે છે; તેમને છેલ્લા માટે છોડી દો.

પ્રાધાન્ય આપવાની વ્યવહારુ રીત એ છે કે દરેક પરીક્ષણ વિચારને ત્રણ અક્ષો પર સ્કોર કરવો: અપેક્ષિત અસર (જો તે જીતશે તો કેટલો ફરક પડશે?), આત્મવિશ્વાસ (તે જીતી જશે તે અંગે અમને કેટલો વિશ્વાસ છે?), અને સરળતા (તે સેટ કરવા માટે કેટલું ઝડપી છે?). ઉચ્ચ અસર, ઉચ્ચ આત્મવિશ્વાસ અને ઓછા પ્રયત્નો સાથેની કસોટીઓને પ્રથમ સ્થાન આપવામાં આવે છે. આ તમને પ્રયોગો માટે મર્યાદિત ટ્રાફિક ફાળવવાની મંજૂરી આપે છે જે સૌથી વધુ શિક્ષણ લાવે છે. AI તમને આ ત્રણ અક્ષો સાથે વિચારોની સૂચિને સ્કોર કરવા અને પ્રાથમિકતા આપવા માટે ઝડપી બ્લુપ્રિન્ટ આપી શકે છે; તમે નક્કી કરો.

નમૂનો 5 — પરીક્ષણ અગ્રતા:

નીચેના A/B પરીક્ષણ વિચારોને પ્રાધાન્ય આપો. અસરની અક્ષો (1-5), વિશ્વસનીયતા (1-5) અને ઇન્સ્ટોલેશનની સરળતા (1-5) પર દરેકને સ્કોર કરો, તેમને કુલ સ્કોર અનુસાર ક્રમ આપો અને એક વાક્યમાં સમજાવો કે તેઓ શા માટે તે ક્રમમાં છે. પરીક્ષણ વિચારો: [સૂચિ]

સામાન્ય ભૂલો

• તેથી તે જ સમયે ચલ. પરિણામ અર્થહીન બની જાય છે.
• પૂર્વધારણા-મુક્ત પરીક્ષણ. “ચાલો પ્રયત્ન કરીએ અને જોઈએ” એ શીખવાનું ઉત્પાદન કરતું નથી.
• વહેલો નિર્ણય. નાના નમૂનામાં, તફાવતને તક દ્વારા વાસ્તવિક માનવામાં આવે છે.
• વિવિધ લંબાઈના ચલો. બીજું ચલ અજાણતા બનાવવામાં આવ્યું છે.
• માત્ર વિજેતા લેવા. જો કારણ જાણ્યું ન હોય, તો માહિતી એકઠી થશે નહીં.

સારાંશમાં

• A/B પરીક્ષણનો સુવર્ણ નિયમ: એક સમયે એક ચલ.
• દરેક પરીક્ષણ પૂર્વધારણા સાથે શરૂ થવું જોઈએ: હું શું અપેક્ષા રાખું છું અને શા માટે?
• સફળતાના એક સ્પષ્ટ માપ અને પર્યાપ્ત નમૂનાને વ્યાખ્યાયિત કરો.
• નાના નમૂનામાં તફાવત ભ્રામક છે; આંકડાકીય મહત્વની નોંધ લો.
• શા માટે શોધો, વિજેતા નથી; આ આંતરદૃષ્ટિ આગામી પરીક્ષણમાં ફીડ કરે છે.

એપ્લિકેશન કાર્ય

તમારી સામગ્રીઓમાંથી એક વિશે અવલોકન પસંદ કરો. ટેમ્પલેટ 2 સાથે, આને સ્પષ્ટ પૂર્વધારણામાં અનુવાદિત કરો અને અલગ કરવા માટેના ચલને ઓળખો. ટેમ્પલેટ 1 (સમાન લંબાઈ, માત્ર તફાવત) સાથે બે પ્રકારો બનાવો. છેલ્લે, અનુમાનિત પરિણામ નંબરોને ફિટ કરો, ટેમ્પલેટ 4 નો ઉપયોગ કરીને તેનું અર્થઘટન કરો અને નમૂના પર્યાપ્તતા વિશે મોડેલ શું કહે છે તેની નોંધ કરો. સમયગાળો: આશરે 25 મિનિટ.

ચેકલિસ્ટ

• [] મેં સ્પષ્ટ પૂર્વધારણા સાથે પરીક્ષણ શરૂ કર્યું.
• [ ] મેં માત્ર એક ચલને અલગ કર્યું છે.
• અન્ય અક્ષો (લંબાઈ, વગેરે) માં વેરિઅન્ટ્સ સમાન રહ્યા.
• [] મેં એક સ્પષ્ટ સફળતા મેટ્રિક વ્યાખ્યાયિત કરી છે.
• પૂરતા નમૂના/સમય વિના મેં નિર્ણય લીધો ન હતો.
• [ ] મેં આગલી કસોટી માટે વિજેતાનું કારણ નોંધ્યું.