નફો:
- A/B પરીક્ષણ, નિયંત્રણ/ચલ, રૂપાંતરણ દર અને આંકડાકીય મહત્વની વિભાવનાઓને સમજવાની ક્ષમતા અને કૃત્રિમ બુદ્ધિ સાથે પૂર્વધારણાઓ અને પરીક્ષણ ડિઝાઇન સ્થાપિત કરવાની ક્ષમતા.
- ચકાસવા માટેના સિંગલ વેરિયેબલને અલગ કરવાની ક્ષમતા અને આર્ટિફિશિયલ ઇન્ટેલિજન્સ સપોર્ટ સાથે વેરિઅન્ટ ટેક્સ્ટ/ઇમેજ અને માપન યોજનાનું ઉત્પાદન કરવાની ક્ષમતા
- કૃત્રિમ બુદ્ધિનું પરીક્ષણ અર્થઘટન નમૂનાના કદ અને મહત્વ અને અકાળ/ખોટા પરિણામો વાંચવાના જોખમ દ્વારા મર્યાદિત છે તે પારખવાની ક્ષમતા
જાહેરાતમાં સૌથી ખતરનાક વાક્ય છે "મને લાગે છે કે આ વધુ સારું છે." ડેટા, અભિપ્રાય નહીં, તમને કહે છે કે શું હેડલાઇન, છબી અથવા બટન ખરેખર વધુ સારું છે. આને માપવાની સૌથી સામાન્ય રીત A/B પરીક્ષણ છે: વાસ્તવિક વપરાશકર્તાઓને સમાન જાહેરાતના બે (અથવા વધુ) સંસ્કરણો બતાવવું અને કયું વધુ સારું કામ કરે છે તેની તુલના કરવી. "A" સામાન્ય રીતે વર્તમાન સંસ્કરણ (નિયંત્રણ) છે, જ્યારે "B" એ નવું સંસ્કરણ છે જે અજમાવી રહ્યું છે (ચલ). ઉદાહરણ તરીકે, તમે તે જ જાહેરાતમાં ફક્ત શીર્ષક બદલી શકો છો અને માપી શકો છો કે કયા શીર્ષકને વધુ ક્લિક કરવામાં આવ્યું છે. આર્ટિફિશિયલ ઇન્ટેલિજન્સ આ પ્રક્રિયામાં મોટી સંખ્યામાં ભિન્નતા પેદા કરવા અને પરિણામનું અર્થઘટન કરવામાં મદદરૂપ થાય છે; પરંતુ પરીક્ષણની વૈજ્ઞાનિક માન્યતા ડિઝાઇન નિયમો અને ધૈર્ય પર આધારિત છે.
A/B પરીક્ષણનો સુવર્ણ નિયમ: એક ચલ
A/B પરીક્ષણનો સૌથી મૂળભૂત નિયમ એક ચલને અલગ કરવાનો છે. જો તમે એક જ સમયે શીર્ષક, છબી અને બટન બદલો છો અને સંસ્કરણ B જીતે છે, તો તમે ક્યારેય જાણશો નહીં કે શું જીત્યું. તેથી કસોટીમાં માત્ર એક તત્વ બદલાવું જોઈએ, બાકીનું સ્થિર રહેવું જોઈએ. જો તમે એકસાથે અને વ્યવસ્થિત રીતે એક કરતાં વધુ આઇટમનું પરીક્ષણ કરવા માંગતા હો, તો તેને મલ્ટિવેરિયેટ ટેસ્ટિંગ કહેવામાં આવે છે અને તેના માટે ઘણા મોટા નમૂનાની જરૂર છે; અવિભાજ્ય A/B પરીક્ષણ એ શરૂ કરવાની રીત છે.
બીજો મૂળભૂત ખ્યાલ આંકડાકીય મહત્વ છે. ચાલો કહીએ કે સંસ્કરણ A ને 3 ટકા ક્લિક્સ અને સંસ્કરણ B ને 3.3 ટકા ક્લિક્સ મળી. શું આ તફાવત વાસ્તવિક ફાયદો છે કે ફ્લુક? જો તમે માત્ર 100 લોકોને ટેસ્ટ બતાવ્યો હોય, તો આ તફાવત સાંયોગિક હોઈ શકે છે. આંકડાકીય મહત્વનો અર્થ એ છે કે અવલોકન કરેલ તફાવત તકને કારણે પૂરતો અસંભવિત છે (એટલે કે, તફાવત કદાચ વાસ્તવિક છે). આના માટે પર્યાપ્ત નમૂનાના કદની જરૂર છે (પરીક્ષણ જોનારા લોકોની સંખ્યા). ઓછા ડેટા સાથે "વિજેતા" જાહેર કરવી એ સૌથી સામાન્ય અને ખર્ચાળ ભૂલ છે.
ટીપ: પરીક્ષણ શરૂ કરતા પહેલા, "હું વિજેતા ક્યારે જાહેર કરીશ" પ્રશ્નનો જવાબ આપો: કેટલા લોકો/પછી રૂપાંતરણ, કયા મહત્વના સ્તરે. અગાઉથી આ નિર્ણય લેવાથી તમે પહેલા કલાકોમાં જ ઘોંઘાટમાં ફસાઈ જશો અને અકાળે નિર્ણય લેતા અટકાવશો.
નીચેનું કોષ્ટક સારી અને ખરાબ A/B ટેસ્ટ ડિઝાઇનની તુલના કરે છે:
વસ્તુ
ખરાબ ડિઝાઇન
સારી ડિઝાઇન
ચલોની સંખ્યા
શીર્ષક + છબી + બટન એકસાથે
માત્ર શીર્ષક
પૂર્વધારણા
(કોઈ નહીં) "ચાલો જોઈએ શું થાય છે"
"પ્રશ્નો સાથેના શીર્ષકો ક્લિક્સમાં વધારો કરે છે"
નમૂના
80 લોકો
પૂર્વ ગણતરી કરેલ કોરમ
નિર્ણય સમય
2 કલાક પછી
જ્યારે તમે મહત્વ સુધી પહોંચો છો
વિજેતા પસંદગી
"મને લાગે છે કે બી સરસ છે"
ડેટા અને મહત્વના આધારે
સ્ટેપ બાય સ્ટેપ: A/B ટેસ્ટ સેટઅપ કરો
પગલું 1 - એક પૂર્વધારણા લખો. તમે શું પરીક્ષણ કરો છો અને શા માટે? એક સ્પષ્ટ પૂર્વધારણા જેવી કે "લાભ સાથેની હેડલાઇનને સુવિધાઓ સાથેની હેડલાઇન કરતાં વધુ ક્લિક્સ મળે છે."
પગલું 2 - એક ચલ પસંદ કરો. ફક્ત શીર્ષક, અથવા ફક્ત છબી, અથવા ફક્ત CTA.
પગલું 3 - વેરિઅન્ટ્સ જનરેટ કરો. AI સાથે સમાન આઇટમની વિવિધ આવૃત્તિઓ બનાવો; બાકીનું સતત રાખો.
પગલું 4 - માપન યોજના સેટ કરો. કયું મેટ્રિક વિજેતા નક્કી કરશે (ક્લિક-થ્રુ રેટ, કન્વર્ઝન), કેટલા સેમ્પલની જરૂર છે, કેટલો સમય ચાલવો.
પગલું 5 - પરિણામનું અર્થઘટન કરો અને ચકાસો. શું પૂરતો ડેટા એકત્રિત કરવામાં આવ્યો છે, શું તફાવત નોંધપાત્ર છે? જો તે નોંધપાત્ર નથી, તો "કોઈ તફાવત નથી" એ પણ માન્ય પરિણામ છે.
ત્રણ નાના કેસો
કેસ 1 - એક ચલની સ્પષ્ટતા. ઈ-કોમર્સ બ્રાંડે તેની પ્રોડક્ટ જાહેરાતમાં માત્ર CTA નું પરીક્ષણ કર્યું: “ખરીદો” અને “કાર્ટમાં ઉમેરો.” બાકી બધું જ હતું. પર્યાપ્ત નમૂના લીધા પછી, "કાર્ટમાં ઉમેરો" નોંધપાત્ર રીતે ઉચ્ચ રૂપાંતરણો લાવ્યા. તફાવત સ્પષ્ટ રીતે અર્થઘટન કરી શકાય છે કારણ કે એક ચલ અલગ કરવામાં આવ્યું હતું. AI એ બે CTAs બનાવ્યાં, ડેટાએ વિજેતા પસંદ કર્યા.
કેસ 2 - પ્રારંભિક નિર્ણય છટકું. A/B ટેસ્ટના પ્રથમ 3 કલાકમાં વર્ઝન B આગળ હતું અને B ને સમગ્ર બજેટમાં ખોલી દીધું હોવાથી એક બ્રાન્ડે પરીક્ષણ બંધ કર્યું. બીજા દિવસે કુલ ડેટા જોતાં, A ખરેખર થોડો સારો હતો; પ્રથમ કલાકોમાં તફાવત સાંયોગિક હતો. બજેટ વેડફાઈ ગયું. ભૂલ: અપૂરતા નમૂનાના કદ સાથે અકાળે નિર્ણય લેવો.
કેસ 3 - "કોઈ તફાવત નથી" એ પણ નિષ્કર્ષ છે. એક બ્રાન્ડે બે અલગ-અલગ છબીઓનું પરીક્ષણ કર્યું, અને પૂરતા નમૂના લીધા પછી, બંનેએ લગભગ સમાન પરિણામ આપ્યું. જ્યારે ટીમ "પરીક્ષણ નિષ્ફળ" હોવાનો વિલાપ કરવા જઈ રહી હતી, ત્યારે સાચું વાંચન એ હતું કે આ ઝુંબેશમાં છબી નિર્ણાયક પરિબળ નથી, તેથી પ્રયાસ હેડલાઇન અને ઑફર તરફ નિર્દેશિત થવો જોઈએ. હકીકત એ છે કે કોઈ નોંધપાત્ર તફાવત જોવા મળ્યો નથી તે પણ મૂલ્યવાન માહિતી છે.
ચાર નકલ કરી શકાય તેવા નમૂનાઓ
1) પૂર્વધારણા અને પરીક્ષણ ડિઝાઇન:
હું શું ચકાસવા માંગુ છું: [દા. જાહેરાતનું શીર્ષક].કાર્ય: (1) એક પરીક્ષણયોગ્ય પૂર્વધારણા લખો ("... વધે છે ... વધે છે" સ્વરૂપમાં). (2) એકલ ચલને અલગ કરવા માટે અને સતત રાખવા માટેના ચલોની સૂચિ બનાવો. (3) મેટ્રિક સૂચવો જે વિજેતા નક્કી કરશે (ક્લિક-થ્રુ રેટ/રૂપાંતરણ). (4) લખો કે મારે શું જરૂરી છે તે લખો, જોખમની કસોટી પર ધ્યાન આપવું, પ્રારંભિક નિર્ણય પર ધ્યાન આપવું.
2) વેરિઅન્ટ જનરેટર (સિંગલ વેરિઅન્ટ):
સ્ટીકી જાહેરાત: છબી [સમાન], CTA [સમાન], લક્ષ્ય [સમાન]. વેરિયેબલનું પરીક્ષણ કર્યું: HEADLINE. મુખ્ય સંદેશ: "[સંદેશ]". કાર્ય: સમાન સંદેશ સાથે 4 અલગ અલગ હેડલાઇન વેરિઅન્ટ્સ બનાવો. દરેક એક અલગ અભિગમ (પ્રશ્ન, લાભ, સંખ્યા, તાકીદ) નો ઉપયોગ કરે છે. માત્ર હેડલાઇન બદલાય છે; અપ્રમાણિત દાવો ઉમેરવાનું.
3) માપન યોજના:
ટેસ્ટ: [A અને B ની વ્યાખ્યા]. મેટ્રિક: [ક્લિક/રૂપાંતરણ].કાર્ય: માપન યોજનાનો મુસદ્દો તૈયાર કરો:(1) કયું મેટ્રિક પ્રાથમિક છે, જે ગૌણ છે, (2) વિજેતા જાહેર કરવા માટે કેટલો ડેટા/સમય જરૂરી છે (તર્ક સમજાવો), (3) ટ્રાફિકને A અને B વચ્ચે સમાન રીતે અને વાજબી રીતે કેવી રીતે વિભાજિત કરવો, (4) કયા બાહ્ય પરિબળો એક દિવસના ટૂલનો ઉપયોગ કરી શકે છે, એક દિવસના સાધનને વિકૃત કરી શકે છે. ચોક્કસ આંકડાઓની ગણતરી કરવા માટે.
4) પરિણામ દુભાષિયા (સાવચેત):
મારા A/B પરીક્ષણ પરિણામો (વાસ્તવિક ડેટા): [A: છાપ/ક્લિકો/રૂપાંતરણ],[B: છાપ/ક્લિકો/રૂપાંતરણ].કાર્ય: (1) દરેક સંસ્કરણના દરોની ગણતરી કરો અને પ્રદર્શિત કરો. (2) તફાવતની તીવ્રતા પર ટિપ્પણી કરો, પરંતુ જો નમૂના પૂરતો ન હોય, તો કહો કે "અપૂરતું પરિણામ" નો અર્થ જોખમ (3 માટે જોખમનો અપૂર્ણ ડેટા) અકાળ/ખોટી વાંચન. મહત્વનો કોઈ ચોક્કસ દાવો ન કરો; હું એક અલગ એકાઉન્ટ ટૂલ વડે પુષ્ટિ કરીશ.
નબળા પ્રોમ્પ્ટ / મજબૂત પ્રોમ્પ્ટ
નબળા પ્રોમ્પ્ટ:
મારી જાહેરાત માટે A અને B વર્ઝન તૈયાર કરો, મને કહો કે કયું વધુ સારું છે.
ચલ અલગ નથી, ત્યાં કોઈ પૂર્વધારણા અને માપ નથી; AI ડેટા વિના જાણી શકતું નથી કે કયું "સારું" છે, તે બનાવે છે.
શક્તિશાળી પ્રોમ્પ્ટ:
હું A/B પરીક્ષણ સેટ કરી રહ્યો છું. નિશ્ચિત: ઇમેજ અને CTA એ જ રહેશે.ફક્ત વેરીએબલ પરીક્ષણ કરેલ: જાહેરાત હેડલાઇન. અનુમાન: "સંખ્યા સાથેની હેડલાઇન સામાન્ય હેડલાઇન કરતાં વધુ ક્લિક્સ મેળવે છે." મુખ્ય સંદેશ: "3 દિવસમાં વિતરિત." કાર્ય: (1) નિયંત્રણ માટે 1 સામાન્ય હેડલાઇન બનાવો, વેરિઅન્ટ માટે નંબરો સાથે 3 હેડલાઇન બનાવો. મને 3 ભૂલો યાદ કરાવો જે પરીક્ષણને અમાન્ય કરી શકે છે. આગાહી કરશો નહીં કે કોણ જીતશે; ડેટા તે નક્કી કરશે.
બીજો દાવો એક ચલને અલગ કરે છે, જેમાં પૂર્વધારણા અને માપનો સમાવેશ થાય છે; વિજેતાને ડેટા પર છોડી દે છે.
સામાન્ય ભૂલો
- એક સાથે ઘણી વસ્તુઓ બદલવી. વિજેતાનું કારણ અસ્પષ્ટ બને છે; એક ચલ અલગ હોવું જ જોઈએ.
- અપૂરતા નમૂનાઓ સાથે નિર્ણયો લેવા. પ્રથમ કલાકોમાં તફાવત ઘણીવાર સંયોગાત્મક હોય છે.
- પૂર્વધારણા વિના પરીક્ષણ. “ચાલો જોઈએ શું થાય છે” પરીક્ષણ શિક્ષણ પેદા કરતું નથી; પ્રથમ તમે શું અપેક્ષા રાખશો તે લખો.
- નિષ્ફળતા તરીકે પરિણામ "કોઈ તફાવત નથી" ભૂલવું. નોંધપાત્ર તફાવતનો અભાવ પણ માહિતીપ્રદ છે.
- સ્વાદના આધારે વિજેતાની પસંદગી. વ્યક્તિગત સ્વાદને નકારી કાઢવા માટે પરીક્ષણ ચોક્કસપણે છે; ડેટાને અનુસરો.
- બાહ્ય પરિબળોને ભૂલી જવું. મોસમ, પ્રચાર દિવસ, સમાચાર પ્રવાહ પરિણામને વિકૃત કરી શકે છે; પરીક્ષણની સ્થિતિ ન્યાયી રાખો.
ધ્યાન આપો: A/B પરીક્ષણનો હેતુ "જીતવાનો" નથી પરંતુ શીખવાનો છે. એક પ્રકાર ગુમાવવો એ પણ મૂલ્યવાન માહિતી છે; અસલ નુકસાન અપૂરતા ડેટા સાથે ખોટા પરિણામ પર આધાર રાખવો અને બજેટને તેની સાથે જોડવાનું છે.
સારાંશમાં
A/B પરીક્ષણ એ એક શક્તિશાળી પદ્ધતિ છે જે જાહેરાતના નિર્ણયોને વિચારથી ડેટા તરફ લઈ જાય છે. સુવર્ણ નિયમ એ છે કે એક ચલને અલગ કરો: પરીક્ષણમાં માત્ર એક જ તત્વ બદલાવું જોઈએ, બાકીનું સ્થિર રહેવું જોઈએ. બીજો આધારસ્તંભ પર્યાપ્ત નમૂના અને આંકડાકીય મહત્વ છે; ઓછા ડેટા સાથે વિજેતા જાહેર કરવી એ સૌથી મોંઘી ભૂલ છે. AI બહુવિધ પ્રકારો જનરેટ કરવામાં અને મતભેદોની ગણતરી અને અર્થઘટન કરવામાં મદદરૂપ છે, પરંતુ ડેટા વિજેતા નક્કી કરે છે, AI નહીં. "કોઈ તફાવત નથી" પરિણામ પણ શીખવાનું છે. પરીક્ષા શરૂ થાય તે પહેલાં પૂર્વધારણા, મેટ્રિક અને નિર્ણય થ્રેશોલ્ડ લખવો જોઈએ.
એપ્લિકેશન કાર્ય
સર્જનાત્મક (હેડલાઇન, છબી અથવા CTA) પસંદ કરો. (1) "હાયપોથીસીસ અને ટેસ્ટ ડિઝાઇન" સાથે એક ટેસ્ટેબલ હાઇપોથિસિસ અને આઇસોલેટેડ ચલ લખો. (2) "વેરિઅન્ટ જનરેટર" સાથે 1 નિયંત્રણ + 3 પ્રકારો જનરેટ કરો; ફક્ત તે તત્વ બદલો. (3) તમે કયા મેટ્રિકને જોશો, કેટલા સમય માટે અને કયા ડેટા સાથે, “માપન યોજના” સાથે પ્લાન કરો. (4) વિજેતા જાહેર કરવા માટે તમારી થ્રેશોલ્ડ (કેટલા રૂપાંતરણો / શું મહત્વ છે) અગાઉથી લખો. (5) "પરિણામ દુભાષિયા" સાથે અનુમાનિત પરિણામોનો વિચાર કરો અને નોંધ કરો કે જ્યાં ડેટા અપૂરતો હોય તેવા સંજોગોમાં તમે શા માટે નિર્ણય લેતા નથી.
ચેકલિસ્ટ
- [ ] મેં ટેસ્ટમાં માત્ર એક ચલને અલગ કર્યું છે.
- [ ] મેં પરીક્ષણ પહેલાં સ્પષ્ટ પૂર્વધારણા લખી હતી.
- [ ] મેં પહેલાથી જ વિજેતા માટે જરૂરી નમૂના અને સમય નક્કી કરી લીધો છે.
- [ ] મેં વ્યક્તિગત રુચિને બદલે ડેટાના આધારે વિજેતાની પસંદગી કરી.
- [ ] મેં "કોઈ તફાવત નથી" પરિણામને માન્ય શિક્ષણ તરીકે ગણ્યું.
- [ ] મેં બાહ્ય પરિબળો માટે તપાસ કરી જે પરિણામને વિકૃત કરી શકે છે.