A/B சோதனை மற்றும் பரிசோதனை வடிவமைப்பு: மாறுபட்ட கட்டுமானம் மற்றும் முக்கியத்துவம்

ஆதாயங்கள்:

• A/B சோதனை, கட்டுப்பாடு/மாறுபாடு, மாற்று விகிதம் மற்றும் புள்ளியியல் முக்கியத்துவம் ஆகியவற்றின் கருத்துகளைப் புரிந்துகொள்வதற்கான திறன் மற்றும் செயற்கை நுண்ணறிவுடன் கருதுகோள்கள் மற்றும் சோதனை வடிவமைப்புகளை நிறுவுதல்.
• சோதிக்கப்பட வேண்டிய ஒற்றை மாறியை தனிமைப்படுத்தி, செயற்கை நுண்ணறிவு ஆதரவுடன் மாறுபட்ட உரை/படம் மற்றும் அளவீட்டுத் திட்டத்தை உருவாக்கும் திறன்
• செயற்கை நுண்ணறிவின் சோதனை விளக்கம் மாதிரி அளவு மற்றும் முக்கியத்துவம் மற்றும் முன்கூட்டிய/தவறான முடிவுகளைப் படிக்கும் ஆபத்து ஆகியவற்றால் வரையறுக்கப்பட்டுள்ளது என்பதை வேறுபடுத்தும் திறன்

விளம்பரத்தில் மிகவும் ஆபத்தான வாக்கியம் "இது சிறந்தது என்று நான் நினைக்கிறேன்." ஒரு தலைப்பு, படம் அல்லது பொத்தான் உண்மையிலேயே சிறந்ததா என்பதை தரவு, கருத்து அல்ல. இதை அளவிடுவதற்கான பொதுவான வழி ஏ/பி சோதனை: ஒரே விளம்பரத்தின் இரண்டு (அல்லது அதற்கு மேற்பட்ட) பதிப்புகளை உண்மையான பயனர்களுக்குக் காண்பிப்பது மற்றும் எது சிறப்பாகச் செயல்படுகிறது என்பதை ஒப்பிடுவது. "A" என்பது வழக்கமாக தற்போதைய பதிப்பாகும் (கட்டுப்பாடு), "B" என்பது முயற்சி செய்யப்படும் புதிய பதிப்பு (மாறுபாடு). எடுத்துக்காட்டாக, ஒரே விளம்பரத்தில் உள்ள தலைப்பை மட்டும் மாற்றி, எந்தத் தலைப்பை அதிகமாகக் கிளிக் செய்ய வேண்டும் என்பதை அளவிட முடியும். செயற்கை நுண்ணறிவு இந்த செயல்பாட்டில் அதிக எண்ணிக்கையிலான மாறுபாடுகளை உருவாக்குவதிலும், முடிவை விளக்குவதிலும் உதவியாக இருக்கும்; ஆனால் சோதனையின் அறிவியல் செல்லுபடியாகும் வடிவமைப்பு விதிகள் மற்றும் பொறுமையைப் பொறுத்தது.

A/B சோதனையின் கோல்டன் ரூல்: ஒரு மாறி

A/B சோதனையின் அடிப்படை விதியானது ஒற்றை மாறியை தனிமைப்படுத்துவதாகும். ஒரே நேரத்தில் தலைப்பு, படம் மற்றும் பட்டனை மாற்றி, பதிப்பு B வெற்றி பெற்றால், எது வென்றது என்பது உங்களுக்குத் தெரியாது. எனவே ஒரு சோதனையில் ஒரு உறுப்பு மட்டும் மாற வேண்டும், மீதமுள்ளவை மாறாமல் இருக்க வேண்டும். நீங்கள் ஒன்றுக்கு மேற்பட்ட உருப்படிகளை ஒரே நேரத்தில் மற்றும் முறையாகச் சோதிக்க விரும்பினால், இது பன்முக சோதனை என்று அழைக்கப்படுகிறது மற்றும் மிகப் பெரிய மாதிரி தேவைப்படுகிறது; Univariate A/B சோதனை தொடங்குவதற்கான வழி.

இரண்டாவது அடிப்படை கருத்து புள்ளியியல் முக்கியத்துவம் ஆகும். பதிப்பு A க்கு 3 சதவீத கிளிக்குகளும், பதிப்பு B 3.3 சதவீத கிளிக்குகளும் பெற்றதாக வைத்துக் கொள்வோம். இந்த வேறுபாடு ஒரு உண்மையான நன்மையா அல்லது புழுக்கமா? நீங்கள் சோதனையை 100 பேருக்கு மட்டுமே காட்டினால், இந்த வித்தியாசம் தற்செயலாக இருக்கலாம். புள்ளியியல் முக்கியத்துவம் என்றால், கவனிக்கப்பட்ட வேறுபாடு வாய்ப்பு காரணமாக இருக்க வாய்ப்பில்லை (அதாவது, வேறுபாடு உண்மையாக இருக்கலாம்). இதற்கு போதுமான மாதிரி அளவு (சோதனையைப் பார்க்கும் நபர்களின் எண்ணிக்கை) தேவை. சிறிய தரவுகளுடன் "வெற்றியாளர்" என்று அறிவிப்பது மிகவும் பொதுவான மற்றும் விலையுயர்ந்த தவறு.

உதவிக்குறிப்பு: சோதனையைத் தொடங்கும் முன், "நான் எப்போது வெற்றியாளரை அறிவிப்பேன்" என்ற கேள்விக்கு பதிலளிக்கவும்: எத்தனை பேர்/மாற்றத்திற்குப் பின், எந்த முக்கியத்துவம் வாய்ந்த நிலையில். முன்கூட்டியே இந்த முடிவை எடுப்பது முதல் மணிநேரங்களில் சத்தத்தில் சிக்கி, முன்கூட்டியே முடிவெடுப்பதைத் தடுக்கிறது.

பின்வரும் அட்டவணை நல்ல மற்றும் கெட்ட A/B சோதனை வடிவமைப்பை ஒப்பிடுகிறது:

பொருள்

மோசமான வடிவமைப்பு

நல்ல வடிவமைப்பு

மாறிகளின் எண்ணிக்கை

தலைப்பு + படம் + பொத்தான் ஒன்றாக

தலைப்பு மட்டுமே

கருதுகோள்

(இல்லை) "என்ன நடக்கிறது என்று பார்ப்போம்"

"கேள்விகளைக் கொண்ட தலைப்புகள் கிளிக்குகளை அதிகரிக்கின்றன"

மாதிரி

80 பேர்

முன்கூட்டியே கணக்கிடப்பட்ட கோரம்

முடிவு நேரம்

2 மணி நேரம் கழித்து

நீங்கள் முக்கியத்துவத்தை அடையும் போது

வெற்றியாளர் தேர்வு

"பி நல்லவர் என்று நினைக்கிறேன்"

தரவு மற்றும் முக்கியத்துவத்தின் அடிப்படையில்

படிப்படியாக: A/B சோதனையை அமைத்தல்

படி 1 - ஒரு கருதுகோளை எழுதுங்கள். நீங்கள் என்ன சோதனை செய்கிறீர்கள், ஏன்? "அம்சங்கள் கொண்ட தலைப்பை விட நன்மைகள் கொண்ட தலைப்பு அதிக கிளிக்குகளைப் பெறுகிறது" போன்ற தெளிவான கருதுகோள்.

படி 2 - ஒற்றை மாறியைத் தேர்ந்தெடுக்கவும். தலைப்பு, அல்லது படம் அல்லது CTA.

படி 3 - மாறுபாடுகளை உருவாக்கவும். AI உடன் ஒரே பொருளின் வெவ்வேறு பதிப்புகளை உருவாக்கவும்; மீதமுள்ளவற்றை நிலையானதாக வைத்திருங்கள்.

படி 4 - அளவீட்டுத் திட்டத்தை அமைக்கவும். எந்த மெட்ரிக் வெற்றியாளரைத் தீர்மானிக்கும் (கிளிக்-த்ரூ ரேட், கன்வெர்ஷன்), எவ்வளவு மாதிரி தேவை, எவ்வளவு நேரம் இயங்க வேண்டும்.

படி 5 - முடிவை விளக்கி சரிபார்க்கவும். போதுமான தரவு சேகரிக்கப்பட்டதா, வேறுபாடு குறிப்பிடத்தக்கதா? இது குறிப்பிடத்தக்கதாக இல்லாவிட்டால், "வேறுபாடு இல்லை" என்பதும் சரியான முடிவாகும்.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - ஒற்றை மாறியின் தெளிவு. ஒரு ஈ-காமர்ஸ் பிராண்ட் அதன் தயாரிப்பு விளம்பரத்தில் CTA ஐ மட்டுமே சோதித்தது: "வாங்க" மற்றும் "வண்டியில் சேர்." மற்ற அனைத்தும் அப்படியே இருந்தன. போதுமான மாதிரிக்குப் பிறகு, "வண்டியில் சேர்" குறிப்பிடத்தக்க அளவு மாற்றங்களைக் கொண்டு வந்தது. ஒரு மாறி தனிமைப்படுத்தப்பட்டதால் வேறுபாட்டை தெளிவாக விளக்கலாம். AI இரண்டு CTAகளை உருவாக்கியது, தரவு வெற்றியாளரைத் தேர்ந்தெடுத்தது.

வழக்கு 2 - ஆரம்ப முடிவு பொறி. A/B சோதனையின் முதல் 3 மணிநேரத்தில் பதிப்பு B முன்னிலையில் இருந்ததால் ஒரு பிராண்ட் சோதனையை நிறுத்தியது மற்றும் முழு பட்ஜெட்டிற்கும் B திறக்கப்பட்டது. அடுத்த நாள் மொத்த தரவுகளைப் பார்க்கும்போது, ​​A உண்மையில் சற்று சிறப்பாக இருந்தது; முதல் மணி நேர வித்தியாசம் தற்செயலானது. பட்ஜெட் வீணானது. தவறு: போதுமான மாதிரி அளவுடன் முன்கூட்டியே முடிவெடுப்பது.

வழக்கு 3 - "வேறுபாடு இல்லை" என்பதும் முடிவாகும். ஒரு பிராண்ட் இரண்டு வெவ்வேறு படங்களைச் சோதித்தது, போதுமான மாதிரிக்குப் பிறகு, அவை இரண்டும் கிட்டத்தட்ட ஒரே முடிவைத் தந்தன. "சோதனை தோல்வியடைந்தது" என்று டீம் புலம்பப் போகும் போது, ​​இந்தப் பிரச்சாரத்தில் படம் தீர்மானிக்கும் காரணியாக இல்லை, எனவே முயற்சியை தலைப்பு மற்றும் சலுகையை நோக்கி செலுத்த வேண்டும் என்பது சரியான வாசிப்பு. குறிப்பிடத்தக்க வேறுபாடு எதுவும் காணப்படவில்லை என்பதும் மதிப்புமிக்க தகவல்.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) கருதுகோள் மற்றும் சோதனை வடிவமைப்பு:

நான் என்ன சோதிக்க விரும்புகிறேன்: [எ.கா. விளம்பர தலைப்பு].பணி: (1) ஒரு சோதனைக்குரிய கருதுகோளை எழுதவும் ("... அதிகரிக்கிறது ... அதிகரிக்கிறது" வடிவத்தில்).(2) தனிமைப்படுத்த வேண்டிய ஒற்றை மாறி மற்றும் நிலையானதாக இருக்க வேண்டியவைகளை பட்டியலிடுங்கள்.(3) வெற்றியாளரைத் தீர்மானிக்கும் மெட்ரிக்கைப் பரிந்துரைக்கவும் (கிளிக்-த்ரூ ரேட்/கன்வர்ஷன்).(4) சோதனை முடிவை முன்கூட்டியே செலுத்த வேண்டியதை எழுதவும்.

2) மாறுபாடு ஜெனரேட்டர் (ஒற்றை மாறுபாடு):

ஒட்டும் விளம்பரம்: படம் [அதே], CTA [அதே], இலக்கு [அதே]. மாறி சோதனை செய்யப்பட்டது: HEADLINE. முக்கிய செய்தி: "[செய்தி]". பணி: ஒரே செய்தியுடன் 4 வெவ்வேறு தலைப்பு வகைகளை உருவாக்கவும். ஒவ்வொன்றும் வெவ்வேறு அணுகுமுறையைப் பயன்படுத்துகின்றன (கேள்வி, பலன், எண், அவசரம்). தலைப்பு மட்டும் மாறுகிறது; ஆதாரமற்ற கூற்றைச் சேர்த்தல்.

3) அளவீட்டுத் திட்டம்:

சோதனை: [A மற்றும் B இன் வரையறை]. மெட்ரிக்: [கிளிக்/மாற்றம்].பணி: ஒரு அளவீட்டுத் திட்டத்தை வரையவும்:(1) எந்த மெட்ரிக் முதன்மையானது, எது இரண்டாம் நிலை, (2) வெற்றியாளரை அறிவிக்க எவ்வளவு தரவு/நேரம் தேவை (தர்க்கத்தை விளக்குங்கள்),(3) டிராஃபிக்கை A மற்றும் Bக்கு இடையே சமமாகவும் நியாயமாகவும் பிரிப்பது, (4) எந்தெந்த வெளிப்புறக் காரணிகள் வாரத்தின் குறிப்பைச் சிதைக்கலாம். சரியான புள்ளிவிவரங்கள்.

4) முடிவு மொழிபெயர்ப்பாளர் (கவனமாக):

எனது A/B சோதனை முடிவுகள் (உண்மையான தரவு): [A: பதிவுகள்/கிளிக்குகள்/மாற்றம்],[B: பதிவுகள்/கிளிக்குகள்/மாற்றம்].பணி: (1) ஒவ்வொரு பதிப்பின் விகிதங்களையும் கணக்கிட்டுக் காட்டுங்கள்.(2) வித்தியாசத்தின் அளவைக் குறித்து கருத்துத் தெரிவிக்கவும், ஆனால் மாதிரி போதுமானதாக இல்லை என்றால், "முன்கூட்டியே உருவாக்கப்படும் அபாயத்திற்கு போதுமான தரவு இல்லை" என்று கூறவும்.(3) முக்கியத்துவத்தின் உறுதியான கூற்று; தனி கணக்கு கருவி மூலம் உறுதி செய்கிறேன்.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான உடனடி:

எனது விளம்பரத்திற்கான A மற்றும் B பதிப்பைத் தயாரிக்கவும், எது சிறந்தது என்று சொல்லுங்கள்.

மாறி தனிமைப்படுத்தப்படவில்லை, கருதுகோள் மற்றும் அளவீடு இல்லை; தரவு இல்லாமல் "நல்லது" எது என்பதை AI ஆல் அறிய முடியாது.

சக்திவாய்ந்த தூண்டுதல்:

நான் A/B சோதனையை அமைக்கிறேன். நிலையானது: படமும் CTAவும் ஒரே மாதிரியாக இருக்கும். மாறி மட்டுமே சோதிக்கப்பட்டது: விளம்பரத் தலைப்பு. கருதுகோள்: "பொது தலைப்பை விட எண்களைக் கொண்ட தலைப்பு அதிக கிளிக்குகளைப் பெறுகிறது." முக்கிய செய்தி: "3 நாட்களில் வழங்கப்படுகிறது." பணி: (1) கட்டுப்பாட்டுக்காக 1 பொது தலைப்புகளை உருவாக்கவும், 3 தலைப்புச் செய்திகளை கட்டுப்பாட்டுக்காக உருவாக்கவும், வெற்றியாளரை நான் அளவிட வேண்டும். சோதனையை செல்லாததாக்கக்கூடிய 3 தவறுகளை எனக்கு நினைவூட்டு. எது வெற்றி பெறும் என்று கணிக்க வேண்டாம்; தரவு அதை தீர்மானிக்கும்.

இரண்டாவது கூற்று ஒரு ஒற்றை மாறியை தனிமைப்படுத்துகிறது, கருதுகோள் மற்றும் அளவீட்டை உள்ளடக்கியது; வெற்றியாளரை தரவுகளுக்கு விட்டுவிடுகிறது.

பொதுவான தவறுகள்

• ஒரே நேரத்தில் பல பொருட்களை மாற்றுதல். வெற்றியாளருக்கான காரணம் தெளிவாகத் தெரியவில்லை; ஒற்றை மாறி தனிமைப்படுத்தப்பட வேண்டும்.
• போதுமான மாதிரிகள் இல்லாத முடிவுகளை எடுத்தல். முதல் மணிநேரங்களில் உள்ள வேறுபாடு பெரும்பாலும் தற்செயலானது.
• கருதுகோள்கள் இல்லாமல் சோதனை. "என்ன நடக்கிறது என்று பார்ப்போம்" சோதனை கற்றலை உருவாக்காது; முதலில் நீங்கள் எதிர்பார்ப்பதை எழுதுங்கள்.
• "வேறுபாடு இல்லை" என்ற முடிவை தோல்வி என்று தவறாகப் புரிந்துகொள்வது. குறிப்பிடத்தக்க வேறுபாடு இல்லாதது தகவலறிந்ததாகும்.
• ரசனையின் அடிப்படையில் வெற்றியாளரைத் தேர்ந்தெடுப்பது. சோதனை என்பது துல்லியமாக தனிப்பட்ட ரசனையை நிராகரிப்பதாகும்; தரவைப் பின்பற்றவும்.
• வெளிப்புற காரணிகளை மறந்துவிடுதல். சீசன், பிரச்சார நாள், செய்தி ஓட்டம் முடிவை சிதைக்கலாம்; சோதனை நிலைமைகளை நியாயமானதாக வைத்திருங்கள்.

கவனம்: A/B சோதனையின் நோக்கம் "வெற்றி" அல்ல, ஆனால் கற்றுக்கொள்வது. ஒரு மாறுபாடு இழப்பது கூட மதிப்புமிக்க தகவல்; போதிய தரவு இல்லாத தவறான முடிவை நம்பி, பட்ஜெட்டை அதனுடன் இணைப்பதே உண்மையான இழப்பு.

சுருக்கமாக

A/B சோதனை என்பது ஒரு சக்திவாய்ந்த முறையாகும், இது விளம்பர முடிவுகளை யோசனையிலிருந்து தரவுக்கு நகர்த்துகிறது. ஒற்றை மாறியை தனிமைப்படுத்துவதே தங்க விதி: சோதனையில் ஒரு உறுப்பு மட்டுமே மாற வேண்டும், மீதமுள்ளவை மாறாமல் இருக்க வேண்டும். இரண்டாவது தூண் போதுமான மாதிரி மற்றும் புள்ளியியல் முக்கியத்துவம்; சிறிய தரவுகளுடன் வெற்றியாளரை அறிவிப்பது மிகவும் விலையுயர்ந்த தவறு. பல மாறுபாடுகளை உருவாக்குவதற்கும் முரண்பாடுகளைக் கணக்கிடுவதற்கும் விளக்குவதற்கும் AI உதவியாக இருக்கும், ஆனால் தரவு வெற்றியாளரைத் தீர்மானிக்கிறது, AI அல்ல. "வேறுபாடு இல்லை" முடிவு கூட ஒரு கற்றல். சோதனை தொடங்கும் முன் கருதுகோள், மெட்ரிக் மற்றும் முடிவு வரம்பு எழுதப்பட வேண்டும்.

விண்ணப்ப பணி

ஒரு படைப்பாற்றலைத் தேர்ந்தெடுக்கவும் (தலைப்பு, படம் அல்லது CTA). (1) "கருதுகோள் மற்றும் சோதனை வடிவமைப்பு" உடன் ஒரு சோதனைக்குரிய கருதுகோள் மற்றும் தனிமைப்படுத்தப்பட்ட மாறியை எழுதவும். (2) "வேரியன்ட் ஜெனரேட்டர்" மூலம் 1 கட்டுப்பாடு + 3 வகைகளை உருவாக்கவும்; அந்த உறுப்பை மட்டும் மாற்றவும். (3) எந்த அளவீட்டைப் பார்க்க வேண்டும், எவ்வளவு நேரம் மற்றும் எந்தத் தரவைக் கொண்டு, “அளவீட்டுத் திட்டம்” மூலம் திட்டமிடுங்கள். (4) வெற்றியாளரை அறிவிப்பதற்கான உங்கள் வரம்பை (எத்தனை மாற்றங்கள் / என்ன முக்கியத்துவம்) முன்கூட்டியே எழுதுங்கள். (5) "முடிவு மொழிபெயர்ப்பாளருடன்" அனுமான முடிவுகளைக் கருத்தில் கொண்டு, தரவு போதுமானதாக இல்லாத சூழ்நிலையில் நீங்கள் ஏன் முடிவெடுக்க மாட்டீர்கள் என்பதைக் கவனியுங்கள்.

சரிபார்ப்பு பட்டியல்

• [ ] சோதனையில் ஒரே ஒரு மாறியை மட்டும் தனிமைப்படுத்தினேன்.
• [ ] தேர்வுக்கு முன் நான் ஒரு தெளிவான கருதுகோளை எழுதினேன்.
• [ ] வெற்றியாளருக்குத் தேவையான மாதிரி மற்றும் நேரத்தை நான் ஏற்கனவே தீர்மானித்துள்ளேன்.
• [ ] தனிப்பட்ட ரசனையின் அடிப்படையில் அல்ல, தரவுகளின் அடிப்படையில் வெற்றியாளரைத் தேர்ந்தெடுத்தேன்.
• [ ] "வேறுபாடு இல்லை" முடிவை சரியான கற்றல் என்று கருதினேன்.
• [ ] முடிவை சிதைக்கக்கூடிய வெளிப்புற காரணிகளை நான் சோதித்தேன்.