എ/ബി ടെസ്റ്റിംഗും പരീക്ഷണാത്മക രൂപകൽപ്പനയും: വേരിയൻ്റ് നിർമ്മാണവും പ്രാധാന്യവും

നേട്ടങ്ങൾ:

• എ/ബി ടെസ്റ്റിംഗ്, കൺട്രോൾ/വേരിയൻ്റ്, കൺവേർഷൻ റേറ്റ്, സ്റ്റാറ്റിസ്റ്റിക്കൽ പ്രാധാന്യം എന്നിവയുടെ ആശയങ്ങൾ മനസിലാക്കാനും കൃത്രിമ ബുദ്ധി ഉപയോഗിച്ച് അനുമാനങ്ങളും ടെസ്റ്റ് ഡിസൈനുകളും സ്ഥാപിക്കാനുമുള്ള കഴിവ്.
• പരീക്ഷിക്കപ്പെടേണ്ട ഒറ്റ വേരിയബിളിനെ വേർതിരിച്ച് കൃത്രിമബുദ്ധി പിന്തുണയോടെ വേരിയൻ്റ് ടെക്സ്റ്റ്/ഇമേജ്, മെഷർമെൻ്റ് പ്ലാൻ എന്നിവ നിർമ്മിക്കാനുള്ള കഴിവ്
• ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസിൻ്റെ പരീക്ഷണ വ്യാഖ്യാനം സാമ്പിൾ വലുപ്പവും പ്രാധാന്യവും അകാല/തെറ്റായ ഫലങ്ങൾ വായിക്കാനുള്ള സാധ്യതയും കൊണ്ട് പരിമിതപ്പെടുത്തിയിരിക്കുന്നുവെന്ന് തിരിച്ചറിയാനുള്ള കഴിവ്

പരസ്യത്തിലെ ഏറ്റവും അപകടകരമായ വാചകം "ഇതാണ് മികച്ചതെന്ന് ഞാൻ കരുതുന്നു." ഒരു തലക്കെട്ടാണോ ചിത്രമാണോ ബട്ടണാണോ യഥാർത്ഥത്തിൽ മികച്ചതാണോ എന്ന് അഭിപ്രായമല്ല ഡാറ്റ നിങ്ങളോട് പറയുന്നു. ഇത് അളക്കുന്നതിനുള്ള ഏറ്റവും സാധാരണമായ മാർഗ്ഗം എ/ബി പരിശോധനയാണ്: ഒരേ പരസ്യത്തിൻ്റെ രണ്ട് (അല്ലെങ്കിൽ കൂടുതൽ) പതിപ്പുകൾ യഥാർത്ഥ ഉപയോക്താക്കൾക്ക് കാണിക്കുകയും ഏതാണ് മികച്ച രീതിയിൽ പ്രവർത്തിക്കുന്നത് എന്ന് താരതമ്യം ചെയ്യുകയും ചെയ്യുക. "A" എന്നത് സാധാരണയായി നിലവിലെ പതിപ്പാണ് (നിയന്ത്രണം), അതേസമയം "B" എന്നത് പരീക്ഷിക്കുന്ന പുതിയ പതിപ്പാണ് (വേരിയൻ്റ്). ഉദാഹരണത്തിന്, നിങ്ങൾക്ക് ഒരേ പരസ്യത്തിലെ ശീർഷകം മാറ്റാനും ഏത് ശീർഷകമാണ് കൂടുതൽ ക്ലിക്ക് ചെയ്തതെന്ന് അളക്കാനും മാത്രമേ കഴിയൂ. കൃത്രിമബുദ്ധി ഈ പ്രക്രിയയിൽ ധാരാളം വകഭേദങ്ങൾ സൃഷ്ടിക്കുന്നതിലും ഫലത്തെ വ്യാഖ്യാനിക്കുന്നതിലും സഹായകമാണ്; എന്നാൽ പരീക്ഷണത്തിൻ്റെ ശാസ്ത്രീയ സാധുത ഡിസൈൻ നിയമങ്ങളെയും ക്ഷമയെയും ആശ്രയിച്ചിരിക്കുന്നു.

A/B പരിശോധനയുടെ സുവർണ്ണ നിയമം: ഒരു വേരിയബിൾ

A/B പരിശോധനയുടെ ഏറ്റവും അടിസ്ഥാന നിയമം ഒരൊറ്റ വേരിയബിളിനെ ഒറ്റപ്പെടുത്തുക എന്നതാണ്. നിങ്ങൾ ഒരേ സമയം ശീർഷകവും ചിത്രവും ബട്ടണും മാറ്റുകയും പതിപ്പ് ബി വിജയിക്കുകയും ചെയ്താൽ, എന്താണ് വിജയിച്ചതെന്ന് നിങ്ങൾക്കറിയില്ല. അതിനാൽ ഒരു പരിശോധനയിൽ ഒരു ഘടകം മാത്രം മാറണം, ബാക്കിയുള്ളത് സ്ഥിരമായി തുടരണം. നിങ്ങൾക്ക് ഒന്നിലധികം ഇനങ്ങൾ ഒരേസമയം, വ്യവസ്ഥാപിതമായി പരീക്ഷിക്കണമെങ്കിൽ, ഇതിനെ മൾട്ടിവേറിയറ്റ് ടെസ്റ്റിംഗ് എന്ന് വിളിക്കുന്നു, ഇതിന് വളരെ വലിയ സാമ്പിൾ ആവശ്യമാണ്; ഏകീകൃത എ/ബി പരിശോധനയാണ് ആരംഭിക്കാനുള്ള വഴി.

രണ്ടാമത്തെ അടിസ്ഥാന ആശയം സ്ഥിതിവിവരക്കണക്ക് പ്രാധാന്യമാണ്. പതിപ്പ് എയ്ക്ക് 3 ശതമാനവും ബി പതിപ്പിന് 3.3 ശതമാനവും ക്ലിക്കുകൾ ലഭിച്ചുവെന്ന് നമുക്ക് പറയാം. ഈ വ്യത്യാസം ഒരു യഥാർത്ഥ നേട്ടമാണോ അതോ അപകീർത്തിമാണോ? നിങ്ങൾ 100 പേർക്ക് മാത്രമേ പരിശോധന കാണിച്ചിട്ടുള്ളൂവെങ്കിൽ, ഈ വ്യത്യാസം യാദൃശ്ചികമായിരിക്കാം. സ്ഥിതിവിവരക്കണക്കുകളുടെ പ്രാധാന്യം അർത്ഥമാക്കുന്നത്, നിരീക്ഷിച്ച വ്യത്യാസം ആകസ്മികമായി ഉണ്ടാകാൻ സാധ്യതയില്ല എന്നാണ് (അതായത്, വ്യത്യാസം യഥാർത്ഥമായിരിക്കാം). ഇതിന് മതിയായ സാമ്പിൾ വലുപ്പം ആവശ്യമാണ് (ടെസ്റ്റ് കാണുന്ന ആളുകളുടെ എണ്ണം). ചെറിയ ഡാറ്റ ഉപയോഗിച്ച് ഒരു "വിജയിയെ" പ്രഖ്യാപിക്കുന്നത് ഏറ്റവും സാധാരണവും ചെലവേറിയതുമായ തെറ്റാണ്.

നുറുങ്ങ്: ടെസ്റ്റ് ആരംഭിക്കുന്നതിന് മുമ്പ്, "എപ്പോൾ ഞാൻ വിജയിയെ പ്രഖ്യാപിക്കും" എന്ന ചോദ്യത്തിന് ഉത്തരം നൽകുക: എത്ര പേർ/മതപരിവർത്തനത്തിന് ശേഷം, ഏത് പ്രാധാന്യത്തിലാണ്. ഈ തീരുമാനം മുൻകൂട്ടി എടുക്കുന്നത് ആദ്യ മണിക്കൂറുകളിൽ ശബ്ദത്തിൽ കുടുങ്ങി അകാല തീരുമാനമെടുക്കുന്നതിൽ നിന്ന് നിങ്ങളെ തടയുന്നു.

ഇനിപ്പറയുന്ന പട്ടിക നല്ലതും ചീത്തയുമായ എ/ബി ടെസ്റ്റ് ഡിസൈൻ താരതമ്യം ചെയ്യുന്നു:

ഇനം

മോശം ഡിസൈൻ

നല്ല ഡിസൈൻ

വേരിയബിളുകളുടെ എണ്ണം

പേര് + ചിത്രം + ബട്ടൺ ഒരുമിച്ച്

തലക്കെട്ട് മാത്രം

അനുമാനം

(ഒന്നുമില്ല) "എന്താണ് സംഭവിക്കുന്നതെന്ന് നമുക്ക് നോക്കാം"

"ചോദ്യങ്ങളുള്ള ശീർഷകങ്ങൾ ക്ലിക്കുകൾ വർദ്ധിപ്പിക്കുന്നു"

സാമ്പിൾ

80 പേർ

മുൻകൂട്ടി കണക്കാക്കിയ കോറം

തീരുമാന സമയം

2 മണിക്കൂർ കഴിഞ്ഞ്

നിങ്ങൾ പ്രാധാന്യത്തിൽ എത്തുമ്പോൾ

വിജയി തിരഞ്ഞെടുപ്പ്

"ബി നല്ലതാണെന്ന് ഞാൻ കരുതുന്നു"

ഡാറ്റയും പ്രാധാന്യവും അടിസ്ഥാനമാക്കി

ഘട്ടം ഘട്ടമായി: ഒരു A/B ടെസ്റ്റ് സജ്ജീകരിക്കുക

ഘട്ടം 1 - ഒരു സിദ്ധാന്തം എഴുതുക. നിങ്ങൾ എന്താണ് പരീക്ഷിക്കുന്നത്, എന്തുകൊണ്ട്? "സവിശേഷതകളുള്ള ഒരു തലക്കെട്ടിനേക്കാൾ കൂടുതൽ ക്ലിക്കുകൾ ആനുകൂല്യങ്ങളുള്ള ഒരു തലക്കെട്ടിന് ലഭിക്കുന്നു" എന്നതുപോലുള്ള വ്യക്തമായ അനുമാനം.

ഘട്ടം 2 - സിംഗിൾ വേരിയബിൾ തിരഞ്ഞെടുക്കുക. ശീർഷകം, അല്ലെങ്കിൽ ചിത്രം, അല്ലെങ്കിൽ വെറും CTA.

ഘട്ടം 3 - വേരിയൻ്റുകൾ സൃഷ്ടിക്കുക. AI ഉപയോഗിച്ച് ഒരേ ഇനത്തിൻ്റെ വ്യത്യസ്ത പതിപ്പുകൾ സൃഷ്ടിക്കുക; ബാക്കിയുള്ളവ സ്ഥിരമായി സൂക്ഷിക്കുക.

ഘട്ടം 4 - ഒരു മെഷർമെൻ്റ് പ്ലാൻ സജ്ജീകരിക്കുക. ഏത് മെട്രിക് ആണ് വിജയിയെ നിർണ്ണയിക്കുന്നത് (ക്ലിക്ക്-ത്രൂ റേറ്റ്, കൺവേർഷൻ), എത്ര സാമ്പിൾ ആവശ്യമാണ്, എത്ര സമയം പ്രവർത്തിക്കണം.

ഘട്ടം 5 - ഫലം വ്യാഖ്യാനിക്കുകയും പരിശോധിക്കുകയും ചെയ്യുക. മതിയായ ഡാറ്റ ശേഖരിച്ചിട്ടുണ്ടോ, വ്യത്യാസം പ്രധാനമാണോ? ഇത് പ്രാധാന്യമർഹിക്കുന്നില്ലെങ്കിൽ, "വ്യത്യാസമില്ല" എന്നത് ഒരു സാധുവായ ഫലമാണ്.

മൂന്ന് മിനി കേസുകൾ

കേസ് 1 - ഒരൊറ്റ വേരിയബിളിൻ്റെ വ്യക്തത. ഒരു ഇ-കൊമേഴ്‌സ് ബ്രാൻഡ് അതിൻ്റെ ഉൽപ്പന്ന പരസ്യത്തിൽ CTA പരീക്ഷിച്ചു: "വാങ്ങുക", "കാർട്ടിലേക്ക് ചേർക്കുക." ബാക്കി എല്ലാം അങ്ങനെ തന്നെ ആയിരുന്നു. മതിയായ സാമ്പിളിംഗിന് ശേഷം, “കാർട്ടിലേക്ക് ചേർക്കുക” ഗണ്യമായി ഉയർന്ന പരിവർത്തനങ്ങൾ കൊണ്ടുവന്നു. ഒരൊറ്റ വേരിയബിൾ ഒറ്റപ്പെട്ടതിനാൽ വ്യത്യാസം വ്യക്തമായി വ്യാഖ്യാനിക്കാനാകും. AI രണ്ട് CTAകൾ നിർമ്മിച്ചു, ഡാറ്റ വിജയിയെ തിരഞ്ഞെടുത്തു.

കേസ് 2 - നേരത്തെയുള്ള തീരുമാന കെണി. A/B ടെസ്റ്റിൻ്റെ ആദ്യ 3 മണിക്കൂറിൽ പതിപ്പ് B മുന്നിലെത്തിയതിനാൽ ഒരു ബ്രാൻഡ് ടെസ്റ്റ് നിർത്തിയതിനാൽ മുഴുവൻ ബഡ്ജറ്റിലേക്കും B തുറന്നു. അടുത്ത ദിവസത്തെ മൊത്തം ഡാറ്റ നോക്കുമ്പോൾ, A യഥാർത്ഥത്തിൽ കുറച്ചുകൂടി മെച്ചമായിരുന്നു; ആദ്യ മണിക്കൂറുകളിലെ വ്യത്യാസം യാദൃശ്ചികമായിരുന്നു. ബജറ്റ് പാഴായി. തെറ്റ്: മതിയായ സാമ്പിൾ വലിപ്പം ഇല്ലാത്ത ഒരു അകാല തീരുമാനം എടുക്കുക.

കേസ് 3 - "വ്യത്യാസമില്ല" എന്നതും നിഗമനമാണ്. ഒരു ബ്രാൻഡ് രണ്ട് വ്യത്യസ്‌ത ചിത്രങ്ങൾ പരീക്ഷിച്ചു, മതിയായ സാമ്പിളിനുശേഷം, അവ രണ്ടും ഏതാണ്ട് ഒരേ ഫലം പുറപ്പെടുവിച്ചു. "ടെസ്റ്റ് പരാജയപ്പെട്ടു" എന്ന് ടീം വിലപിക്കാൻ ഒരുങ്ങുമ്പോൾ, ഈ പ്രചാരണത്തിൽ ചിത്രം നിർണ്ണായക ഘടകമല്ല, അതിനാൽ ശ്രമം തലക്കെട്ടിലേക്കും ഓഫറിലേക്കും നയിക്കണം എന്നതാണ് ശരിയായ വായന. കാര്യമായ വ്യത്യാസം കണ്ടെത്തിയില്ല എന്നതും വിലപ്പെട്ട വിവരമാണ്.

പകർത്താവുന്ന നാല് ടെംപ്ലേറ്റുകൾ

1) അനുമാനവും പരീക്ഷണ രൂപകൽപ്പനയും:

ഞാൻ പരീക്ഷിക്കാൻ ആഗ്രഹിക്കുന്നത്: [ഉദാ. പരസ്യ ശീർഷകം]. ടാസ്‌ക്: (1) പരീക്ഷിക്കാവുന്ന ഒരു സിദ്ധാന്തം എഴുതുക ("... വർദ്ധിപ്പിക്കുന്നു ... വർദ്ധിക്കുന്നു" എന്ന രൂപത്തിൽ).(2) ഒറ്റപ്പെടുത്താനുള്ള ഒറ്റ വേരിയബിളും സ്ഥിരമായി നിലനിർത്തേണ്ടവയും ലിസ്റ്റ് ചെയ്യുക.(3) വിജയിയെ നിർണ്ണയിക്കുന്ന മെട്രിക് നിർദ്ദേശിക്കുക (ക്ലിക്ക്-ത്രൂ റേറ്റ്/കൺവേർഷൻ).(4) ടെസ്റ്റ് സാധുതയുള്ള സമയത്തേക്കുള്ള സാധുതയുള്ള തീരുമാനം എഴുതുക.

2) വേരിയൻ്റ് ജനറേറ്റർ (സിംഗിൾ വേരിയൻ്റ്):

സ്റ്റിക്കി പരസ്യം: ചിത്രം [അതേ], CTA [അതേ], ലക്ഷ്യം [അതേ]. വേരിയബിൾ പരീക്ഷിച്ചു: HEADLINE. പ്രധാന സന്ദേശം: "[സന്ദേശം]". ടാസ്ക്: ഒരേ സന്ദേശത്തിൽ 4 വ്യത്യസ്ത തലക്കെട്ട് വേരിയൻ്റുകൾ സൃഷ്ടിക്കുക. ഓരോരുത്തരും വ്യത്യസ്ത സമീപനം ഉപയോഗിക്കുന്നു (ചോദ്യം, ആനുകൂല്യം, നമ്പർ, അടിയന്തിരം). തലക്കെട്ട് മാത്രം മാറുന്നു; അടിസ്ഥാനരഹിതമായ ഒരു ക്ലെയിം ചേർക്കുന്നു.

3) അളവ് പ്ലാൻ:

ടെസ്റ്റ്: [എ, ബി എന്നിവയുടെ നിർവചനം]. മെട്രിക്: [ക്ലിക്ക്/കൺവേർഷൻ]. ടാസ്ക്: ഒരു മെഷർമെൻ്റ് പ്ലാൻ തയ്യാറാക്കുക:(1) ഏത് മെട്രിക് ആണ് പ്രാഥമികം, ഏതാണ് ദ്വിതീയം, (2) വിജയിയെ പ്രഖ്യാപിക്കാൻ എത്ര ഡാറ്റ/സമയം ആവശ്യമാണ് (യുക്തി വിശദീകരിക്കുക),(3) എയ്ക്കും ബിക്കും ഇടയിൽ ട്രാഫിക് എങ്ങനെ തുല്യമായും ന്യായമായും വിഭജിക്കാം, (4) ഏത് ബാഹ്യ ഘടകങ്ങളാണ് ഫലം വികലമാക്കുന്നത്. കൃത്യമായ സ്ഥിതിവിവരക്കണക്കുകൾ.

4) ഫല വ്യാഖ്യാതാവ് (ശ്രദ്ധയോടെ):

എൻ്റെ എ/ബി ടെസ്റ്റ് ഫലങ്ങൾ (യഥാർത്ഥ ഡാറ്റ): [എ: ഇംപ്രഷനുകൾ/ക്ലിക്കുകൾ/പരിവർത്തനം],[ബി: ഇംപ്രഷനുകൾ/ക്ലിക്കുകൾ/പരിവർത്തനം]. ടാസ്‌ക്: (1) ഓരോ പതിപ്പിൻ്റെയും നിരക്കുകൾ കണക്കാക്കി പ്രദർശിപ്പിക്കുക.(2) വ്യത്യാസത്തിൻ്റെ വ്യാപ്തിയെക്കുറിച്ച് അഭിപ്രായം പറയുക, എന്നാൽ സാമ്പിൾ പര്യാപ്തമല്ലെങ്കിൽ, "അർഥപൂർണമായ ഫലത്തിന് മതിയായ ഡാറ്റ ഇല്ല" എന്ന് പറയുക.(3) പ്രാധാന്യത്തിൻ്റെ നിർണായക അവകാശവാദം; ഒരു പ്രത്യേക അക്കൗണ്ട് ടൂൾ ഉപയോഗിച്ച് ഞാൻ സ്ഥിരീകരിക്കും.

ദുർബലമായ പ്രോംപ്റ്റ് / ശക്തമായ പ്രോംപ്റ്റ്

ദുർബലമായ പ്രോംപ്റ്റ്:

എൻ്റെ പരസ്യത്തിനായി എ, ബി പതിപ്പുകൾ നിർമ്മിക്കുക, ഏതാണ് മികച്ചതെന്ന് എന്നോട് പറയുക.

വേരിയബിൾ ഒറ്റപ്പെട്ടതല്ല, അനുമാനവും അളവും ഇല്ല; ഡാറ്റയില്ലാതെ ഏതാണ് "നല്ലത്" എന്ന് AI-ക്ക് അറിയാൻ കഴിയില്ല, അത് ഉണ്ടാക്കുന്നു.

ശക്തമായ നിർദ്ദേശം:

ഞാൻ A/B ടെസ്റ്റിംഗ് സജ്ജീകരിക്കുകയാണ്. സ്ഥിരം: ചിത്രവും സിടിഎയും അതേപടി നിലനിൽക്കും. വേരിയബിൾ പരീക്ഷിച്ചു: പരസ്യ തലക്കെട്ട്. അനുമാനം: "നമ്പറുകളുള്ള തലക്കെട്ടിന് പൊതു തലക്കെട്ടിനേക്കാൾ കൂടുതൽ ക്ലിക്കുകൾ ലഭിക്കുന്നു." പ്രധാന സന്ദേശം: "3 ദിവസത്തിനുള്ളിൽ ഡെലിവർ ചെയ്തു." ടാസ്‌ക്: (1) നിയന്ത്രണത്തിനായി 1 പൊതു തലക്കെട്ടുകൾ നിർമ്മിക്കുക, അക്കങ്ങളുള്ള 3 തലക്കെട്ടുകൾ ഞാൻ വേരിയൻ്റിനായി നോക്കണം. ടെസ്റ്റ് അസാധുവാക്കിയേക്കാവുന്ന 3 തെറ്റുകൾ എന്നെ ഓർമ്മിപ്പിക്കുക.ഏത് വിജയിക്കുമെന്ന് പ്രവചിക്കരുത്; ഡാറ്റ അത് നിർണ്ണയിക്കും.

രണ്ടാമത്തെ ക്ലെയിം ഒരൊറ്റ വേരിയബിളിനെ വേർതിരിക്കുന്നു, അതിൽ അനുമാനവും അളവും ഉൾപ്പെടുന്നു; വിജയിയെ ഡാറ്റയിലേക്ക് വിടുന്നു.

സാധാരണ തെറ്റുകൾ

• ഒരേസമയം നിരവധി ഇനങ്ങൾ മാറ്റുന്നു. വിജയിയുടെ കാരണം വ്യക്തമല്ല; ഒരൊറ്റ വേരിയബിൾ ഒറ്റപ്പെടുത്തണം.
• അപര്യാപ്തമായ സാമ്പിളുകൾ ഉപയോഗിച്ച് തീരുമാനങ്ങൾ എടുക്കുന്നു. ആദ്യ മണിക്കൂറുകളിലെ വ്യത്യാസം പലപ്പോഴും യാദൃശ്ചികമാണ്.
• അനുമാനങ്ങളില്ലാതെ പരിശോധന. "എന്താണ് സംഭവിക്കുന്നതെന്ന് നമുക്ക് നോക്കാം" പരിശോധന പഠനത്തിന് കാരണമാകില്ല; ആദ്യം നിങ്ങൾ പ്രതീക്ഷിക്കുന്നത് എഴുതുക.
• "വ്യത്യാസമില്ല" എന്ന ഫലം പരാജയമായി തെറ്റിദ്ധരിക്കുന്നു. കാര്യമായ വ്യത്യാസമില്ലാത്തതും വിവരദായകമാണ്.
• അഭിരുചിയുടെ അടിസ്ഥാനത്തിലാണ് വിജയിയെ തിരഞ്ഞെടുക്കുന്നത്. വ്യക്തിപരമായ അഭിരുചി ഒഴിവാക്കാനാണ് പരിശോധന; ഡാറ്റ പിന്തുടരുക.
• ബാഹ്യ ഘടകങ്ങളെ മറക്കുന്നു. സീസൺ, പ്രചാരണ ദിവസം, വാർത്താ പ്രവാഹം എന്നിവ ഫലത്തെ വളച്ചൊടിച്ചേക്കാം; പരിശോധനാ സാഹചര്യങ്ങൾ ന്യായമായി നിലനിർത്തുക.

ശ്രദ്ധിക്കുക: എ/ബി ടെസ്റ്റിംഗിൻ്റെ ലക്ഷ്യം "വിജയിക്കുക" എന്നല്ല, പഠിക്കുക എന്നതാണ്. ഒരു വേരിയൻ്റ് നഷ്ടപ്പെടുന്നത് പോലും വിലപ്പെട്ട വിവരമാണ്; അപര്യാപ്തമായ ഡാറ്റ ഉപയോഗിച്ച് തെറ്റായ ഫലത്തെ ആശ്രയിക്കുകയും ബജറ്റ് അതിനോട് ബന്ധിപ്പിക്കുകയും ചെയ്യുന്നതാണ് യഥാർത്ഥ നഷ്ടം.

ചുരുക്കത്തിൽ

ആശയത്തിൽ നിന്ന് ഡാറ്റയിലേക്ക് പരസ്യ തീരുമാനങ്ങൾ നീക്കുന്ന ശക്തമായ ഒരു രീതിയാണ് എ/ബി ടെസ്റ്റിംഗ്. ഒരൊറ്റ വേരിയബിളിനെ ഒറ്റപ്പെടുത്തുക എന്നതാണ് സുവർണ്ണ നിയമം: ഒരു ടെസ്റ്റിൽ ഒരു ഘടകം മാത്രമേ മാറാവൂ, ബാക്കിയുള്ളത് സ്ഥിരമായി തുടരണം. രണ്ടാമത്തെ സ്തംഭം മതിയായ സാമ്പിളും സ്റ്റാറ്റിസ്റ്റിക്കൽ പ്രാധാന്യവുമാണ്; കുറച്ച് ഡാറ്റ ഉപയോഗിച്ച് വിജയിയെ പ്രഖ്യാപിക്കുന്നത് ഏറ്റവും ചെലവേറിയ തെറ്റാണ്. ഒന്നിലധികം വകഭേദങ്ങൾ സൃഷ്ടിക്കുന്നതിനും അസന്തുലിതാവസ്ഥ കണക്കാക്കുന്നതിനും വ്യാഖ്യാനിക്കുന്നതിനും AI സഹായകരമാണ്, എന്നാൽ ഡാറ്റയാണ് വിജയിയെ നിർണ്ണയിക്കുന്നത്, AI അല്ല. "വ്യത്യാസമില്ല" എന്ന ഫലം പോലും ഒരു പഠനമാണ്. പരീക്ഷ ആരംഭിക്കുന്നതിന് മുമ്പ് സിദ്ധാന്തം, മെട്രിക്, തീരുമാന പരിധി എന്നിവ എഴുതണം.

ആപ്ലിക്കേഷൻ ടാസ്ക്

ഒരു ക്രിയേറ്റീവ് തിരഞ്ഞെടുക്കുക (തലക്കെട്ട്, ചിത്രം അല്ലെങ്കിൽ CTA). (1) "ഹൈപ്പോഥെസിസും ടെസ്റ്റ് ഡിസൈനും" ഉപയോഗിച്ച് പരീക്ഷിക്കാവുന്ന ഒരൊറ്റ സിദ്ധാന്തവും ഒറ്റപ്പെട്ട വേരിയബിളും എഴുതുക. (2) "വേരിയൻ്റ് ജനറേറ്റർ" ഉപയോഗിച്ച് 1 കൺട്രോൾ + 3 വേരിയൻ്റുകൾ സൃഷ്ടിക്കുക; ആ ഘടകം മാറ്റുക. (3) "മെഷർമെൻ്റ് പ്ലാൻ" ഉപയോഗിച്ച് നിങ്ങൾ ഏത് മെട്രിക് നോക്കണം, എത്ര സമയത്തേക്ക്, ഏത് ഡാറ്റ ഉപയോഗിച്ച് ആസൂത്രണം ചെയ്യുക. (4) വിജയിയെ പ്രഖ്യാപിക്കുന്നതിനുള്ള നിങ്ങളുടെ പരിധി (എത്ര പരിവർത്തനങ്ങൾ / എന്ത് പ്രാധാന്യം) മുൻകൂട്ടി എഴുതുക. (5) ഒരു "ഫല വ്യാഖ്യാതാവ്" ഉപയോഗിച്ച് സാങ്കൽപ്പിക ഫലങ്ങൾ പരിഗണിക്കുക, ഡാറ്റ അപര്യാപ്തമായ ഒരു സാഹചര്യത്തിൽ നിങ്ങൾ എന്തുകൊണ്ട് തീരുമാനമെടുക്കില്ല എന്ന് ശ്രദ്ധിക്കുക.

ചെക്ക്ലിസ്റ്റ്

• [ ] ഞാൻ ടെസ്റ്റിൽ ഒരു വേരിയബിൾ മാത്രം വേർതിരിച്ചു.
• [ ] പരീക്ഷയ്ക്ക് മുമ്പ് ഞാൻ വ്യക്തമായ ഒരു സിദ്ധാന്തം എഴുതി.
• [ ] വിജയിക്ക് ആവശ്യമായ സാമ്പിളും സമയവും ഞാൻ ഇതിനകം നിശ്ചയിച്ചിട്ടുണ്ട്.
• [ ] ഞാൻ വിജയിയെ തിരഞ്ഞെടുത്തത് വ്യക്തിഗത അഭിരുചിയല്ല, ഡാറ്റയെ അടിസ്ഥാനമാക്കിയാണ്.
• [ ] "വ്യത്യാസമില്ല" എന്ന ഫലം സാധുവായ പഠനമായി ഞാൻ കണക്കാക്കി.
• [ ] ഫലത്തെ വികലമാക്കുന്ന ബാഹ്യ ഘടകങ്ങൾ ഞാൻ പരിശോധിച്ചു.