A/B ሙከራ እና የሙከራ ንድፍ፡ ተለዋጭ ግንባታ እና ጠቀሜታ

ትርፍ፡

• የA/B ፈተናን፣ የቁጥጥር/ተለዋዋጭን፣ የልወጣ ፍጥነትን እና ስታቲስቲካዊ ጠቀሜታን ፅንሰ-ሀሳቦችን የመረዳት እና መላምቶችን እና ዲዛይኖችን በሰው ሰራሽ የማሰብ ችሎታ የመወሰን ችሎታ።
• የሚሞከረውን ነጠላ ተለዋዋጭ የመለየት ችሎታ እና ተለዋጭ ጽሑፍ/ምስል እና የመለኪያ እቅድ በአርቴፊሻል ኢንተለጀንስ ድጋፍ
• የአርቴፊሻል ኢንተለጀንስ የፈተና አተረጓጎም በናሙና መጠን እና ጠቀሜታ የተገደበ መሆኑን የመለየት ችሎታ እና ያለጊዜው/የተሳሳቱ ውጤቶችን የማንበብ አደጋ

በማስታወቂያ ውስጥ በጣም አደገኛ የሆነው ዓረፍተ ነገር "ይህ የተሻለ ይመስለኛል." መረጃ፣ አስተያየት ሳይሆን፣ ርዕስ፣ ምስል ወይም አዝራር በእርግጥ የተሻለ እንደሆነ ይነግርዎታል። ይህንን ለመለካት በጣም የተለመደው መንገድ የኤ/ቢ ሙከራ ነው፡ ሁለት (ወይም ከዚያ በላይ) ተመሳሳይ ማስታወቂያ ስሪቶችን ለእውነተኛ ተጠቃሚዎች ማሳየት እና የትኛው የተሻለ እንደሚሰራ ማወዳደር ነው። "ሀ" ብዙውን ጊዜ የአሁኑ ስሪት (መቆጣጠሪያ) ሲሆን "B" ግን አዲሱ ስሪት እየተሞከረ ነው (ተለዋዋጭ)። ለምሳሌ፣ ርዕሱን በተመሳሳይ ማስታወቂያ ብቻ መቀየር እና የትኛው ርዕስ የበለጠ ጠቅ እንደተደረገ መለካት ይችላሉ። አርቲፊሻል ኢንተለጀንስ በዚህ ሂደት ውስጥ ብዙ ቁጥር ያላቸውን ተለዋጮች በማመንጨት እና ውጤቱን በመተርጎም ረገድ አጋዥ ነው። ነገር ግን የፈተናው ሳይንሳዊ ትክክለኛነት በንድፍ ደንቦች እና በትዕግስት ላይ የተመሰረተ ነው.

የA/B ሙከራ ወርቃማ ህግ፡ አንድ ተለዋዋጭ

የ A/B ሙከራ በጣም መሠረታዊው ህግ ነጠላ ተለዋዋጭ መለየት ነው። ርዕሱን፣ ምስሉን እና አዝራሩን በተመሳሳይ ጊዜ ከቀየሩ እና ስሪት B ካሸነፈ፣ ምን እንዳሸነፈ ማወቅ አይችሉም። ስለዚህ በፈተና ውስጥ አንድ አካል ብቻ መለወጥ አለበት ፣ የተቀረው ቋሚ መሆን አለበት። ከአንድ በላይ እቃዎችን በአንድ ጊዜ እና በስርዓት መሞከር ከፈለጉ, ይህ multivariate test ይባላል እና በጣም ትልቅ ናሙና ያስፈልገዋል; Univariate A/B ፈተና ለመጀመር መንገድ ነው።

ሁለተኛው መሠረታዊ ጽንሰ-ሐሳብ የስታቲስቲክስ ጠቀሜታ ነው. ስሪት ሀ 3 በመቶ ጠቅታዎች እና ቢ ስሪት 3.3 በመቶ ጠቅታዎች አግኝቷል እንበል። ይህ ልዩነት እውነተኛ ጥቅም ነው ወይንስ ቅልጥፍና? ፈተናውን ለ 100 ሰዎች ብቻ ካሳዩ ይህ ልዩነት በአጋጣሚ ሊሆን ይችላል. ስታትስቲካዊ ጠቀሜታ ማለት የሚታየው ልዩነት በአጋጣሚ የመሆን ዕድሉ አነስተኛ ነው (ማለትም ልዩነቱ ምናልባት እውነት ነው)። ይህ በቂ የናሙና መጠን (ፈተናውን የሚያዩ ሰዎች ብዛት) ያስፈልገዋል። በትንሽ መረጃ "አሸናፊ" ማወጅ በጣም የተለመደ እና ውድ ስህተት ነው.

ጠቃሚ ምክር፡ ፈተናውን ከመጀመርዎ በፊት “አሸናፊውን መቼ አውጃለሁ” የሚለውን ጥያቄ ይመልሱ፡ ምን ያህል ሰዎች/ከለውጥ በኋላ፣ በምን ደረጃ ላይ እንዳሉ። ይህንን ውሳኔ አስቀድመው ማድረግ በመጀመሪያዎቹ ሰዓታት ውስጥ በጩኸት ውስጥ እንዳትጠመዱ እና ያለጊዜው ውሳኔ እንዲያደርጉ ይከለክላል.

የሚከተለው ሠንጠረዥ ጥሩ እና መጥፎውን የኤ/ቢ ሙከራ ንድፍ ያወዳድራል፡-

ንጥል ነገር

መጥፎ ንድፍ

ጥሩ ንድፍ

የተለዋዋጮች ብዛት

ርዕስ + ምስል + አዝራር አንድ ላይ

ርዕስ ብቻ

መላምት

(ምንም) "ምን እንደ ሆነ እንይ"

"ጥያቄዎች ያሏቸው ርዕሶች ጠቅታዎችን ይጨምራሉ"

ናሙና

80 ሰዎች

አስቀድሞ የተሰላ ምልአተ ጉባኤ

የውሳኔ ጊዜ

ከ 2 ሰዓታት በኋላ

ጠቀሜታ ሲደርሱ

አሸናፊ ምርጫ

"ቢ ጥሩ ነው ብዬ አስባለሁ"

በመረጃ እና አስፈላጊነት ላይ በመመስረት

ደረጃ በደረጃ፡ የA/B ፈተናን ማዘጋጀት

ደረጃ 1 - መላምት ይጻፉ። ምን እየሞከርክ ነው እና ለምን? ግልጽ መላምት እንደ "ጥቅማ ጥቅሞች ያለው ርዕስ ከአንድ አርዕስት ይልቅ ብዙ ጠቅታዎችን ያገኛል."

ደረጃ 2 - ነጠላ ተለዋዋጭ ይምረጡ። ርዕሱን ብቻ፣ ወይም ምስሉን ብቻ፣ ወይም ሲቲኤ ብቻ።

ደረጃ 3 - ተለዋጮችን ይፍጠሩ. ከ AI ጋር አንድ አይነት ንጥል የተለያዩ ስሪቶችን ይፍጠሩ; ቀሪውን ያለማቋረጥ ያስቀምጡ.

ደረጃ 4 - የመለኪያ እቅድ ያዘጋጁ. አሸናፊውን የሚወስነው የትኛው መለኪያ ነው (በጠቅታ መጠን፣ ልወጣ)፣ ምን ያህል ናሙና እንደሚያስፈልግ፣ ለምን ያህል ጊዜ እንደሚሮጥ።

ደረጃ 5 - ውጤቱን መተርጎም እና ማረጋገጥ። በቂ መረጃ ተሰብስቧል፣ ልዩነቱ ጉልህ ነው? ጉልህ ካልሆነ "ልዩነት የለም" እንዲሁ ትክክለኛ ውጤት ነው.

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - የአንድ ነጠላ ተለዋዋጭ ግልጽነት. የኢ-ኮሜርስ ብራንድ በምርት ማስታወቂያው ላይ CTA ሞክሯል፡ “ግዛ” እና “ወደ ጋሪ አክል”። የተቀረው ነገር ሁሉ ተመሳሳይ ነበር። ከበቂ ናሙና በኋላ፣ "ወደ ጋሪ አክል" ጉልህ የሆነ ከፍተኛ ልወጣዎችን አምጥቷል። ልዩነቱ በግልጽ ሊተረጎም ይችላል ምክንያቱም አንድ ነጠላ ተለዋዋጭ ተለይቷል. AI ሁለት ሲቲኤዎችን አዘጋጅቷል, መረጃው አሸናፊውን መርጧል.

ጉዳይ 2 - ቀደምት ውሳኔ ወጥመድ. አንድ የምርት ስም ሙከራውን አቁሟል ምክንያቱም ስሪት B በመጀመሪያዎቹ 3 ሰዓታት ውስጥ በኤ/ቢ ፈተና ውስጥ ቀድሞ ስለነበር እና ለጠቅላላው በጀት ስለከፈተ። በሚቀጥለው ቀን አጠቃላይ ውሂብ በመመልከት, ሀ በእርግጥ በትንሹ የተሻለ ነበር; በመጀመሪያዎቹ ሰዓቶች ውስጥ ያለው ልዩነት በአጋጣሚ ነበር. በጀቱ ባክኗል። ስህተት፡ በቂ ያልሆነ የናሙና መጠን ያለጊዜው ውሳኔ ማድረግ።

ጉዳይ 3 - "ምንም ልዩነት የለም" ደግሞ መደምደሚያ ነው. አንድ የምርት ስም ሁለት የተለያዩ ምስሎችን ሞክሯል, እና በቂ ናሙና ካደረጉ በኋላ, ሁለቱም ተመሳሳይ ውጤት አመጡ. ቡድኑ "ሙከራው አልተሳካም" ብሎ ሊያዝኖ በቀረበበት ወቅት ትክክለኛው ንባብ ምስሉ በዚህ ዘመቻ ላይ የሚወስን አካል ስላልሆነ ጥረቱ ወደ ርዕሰ ዜናው እና ወደ አቅርቦቱ መቅረብ አለበት. ጉልህ ልዩነት አለመኖሩም ጠቃሚ መረጃ ነው።

አራት ሊገለበጡ የሚችሉ አብነቶች

1) መላምት እና የሙከራ ንድፍ;

መሞከር የምፈልገው፡- [ለምሳሌ፡. ad title] .ተግባር፡ (1) አንድ ሊሞከር የሚችል መላምት ይፃፉ ("... ይጨምራል ... ይጨምራል")።(2) የሚነጠል ነጠላ ተለዋዋጭ እና ቋሚ የሆኑትን ይዘርዝሩ።(3) አሸናፊውን የሚወስነውን መለኪያ ጠቁም (ጠቅ አድርግ ተመን/ልወጣ)።(4) ፈተናውን ለማረጋገጥ ትኩረት መስጠት ያለብኝን ጻፍ (ናሙና፣ የቆይታ ጊዜ፣ የቀደመ ውሳኔ)።

2) ተለዋጭ ጀነሬተር (ነጠላ ተለዋጭ)

ተለጣፊ ማስታወቂያ፡ ምስል [ተመሳሳይ]፣ CTA [ተመሳሳይ]፣ ኢላማ [ተመሳሳይ]። ተለዋዋጭ የተፈተነ፡ HEADLINE ዋና መልእክት፡ "[መልእክት]"። ተግባር፡ 4 የተለያዩ የርእሰ ዜና ልዩነቶችን በተመሳሳዩ መልእክት ይፍጠሩ። እያንዳንዳቸው የተለየ አቀራረብ (ጥያቄ, ጥቅም, ቁጥር, አጣዳፊነት) ይጠቀማሉ. አርዕስተ ዜና ብቻ ይቀየራል; ያልተረጋገጠ የይገባኛል ጥያቄ በማከል ላይ።

3) የመለኪያ እቅድ;

ፈተና፡ [A እና B ትርጉም]። መለኪያ፡ [ጠቅ/መቀየር]።ተግባር፡ የመለኪያ እቅድ ነድፋ፡(1) የትኛው መለኪያ ቀዳሚ፣ ሁለተኛ ደረጃ ነው፣ (2) አሸናፊውን ለመግለጽ ምን ያህል መረጃ/ጊዜ እንደሚያስፈልግ (አመክንዮውን ግለጽ)፣ (3) ትራፊክን በ A እና B መካከል በእኩል እና በፍትሃዊነት እንዴት መከፋፈል እንደሚቻል፣(4) ውጤቱን የሚያዛባው ምን አይነት ውጫዊ ሁኔታዎች ውጤቱን ሊያዛቡ ይችላሉ (ወቅት፣ የሳምንቱን ቀን) በትክክል ለማስላት።

4) የውጤት አስተርጓሚ (ጥንቃቄ):

የእኔ A/B የፈተና ውጤቶች (እውነተኛ መረጃ): [ሀ: ግንዛቤዎች/ጠቅታ/መቀየር]፣[B: ግንዛቤዎች/ጠቅታ/መቀየር]፣ ተግባር፡ (1) የእያንዳንዱን ስሪት ተመኖች አስላ እና አሳይ።(2) የልዩነቱን መጠን አስተያየት ስጥ፣ ነገር ግን ናሙናው በቂ ካልሆነ፣ “ትርጉም ላለው ውጤት በቂ ያልሆነ መረጃ አላነበብም” ይበሉ። ጠቀሜታ; በተለየ የመለያ መሣሪያ አረጋግጣለሁ።

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ ጥያቄ፡

ለማስታወቂያዬ A እና B እትም አዘጋጅ፣ የትኛው የተሻለ እንደሆነ ንገረኝ።

ተለዋዋጭው አይገለልም, መላምት እና መለኪያ የለም; AI ያለ ውሂብ የትኛው "ጥሩ" እንደሆነ ማወቅ አይችልም, ያደርገዋል.

ኃይለኛ ጥያቄ፡-

የA/B ሙከራን እያዘጋጀሁ ነው። ቋሚ፡ ምስል እና ሲቲኤ አንድ አይነት ሆነው ይቀራሉ።ተለዋዋጭ ብቻ ነው የተፈተነው፡ የማስታወቂያ ርዕስ። መላምት፡ "ቁጥር ያለው ርዕስ ከአጠቃላይ አርእስት የበለጠ ጠቅታዎችን ያገኛል" ዋና መልእክት፡ "በ3 ቀናት ውስጥ ተላልፏል።" ተግባር፡ (1) 1 አጠቃላይ አርዕስተን ለቁጥጥር፣ 3 አርዕስተ ዜናዎችን ለተለዋዋጭነት አቅርቡ።(2) አሸናፊው የትኛውን መለኪያ እንዳየኝ ንገረኝ (3)። ፈተናውን ሊያሳጣው ይችላል። የትኛው እንደሚያሸንፍ አይተነብይ። መረጃው ይወስናል.

ሁለተኛው የይገባኛል ጥያቄ አንድ ነጠላ ተለዋዋጭ, መላምት እና መለካት ያካትታል; አሸናፊውን ወደ መረጃው ይተዋል.

የተለመዱ ስህተቶች

• ብዙ እቃዎችን በአንድ ጊዜ መለወጥ. አሸናፊው ምክንያቱ ግልጽ አይሆንም; ነጠላ ተለዋዋጭ ተለይቶ መቀመጥ አለበት.
• በቂ ባልሆኑ ናሙናዎች ውሳኔዎችን ማድረግ. በመጀመሪያዎቹ ሰዓቶች ውስጥ ያለው ልዩነት ብዙውን ጊዜ በአጋጣሚ ነው.
• ያለ መላምት መሞከር። “የሚሆነውን እንይ” ፈተና መማርን አያመጣም። በመጀመሪያ የሚጠብቁትን ይፃፉ.
• ውጤቱን "ምንም ልዩነት የለም" እንደ አለመሳካት ስህተት. ጉልህ ልዩነት አለመኖሩም መረጃ ሰጪ ነው።
• በጣዕም ላይ በመመስረት አሸናፊውን መምረጥ. መሞከር የግል ጣዕምን ለማስወገድ በትክክል ነው; መረጃውን ይከተሉ።
• ውጫዊ ሁኔታዎችን መርሳት. ወቅት, የዘመቻ ቀን, የዜና ፍሰት ውጤቱን ሊያዛባ ይችላል; የሙከራ ሁኔታዎች ፍትሃዊ ይሁኑ።

ትኩረት፡ የA/B ፈተና አላማ "ማሸነፍ" ሳይሆን መማር ነው። ተለዋጭ ማጣት እንኳን ጠቃሚ መረጃ ነው; ትክክለኛው ኪሳራ በተሳሳተ መረጃ ላይ በቂ ያልሆነ መረጃ ላይ ተመርኩዞ በጀቱን ከእሱ ጋር ማያያዝ ነው.

በማጠቃለያው

የA/B ሙከራ የማስታወቂያ ውሳኔዎችን ከሃሳብ ወደ ውሂብ የሚያንቀሳቅስ ኃይለኛ ዘዴ ነው። ወርቃማው ህግ ነጠላ ተለዋዋጭን ማግለል ነው: በፈተና ውስጥ አንድ አካል ብቻ መለወጥ አለበት, የተቀረው ቋሚ መሆን አለበት. ሁለተኛው ምሰሶ በቂ ናሙና እና ስታቲስቲካዊ ጠቀሜታ; በትንሽ ዳታ አሸናፊን ማወጅ በጣም ውድ ስህተት ነው። AI በርካታ ተለዋጮችን በማመንጨት እና ዕድሎችን በማስላት እና በመተርጎም ረገድ አጋዥ ነው፣ነገር ግን ውሂቡ የሚወስነው አሸናፊውን እንጂ AI አይደለም። "ልዩነት የለም" ውጤቱ እንኳን መማር ነው። ፈተናው ከመጀመሩ በፊት መላምቱ፣ መለኪያው እና የውሳኔው ገደብ መፃፍ አለበት።

የመተግበሪያ ተግባር

አንድ ፈጠራ ይምረጡ (ርዕስ፣ ምስል ወይም ሲቲኤ)። (1) አንድ ሊሞከር የሚችል መላምት እና የተናጠል ተለዋዋጭ በ"መላምት እና የሙከራ ንድፍ" ይጻፉ። (2) 1 መቆጣጠሪያ + 3 ተለዋጮችን በ "ተለዋዋጭ ጀነሬተር" ይፍጠሩ; ያንን አካል ብቻ ይለውጡ። (3) የትኛውን መለኪያ እንደሚመለከቱት፣ ለምን ያህል ጊዜ እና በምን ውሂብ፣ በ"መለኪያ እቅድ" ያቅዱ። (4) አሸናፊውን (ስንት ልወጣዎች/ምን ጠቃሚነት) ለማወጅ መግቢያዎን አስቀድመው ይጻፉ። (5) በ"ውጤት አስተርጓሚ" መላምታዊ ውጤቶችን አስቡ እና መረጃው በቂ ባልሆነ ሁኔታ ውስጥ ለምን ውሳኔ እንደማትሰጥ አስተውል።

የማረጋገጫ ዝርዝር

• [] በፈተናው ውስጥ አንድ ተለዋዋጭ ብቻ ለይቻለሁ።
• [ ] ከፈተናው በፊት ግልጽ የሆነ መላምት ጽፌ ነበር።
• [ ] ለአሸናፊው የሚያስፈልገውን ናሙና እና ጊዜ አስቀድሜ ወስኛለሁ።
• [ ] አሸናፊውን የመረጥኩት በመረጃ እንጂ በግል ምርጫ አይደለም።
• [ ] "ምንም ልዩነት የለም" ውጤቱን ልክ እንደ ትምህርት ቆጥሬዋለሁ።
• [ ] ውጤቱን ሊያዛቡ የሚችሉ ውጫዊ ሁኔታዎችን አጣራሁ።