ලාභ:
- A/B පරීක්ෂාව, පාලන/විචල්යය, පරිවර්තන අනුපාතය සහ සංඛ්යානමය වැදගත්කම යන සංකල්ප තේරුම් ගැනීමට සහ කෘතිම බුද්ධිය සමඟ උපකල්පන සහ පරීක්ෂණ සැලසුම් ස්ථාපිත කිරීමේ හැකියාව.
- පරීක්ෂා කළ යුතු තනි විචල්යය හුදකලා කිරීමට සහ කෘතිම බුද්ධි සහාය ඇතිව ප්රභේද පෙළ/රූප සහ මිනුම් සැලැස්මක් නිෂ්පාදනය කිරීමේ හැකියාව
- කෘත්රිම බුද්ධියේ පරීක්ෂණ අර්ථ නිරූපණය නියැදි ප්රමාණය සහ වැදගත්කම සහ නොමේරූ/වැරදි ප්රතිඵල කියවීමේ අවදානම අනුව සීමා වී ඇති බව වෙන්කර හඳුනා ගැනීමේ හැකියාව
වෙළඳ ප්රචාරණයේ ඇති භයානකම වාක්යය වන්නේ "මම හිතන්නේ මේක හොඳයි" යන්නයි. ශීර්ෂ පාඨයක්, රූපයක් හෝ බොත්තමක් ඇත්තෙන්ම වඩා හොඳ දැයි ඔබට පවසන්නේ මතය නොව දත්තය. මෙය මැනීමට වඩාත් පොදු ක්රමය නම් A/B පරීක්ෂණයයි: සැබෑ පරිශීලකයින්ට එකම වෙළඳ දැන්වීමේ (හෝ ඊට වැඩි) අනුවාද දෙකක් පෙන්වීම සහ වඩා හොඳින් ක්රියා කරන එක සංසන්දනය කිරීම. "A" යනු සාමාන්යයෙන් වත්මන් අනුවාදය (පාලනය), "B" යනු උත්සාහ කරන නව අනුවාදයයි (විචල්යය). උදාහරණයක් ලෙස, ඔබට එකම දැන්වීමේ මාතෘකාව පමණක් වෙනස් කළ හැකි අතර වැඩිපුර ක්ලික් කළ මාතෘකාව මැනිය හැකිය. කෘත්රිම බුද්ධිය මෙම ක්රියාවලියේදී ප්රභේද විශාල සංඛ්යාවක් උත්පාදනය කිරීමේදී සහ ප්රතිඵලය අර්ථකථනය කිරීමේදී උපකාරී වේ. නමුත් පරීක්ෂණයේ විද්යාත්මක වලංගුභාවය සැලසුම් නීති සහ ඉවසීම මත රඳා පවතී.
A/B පරීක්ෂණයේ රන් රීතිය: එක් විචල්යයක්
A/B පරීක්ෂණයේ මූලිකම රීතිය වන්නේ තනි විචල්යයක් හුදකලා කිරීමයි. ඔබ එකම අවස්ථාවේදීම මාතෘකාව, රූපය සහ බොත්තම වෙනස් කර B අනුවාදය ජයග්රහණය කළහොත්, ඔබ ජයග්රහණය කළේ කුමක්දැයි කිසිදා නොදනී. එබැවින් පරීක්ෂණයකදී එක් මූලද්රව්යයක් පමණක් වෙනස් විය යුතුය, ඉතිරිය නියතව පැවතිය යුතුය. ඔබට එකවර සහ ක්රමානුකූලව අයිතම එකකට වඩා පරීක්ෂා කිරීමට අවශ්ය නම්, මෙය බහුවිචල්ය පරීක්ෂාව ලෙස හඳුන්වන අතර ඊට වඩා විශාල සාම්පලයක් අවශ්ය වේ; Univariate A/B පරීක්ෂණය ආරම්භ කිරීමට මාර්ගයයි.
දෙවන මූලික සංකල්පය සංඛ්යානමය වැදගත්කමයි. අපි හිතමු A අනුවාදයට සියයට 3ක් ක්ලික් කිරීම් සහ B අනුවාදයට සියයට 3.3 ක්ලික් කිරීම් ලැබුණා. මෙම වෙනස සැබෑ වාසියක් ද නැතහොත් උගුලක් ද? ඔබ 100 දෙනෙකුට පමණක් පරීක්ෂණය පෙන්වූයේ නම්, මෙම වෙනස අහම්බයක් විය හැකිය. සංඛ්යානමය වැදගත්කම යන්නෙන් අදහස් වන්නේ නිරීක්ෂණය කරන ලද වෙනස අහම්බයක් නිසා ඇති වීමට ප්රමාණවත් නොවන බවයි (එනම්, වෙනස සැබෑ විය හැකිය). මේ සඳහා ප්රමාණවත් සාම්පල ප්රමාණයක් අවශ්ය වේ (පරීක්ෂණය බලන පුද්ගලයින් සංඛ්යාව). කුඩා දත්ත සහිත "ජයග්රාහකයෙකු" ප්රකාශ කිරීම වඩාත් පොදු සහ මිල අධික වැරැද්දකි.
ඉඟිය: පරීක්ෂණය ආරම්භ කිරීමට පෙර, "මම ජයග්රාහකයා ප්රකාශ කරන්නේ කවදාද" යන ප්රශ්නයට පිළිතුරු දෙන්න: කොපමණ පුද්ගලයින්/පශ්චාත් පරිවර්තනය, කුමන වැදගත් මට්ටමින්. මෙම තීරණය කල්තියා ගැනීමෙන් පළමු පැය තුළ ඝෝෂාවට හසු වී නොමේරූ තීරණයක් ගැනීම වළක්වයි.
පහත වගුව හොඳ සහ නරක A/B පරීක්ෂණ සැලසුම සංසන්දනය කරයි:
අයිතමය
නරක නිර්මාණය
හොඳ නිර්මාණයක්
විචල්ය ගණන
මාතෘකාව + රූපය + බොත්තම එකට
මාතෘකාව පමණි
උපකල්පනය
(කිසිවක් නැත) "අපි බලමු මොකද වෙන්නේ කියලා"
"ප්රශ්න සහිත මාතෘකා ක්ලික් කිරීම් වැඩි කරයි"
නියැදිය
80 දෙනෙක්
පූර්ව ගණනය කළ ගණපූරණය
තීරණ කාලය
පැය 2 කට පසුව
ඔබ වැදගත්කමට ළඟා වූ විට
ජයග්රාහකයා තේරීම
"මම හිතන්නේ බී හොඳයි"
දත්ත සහ වැදගත්කම මත පදනම්ව
පියවරෙන් පියවර: A/B පරීක්ෂණයක් පිහිටුවීම
පියවර 1 - උපකල්පනයක් ලියන්න. ඔබ පරීක්ෂා කරන්නේ කුමක්ද සහ ඇයි? "විශේෂාංග සහිත සිරස්තලයකට වඩා ප්රතිලාභ සහිත සිරස්තලයකට වැඩි ක්ලික් කිරීම් ලැබේ" වැනි පැහැදිලි උපකල්පනයක්.
පියවර 2 - තනි විචල්යයක් තෝරන්න. මාතෘකාව පමණක් හෝ රූපය පමණක් හෝ CTA පමණි.
පියවර 3 - ප්රභේද ජනනය කරන්න. AI සමඟ එකම අයිතමයේ විවිධ අනුවාද සාදන්න; ඉතිරිය නියතව තබා ගන්න.
පියවර 4 - මිනුම් සැලැස්මක් සකසන්න. කුමන මෙට්රික් ජයග්රාහකයා තීරණය කරයි (ක්ලික් කිරීම හරහා අනුපාතය, පරිවර්තනය), කොපමණ නියැදිය අවශ්යද, කොපමණ කාලයක් ධාවනය කළ යුතුද.
පියවර 5 - ප්රතිඵලය අර්ථකථනය කර තහවුරු කරන්න. ප්රමාණවත් දත්ත එකතු කර තිබේද, වෙනස සැලකිය යුතුද? එය සැලකිය යුතු නොවේ නම්, "වෙනසක් නැත" ද වලංගු ප්රතිඵලයකි.
කුඩා නඩු තුනක්
නඩුව 1 - තනි විචල්යයක පැහැදිලිකම. ඊ-වාණිජ්ය සන්නාමයක් එහි නිෂ්පාදන දැන්වීමේ CTA පමණක් පරීක්ෂා කර ඇත: "මිලදී ගන්න" සහ "කරත්තයට එක් කරන්න." අනෙක් සියල්ල එසේම විය. ප්රමාණවත් නියැදීමකින් පසුව, “කරත්තයට එක් කරන්න” සැලකිය යුතු ඉහළ පරිවර්තන ගෙන ආවේය. තනි විචල්යයක් හුදකලා වූ බැවින් වෙනස පැහැදිලිව අර්ථ දැක්විය හැකිය. AI විසින් CTA දෙකක් නිෂ්පාදනය කරන ලදී, දත්ත ජයග්රාහකයා තෝරා ගත්තේය.
නඩුව 2 - කලින් තීරණ උගුල. A/B පරීක්ෂණයේ පළමු පැය 3 තුළ B අනුවාදය ඉදිරියෙන් සිටි නිසා සහ B මුළු අයවැයටම විවෘත වූ නිසා සන්නාමයක් පරීක්ෂණය නතර කළේය. ඊළඟ දවසේ මුළු දත්ත දෙස බලන විට, A ඇත්ත වශයෙන්ම තරමක් හොඳ විය; පළමු පැයවල වෙනස අහම්බයක් විය. අයවැය අපතේ ගියා. වැරැද්ද: ප්රමාණවත් නොවන නියැදි ප්රමාණය සමඟ නොමේරූ තීරණයක් ගැනීම.
නඩුව 3 - "වෙනසක් නැත" යනු නිගමනයයි. සන්නාමයක් විවිධ රූප දෙකක් පරීක්ෂා කළ අතර, ප්රමාණවත් නියැදීමකින් පසුව, ඒවා දෙකම පාහේ එකම ප්රතිඵලයක් ලබා දුන්නේය. "පරීක්ෂණය අසාර්ථකයි" කියා කණ්ඩායම විලාප පෑමට සූදානම් වූ අතර, නිවැරදි කියවීම වූයේ මෙම ව්යාපාරයේ තීරණාත්මක සාධකය රූපය නොවන බැවින් උත්සාහය ශීර්ෂ පාඨය සහ පිරිනැමීම දෙසට යොමු කළ යුතු බවයි. සැලකිය යුතු වෙනසක් සොයා නොගැනීම ද වටිනා තොරතුරු වේ.
පිටපත් කළ හැකි සැකිලි හතරක්
1) උපකල්පනය සහ පරීක්ෂණ නිර්මාණය:
මට පරීක්ෂා කිරීමට අවශ්ය දේ: [උදා. දැන්වීම් මාතෘකාව].කාර්යය: (1) තනි පරීක්ෂා කළ හැකි කල්පිතයක් ලියන්න ("... වැඩි කරයි ... වැඩි වේ" ආකාරයෙන්).(2) හුදකලා කිරීමට තනි විචල්යය සහ නියතව තබා ගත යුතු ඒවා ලැයිස්තුගත කරන්න.(3) ජයග්රාහකයා තීරණය කරන මෙට්රික් යෝජනා කරන්න (ක්ලික් කිරීම හරහා අනුපාතය/පරිවර්තනය).(4) මම කල්තියා පරීක්ෂා කිරීමට අවධානය යොමු කළ යුතු දේ ලියන්න.
2) ප්රභේද උත්පාදක (තනි ප්රභේදය):
ඇලෙන දැන්වීම්: රූපය [එකම], CTA [එකම], ඉලක්කය [එකම]. විචල්යය පරීක්ෂා කරන ලදී: HEADLINE. ප්රධාන පණිවිඩය: "[පණිවිඩය]". කාර්යය: එකම පණිවිඩය සමඟ විවිධ සිරස්තල ප්රභේද 4ක් ජනනය කරන්න. සෑම එකක්ම වෙනස් ප්රවේශයක් භාවිතා කරයි (ප්රශ්නය, ප්රතිලාභ, අංකය, හදිසි). ශීර්ෂ පාඨය පමණක් වෙනස් වේ; තහවුරු නොකළ හිමිකම් පෑමක් එකතු කිරීම.
3) මිනුම් සැලැස්ම:
පරීක්ෂණය: [A සහ B හි අර්ථ දැක්වීම]. මෙට්රික්: [ක්ලික් කරන්න/පරිවර්තනය].කාර්යය: මිනුම් සැලැස්මක් කෙටුම්පත් කරන්න:(1) කුමන මෙට්රික් ප්රාථමිකද, ඒවා ද්විතීයිකද,(2) ජයග්රාහකයා ප්රකාශ කිරීමට කොපමණ දත්ත/කාලයක් අවශ්යද (තර්කය පැහැදිලි කරන්න),(3) A සහ B අතර ගමනාගමනය ඒකාකාරව හා සාධාරණව බෙදන්නේ කෙසේද,(4) ප්රතිඵලය විකෘති කිරීමට භාවිතා කරන බාහිර සාධක මොනවාද (කාලය, දින ලකුණ). නිවැරදි සංඛ්යා ලේඛන.
4) ප්රතිඵල පරිවර්තක (ප්රවේශමෙන්):
මගේ A/B පරීක්ෂණ ප්රතිඵල (සැබෑ දත්ත): [A: හැඟීම්/ක්ලික් කිරීම්/පරිවර්තනය],[B: හැඟීම්/ක්ලික් කිරීම්/පරිවර්තනය]. කාර්යය: (1) එක් එක් අනුවාදයේ අනුපාත ගණනය කර ප්රදර්ශනය කරන්න.(2) වෙනසෙහි විශාලත්වය පිළිබඳව අදහස් දක්වන්න, නමුත් නියැදිය ප්රමාණවත් නොවේ නම්, "අර්ථවත් ප්රතිඵලයක් සඳහා ප්රමාණවත් දත්ත නොමැත" යැයි පවසන්න.(3) වැදගත්කම පිළිබඳ නිශ්චිත හිමිකම්; මම වෙනම ගිණුම් මෙවලමක් සමඟ තහවුරු කරමි.
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල ක්ෂණික:
මගේ දැන්වීම සඳහා A සහ B අනුවාදය නිෂ්පාදනය කරන්න, වඩා හොඳ කුමක්දැයි මට කියන්න.
විචල්යය හුදකලා නොවේ, උපකල්පනයක් සහ මිනුම් නොමැත; දත්ත නොමැතිව "හොඳ" කුමක්දැයි AI හට දැනගත නොහැක, එය එය සාදයි.
බලවත් විමසුම:
මම A/B පරීක්ෂණ සකසමින් සිටිමි. ස්ථාවර: රූපය සහ CTA එලෙසම පවතිනු ඇත. විචල්ය පමණක් පරීක්ෂා කර ඇත: දැන්වීම් ශීර්ෂ පාඨය. උපකල්පනය: "සංඛ්යා සහිත සිරස්තලයට සාමාන්ය සිරස්තලයට වඩා ක්ලික් කිරීම් ලැබේ." ප්රධාන පණිවිඩය: "දින 3 කින් ලබා දෙනු ලැබේ." කාර්යය: (1) පාලනය සඳහා සාමාන්ය සිරස්තල 1 ක් නිෂ්පාදනය කරන්න, (1) පාලනය සඳහා සාමාන්ය සිරස්තල 3 ක් නිෂ්පාදනය කරන්න, මම ප්රභේදය සඳහා මැනිය යුතු (මිතික 3) මා බැලිය යුත්තේ. පරීක්ෂණය අවලංගු කළ හැකි වැරදි 3ක් මට මතක් කරන්න. ජයග්රහණය කරන්නේ කුමන එකක්දැයි අනාවැකි කියන්න එපා; දත්ත එය තීරණය කරනු ඇත.
දෙවන හිමිකම් පෑම තනි විචල්යයක් හුදකලා කරයි, උපකල්පනය සහ මිනුම් ඇතුළත් වේ; ජයග්රාහකයා දත්ත වෙත තබයි.
පොදු වැරදි
- බොහෝ අයිතම එකවර වෙනස් කිරීම. ජයග්රාහකයා සඳහා හේතුව පැහැදිලි නැත; තනි විචල්යයක් හුදකලා විය යුතුය.
- ප්රමාණවත් නොවන සාම්පල සමඟ තීරණ ගැනීම. පළමු පැයවල වෙනස බොහෝ විට අහම්බයකි.
- උපකල්පන නොමැතිව පරීක්ෂා කිරීම. “මොකද වෙන්නේ කියලා බලමු” පරීක්ෂණයෙන් ඉගෙනීමක් ඇති වෙන්නේ නැහැ. මුලින්ම ඔබ බලාපොරොත්තු වන දේ ලියන්න.
- "වෙනසක් නැත" යන ප්රතිඵලය අසාර්ථක වීමක් ලෙස වරදවා වටහා ගැනීම. සැලකිය යුතු වෙනසක් නොමැතිකම ද තොරතුරු වේ.
- රසය මත පදනම්ව ජයග්රාහකයා තෝරා ගැනීම. පරීක්ෂා කිරීම යනු පුද්ගලික රුචි අරුචිකම් බැහැර කිරීම සඳහා ය; දත්ත අනුගමනය කරන්න.
- බාහිර සාධක අමතක කිරීම. සමය, ප්රචාරක දිනය, ප්රවෘත්ති ප්රවාහය ප්රතිඵලය විකෘති කළ හැකිය; පරීක්ෂණ කොන්දේසි සාධාරණව තබා ගන්න.
අවධානය: A/B පරීක්ෂණයේ අරමුණ "ජයග්රහණය" නොව ඉගෙනීමයි. ප්රභේදයක් අහිමි වීම පවා වටිනා තොරතුරු වේ; සැබෑ පාඩුව නම් ප්රමාණවත් දත්ත නොමැති වැරදි ප්රතිඵලය මත රඳා පැවතීම සහ අයවැය එයට ගැටගැසීමයි.
සාරාංශයකින්
A/B පරීක්ෂණය යනු ප්රචාරණ තීරණ අදහසින් දත්ත වෙත ගෙන යන ප්රබල ක්රමයකි. ස්වර්ණමය රීතිය වන්නේ තනි විචල්යයක් හුදකලා කිරීමයි: පරීක්ෂණයකදී එක් මූලද්රව්යයක් පමණක් වෙනස් විය යුතුය, ඉතිරිය නියතව පැවතිය යුතුය. දෙවන ස්ථම්භය ප්රමාණවත් නියැදීමක් සහ සංඛ්යානමය වැදගත්කමකි; කුඩා දත්ත සමඟ ජයග්රාහකයෙකු ප්රකාශ කිරීම වඩාත්ම මිල අධික වැරැද්දයි. බහුවිධ ප්රභේද ජනනය කිරීමට සහ අවාසි ගණනය කිරීමට සහ අර්ථ නිරූපණය කිරීමට AI උපකාරී වේ, නමුත් දත්ත මගින් ජයග්රාහකයා තීරණය කරයි, AI නොවේ. "වෙනසක් නැත" ප්රතිඵලය පවා ඉගෙනීමකි. පරීක්ෂණය ආරම්භ වීමට පෙර උපකල්පනය, මෙට්රික් සහ තීරණ සීමාව ලිවිය යුතුය.
යෙදුම් කාර්යය
නිර්මාණාත්මක එකක් තෝරන්න (ශීර්ෂ පාඨය, රූපය හෝ CTA). (1) "උපකල්පනය සහ පරීක්ෂණ නිර්මාණය" සමඟ තනි පරීක්ෂා කළ හැකි කල්පිතයක් සහ හුදකලා විචල්යයක් ලියන්න. (2) "විචල්ය උත්පාදක" සමඟ පාලන 1ක් + ප්රභේද 3ක් ජනනය කරන්න; එම අංගය වෙනස් කරන්න. (3) "මිනුම් සැලැස්ම" සමඟ ඔබ කුමන මෙට්රික් දෙස බලන්නේද, කොපමණ කාලයක් සහ කුමන දත්ත සමඟද යන්න සැලසුම් කරන්න. (4) ජයග්රාහකයා ප්රකාශ කිරීම සඳහා ඔබේ සීමාව (පරිවර්තන කීයක් / කුමන වැදගත්කමක්ද) කල්තියා ලියන්න. (5) "ප්රතිඵල පරිවර්තකයක්" සමඟ උපකල්පිත ප්රතිඵල සලකා බලා දත්ත ප්රමාණවත් නොවන අවස්ථාවකදී ඔබ තීරණයක් නොගන්නේ මන්දැයි සටහන් කරන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] මම පරීක්ෂණයේදී එක් විචල්යයක් පමණක් හුදකලා කළෙමි.
- [ ] මම පරීක්ෂණයට පෙර පැහැදිලි කල්පිතයක් ලිව්වෙමි.
- [ ] ජයග්රාහකයාට අවශ්ය නියැදිය සහ කාලය මම දැනටමත් තීරණය කර ඇත.
- [ ] මම ජයග්රාහකයා තෝරා ගත්තේ දත්ත මත මිස පුද්ගලික රුචි අරුචිකම් මත නොවේ.
- [ ] මම "වෙනසක් නැති" ප්රතිඵලය වලංගු ඉගෙනීමක් ලෙස සැලකුවෙමි.
- [ ] ප්රතිඵලය විකෘති කළ හැකි බාහිර සාධක සඳහා මම පරීක්ෂා කළෙමි.