লাভ:
- A/B পরীক্ষার ধারণা, নিয়ন্ত্রণ/ভেরিয়েন্ট, রূপান্তর হার এবং পরিসংখ্যানগত তাত্পর্য বোঝার ক্ষমতা এবং কৃত্রিম বুদ্ধিমত্তার সাহায্যে অনুমান এবং পরীক্ষার নকশা স্থাপন করার ক্ষমতা।
- পরীক্ষা করার জন্য একক ভেরিয়েবলকে বিচ্ছিন্ন করার ক্ষমতা এবং কৃত্রিম বুদ্ধিমত্তা সমর্থন সহ বৈকল্পিক পাঠ্য/চিত্র এবং পরিমাপ পরিকল্পনা তৈরি করার ক্ষমতা
- কৃত্রিম বুদ্ধিমত্তার পরীক্ষার ব্যাখ্যা নমুনার আকার এবং তাৎপর্য এবং অকাল/ভুল ফলাফল পড়ার ঝুঁকি দ্বারা সীমাবদ্ধ তা আলাদা করার ক্ষমতা
বিজ্ঞাপনের সবচেয়ে বিপজ্জনক বাক্যটি হল "আমি মনে করি এটি আরও ভাল।" ডেটা, মতামত নয়, আপনাকে বলে যে একটি শিরোনাম, একটি চিত্র বা একটি বোতাম সত্যিই ভাল কিনা৷ এটি পরিমাপ করার সবচেয়ে সাধারণ উপায় হল A/B পরীক্ষা: প্রকৃত ব্যবহারকারীদের কাছে একই বিজ্ঞাপনের দুটি (বা তার বেশি) সংস্করণ দেখানো এবং কোনটি ভাল কাজ করে তার তুলনা করা। "A" হল সাধারণত বর্তমান সংস্করণ (নিয়ন্ত্রণ), যখন "B" হল নতুন সংস্করণ চেষ্টা করা হচ্ছে (ভেরিয়েন্ট)। উদাহরণস্বরূপ, আপনি শুধুমাত্র একই বিজ্ঞাপনে শিরোনাম পরিবর্তন করতে পারেন এবং কোন শিরোনামে বেশি ক্লিক করা হয়েছে তা পরিমাপ করতে পারেন। কৃত্রিম বুদ্ধিমত্তা এই প্রক্রিয়ায় প্রচুর সংখ্যক বৈকল্পিক তৈরি করতে এবং ফলাফলের ব্যাখ্যা করতে সহায়ক; কিন্তু পরীক্ষার বৈজ্ঞানিক বৈধতা ডিজাইনের নিয়ম এবং ধৈর্যের উপর নির্ভর করে।
A/B পরীক্ষার সুবর্ণ নিয়ম: একটি পরিবর্তনশীল
A/B পরীক্ষার সবচেয়ে মৌলিক নিয়ম হল একটি একক পরিবর্তনশীলকে বিচ্ছিন্ন করা। আপনি যদি একই সময়ে শিরোনাম, চিত্র এবং বোতাম পরিবর্তন করেন এবং সংস্করণ B জিতে যায়, আপনি কখনই জানতে পারবেন না কী জিতেছে। সুতরাং একটি পরীক্ষায় শুধুমাত্র একটি উপাদান পরিবর্তন করা উচিত, বাকিগুলি স্থির থাকা উচিত। আপনি যদি একাধিক আইটেম একসাথে এবং পদ্ধতিগতভাবে পরীক্ষা করতে চান তবে একে মাল্টিভেরিয়েট টেস্টিং বলা হয় এবং এর জন্য অনেক বড় নমুনা প্রয়োজন; ইউনিভেরিয়েট এ/বি টেস্টিং শুরু করার উপায়।
দ্বিতীয় মৌলিক ধারণা হল পরিসংখ্যানগত তাৎপর্য। ধরা যাক সংস্করণ A 3 শতাংশ ক্লিক পেয়েছে এবং সংস্করণ B 3.3 শতাংশ ক্লিক পেয়েছে। এই পার্থক্য একটি বাস্তব সুবিধা বা একটি fluke? আপনি যদি শুধুমাত্র 100 জনকে পরীক্ষাটি দেখিয়ে থাকেন তবে এই পার্থক্যটি কাকতালীয় হতে পারে। পরিসংখ্যানগত তাত্পর্য মানে হল পর্যবেক্ষিত পার্থক্য সুযোগের কারণে হওয়ার সম্ভাবনা যথেষ্ট নয় (অর্থাৎ, পার্থক্যটি সম্ভবত বাস্তব)। এর জন্য পর্যাপ্ত নমুনার আকার প্রয়োজন (পরীক্ষা দেখেন এমন লোকের সংখ্যা)। সামান্য ডেটা সহ "বিজয়ী" ঘোষণা করা সবচেয়ে সাধারণ এবং ব্যয়বহুল ভুল।
টিপ: পরীক্ষা শুরু করার আগে, "আমি কখন বিজয়ী ঘোষণা করব" প্রশ্নের উত্তর দিন: কতজন লোক/পরবর্তী-রূপান্তর, কোন তাত্পর্য স্তরে। আগাম এই সিদ্ধান্ত নেওয়া আপনাকে প্রথম ঘন্টার মধ্যে গোলমালের মধ্যে আটকা পড়া এবং একটি অকাল সিদ্ধান্ত নিতে বাধা দেয়।
নিম্নলিখিত টেবিলটি ভাল এবং খারাপ A/B পরীক্ষার নকশা তুলনা করে:
আইটেম
খারাপ নকশা
ভাল নকশা
ভেরিয়েবলের সংখ্যা
শিরোনাম + ছবি + বোতাম একসাথে
শুধুমাত্র শিরোনাম
অনুমান
(কোনও নয়) "দেখা যাক কি হয়"
"প্রশ্ন সহ শিরোনাম ক্লিক বাড়ায়"
নমুনা
80 জন
পূর্বনির্ধারিত কোরাম
সিদ্ধান্তের সময়
2 ঘন্টা পরে
যখন আপনি তাৎপর্য পৌঁছান
বিজয়ী নির্বাচন
"আমি মনে করি বি চমৎকার"
তথ্য এবং তাত্পর্য উপর ভিত্তি করে
ধাপে ধাপে: একটি A/B পরীক্ষা সেট আপ করুন
ধাপ 1 - একটি অনুমান লিখুন। আপনি কি পরীক্ষা করছেন এবং কেন? একটি পরিষ্কার অনুমান যেমন "সুবিধা সহ একটি শিরোনাম বৈশিষ্ট্য সহ একটি শিরোনামের চেয়ে বেশি ক্লিক পায়।"
ধাপ 2 - একক পরিবর্তনশীল নির্বাচন করুন। শুধু শিরোনাম, বা শুধু ছবি, অথবা শুধু CTA।
ধাপ 3 — ভেরিয়েন্ট তৈরি করুন। AI দিয়ে একই আইটেমের বিভিন্ন সংস্করণ তৈরি করুন; বাকি ধ্রুবক রাখুন।
ধাপ 4 - একটি পরিমাপ পরিকল্পনা সেট আপ করুন। কোন মেট্রিক বিজয়ী নির্ধারণ করবে (ক্লিক-থ্রু রেট, রূপান্তর), কত নমুনা প্রয়োজন, কতক্ষণ চালাতে হবে।
ধাপ 5 - ফলাফল ব্যাখ্যা করুন এবং যাচাই করুন। যথেষ্ট তথ্য সংগ্রহ করা হয়েছে, পার্থক্য গুরুত্বপূর্ণ? যদি এটি উল্লেখযোগ্য না হয়, "কোন পার্থক্য নেই" এটিও একটি বৈধ ফলাফল।
তিনটি মিনি কেস
কেস 1 - একটি একক পরিবর্তনশীলের স্বচ্ছতা। একটি ই-কমার্স ব্র্যান্ড তার পণ্য বিজ্ঞাপনে শুধু CTA পরীক্ষা করেছে: "কিনুন" এবং "কার্টে যোগ করুন।" বাকি সব একই ছিল. যথেষ্ট নমুনা নেওয়ার পরে, "কার্টে যোগ করুন" উল্লেখযোগ্যভাবে উচ্চতর রূপান্তর এনেছে। পার্থক্যটি স্পষ্টভাবে ব্যাখ্যা করা যেতে পারে কারণ একটি একক পরিবর্তনশীল বিচ্ছিন্ন ছিল। AI দুটি CTA তৈরি করেছে, ডেটা বিজয়ীকে বেছে নিয়েছে।
কেস 2 - প্রাথমিক সিদ্ধান্তের ফাঁদ। একটি ব্র্যান্ড পরীক্ষা বন্ধ করে দিয়েছে কারণ B সংস্করণ A/B পরীক্ষার প্রথম 3 ঘন্টার মধ্যে এগিয়ে ছিল এবং B-কে পুরো বাজেটে উন্মুক্ত করে দিয়েছে। পরের দিন মোট ডেটার দিকে তাকিয়ে, A আসলে কিছুটা ভাল ছিল; প্রথম ঘন্টার পার্থক্য ছিল কাকতালীয়। বাজেট নষ্ট হয়েছে। ভুল: অপর্যাপ্ত নমুনার আকারের সাথে একটি অকাল সিদ্ধান্ত নেওয়া।
কেস 3 - "কোন পার্থক্য নেই" এটিও উপসংহার। একটি ব্র্যান্ড দুটি ভিন্ন চিত্র পরীক্ষা করেছে, এবং পর্যাপ্ত নমুনা নেওয়ার পরে, তারা উভয়ই প্রায় একই ফলাফল তৈরি করেছে। যখন দলটি "পরীক্ষা ব্যর্থ হয়েছে" বলে বিলাপ করতে যাচ্ছিল, তখন সঠিক পাঠটি ছিল যে চিত্রটি এই প্রচারাভিযানের সিদ্ধান্তকারী ফ্যাক্টর নয়, তাই প্রচেষ্টাটি শিরোনাম এবং অফারটির দিকে পরিচালিত হওয়া উচিত। কোন উল্লেখযোগ্য পার্থক্য পাওয়া যায়নি যে সত্য এছাড়াও মূল্যবান তথ্য.
চারটি অনুলিপিযোগ্য টেমপ্লেট
1) হাইপোথিসিস এবং পরীক্ষার নকশা:
আমি কি পরীক্ষা করতে চাই: [যেমন। বিজ্ঞাপনের শিরোনাম]। টাস্ক: (1) একটি একক পরীক্ষাযোগ্য অনুমান লিখুন ("... বৃদ্ধি ... বৃদ্ধি" আকারে)। (2) বিচ্ছিন্ন করার জন্য একক ভেরিয়েবলের তালিকা করুন এবং স্থির রাখতে হবে। (3) মেট্রিকটি প্রস্তাব করুন যা বিজয়ী নির্ধারণ করবে (ক্লিক-থ্রু রেট/রূপান্তর)। (4) আমার যা লিখতে হবে তা লিখুন, ঝুঁকি পরীক্ষা করার দিকে মনোযোগ দিন।
2) ভেরিয়েন্ট জেনারেটর (একক বৈকল্পিক):
স্টিকি বিজ্ঞাপন: চিত্র [একই], CTA [একই], লক্ষ্য [একই]। পরিবর্তনশীল পরীক্ষিত: HEADLINE. প্রধান বার্তা: "[বার্তা]"। টাস্ক: একই বার্তা সহ 4টি ভিন্ন শিরোনাম ভেরিয়েন্ট তৈরি করুন। প্রত্যেকে একটি ভিন্ন পদ্ধতি ব্যবহার করে (প্রশ্ন, সুবিধা, সংখ্যা, জরুরী)। শুধুমাত্র শিরোনাম পরিবর্তন; একটি অপ্রমাণিত দাবি যোগ করা.
3) পরিমাপ পরিকল্পনা:
পরীক্ষা: [A এবং B এর সংজ্ঞা]। মেট্রিক: [ক্লিক/রূপান্তর]। টাস্ক: একটি পরিমাপ পরিকল্পনার খসড়া তৈরি করুন: (1) কোন মেট্রিক প্রাথমিক, কোনটি গৌণ, (2) বিজয়ী ঘোষণা করতে কত ডেটা/সময় প্রয়োজন (যুক্তি ব্যাখ্যা করুন), (3) কীভাবে A এবং B-এর মধ্যে ট্র্যাফিক সমানভাবে এবং ন্যায্যভাবে বিভক্ত করা যায়, (4) কোন বাহ্যিক কারণগুলি একটি সপ্তাহের চিহ্নের ফলাফলকে বিকৃত করতে পারে (একটি সপ্তাহের ফলাফলকে বিকৃত করবে)। সঠিক পরিসংখ্যান গণনা করতে।
4) ফলাফল দোভাষী (সাবধানে):
আমার A/B পরীক্ষার ফলাফল (বাস্তব ডেটা): [A: impressions/clicks/conversion], [B: impressions/clicks/conversion]. টাস্ক: (1) প্রতিটি সংস্করণের হার গণনা করুন এবং প্রদর্শন করুন। (2) পার্থক্যের মাত্রার উপর মন্তব্য করুন, কিন্তু যদি নমুনাটি যথেষ্ট না হয়, তাহলে বলুন "অপর্যাপ্ত ফলাফলের অর্থ (3 এর ঝুঁকির জন্য অপর্যাপ্ত তথ্য।" অকাল/ভুল পড়া। তাৎপর্যের কোনো নির্দিষ্ট দাবি করবেন না; আমি একটি পৃথক অ্যাকাউন্ট টুল দিয়ে নিশ্চিত করব।
দুর্বল প্রম্পট / শক্তিশালী প্রম্পট
দুর্বল প্রম্পট:
আমার বিজ্ঞাপনের জন্য A এবং B সংস্করণ তৈরি করুন, আমাকে বলুন কোনটি ভাল।
পরিবর্তনশীলটি বিচ্ছিন্ন নয়, কোন অনুমান এবং পরিমাপ নেই; AI ডেটা ছাড়া কোনটি "ভাল" তা জানতে পারে না, এটি তৈরি করে।
শক্তিশালী প্রম্পট:
আমি A/B টেস্টিং সেট আপ করছি। স্থির: চিত্র এবং CTA একই থাকবে। শুধুমাত্র পরিবর্তনশীল পরীক্ষিত: বিজ্ঞাপনের শিরোনাম। অনুমান: "সংখ্যা সহ শিরোনাম সাধারণ শিরোনামের চেয়ে বেশি ক্লিক পায়।" মূল বার্তা: "3 দিনের মধ্যে বিতরণ করা হয়েছে।" টাস্ক: (1) নিয়ন্ত্রণের জন্য 1টি সাধারণ শিরোনাম তৈরি করুন, ভেরিয়েন্টের জন্য সংখ্যা সহ 3টি শিরোনাম তৈরি করুন। আমাকে 3টি ভুলের কথা মনে করিয়ে দিন যা পরীক্ষাটি বাতিল করতে পারে৷ কোনটি জিতবে তা ভবিষ্যদ্বাণী করবেন না; তথ্য এটি নির্ধারণ করবে।
দ্বিতীয় দাবিটি একটি একক পরিবর্তনশীলকে বিচ্ছিন্ন করে, এতে অনুমান এবং পরিমাপ জড়িত; বিজয়ীকে ডেটাতে ছেড়ে দেয়।
সাধারণ ভুল
- একসাথে অনেক আইটেম পরিবর্তন. বিজয়ীর কারণ অস্পষ্ট হয়ে যায়; একটি একক পরিবর্তনশীল বিচ্ছিন্ন করা আবশ্যক।
- অপর্যাপ্ত নমুনা নিয়ে সিদ্ধান্ত নেওয়া। প্রথম ঘন্টার পার্থক্য প্রায়ই কাকতালীয়।
- অনুমান ছাড়া পরীক্ষা. "দেখা যাক কি হয়" পরীক্ষা শেখার জন্ম দেয় না; প্রথমে আপনি যা আশা করেন তা লিখুন।
- ব্যর্থতা হিসাবে ফলাফল "কোন পার্থক্য নেই" ভুল করা। উল্লেখযোগ্য পার্থক্যের অভাবও তথ্যপূর্ণ।
- স্বাদের উপর ভিত্তি করে বিজয়ী নির্বাচন করা। ব্যক্তিগত রুচি বাদ দিতে পরীক্ষা করা হয় অবিকল; ডেটা অনুসরণ করুন।
- বাহ্যিক কারণগুলি ভুলে যাওয়া। ঋতু, প্রচারের দিন, সংবাদ প্রবাহ ফলাফল বিকৃত করতে পারে; পরীক্ষার শর্ত ন্যায্য রাখুন।
মনোযোগ: A/B পরীক্ষার উদ্দেশ্য "জয়" নয় বরং শেখা। এমনকি একটি বৈকল্পিক হারানো মূল্যবান তথ্য; প্রকৃত ক্ষতি হল অপর্যাপ্ত তথ্যের সাথে ভুল ফলাফলের উপর নির্ভর করা এবং এর সাথে বাজেট বেঁধে রাখা।
সংক্ষেপে
A/B পরীক্ষা একটি শক্তিশালী পদ্ধতি যা বিজ্ঞাপনের সিদ্ধান্তকে ধারণা থেকে ডেটাতে নিয়ে যায়। সুবর্ণ নিয়ম হল একটি একক পরিবর্তনশীলকে বিচ্ছিন্ন করা: একটি পরীক্ষায় শুধুমাত্র একটি উপাদান পরিবর্তন করা উচিত, বাকিগুলি স্থির থাকা উচিত। দ্বিতীয় স্তম্ভ হল পর্যাপ্ত নমুনা এবং পরিসংখ্যানগত তাৎপর্য; সামান্য ডেটা সহ বিজয়ী ঘোষণা করা সবচেয়ে ব্যয়বহুল ভুল। AI একাধিক ভেরিয়েন্ট তৈরি করতে এবং প্রতিকূলতা গণনা ও ব্যাখ্যা করতে সহায়ক, কিন্তু ডেটা বিজয়ী নির্ধারণ করে, AI নয়। এমনকি "কোন পার্থক্য নেই" ফলাফল একটি শেখার. পরীক্ষা শুরু হওয়ার আগে হাইপোথিসিস, মেট্রিক এবং সিদ্ধান্তের থ্রেশহোল্ড লিখতে হবে।
আবেদন টাস্ক
একটি সৃজনশীল চয়ন করুন (শিরোনাম, চিত্র বা CTA)। (1) "হাইপোথিসিস এবং টেস্ট ডিজাইন" সহ একটি একক পরীক্ষাযোগ্য হাইপোথিসিস এবং বিচ্ছিন্ন পরিবর্তনশীল লিখুন। (2) "ভেরিয়েন্ট জেনারেটর" সহ 1টি নিয়ন্ত্রণ + 3টি বৈকল্পিক তৈরি করুন; শুধু যে উপাদান পরিবর্তন. (3) পরিকল্পনা করুন আপনি কোন মেট্রিকটি দেখবেন, কতক্ষণের জন্য এবং কোন ডেটা দিয়ে, "পরিমাপ পরিকল্পনা" সহ। (4) বিজয়ী ঘোষণা করার জন্য আপনার থ্রেশহোল্ডটি লিখুন (কতটি রূপান্তর / কী তাত্পর্য) আগে থেকেই। (5) একটি "ফলাফল দোভাষী" সহ অনুমানমূলক ফলাফলগুলি বিবেচনা করুন এবং নোট করুন কেন আপনি এমন পরিস্থিতিতে সিদ্ধান্ত নেবেন না যেখানে ডেটা অপর্যাপ্ত।
চেকলিস্ট
- [ ] আমি পরীক্ষায় শুধুমাত্র একটি পরিবর্তনশীলকে বিচ্ছিন্ন করেছি।
- [ ] আমি পরীক্ষার আগে একটি পরিষ্কার অনুমান লিখেছিলাম।
- [ ] আমি ইতিমধ্যেই বিজয়ীর জন্য প্রয়োজনীয় নমুনা এবং সময় নির্ধারণ করেছি৷
- [ ] আমি তথ্যের ভিত্তিতে বিজয়ী বেছে নিয়েছি, ব্যক্তিগত স্বাদ নয়।
- [ ] আমি "কোন পার্থক্য নেই" ফলাফলটিকে বৈধ শিক্ষা হিসাবে বিবেচনা করেছি।
- [ ] আমি বাহ্যিক কারণগুলির জন্য পরীক্ষা করেছি যা ফলাফলকে বিকৃত করতে পারে৷