A/B টেস্ট ভেরিয়েন্ট এবং এক্সপেরিমেন্ট ডিজাইন

লাভ:

• A/B পরীক্ষার জন্য একক ভেরিয়েবলকে বিচ্ছিন্ন করে এমন পদ্ধতিগত পাঠ্য বৈকল্পিক তৈরি করার ক্ষমতা
• একটি হাইপোথিসিসকে একটি পরিমাপযোগ্য পরীক্ষামূলক সেটআপে রূপান্তরিত করার ক্ষমতা
• পরিসংখ্যানগত তাৎপর্য এবং শিক্ষার পরিপ্রেক্ষিতে পরীক্ষার ফলাফল ব্যাখ্যা করার ক্ষমতা

বিপণনে অন্তর্দৃষ্টি মূল্যবান, তবে প্রমাণ আরও মূল্যবান। কোন শিরোনাম বেশি ক্লিক পায়, কোন CTA বেশি বিক্রি করে, কোন ছবিটি বেশি মনোযোগ আকর্ষণ করে? অনুমান করার পরিবর্তে, আপনি A/B পরীক্ষার মাধ্যমে এটি পরিমাপ করতে পারেন। A/B পরীক্ষা হল একটি পরীক্ষামূলক পদ্ধতি যা প্রকৃত দর্শকদের কাছে একই বিষয়বস্তুর দুটি সংস্করণ (A এবং B) দেখায় এবং পরিমাপ করে যে কোনটি ভাল পারফর্ম করে। কৃত্রিম বুদ্ধিমত্তা দ্রুত এই পরীক্ষার জন্য ইনপুট তৈরি করে, যথা বৈকল্পিক; কিন্তু পরীক্ষার কাজ করার জন্য একটি বৈজ্ঞানিক নিয়মের প্রয়োজন: একবারে একটি পরিবর্তনশীল। এই ইউনিটে আপনি শিখবেন কীভাবে রূপগুলি তৈরি করতে হয়, একটি হাইপোথিসিসকে একটি পরিমাপযোগ্য পরীক্ষায় অনুবাদ করতে হয় এবং পরিসংখ্যানগত তাত্পর্যের পরিপ্রেক্ষিতে ফলাফল ব্যাখ্যা করতে হয়।

সুবর্ণ নিয়ম: একটি পরিবর্তনশীল বিচ্ছিন্ন করুন

একটি পরীক্ষার ফলাফল ব্যাখ্যা করার জন্য, A এবং B এর মধ্যে শুধুমাত্র একটি জিনিস আলাদা হতে হবে। আপনি যদি একই সময়ে শিরোনাম, চিত্র এবং CTA পরিবর্তন করেন, তাহলে B জিতলে কোনটি পার্থক্য করেছে তা আপনি কখনই জানতে পারবেন না। পরীক্ষা করার জন্য ভেরিয়েবলকে আলাদা করাই একমাত্র জিনিস যা শেখা সম্ভব করে তোলে।

সাধারণ ভেরিয়েবল যা পরীক্ষা করা যেতে পারে:

• শিরোনাম: একই ছবি এবং বডি, ভিন্ন শিরোনাম।
• CTA পাঠ্য: "কিনুন" বা "কার্টে যোগ করুন"?
• বিষয় লাইন: একটি ইমেলের খোলা হারকে প্রভাবিত করে।
• ছবি: একই লেখা, ভিন্ন চিত্র।
• দৈর্ঘ্য/স্বর: সংক্ষিপ্ত বনাম দীর্ঘ, আনুষ্ঠানিক ইত্যাদি আন্তরিক।

অনুমান থেকে পরীক্ষা: ধাপে ধাপে

1. একটি পর্যবেক্ষণ করুন. "আমাদের ল্যান্ডিং পৃষ্ঠায় কম রূপান্তর আছে।"
2. হাইপোথিসিস। "সুবিধা-কেন্দ্রিক শিরোনাম বৈশিষ্ট্য-কেন্দ্রিক শিরোনাম থেকে বেশি রূপান্তর করে।"
3. পরিবর্তনশীল বিচ্ছিন্ন করুন। শুধু শিরোনাম পরিবর্তন হবে।
4. ভেরিয়েন্ট তৈরি করুন। মডেলের সাথে 2টি স্পষ্ট রূপ (A: বৈশিষ্ট্য, B: সুবিধা)।
5. আপনার সাফল্যের পরিমাপ নির্ধারণ করুন। উদাহরণস্বরূপ, রূপান্তর হার — দর্শকদের শতকরা হার পছন্দসই পদক্ষেপ গ্রহণ করে।
6. নমুনা এবং সময়কাল নির্ধারণ করুন। যথেষ্ট মানুষ এবং যথেষ্ট সময়।
7. পরিমাপ করুন, তুলনা করুন, শিখুন। "কেন" শিখুন, বিজয়ী নয়।

একটি "অনুমান" একটি ভবিষ্যদ্বাণী যা এখানে পরীক্ষা করা হবে এবং এটি সত্য বা মিথ্যা হতে পারে; একটি ভাল অনুমান আপনাকে বলে যে আপনি কী আশা করেন এবং কেন।

দুর্বল প্রম্পট / শক্তিশালী প্রম্পট

দুর্বল প্রম্পট:

এই শিরোনামের জন্য কিছু বিকল্প লিখুন।

শক্তিশালী প্রম্পট:

একটি A/B পরীক্ষার জন্য ভেরিয়েন্ট তৈরি করুন। নিয়ম: শুধুমাত্র শিরোনাম পরিবর্তন হবে, মূল অংশ এবং CTA একই থাকবে। হাইপোথিসিস: সুবিধা-ভিত্তিক শিরোনাম বৈশিষ্ট্য-ভিত্তিক শিরোনামের চেয়ে বেশি ক্লিক পায়। কনটেক্সট: ল্যান্ডিং পৃষ্ঠা। পণ্য: প্রকল্প ব্যবস্থাপনা অ্যাপ্লিকেশন। শ্রোতা: ছোট দল। অনুরোধ:- ভেরিয়েন্ট A: বৈশিষ্ট্য-ভিত্তিক শিরোনাম (পণ্যটি কী করে তা বর্ণনা করে)- ভেরিয়েন্ট বি: সুবিধা-ভিত্তিক শিরোনাম (এটি ব্যবহারকারীকে কী প্রদান করে তা বর্ণনা করে) প্রতিটি বৈকল্পিকের অধীনে, এটি কী মনস্তাত্ত্বিক প্রেরণা স্পর্শ করে তা লিখুন। শুধুমাত্র 2টি রূপ; উভয়ই একই দৈর্ঘ্যের একক লাইন হওয়া উচিত।

বৈকল্পিকগুলি একই দৈর্ঘ্যের হতে চাওয়া গুরুত্বপূর্ণ; অন্যথায় "দৈর্ঘ্য" অনিচ্ছাকৃতভাবে একটি দ্বিতীয় পরিবর্তনশীল হয়ে যায়।

পরীক্ষার আগে/পরে চার্ট

মঞ্চ

কি করতে হবে

ঘন ঘন ত্রুটি

অনুমান

কি, আমি কেন অপেক্ষা করছি?

অনুমান ছাড়াই "চেষ্টা করি"

পরিবর্তনশীল

একটি জিনিস বিচ্ছিন্ন করুন

একসাথে অনেক কিছু পরিবর্তন করা

মানদণ্ড

একটি পরিষ্কার মেট্রিক চয়ন করুন

অনির্দিষ্ট "ভাল"

নমুনা

যথেষ্ট মানুষ/সময়

তাড়াতাড়ি সিদ্ধান্ত নিন

মন্তব্য করুন

কেন জানুন

শুধু বিজয়ী নিন

তিনটি মিনি কেস

কেস 1 — CTA পরীক্ষা পরিষ্কার ফলাফল দেয়। একটি ই-কমার্স সাইট পণ্য বোতাম পরীক্ষা করেছে: A "Buy", B "Add to cart"। শুধুমাত্র বোতাম টেক্সট পরিবর্তন করা হয়েছে. 3,000 দর্শকের পরীক্ষায়, B তার ক্লিক-থ্রু রেট 4.0% থেকে বাড়িয়ে 4.9% করেছে। একক ভেরিয়েবলকে বিচ্ছিন্ন করে, বিজয়ী স্পষ্ট ছিল: "কার্টে যোগ করুন" কম বাঁধাই অনুভূত হয়েছে৷

কেস 2 — মাল্টিভেরিয়েট ত্রুটি। একটি দল দুটি ল্যান্ডিং পৃষ্ঠা ডিজাইন করেছে, কিন্তু শিরোনাম, ছবি এবং রঙ সবই আলাদা ছিল। B জিতেছে, কিন্তু দল জানত না কোন উপাদানটি পার্থক্য করেছে; শিক্ষা শূন্য হয়ে গেছে। পরবর্তী পরীক্ষায়, তারা নিয়মটি অনুসরণ করেছিল: এক সময়ে একটি পরিবর্তনশীল। সেই পরীক্ষায়, তারা স্পষ্টভাবে দেখেছিল যে শিরোনামটি মূল ফ্যাক্টর ছিল।

কেস 3 - প্রাথমিক সিদ্ধান্তের ফাঁদ। একটি নিউজলেটার দল 200 জনের একটি গ্রুপে দুটি বিষয় লাইন পরীক্ষা করেছে এবং বলেছে, "এটি প্রথম ঘন্টায় একটি A" অর্জন করেছে। নমুনা খুব ছোট ছিল; পার্থক্যটি পরিসংখ্যানগতভাবে নগণ্য ছিল (অর্থাৎ, সুযোগের কারণে হতে পারে)। পরীক্ষার পর্যাপ্ত নমুনা এবং সময় বৃদ্ধি করা হলে, ফলাফল বিপরীত ছিল। পাঠ: পর্যাপ্ত ডেটা ছাড়া সিদ্ধান্ত নেবেন না।

সতর্কতা: একটি ছোট নমুনায় দেখা পার্থক্য (অল্প সংখ্যক লোক) বিভ্রান্তিকর হতে পারে। পরিসংখ্যানগত তাত্পর্য সম্ভাব্যতা বোঝায় যে একটি পার্থক্য বাস্তব এবং সুযোগের কারণে নয়। নিশ্চিত করুন যে পর্যাপ্ত লোক পৌঁছেছে এবং সিদ্ধান্তে ঝাঁপিয়ে পড়ার আগে পরীক্ষাটি যথেষ্ট দীর্ঘ হয়।

অনুলিপিযোগ্য টেমপ্লেট

টেমপ্লেট 1 — বিচ্ছিন্ন বৈকল্পিক জেনারেটর:

A/B পরীক্ষার জন্য ভেরিয়েন্ট তৈরি করুন। পরীক্ষা করার জন্য শুধুমাত্র পরিবর্তনশীল: [শিরোনাম/CTA/ছবি]। বাকি সব স্থির থাকবে। হাইপোথিসিস: [...]। প্রসঙ্গ: [...]।ভেরিয়েন্ট A: [বর্তমান পদ্ধতি]। বৈকল্পিক বি: [বিকল্প পদ্ধতি]। দুটি রূপ একই দৈর্ঘ্যের হতে দিন; অন্য কিছু পরিবর্তন করবেন না।

টেমপ্লেট 2 — হাইপোথিসিস স্পষ্টকারী:

নিম্নলিখিত পর্যবেক্ষণ থেকে একটি পরীক্ষাযোগ্য অনুমান তৈরি করুন: "[পর্যবেক্ষণ]"। অনুমানটি বিন্যাসে লিখুন "যদি আমরা [পরিবর্তন] করি, [মেট্রিক] বৃদ্ধি পায় কারণ [কেন]"। তারপর আমাকে বলুন কোন একক ভেরিয়েবলকে আমি আলাদা করতে হবে।

টেমপ্লেট 3 — বিষয় লাইন পরীক্ষা সেট:

নিম্নলিখিত ইমেলের জন্য A/B পরীক্ষায় 2টি বিষয় লাইন তৈরি করুন। একটি একক অক্ষে পার্থক্য: [কৌতূহল বনাম স্বচ্ছতা / সংক্ষিপ্ততা ইত্যাদি দীর্ঘ/প্রশ্ন ইত্যাদি অভিব্যক্তি]। উভয়েই স্প্যাম শব্দ থাকা উচিত নয় এবং একই দৈর্ঘ্যের হওয়া উচিত। ইমেল সারাংশ: [...]

টেমপ্লেট 4 — ব্যাখ্যার ফলাফল:

একটি A/B পরীক্ষার ফলাফল ব্যাখ্যা করুন। পরিবর্তনশীল: [...]। বৈকল্পিক A মেট্রিক: [...]। ভেরিয়েন্ট বি মেট্রিক: [...]।নমুনা আকার: [...]। সময়কাল: [...].আমাকে বলুন: পার্থক্যটি কি তাৎপর্যপূর্ণ বলে মনে হচ্ছে, নাকি নমুনাটি ছোট? আমরা কি শিখলাম? আপনি পরবর্তী পরীক্ষার জন্য কি সুপারিশ করবেন? সঠিক পরিসংখ্যান দাবি করবেন না; অস্পষ্ট হলে উল্লেখ করুন।

পরামর্শ: পরীক্ষা থেকে "বিজয়ী" পেতে যথেষ্ট নয়; আসল লাভ হল "কেন জিতেছে" এর অন্তর্দৃষ্টি। এই অন্তর্দৃষ্টি পরবর্তী পরীক্ষার জন্য হাইপোথিসিসকে ফিড করে এবং সময়ের সাথে সাথে শেখার একটি শরীর তৈরি করে।

অগ্রাধিকার: প্রথমে কি পরীক্ষা করবেন?

আপনি পরীক্ষা করতে পারেন অবিরাম আইটেম আছে, কিন্তু আপনার সময় এবং ট্রাফিক সীমিত. তাই প্রভাব সম্ভাবনার উপর ভিত্তি করে পরীক্ষাকে অগ্রাধিকার দিন। সাধারণ নিয়ম: ব্যবহারকারী যে উপাদানগুলি প্রথমে দেখে এবং সিদ্ধান্তের উপর সবচেয়ে বেশি প্রভাব ফেলে সেগুলি প্রথমে পরীক্ষা করা হয়। একটি ল্যান্ডিং পৃষ্ঠায়, শিরোনামটি ক্লিকের উপর সবচেয়ে বেশি প্রভাব ফেলে; কারণ ব্যবহারকারী প্রথমে এটি পড়ে এবং সেখানে সিদ্ধান্ত নেয় বা চালিয়ে যাবে না। বোতামের রঙের মতো বিবরণ প্রায়ই একটি ছোট প্রভাব ফেলে; শেষের জন্য তাদের ছেড়ে দিন।

অগ্রাধিকার দেওয়ার একটি ব্যবহারিক উপায় হল তিনটি অক্ষে প্রতিটি পরীক্ষার ধারণা স্কোর করা: প্রত্যাশিত প্রভাব (এটি জিতলে কতটা পার্থক্য হবে?), আত্মবিশ্বাস (আমরা কতটা আত্মবিশ্বাসী যে এটি জিতবে?), এবং সহজ (এটি সেট আপ করা কত দ্রুত?)। উচ্চ প্রভাব, উচ্চ আত্মবিশ্বাস এবং কম প্রচেষ্টা সহ পরীক্ষাগুলি প্রথমে রাখা হয়। এটি আপনাকে পরীক্ষায় সীমিত ট্রাফিক বরাদ্দ করতে দেয় যা সর্বাধিক শিক্ষা নিয়ে আসে। AI আপনাকে এই তিনটি অক্ষ বরাবর ধারনাগুলির একটি তালিকা স্কোর করার এবং অগ্রাধিকার দেওয়ার জন্য একটি দ্রুত ব্লুপ্রিন্ট দিতে পারে; আপনি সিদ্ধান্ত নিন।

টেমপ্লেট 5 — পরীক্ষার অগ্রাধিকার:

নিম্নলিখিত A/B পরীক্ষার ধারণাগুলিকে অগ্রাধিকার দিন। প্রভাবের অক্ষ (1-5), নির্ভরযোগ্যতা (1-5) এবং ইনস্টলেশনের সহজতা (1-5) এর প্রতিটিতে স্কোর করুন, মোট স্কোর অনুসারে তাদের র‌্যাঙ্ক করুন এবং কেন তারা সেই ক্রমে রয়েছে তা এক বাক্যে ব্যাখ্যা করুন। পরীক্ষার ধারণা: [তালিকা]

সাধারণ ভুল

• তাই একই সময়ে পরিবর্তনশীল. ফলাফল অবর্ণনীয় হয়ে ওঠে।
• হাইপোথিসিস-মুক্ত পরীক্ষা। "চলো এটা চেষ্টা করে দেখি" শেখার উৎপাদন করে না।
• প্রাথমিক সিদ্ধান্ত। একটি ছোট নমুনায়, পার্থক্যটি ঘটনাক্রমে বাস্তব বলে মনে করা হয়।
• বিভিন্ন দৈর্ঘ্যের বৈকল্পিক। একটি দ্বিতীয় পরিবর্তনশীল অনিচ্ছাকৃতভাবে তৈরি করা হয়.
• শুধু বিজয়ী নিচ্ছেন। কারণ জানা না থাকলে তথ্য জমা হবে না।

সংক্ষেপে

• A/B পরীক্ষার সুবর্ণ নিয়ম: এক সময়ে একটি পরিবর্তনশীল।
• প্রতিটি পরীক্ষা একটি হাইপোথিসিস দিয়ে শুরু করা উচিত: আমি কী আশা করছি এবং কেন?
• সাফল্যের একটি একক পরিষ্কার পরিমাপ এবং একটি পর্যাপ্ত নমুনা সংজ্ঞায়িত করুন।
• ছোট নমুনার পার্থক্য বিভ্রান্তিকর; পরিসংখ্যানগত তাত্পর্য নোট করুন।
• জেনে নিন কেন, বিজয়ী নয়; এই অন্তর্দৃষ্টি পরবর্তী পরীক্ষায় ফিড.

আবেদন টাস্ক

আপনার বিষয়বস্তুগুলির একটি সম্পর্কে একটি পর্যবেক্ষণ চয়ন করুন। টেমপ্লেট 2 দিয়ে, এটিকে একটি পরিষ্কার অনুমানে অনুবাদ করুন এবং বিচ্ছিন্ন করার জন্য পরিবর্তনশীলটিকে চিহ্নিত করুন। টেমপ্লেট 1 (একই দৈর্ঘ্য, শুধুমাত্র পার্থক্য) সহ দুটি রূপ তৈরি করুন। পরিশেষে, অনুমানমূলক ফলাফল সংখ্যার সাথে মানানসই করুন, টেমপ্লেট 4 ব্যবহার করে তাদের ব্যাখ্যা করুন এবং নমুনা পর্যাপ্ততা সম্পর্কে মডেলটি কী বলে তা নোট করুন। সময়কাল: প্রায় 25 মিনিট।

চেকলিস্ট

• আমি একটি পরিষ্কার অনুমান দিয়ে পরীক্ষা শুরু করেছি।
• আমি শুধুমাত্র একটি পরিবর্তনশীল বিচ্ছিন্ন করেছি।
• [ ] বৈকল্পিক অন্যান্য অক্ষে (দৈর্ঘ্য, ইত্যাদি) একই রকম ছিল।
• [ ] আমি একটি স্পষ্ট সাফল্য মেট্রিক সংজ্ঞায়িত করেছি।
• [] আমি পর্যাপ্ত নমুনা/সময় ছাড়া সিদ্ধান্ত নিইনি।
• [ ] আমি পরবর্তী পরীক্ষার জন্য বিজয়ীর কারণ উল্লেখ করেছি।