লাভ:
- কৃত্রিম বুদ্ধিমত্তা সমর্থন সহ বর্ণনামূলক পরিসংখ্যান এবং বিতরণ/সম্পর্কের চার্ট তৈরি করার ক্ষমতা এবং ডেটা এবং প্রশ্ন অনুসারে সঠিক চার্টের ধরন বেছে নেওয়ার ক্ষমতা
- কৃত্রিম বুদ্ধিমত্তা দ্বারা উত্পাদিত চিত্রগুলিতে বিভ্রান্তিকর পছন্দগুলি (ড্যাশ করা অক্ষ, অনুপযুক্ত স্কেল, অত্যধিক স্মুথিং) সনাক্ত করার ক্ষমতা এবং সৎ ভিজ্যুয়ালাইজেশন নীতিগুলি প্রয়োগ করার ক্ষমতা
- অনুমান তৈরি করা এবং একই ডেটা দিয়ে আবিষ্কার এবং নিশ্চিতকরণের ফাঁদ (যা পি-হ্যাকিংয়ের দ্বার উন্মোচন করে) এর জন্য অনুসন্ধানমূলক বিশ্লেষণকে আলাদা করতে সক্ষম হওয়া।
ডেটা পরিষ্কার করার পরে, অভিজ্ঞতামূলক গবেষকের প্রথম কাজ এটি জানা। এই পর্যায়টিকে বলা হয় অনুসন্ধানমূলক ডেটা বিশ্লেষণ (EDA - অনুসন্ধানমূলক ডেটা বিশ্লেষণ): এটি গ্রাফ এবং সারাংশ পরিসংখ্যান সহ ডেটা পরীক্ষা করার এবং এর গঠন, নিদর্শন এবং আশ্চর্য দেখার প্রক্রিয়া। উদ্দেশ্য এখনও একটি হাইপোথিসিস পরীক্ষা করা নয়, তবে ডেটার সাথে পরিচিত হওয়া, প্রশ্ন তৈরি করা এবং ভবিষ্যতে আপনি যে মডেলটি তৈরি করবেন তার ভিত্তি স্থাপন করা। এই ইউনিটে, আমরা দেখব কিভাবে কৃত্রিম বুদ্ধিমত্তা (AI) EDA এবং ভিজ্যুয়ালাইজেশনকে ত্বরান্বিত করে, কিন্তু কেন এটি তৈরি করা গ্রাফিক্স সাবধানতার সাথে নিরীক্ষা করা আবশ্যক।
প্রথমে দুটি মৌলিক পার্থক্য করা যাক। প্রথমত, বর্ণনামূলক পরিসংখ্যান (সংখ্যা যা ডেটা সংক্ষিপ্ত করে যেমন গড়, মাঝারি, মানক বিচ্যুতি, চতুর্থাংশ) এবং ভিজ্যুয়ালাইজেশন (একই তথ্য গ্রাফিকভাবে দেখানো) একে অপরের পরিপূরক; তারা একসাথে ডেটা বর্ণনা করে। দ্বিতীয়, এবং সবচেয়ে গুরুত্বপূর্ণ: আবিষ্কার এবং নিশ্চিতকরণ আলাদা করা আবশ্যক। অনুমান তৈরি করার জন্য অনুসন্ধানমূলক বিশ্লেষণ হয়; একই ডেটা দিয়ে হাইপোথিসিসটি অন্বেষণ করা এবং "আমি এটি পরীক্ষা করেছি এবং এটি গুরুত্বপূর্ণ খুঁজে পেয়েছি" বলা পি-হ্যাকিংয়ের দরজা খুলে দেয়, যা আমরা পরবর্তী ইউনিটে দেখতে পাব। এটা বিনামূল্যে তথ্য দেখতে এবং একটি প্যাটার্ন দেখতে; কিন্তু সেই প্যাটার্নটিকে একই ডেটাতে "প্রমাণিত অনুসন্ধান" ঘোষণা করা বিভ্রান্তিকর।
ধাপে ধাপে অনুসন্ধানমূলক বিশ্লেষণ
1. ইউনিভেরিয়েট ভিউ। প্রতিটি ভেরিয়েবলকে পৃথকভাবে পরীক্ষা করুন: এর বন্টন কি প্রতিসম বা তির্যক; কত পাহাড় আছে; বহিরাগতরা কোথায়? সংখ্যাসূচক ভেরিয়েবলের জন্য, হিস্টোগ্রাম (পরিসরে মানকে বিভক্ত করে ফ্রিকোয়েন্সি দেখানো প্লট) এবং বক্সপ্লট (বক্সপ্লট — মাঝারি, চতুর্থ এবং চরম মান দেখানো চার্ট); শ্রেণীগত ভেরিয়েবলের জন্য, ফ্রিকোয়েন্সি টেবিল এবং বার চার্ট ব্যবহার করুন।
2. বিভেরিয়েট ভিউ। দুটি ভেরিয়েবলের মধ্যে সম্পর্ক দেখুন: দুটি সংখ্যাসূচক ভেরিয়েবলের জন্য স্ক্যাটার প্লট (এটি x-y সমতলে প্রতিটি পর্যবেক্ষণকে একটি বিন্দু হিসাবে দেখায়), সংখ্যাসূচক-শ্রেণীগতের জন্য দলবদ্ধ বক্স প্লট, দুটি শ্রেণীগতের জন্য ক্রসট্যাব। পারস্পরিক সম্পর্কের সহগ দেখার আগে, স্ক্যাটার প্লটটি দেখতে ভুলবেন না: একই পারস্পরিক সম্পর্ক খুব ভিন্ন প্যাটার্ন দেখাতে পারে (বিখ্যাত অ্যানসকম্বে কোয়ার্টেট এটি প্রদর্শন করে; চারটি ডেটা সেটের প্রায় একই পরিসংখ্যান রয়েছে, কিন্তু যখন প্লট করা হয় তখন তারা সম্পূর্ণ আলাদা হতে পারে)।
3. সঠিক চার্ট টাইপ নির্বাচন করুন। চার্টের ধরন আপনার প্রশ্ন এবং ডেটা টাইপের উপর নির্ভর করে। বিতরণের জন্য হিস্টোগ্রাম; সম্পর্কের জন্য বিক্ষিপ্তকরণ; সময়ের সাথে পরিবর্তনের জন্য লাইন চার্ট; বিভাগের তুলনার জন্য বার চার্ট; (সাবধানে) পুরো অংশের অনুপাতের জন্য স্ট্যাক করা বার। AI আপনার জন্য দ্রুত কোড তৈরি করে, কিন্তু "কোন প্রশ্নের জন্য কোন গ্রাফ" এর সিদ্ধান্ত আপনার।
4. প্যাটার্নটি নোট করুন, ফলাফল ঘোষণা করবেন না। আপনি "আবিষ্কার নোট" হিসাবে যে কোনও আকর্ষণীয় প্যাটার্ন দেখেন তা রেকর্ড করুন তবে এটিকে নিশ্চিত অনুসন্ধান হিসাবে বিবেচনা করবেন না। নিশ্চিতকরণ একটি পৃথক ধাপে করা হয়, বিশেষত পৃথক ডেটা বা পূর্বনির্ধারিত সময়সূচী সহ।
সৎ ভিজ্যুয়ালাইজেশন নীতি
গ্রাফিক convinces; অতএব, এর বিভ্রান্তিকর ক্ষমতাও বেশি। AI নান্দনিক কিন্তু কখনও কখনও বিভ্রান্তিকর পছন্দ করতে পারে। এই নীতিগুলি পরীক্ষা করুন:
- বার চার্টে, y-অক্ষ অবশ্যই শূন্য থেকে শুরু হবে। ড্যাশ করা অক্ষ ছোট পার্থক্যকে বড় হিসাবে দেখায়।
- স্কেল সামঞ্জস্যপূর্ণ হওয়া উচিত। যদি দুটি চার্ট তুলনা করা হয়, একই অক্ষ পরিসীমা ব্যবহার করুন.
- অত্যধিক মসৃণতা সত্য প্যাটার্ন লুকাতে পারেন. একটি প্রবণতা লাইন সুন্দর দেখায়, কিন্তু যদি এটি ডেটাকে খুব বেশি "মসৃণ" করে তবে এটি বিভ্রান্তিকর হতে পারে।
- রঙ এবং 3D সজ্জা মনোযোগ বিকৃত, তথ্য না. সরলতা চয়ন করুন.
- অনুপস্থিত ডেটা এবং নমুনার আকার দৃশ্যমান হওয়া উচিত। "n=12" এবং "n=12,000" একই রকম দেখা উচিত নয়৷
মনোযোগ: শুধু এআই দ্বারা উত্পাদিত গ্রাফিক্স সুন্দর, সেগুলি সত্য নয়৷ তিনি যে সবচেয়ে সাধারণ ভুল করেন তা হল বার চার্টে শূন্য থেকে অক্ষ শুরু না করা এবং দুটি গ্রুপের মধ্যে পার্থক্যকে অতিরঞ্জিত করা। সর্বদা অক্ষ পরীক্ষা করুন.
তুলনা চার্ট: প্রশ্ন → চার্ট
জিজ্ঞাসা করুন
সঠিক চার্ট
সাধারণ ভুল
কিভাবে এই পরিবর্তনশীল বিতরণ করা হয়?
হিস্টোগ্রাম/বক্স প্লট
পাই চার্ট ব্যবহার করুন
দুটি সংখ্যাসূচক ভেরিয়েবল কি সম্পর্কিত?
বিক্ষিপ্ত চক্রান্ত
শুধু পারস্পরিক সম্পর্ক সংখ্যার দিকে তাকিয়ে
সময়ের সাথে সাথে এটি কীভাবে পরিবর্তিত হয়েছে?
লাইন চার্ট
একটি বার চার্ট সহ একটি প্রবণতা বলা
দলের মধ্যে পার্থক্য কি?
দলবদ্ধ বাক্স/বার (শুরু থেকে)
কাটা অক্ষ রড
অংশ থেকে পুরো অনুপাত?
স্তুপীকৃত বার (সতর্কতার সাথে)
মাল্টি-স্লাইস পাই চার্ট
চারটি অনুলিপিযোগ্য প্রম্পট
1. স্বয়ংক্রিয় আবিষ্কার কোড:
আপনার ভূমিকা: EDA সহকারী। আমি ডেটা শেয়ার করি না, আমি R (ggplot2) কোড চাই। 'ডেটা' ডেটা ফ্রেমে সংখ্যাসূচক (আয়, বয়স, ব্যয়) এবং শ্রেণীগত (অঞ্চল, শিক্ষা) ভেরিয়েবল রয়েছে। টাস্ক: কোড লিখুন যা প্রতিটি সংখ্যার জন্য একটি হিস্টোগ্রাম, প্রতিটি শ্রেণীবদ্ধের জন্য একটি বার চার্ট এবং আয়~বয়সের জন্য একটি স্ক্যাটার প্লট তৈরি করে। বার চার্টে, y-অক্ষ শূন্য থেকে শুরু করা যাক। মন্তব্য লাইন যোগ করুন.
2. পারস্পরিক সম্পর্ক পর্যালোচনা (সম্পর্ক + ভিজ্যুয়াল একসাথে):
কোড লিখুন যা উভয়ই আয় এবং ব্যয়ের জন্য পিয়ারসন পারস্পরিক সম্পর্ক গণনা করে এবং একটি স্ক্যাটার প্লট + রৈখিক প্রবণতা প্লট করে। পারস্পরিক সম্পর্ক গণনা (Anscombe সতর্কতা) বিশ্বাস করার আগে চার্ট পরীক্ষা করার জন্য আমাকে স্মরণ করিয়ে একটি মন্তব্য লাইন যোগ করুন। প্রবণতা লাইন অতিরিক্ত মসৃণ করবেন না.
3. সততা নিরীক্ষা:
সৎ ভিজ্যুয়ালাইজেশনের জন্য নিম্নলিখিত ggplot কোডটি পরীক্ষা করুন:[code]। নিম্নলিখিতগুলি পরীক্ষা করুন এবং সংশোধন করুন: y-অক্ষ কি শূন্য থেকে শুরু হয়, স্কেলটি কি সামঞ্জস্যপূর্ণ, নমুনার আকারটি কি দৃশ্যমান, অতিরিক্ত মসৃণতা আছে কি? আপনার করা প্রতিটি সংশোধনের ন্যায্যতা ব্যাখ্যা করুন।
4. একটি আবিষ্কার নোট তৈরি করা (একটি অনুসন্ধান নয়):
আমি যে গ্রাফগুলি তৈরি করি তার উপর ভিত্তি করে, পর্যবেক্ষণগুলিকে একটি 'আবিষ্কার নোট' হিসাবে তালিকাভুক্ত করুন; প্রতিটি আইটেমকে 'পরীক্ষা করা হাইপোথিসিস' ভাষায় লিখুন, 'নির্ধারিত অনুসন্ধান' নয়। উদাহরণ: 'উচ্চ শিক্ষায় আয় আরও ছড়িয়ে পড়ে; আলাদা ডেটা দিয়ে পরীক্ষা করা উচিত।' কার্যকারণ এবং নির্দিষ্ট বক্তব্য এড়িয়ে চলুন।
দুর্বল প্রম্পট / শক্তিশালী প্রম্পট
দুর্বল প্রম্পট:
ফলন থেকে সুন্দর গ্রাফ তৈরি করুন এবং আমাকে বলুন তারা কি বোঝায়।
এই প্রম্পটটি বিভ্রান্তিকর আউটপুটকে আমন্ত্রণ জানায়: "সুন্দর" নান্দনিকতার উপর ফোকাস করে, যখন "এর অর্থ কী" এআইকে আবিষ্কার থেকে চূড়ান্ত উপসংহারে যেতে ঠেলে দেয়। কার্যকারণ, অতিরঞ্জিত মন্তব্য অনুসরণ.
শক্তিশালী প্রম্পট:
আপনার ভূমিকা: সৎ EDA সহকারী। টাস্ক: (1) আমার প্রশ্নের জন্য উপযুক্ত চার্টের ধরন বেছে নিন এবং ন্যায্যতা লিখুন, (2) বার চার্টে শূন্য থেকে অক্ষ শুরু করুন, (3) আবিষ্কার নোট ভাষায় আউটপুট ব্যাখ্যা করুন: কোন নির্দিষ্ট/কারণমূলক দাবি "অবশ্যই পরীক্ষা করা আবশ্যক" ভাষায় অনুমান প্রস্তাব করে না, যদি আমি ছোট (3) নমুনা (3) চালান (4)। আমার নিজের পরিবেশে চার্ট এবং এটি যাচাই.
পার্থক্য: শক্তিশালী ইচ্ছা চার্টের ধরনকে ন্যায্যতা দেয়, সততার নিয়ম আরোপ করে এবং নিশ্চিতকরণের সাথে আবিষ্কারকে বিভ্রান্ত করে না।
তিনটি মিনি কেস
কেস 1 - বিচ্ছিন্ন অক্ষের অতিরঞ্জন। একজন বিশ্লেষক বার চার্টে দুটি শাখার (7.8 এবং 8.0; 10টির মধ্যে) সন্তুষ্টির স্কোর দেখিয়েছেন। 7.5 থেকে ওয়াইজেড অক্ষ শুরু করার সময়, দ্বিতীয় শাখাটি প্রথমটির চেয়ে প্রায় দ্বিগুণ উচ্চতায় উপস্থিত হয়েছিল; যেখানে পার্থক্য ছিল মাত্র 2.5%। ব্যবস্থাপনা ভুল ধারণার অধীনে একটি শাখাকে পুরস্কৃত করতে যাচ্ছিল। যখন আমি স্ক্র্যাচ থেকে অক্ষ শুরু করি তখন পার্থক্যটি প্রায় অদৃশ্য ছিল। পাঠ: অক্ষ পছন্দ একা উপলব্ধি পরিবর্তন করে।
কেস 2 — পারস্পরিক সম্পর্ককে বিশ্বাস করা এবং চার্ট এড়িয়ে যাওয়া। একজন গবেষক দুটি ভেরিয়েবলের মধ্যে r = 0.81 দেখেছেন এবং লিখেছেন "শক্তিশালী রৈখিক সম্পর্ক"। যখন তার পরামর্শদাতা স্ক্যাটার প্লটের জন্য জিজ্ঞাসা করেছিলেন, তখন দেখা গিয়েছিল যে সম্পর্কটি আসলে একটি একক চরম পর্যবেক্ষণের কারণে ছিল এবং যখন সেই বিন্দুটি সরানো হয়, তখন পারস্পরিক সম্পর্কটি 0.12-এ নেমে আসে। পাঠ: পারস্পরিক সম্পর্ক গণনা একটি গ্রাফের বিকল্প নয়; সর্বদা বিক্ষিপ্ত তাকান.
কেস 3 - নিশ্চিতকরণের সাথে বিভ্রান্তিকর আবিষ্কার। একজন শিক্ষার্থী 40-ভেরিয়েবল ডেটা সেটে সমস্ত জোড়ার মতো সম্পর্ক দেখেছে, সর্বোচ্চটি (r=0.52) নির্বাচন করেছে এবং লিখেছে, "আমরা শিক্ষা এবং সঞ্চয়ের মধ্যে একটি উল্লেখযোগ্য সম্পর্ক খুঁজে পেয়েছি (p=0.004)।" যাইহোক, 40টি ভেরিয়েবলে শত শত জোড়া ছিল; সুযোগের কারণে সর্বোচ্চটি বেছে নেওয়া একটি মিথ্যা অনুসন্ধান ছিল। পাঠ: আবিষ্কৃত প্যাটার্ন একই ডেটাতে "পরীক্ষিত এবং তাৎপর্যপূর্ণ ঘোষণা করা" যাবে না; পৃথক নিশ্চিতকরণ প্রয়োজন.
সাধারণ ভুল
- বার চার্টে শূন্য থেকে অক্ষ শুরু হচ্ছে না। এটা ছোট পার্থক্য অতিরঞ্জিত; সবচেয়ে সাধারণ চাক্ষুষ মিথ্যা. সবসময় চেক করুন.
- পারস্পরিক সম্পর্কের দিকে তাকিয়ে চার্ট এড়িয়ে যাচ্ছেন। একই পারস্পরিক সম্পর্ক খুব ভিন্ন প্যাটার্ন থেকে আসে; একটি বহিরাগত সম্পর্ক মাপসই করতে পারেন. প্রথমত, বিক্ষিপ্তকরণ।
- একই ডেটাতে "প্রমাণ" হিসাবে আবিষ্কারে পাওয়া প্যাটার্ন বিবেচনা করা। এটি পি-হ্যাকিংয়ের গেটওয়ে; নিশ্চিতকরণ পৃথকভাবে করা হয়.
- ভুল চার্ট টাইপ। মিল যেমন ট্রেন্ডের জন্য বার এবং বিতরণের জন্য পাই বিভ্রান্তিকর। প্রশ্নের উপর ভিত্তি করে একটি ধারা নির্বাচন করুন।
- নমুনা আকার লুকানো. n=8 এবং n=8,000 একই গ্রাফে একই দেখা উচিত নয়; অনিশ্চয়তা দেখাতে হবে।
টিপ: একটি চার্ট প্রকাশ করার আগে, নিজেকে জিজ্ঞাসা করুন: "আমি যদি অক্ষ পরিবর্তন করি তবে গল্পটি কি পরিবর্তন হবে?" যদি উত্তর হ্যাঁ হয়, আপনি সম্ভবত একটি অসৎ জায়গা থেকে পিভট শুরু করেছেন।
সংক্ষেপে
অনুসন্ধানমূলক ডেটা বিশ্লেষণ হল ডেটা পূরণের পর্যায়, প্যাটার্ন দেখা এবং অনুমান তৈরি করা; এটি একটি নিশ্চিতকরণ নয়. AI দ্রুত বর্ণনামূলক পরিসংখ্যান এবং গ্রাফ কোড তৈরি করে, কিন্তু আপনি আপনার প্রশ্নের উপর ভিত্তি করে গ্রাফের ধরন বেছে নেন এবং ন্যায্যতার নীতিগুলি নিয়ন্ত্রণ করেন (শূন্য অক্ষ, সামঞ্জস্যপূর্ণ স্কেল, আপাত অনিশ্চয়তা)। পারস্পরিক সম্পর্ক সংখ্যা বিশ্বাস করার আগে বিক্ষিপ্ত তাকান; আপনি আবিষ্কারে যে প্যাটার্নটি পেয়েছেন সেটিকে একই ডেটাতে "প্রমাণ" হিসাবে ঘোষণা করবেন না। AI এর সুন্দর গ্রাফ মানে সঠিক গ্রাফ নয়।
আবেদন টাস্ক
একটি ডেটা সেটে কমপক্ষে তিনটি ভেরিয়েবল নির্বাচন করুন। AI-কে জিজ্ঞাসা করুন এবং কোড চালান যা অনুসন্ধানমূলক গ্রাফ তৈরি করে (হিস্টোগ্রাম, স্ক্যাটার, বক্সযুক্ত) একটি প্রম্পট যা সততার নিয়মগুলি প্রয়োগ করে। প্রতিটি চার্টের জন্য: পরীক্ষা করুন (1) প্রশ্নটির জন্য চার্টের প্রকারের উপযুক্ততা, (2) অক্ষের সততা, (3) নমুনার আকারের দৃশ্যমানতা। হাইপোথিসিস ভাষায় কমপক্ষে একটি "আবিষ্কার নোট" লিখুন ("...আলাদাভাবে পরীক্ষা করা হবে বলে মনে হচ্ছে")। গণনা এবং বিক্ষিপ্ত উভয়ের সাথে একটি পারস্পরিক সম্পর্ক পরীক্ষা করুন এবং তাদের মধ্যে কোনো অমিল থাকলে রিপোর্ট করুন।
চেকলিস্ট
- [ ] আমি আমার প্রশ্ন এবং ডেটা টাইপের উপর ভিত্তি করে চার্টের ধরনটি বেছে নিয়েছি।
- [ ] বার চার্টে, আমি y-অক্ষ শূন্য থেকে শুরু করি; আমি অক্ষ সততা পরীক্ষা.
- পারস্পরিক সম্পর্কে বিশ্বাস করার আগে আমি স্ক্যাটারপ্লটের দিকে তাকিয়েছিলাম।
- [ ] আমি গ্রাফে নমুনার আকার এবং অনিশ্চয়তা প্রতিফলিত করেছি।
- আমি অনুসন্ধানে যে নিদর্শনগুলি পেয়েছি তা "প্রমাণ" এর পরিবর্তে "পরীক্ষা করার জন্য অনুমান" হিসাবে লিখেছিলাম।
- [ ] আমি উল্লেখ করেছি যে আমি নিশ্চিতকরণের জন্য একই ডেটা ব্যবহার করব না এবং একটি পৃথক পদক্ষেপের প্রয়োজন ছিল৷