পাইথনের সাথে স্বয়ংচালিত ডেটা বিশ্লেষণ: এন্ড-টু-এন্ড

লাভ:

• একটি পুনরাবৃত্তিযোগ্য বিশ্লেষণ কর্মপ্রবাহ স্থাপন করার ক্ষমতা যা পান্ডাদের সাথে টেলিমেট্রি, পরীক্ষা এবং উত্পাদন ডেটা লোড এবং পরিষ্কার করে
• কৃত্রিম বুদ্ধিমত্তা থেকে কোড, বৈশিষ্ট্য এবং ভিজ্যুয়ালাইজেশন সহায়তা পাওয়ার সময় লাইন দ্বারা আউটপুট লাইন বোঝা এবং যাচাই করার ক্ষমতা
• ইউনিটের সামঞ্জস্য, ডেটা লিকেজ এবং প্রজননযোগ্যতার জন্য বিশ্লেষণের ফলাফল নিরীক্ষা করার ক্ষমতা

পূর্ববর্তী ইউনিটগুলিতে, আমরা একটি "উপদেষ্টা" এর মতো কৃত্রিম বুদ্ধিমত্তা ব্যবহার করেছি। এই ইউনিটে, আমরা আরও এক ধাপ এগিয়ে যাই এবং পাইথন ব্যবহার করে আমাদের নিজের হাতে স্বয়ংচালিত ডেটা বিশ্লেষণ করে এমন একটি কর্মপ্রবাহ প্রতিষ্ঠা করি। লক্ষ্য আপনাকে সফটওয়্যার ডেভেলপার বানানো নয়; এটি এমন একজন প্রকৌশলী তৈরি করা যে AI থেকে কোড সহায়তা পাওয়ার সময় লাইন দ্বারা সেই কোড লাইনটি বুঝতে এবং যাচাই করতে পারে। কারণ AI দ্বারা উত্পাদিত কোড ত্রুটিপূর্ণ হতে পারে, ঠিক AI দ্বারা উত্পাদিত পাঠ্যের মতো; ভলিউম বিভ্রান্ত করতে পারে, তথ্য ফাঁস, কেন্দ্র ভুল কলাম। না বুঝে কোড চালানো মানে স্বাক্ষরবিহীন রিপোর্ট প্রকাশ করার মতো।

পাইথন কেন? কারণ এটি ডেটা বিশ্লেষণের প্রকৃত মান: আপনি পান্ডা (টেবুলার ডেটা), নম্পি (সংখ্যার প্রক্রিয়াকরণ), ম্যাটপ্লটলিব (প্লট) এবং স্কিট-লার্ন (মেশিন লার্নিং) লাইব্রেরিগুলির সাহায্যে টেলিমেট্রি, পরীক্ষা এবং উত্পাদন ডেটা সহজেই প্রক্রিয়া করতে পারেন।

প্রজননযোগ্য বিশ্লেষণের ছয়টি ধাপ

একটি কঠিন বিশ্লেষণ সবসময় একই কাঠামো অনুসরণ করে:

1. লোড: ফাইল থেকে ডেটা পড়ুন।
2. পরিদর্শন করুন: মাত্রা, কলাম, ডেটা প্রকার, অনুপস্থিত মান।
3. পরিষ্কার: অনুপস্থিত/আউটলার, ইউনিট, টাইমস্ট্যাম্প সংশোধন।
4. নিষ্কাশন বৈশিষ্ট্য: অর্থপূর্ণ ভেরিয়েবল আহরণ.
5. বিশ্লেষণ/মডেল: পরিসংখ্যান, ভিজ্যুয়ালাইজেশন বা মডেল।
6. যাচাই করুন এবং রিপোর্ট করুন: ফলাফলের বিধান, ভলিউম/লিক চেক, রেকর্ডিং।

টিপ: কোডের জন্য AI জিজ্ঞাসা করার সময়, বলুন "প্রতিটি ধাপে আপনি কী করছেন তা মন্তব্য করুন এবং আপনার অনুমান লিখুন।" সুতরাং আপনি কোডটি পড়ার সাথে সাথে যাচাই করতে পারেন।

ধাপে ধাপে উদাহরণ: টেলিমেট্রি বিশ্লেষণ

নিম্নলিখিত কোডটি একটি CAN/টেলিমেট্রি রেকর্ড লোড করে এবং মৌলিক পরীক্ষা করে। (দ্রষ্টব্য: কোডগুলি চালানোর আগে আপনি বুঝতে পেরেছেন তা নিশ্চিত করুন; কলামের নামগুলি আপনার ডেটার উপর নির্ভর করে পরিবর্তিত হয়।)

pd# হিসাবে পান্ডা আমদানি করুন 1) লোড: আধা-বিন্দুযুক্ত CSV, প্রথম কলাম timestampdf = pd.read_csv("telemetry.csv", parse_dates=["time"])# 2) চেকপ্রিন্ট(df.shape) # কতগুলি সারি, কতগুলি কলামপ্রিন্ট (df.number) প্রতিটি টাইপ (df.number) text)print(df.isna().sum()) # অনুপস্থিত মানের সংখ্যা প্রতি কলামপ্রিন্ট(df.describe()) # সংক্ষিপ্ত পরিসংখ্যান: সর্বনিম্ন, সর্বোচ্চ, গড়

describe() আউটপুট হল আপনার যাচাই করার প্রথম সুযোগ: যদি ইঞ্জিনের গতির সর্বোচ্চ মান 45,000 rpm (সাধারণ যাত্রী ইঞ্জিন ~7,000 rpm) হয়, তাহলে একটি ইউনিট বা সেন্সর ত্রুটি আছে।

অডিটিং ধাপে সর্বাধিক ব্যবহৃত পান্ডা কমান্ড এবং তারা কী করে:

আদেশ

কি করে

এটা কি নিশ্চিত করে?

df.shape

সারি/কলামের সংখ্যা

এটা কি প্রত্যাশিত আকার?

df.dtypes

কলামের ধরন

সংখ্যা কলাম পাঠ্য হয়ে গেছে?

df.isna().sum()

অনুপস্থিত মান গণনা

কত জায়গা আছে?

df.describe()

সর্বনিম্ন/সর্বোচ্চ/গড়

এটা কি শারীরিকভাবে যুক্তিসঙ্গত?

df.duplicated().sum()

ডুপ্লিকেট সারি

দ্বৈত নিবন্ধন আছে কি?

# 3) পরিষ্কার: শারীরিকভাবে অসম্ভব মান চিহ্নিত করুন

সতর্কতা: অবিলম্বে আউটলার মুছে ফেলবেন না; প্রথমে বুঝুন কেন এটি একটি বহিরাগত। এটি একটি বাস্তব ঘটনা (হঠাৎ গরম) বা সেন্সর ব্যর্থতা? অন্ধভাবে মুছে ফেললে আসল দোষ লুকাতে পারে।

# 4) এক্সট্র্যাক্ট বৈশিষ্ট্য: তাপমাত্রা বৃদ্ধির হার (ডেরিভেটিভ) df = df.sort_values("time")df["sic_increase_speed"] = df["motor_sic"].diff() / df["time"].diff().dt.total_seconds()# 5. পোর্ট প্লোলাইজেশন সহজীকরণ হিসাবে pltplt.plot(df["time"], df["motor_sic"])plt.xlabel("সময়"); plt.ylabel("ইঞ্জিন তাপমাত্রা (C)")plt.title("ইঞ্জিন তাপমাত্রা কোর্স")plt.show()

পাইথনে ডেটা ফাঁস রোধ করা

একটি ভবিষ্যদ্বাণী মডেল তৈরি করার সময় সবচেয়ে বিপজ্জনক ভুল হল ডেটা লিকেজ (ইউনিট 5): যখন মডেলটি এমন তথ্য দেখে যা ভবিষ্যদ্বাণী করার সময় জানা যায় না। টাইম সিরিজে এটি এড়াতে সুবর্ণ নিয়ম: অতীতের সাথে প্রশিক্ষণ, ভবিষ্যতের সাথে পরীক্ষা - কোন এলোমেলো পরিবর্তন নয়।

sklearn.model_selection থেকে import train_test_split# FALSE: এলোমেলোভাবে টাইম সিরিজকে বিভক্ত করলে ভবিষ্যত# df[df["time"] > থ্রেশহোল্ড] # শেষ 20% ভবিষ্যত ফাঁস হয়

সতর্কতা: ট্রেন_টেস্ট_স্প্লিট ডিফল্টরূপে ডেটা এলোমেলো করে (শাফেল=ট্রু)। টাইম সিরিজে, এটি শিক্ষার সাথে ভবিষ্যতকে বিভ্রান্ত করে এবং একটি মিথ্যা উচ্চ স্কোর তৈরি করে। যদি AI এটি তৈরি করা কোডে এটি করে থাকে তবে এটি ঠিক করতে ভুলবেন না।

ইউনিটের ধারাবাহিকতা: নীরব ঘাতক

অটোমোটিভের সবচেয়ে ভয়ঙ্কর ত্রুটিগুলি হল ইউনিট ত্রুটি: km/h থেকে m/s, Nm থেকে lb-ft, বার থেকে kPa, °C থেকে K। বিশ্লেষণে প্রতিটি কলামের একক কী আছে তার একটি অভিধান রাখা এবং রূপান্তরগুলি পরিষ্কারভাবে লিখে রাখা জীবন বাঁচায়।

# ইউনিটগুলি স্পষ্টভাবে নথিভুক্ত করুন = {"গতি": "কিমি/ঘণ্টা", "মোটর_সিক": "সি", "চাপ": "বার"}# প্রয়োজনে স্পষ্ট রূপান্তর (km/h -> m/s)df["speed_ms"] = df["গতি"] / 3.6

মিনি কেস স্টাডি

কেস 1 - describe() এর সাথে ত্রুটি ধরা পড়েছে। একজন বিশ্লেষক AI থেকে কোড চালান এবং একটি পরিসীমা অনুমান করেন; ফলাফল অযৌক্তিকভাবে উচ্চ। যখন আমরা describe() আউটপুট দেখি, তখন আমরা দেখতে পাই যে ব্যাটারির ক্ষমতা কিছু লাইনে Wh এবং অন্যগুলোতে kWh (1000 গুণের পার্থক্য) প্রবেশ করানো হয়েছে। যখন ইউনিট একটি অভিন্ন ধরনের আনা হয়, ফলাফল উন্নত। উপসংহার: একটি সাধারণ সারসংক্ষেপ পরিসংখ্যান একটি খারাপ ভবিষ্যদ্বাণী প্রতিরোধ করে।

কেস 2 - বিভ্রান্তির ফাঁদ। একজন ইন্টার্নের ব্রেক পরিধানের মডেল পরীক্ষা সেটে 98% নির্ভুল ছিল। যখন কোডটি পরীক্ষা করা হয়, তখন দেখা যায় যে ট্রেন_টেস্ট_স্প্লিট(শাফেল=ট্রু) এবং টাইম সিরিজ মিশ্রিত হয়েছে, যার অর্থ হল ভবিষ্যতের পয়েন্টগুলি প্রশিক্ষণে লিক হবে। সময় দ্বারা ভাগ করা হলে, নির্ভুলতা 80% এ নেমে আসে, কিন্তু এটি এখন বাস্তবসম্মত। উপসংহার: শুধু এআই কোড কাজ করার কারণে, এটা ঠিক ছিল না; মানুষের ফুটো ধরা.

কেস 3 - আউটলিয়ার বোঝা। একটি স্থায়িত্ব রেকর্ডে, এআই কোড স্বয়ংক্রিয়ভাবে আউটলিয়ার স্ট্রেন মান মুছে দেয়। ইঞ্জিনিয়ার মুছে ফেলা পয়েন্টগুলি দেখেন; ক্র্যাক সূচনার ঠিক সেই মুহূর্তগুলি ছিল যা পরীক্ষাটি আগ্রহী ছিল৷ মুছে ফেলার অপসারণ করা হয় এবং লঙ্ঘনগুলি পৃথক পর্যালোচনায় নেওয়া হয়৷ ফলাফল: "পরিষ্কার" এর অধীনে প্রকৃত সংকেত মুছে ফেলা যেতে পারে; প্রতিটি পদক্ষেপে প্রশ্ন।

প্রম্পট টেমপ্লেট

টেমপ্লেট 1 - অনুরোধ কোড (ব্যাখ্যা সহ):

ভূমিকা: আপনি একজন পাইথন ডেটা বিশ্লেষক পরামর্শদাতা। টাস্ক: কোড লিখুন যা একটি টেলিমেট্রি CSV লোড করে এবং পরীক্ষা করে। প্রসঙ্গ: কলাম: সময়, গতি(কিমি/ঘণ্টা), ইঞ্জিন_সিক(সি), বিপ্লব(আরপিএম)। সীমাবদ্ধতা: প্রতিটি সারি মন্তব্য করুন; কোন চেক করা হয়েছিল এবং কেন করা হয়েছিল তা ব্যাখ্যা করুন; শারীরিকভাবে অসম্ভব মান চেক যোগ করুন; নীরবে কিছুই মুছে ফেলা হচ্ছে না। আউটপুট: মন্তব্য করা কোড + কোন আউটপুটটি আমার দেখা উচিত এবং কেন।

টেমপ্লেট 2 - লিক পরিদর্শন:

ভূমিকা: আপনি একজন মেশিন লার্নিং কোড রিভিউয়ার। টাস্ক: ডেটা ফাঁসের জন্য নিম্নলিখিত প্রশিক্ষণ/পরীক্ষা বিভক্ত কোড পরীক্ষা করুন। প্রসঙ্গ: এটি একটি টাইম সিরিজ (যানবাহন টেলিমেট্রি)। সীমাবদ্ধতা: র্যান্ডম এলোমেলো হলে সতর্ক করুন; সময় অনুসারে বিভক্ত করার পরামর্শ দিন এবং ন্যায্যতা দিন। আউটপুট: অনুসন্ধান + সংশোধন করা কোড + ব্যাখ্যা।

টেমপ্লেট 3 - ইউনিট বৈধতা:

ভূমিকা: আপনি একজন ডেটা মানের অডিটর৷ টাস্ক: একটি ডেটাফ্রেমে ইউনিটের অসঙ্গতি খুঁজে বের করে এমন চেকগুলির পরামর্শ দিন৷ প্রসঙ্গ: ক্ষমতা কিছু সারিতে kWh এবং অন্যগুলিতে Wh হতে পারে৷ আউটপুট: কোড চেক করুন + কীভাবে সন্দেহজনক প্যাটার্ন খুঁজে পাবেন৷

টেমপ্লেট 4 - ভিজ্যুয়ালাইজেশন + মন্তব্য:

ভূমিকা: আপনি একজন ডেটা ভিজ্যুয়ালাইজেশন বিশেষজ্ঞ। কাজ: ইঞ্জিনের তাপমাত্রার কোর্স এবং বৃদ্ধির হার প্লট করে এমন কোড লিখুন। সীমাবদ্ধতা: এককের সাথে অক্ষগুলি লেবেল করুন; দৃশ্যত অসঙ্গতি চিহ্নিত করুন; গ্রাফ ব্যাখ্যা করার সময় নির্দিষ্ট ত্রুটি দাবি করবেন না। আউটপুট: কোড + গ্রাফে কী সন্ধান করতে হবে।

দুর্বল প্রম্পট / শক্তিশালী প্রম্পট

দুর্বল প্রম্পট:

এই ডেটা দিয়ে একটি মডেল তৈরি করুন।

কোন টার্গেট, কোন বগি, কোন ভেরিফিকেশন তা স্পষ্ট নয়; AI স্ক্র্যাম্বলড, লিকি, ইউনিট-ব্লাইন্ড কোড আউটপুট করতে পারে।

শক্তিশালী প্রম্পট:

ভূমিকা: আপনি একজন পাইথন এমএল পরামর্শদাতা। টাস্ক: ব্রেক প্যাড পরিধানের পূর্বাভাস দিতে এবং বৈধতার ত্রুটিগুলি প্রদর্শন করতে একটি প্রাথমিক কর্মপ্রবাহ লিখুন। প্রসঙ্গ: সময় সিরিজ টেলিমেট্রি; লক্ষ্য: অবশিষ্ট প্যাড পুরুত্ব। সীমাবদ্ধতা: সময়ের দ্বারা বিভক্ত সময় সিরিজ (কোনও এলোমেলো নয়); তথ্য ফাঁস ঝুঁকিতে পতাকা বৈশিষ্ট্য; নথি ইউনিট; প্রতিটি পদক্ষেপ ব্যাখ্যা; ফলাফল মাঠে যাওয়ার আগে কী কী চেক প্রয়োজন তা লিখুন। আউটপুট: মন্তব্য করা কোড + যাচাইকরণ চেকলিস্ট।

সাধারণ ভুল

• কোড না বুঝেই রান করা। এআই কোডও ত্রুটিপূর্ণ হতে পারে; লাইন বাই লাইন পড়ুন।
• মিক্সিং টাইম সিরিজ। shuffle=সত্য ভবিষ্যতকে ফাঁস করে এবং একটি জাল স্কোর তৈরি করে।
• অন্ধভাবে আউটলিয়ার মুছে দিন। প্রকৃত সংকেত (ফল্ট শুরু) সাফ করা যেতে পারে।
• ইউনিট নথিভুক্ত না. km/h বনাম m/s, Wh বনাম kWh এর মতো ত্রুটিগুলি নিঃশব্দে বৃদ্ধি পায়।
• বর্ণনা()/চেক পদক্ষেপটি এড়িয়ে যাওয়া। বেশিরভাগ ত্রুটি প্রথম সংক্ষিপ্ত পরিসংখ্যানে প্রদর্শিত হয়।

সংক্ষেপে

• পাইথন (পান্ডাস, নম্পি, ম্যাটপ্লটলিব, স্কিট-লার্ন) হল স্বয়ংচালিত ডেটা বিশ্লেষণের ডি ফ্যাক্টো স্ট্যান্ডার্ড।
• পুনরাবৃত্তিযোগ্য বিশ্লেষণ: লোড, পরিদর্শন, পরিষ্কার, বৈশিষ্ট্য, বিশ্লেষণ, যাচাই এবং প্রতিবেদন।
• AI লাইন দ্বারা লাইন তৈরি করে যে কোডটি বোঝা এবং যাচাই করা অপরিহার্য; এটি কাজ করে বলে এর মানে এই নয় যে এটি সঠিক।
• সময় সিরিজে অতীত/ভবিষ্যত পার্থক্য বজায় রাখা; এলোমেলোভাবে এলোমেলো করা তথ্য ফাঁস সৃষ্টি করে।
• ইউনিটের সামঞ্জস্য এবং বহির্মুখী ব্যাখ্যা নীরব কিন্তু যাচাইকরণের গুরুত্বপূর্ণ পয়েন্ট।

আবেদন টাস্ক

একটি ছোট ডেটা সেট নিন (বাস্তব বা সিন্থেটিক টেলিমেট্রি)। (1) ছয়-পদক্ষেপের কাঠামো অনুসরণ করে, টেমপ্লেট 1 দিয়ে লোডিং এবং নিয়ন্ত্রণ কোড তৈরি করুন এবং নিশ্চিত করুন যে আপনি প্রতিটি লাইন বুঝতে পেরেছেন। (2) describe() আউটপুটে অন্তত একটি সন্দেহজনক মান খুঁজুন এবং কেন তা তদন্ত করুন। (3) একটি ভবিষ্যদ্বাণীমূলক কাজে, প্রশিক্ষণ/পরীক্ষার সময় বিভক্ত করুন এবং টেমপ্লেট 2 দিয়ে ফুটো হওয়ার ঝুঁকি পরীক্ষা করুন। (4) আপনি একটি অভিধানে ব্যবহার করেন এমন প্রতিটি কলামের ইউনিট নথিভুক্ত করুন।

চেকলিস্ট

• [] আমি একটি ছয়-পদক্ষেপ কাঠামোর সাথে বিশ্লেষণ সেট আপ করেছি।
• [ ] আমি লাইন দ্বারা AI লাইন দ্বারা উত্পাদিত কোড পড়ে এবং বুঝতে পেরেছি।
• [ ] আমি describe()/audit সহ সন্দেহজনক মানগুলির সন্ধান করেছি৷
• [ ] আমি টাইম সিরিজকে সময়ের দ্বারা বিভক্ত করেছি (কোনও এলোমেলো নয়)।
• [ ] আমি এমন বৈশিষ্ট্যগুলি চিহ্নিত করেছি যেগুলি ডেটা ফাঁসের ঝুঁকিতে রয়েছে৷
• [ ] আমি প্রতিটি কলামের ইউনিট নথিভুক্ত করেছি এবং রূপান্তরগুলি স্পষ্টভাবে লিখেছি।