فائدہ:
- ملازمت کے مقصد کے مطابق درجہ بندی اور ریگریشن میٹرکس (کنفیوژن میٹرکس، پریزیشن/ریکال/F1، MAE/RMSE/R²) کو منتخب کرنے اور اس کی تشریح کرنے کی اہلیت
- تربیت اور ٹیسٹ کے اسکور کا موازنہ کرکے اوور لرننگ کا پتہ لگانے اور کراس توثیق کے ساتھ قابل اعتماد کارکردگی حاصل کرنے کی صلاحیت
- اس بات کا اندازہ کرنے کی اہلیت کہ آیا ہر ماڈل کا بیس لائن سے موازنہ کرکے حقیقی قدر میں اضافہ ہوتا ہے۔
ماڈل قائم کرنا آسان ہے؛ ایمانداری سے پیمائش کرنا مشکل ہے کہ آیا یہ واقعی کام کرتا ہے۔ اس یونٹ کا موضوع ایک ڈیٹا سائنسدان کی سب سے اہم مہارت ہے: صحیح میٹرکس کے ساتھ ماڈل کا اندازہ لگانا، قابل اعتماد پیشن گوئی کی کارکردگی کو حاصل کرنا، اور سب سے خطرناک جال کو پکڑنا: اوور لرننگ (یاد رکھنا)۔ AI میٹرکس کا حساب، تشریح اور موازنہ کرتا ہے۔ لیکن یہ فیصلہ کرنا انسان پر منحصر ہے کہ کون سا میٹرک آپ کے کاروبار کے لیے صحیح ہے اور آیا کوئی ماڈل "کافی اچھا" ہے۔ غلط میٹرک کو دیکھنے والی ٹیم مہینوں تک خراب ماڈل کو "کامیابی" کے طور پر غلطی کر سکتی ہے۔
کیوں درستگی کافی نہیں ہے: کنفیوژن میٹرکس
درجہ بندی میں جو پہلا میٹرک ذہن میں آتا ہے وہ ہے درستگی (درستگی — درست پیشین گوئیوں کا کل تناسب)۔ لیکن جیسا کہ ہم نے یونٹ 6 میں دیکھا، درستگی غیر متوازن ڈیٹا کے ساتھ گمراہ کن ہے۔ ایک بہتر آغاز کنفیوژن میٹرکس ہے — ایک ٹیبل جو پیشین گوئیوں کو چار ڈبوں میں تقسیم کرتا ہے:
- حقیقی مثبت (TP): ہم نے جعلی کہا جو واقعی جعلی ہے۔ (اچھا)
- سچا منفی (TN): ہم نے کہا واقعی صاف۔ (اچھا)
- غلط مثبت (FP): ہم نے غلطی سے کہہ دیا کہ صاف والا جعلی تھا۔ (جھوٹا الارم)
- غلط منفی (FN): ہم نے جعلی کو یاد کیا اور اسے صاف کہا۔ (چھوٹی ہوئی دھمکی)
ان چار خانوں سے دو کلیدی میٹرکس اخذ ہوتے ہیں۔ درستگی: "جس چیز کو میں جعلی کہتا ہوں اس میں سے کتنا اصل میں جعلی ہے؟" - اہم ہے اگر غلط الارم کے اخراجات زیادہ ہوں۔ حساسیت (انگریزی میں یاد کریں): "میں نے کتنے اصلی جعلی پکڑے؟" - اہم ہے جب خطرہ لاپتہ ہونا مہنگا ہے۔ دونوں اکثر ایک دوسرے سے متصادم ہوتے ہیں: اگر آپ حد کو کم کرتے ہیں اور "جعلی" زیادہ کہتے ہیں تو یادداشت بڑھ جاتی ہے لیکن درستگی کم ہوجاتی ہے۔ F1 سکور ان دونوں کا متوازن اوسط (ہارمونک اوسط) ہے۔
توجہ: سوال کا جواب "کون سا میٹرک اہم ہے" کاروباری فیصلہ ہے، تکنیکی نہیں۔ کینسر کی اسکریننگ میں کیس (کم یاد) غائب ہونا تباہ کن ہے۔ اسپام فلٹر میں اسپام (کم درستگی) پر ایک اہم ای میل بھیجنا پریشان کن ہے۔ لاگت میٹرک کا تعین کرتی ہے۔
ریگریشن میٹرکس
اگر آؤٹ پٹ نمبرز ہے تو مختلف میٹرکس استعمال کیے جاتے ہیں۔ MAE (مطلب مطلق خرابی): ایک ہی یونٹ میں تخمینوں کا اصل اوسط سے کتنا انحراف ہوتا ہے (جیسے "ہم اوسطاً 4,200 TL غلط ہیں")۔ RMSE (Rot Mean Squared Error): بڑی غلطیوں کو زیادہ سخت سزا دیتا ہے اور باہر جانے والوں کے لیے حساس ہوتا ہے۔ R² (R-squared — تعیین کا گتانک): ماڈل کس حد تک ٹارگٹ کی وضاحت کرتا ہے (1 کے قریب اچھا ہے، 0 اتنا ہی برا ہے جتنا کہ اوسط کی پیشن گوئی کرنا ہے، منفی بھی بدتر ہے)۔
سب سے کپٹی جال: زیادہ سیکھنا
اوور فٹنگ - جہاں ماڈل تربیتی ڈیٹا کو حفظ کرتا ہے لیکن نئے ڈیٹا پر ناکام ہوجاتا ہے - ڈیٹا سائنس میں سب سے عام غلطی ہے۔ علامت واضح ہے: ماڈل ٹریننگ سیٹ پر بہت اچھا ہے (98%)، ٹیسٹ سیٹ پر برا ہے (72%)۔ ماڈل نے اس مخصوص نمونے کے شور کو یاد کیا ہے، ڈیٹا میں اصل پیٹرن نہیں۔ اس کے برعکس بھی ہے: انڈر فٹنگ — ماڈل ٹریننگ اور ٹیسٹنگ دونوں میں خراب ہے کیونکہ پیٹرن کو پکڑنا بہت آسان ہے۔
اوور لرننگ کا مقابلہ کرنے کے طریقے: ماڈل کو آسان بنانا، مزید ڈیٹا، ریگولرائزیشن — ریاضیاتی بریک جو ماڈل کو زیادہ پیچیدہ ہونے سے روکتا ہے — اور سب سے اہم بات، کراس توثیق۔
کراس توثیق: سنگل پین پر بھروسہ نہ کریں۔
ایک ہی ٹریننگ/ٹیسٹ پوڈ خوش قسمت یا بدقسمت ہو سکتا ہے۔ آپ ٹیسٹ سیٹ کے لیے صرف اس لیے اعلی نمبر حاصل کر سکتے ہیں کہ وہ نمونہ آسان ہے۔ کراس توثیق (مختصر طور پر سی وی) اسے حل کرتی ہے۔ سب سے عام شکل k-fold CV ہے: ڈیٹا کو k حصوں میں تقسیم کیا جاتا ہے (مثال کے طور پر 5)؛ ہر دور میں، ایک حصہ ٹیسٹنگ اور باقی ٹریننگ ہے۔ یہ 5 بار رول کرتا ہے اور 5 سکور اوسط ہوتے ہیں۔ لہذا آپ دیکھیں گے کہ کارکردگی ایک سے زیادہ تقسیم کی اوسط پر مبنی ہے، ایک خوش قسمت تقسیم نہیں. اسکورز کی تقسیم بھی معلوماتی ہے: بہت اتار چڑھاؤ والے اسکور (ایک منزل پر 85%، دوسری منزل پر 62%) بتاتے ہیں کہ ماڈل غیر مستحکم ہے۔
عام کے فولڈ ٹائم سیریز میں استعمال نہیں کیا جاتا ہے (مستقبل کو لیک کرتا ہے)؛ اس کے بجائے، آپ "فارورڈ چیننگ" (ٹائم سیریز تقسیم) کرتے ہیں: ہمیشہ ماضی کے ساتھ تربیت کریں اور مستقبل کی جانچ کریں۔
میٹرک
مسئلہ کی قسم
کب فرق پڑتا ہے؟
درستگی
درجہ بندی
اگر کلاسز متوازن ہیں۔
صحت سے متعلق
درجہ بندی
غلط الارم مہنگا ہے۔
حساسیت (یاد کرنا)
درجہ بندی
اگر یاد کرنا مہنگا ہے۔
F1
درجہ بندی
اگر توازن کی ضرورت ہے۔
ایم اے ای
رجعت
قابل تشریح غلطی
RMSE
رجعت
اگر بڑی غلطیاں اہم ہیں۔
R²
رجعت
وضاحتی طاقت
تین چھوٹے مقدمات
کیس 1 - اعلی درستگی کا وہم۔ ایک فراڈ ماڈل نے 99.2% درستگی دکھائی اور ٹیم نے جشن منایا۔ کنفیوژن میٹرکس کو دیکھتے ہوئے، اصلی: ڈیٹا میں جعلی شرح 0.8% تھی۔ ماڈل نے تقریباً کوئی جعلی نہیں پکڑا، صرف "سب صاف" کہہ کر۔ یادداشت 6% تھی۔ سبق: میٹرکس کو دیکھیں، درستگی کو نہیں۔
کیس 2 - اویکت اوور لرننگ۔ ایک ٹیم نے ٹریننگ سیٹ پر XGBoost کو 97% تک پہنچایا اور بڑھا دیا۔ ٹیسٹ سیٹ 69% تھا، لیکن کسی نے نہیں دیکھا۔ ماڈل پیداوار میں گر گیا۔ اگر کراس توثیق کی جاتی تو فولڈز (اوور لرننگ) کے درمیان بڑا فرق شروع سے ہی نظر آتا۔ سبق: CV اور ٹیسٹ سکور پر بھروسہ کریں، تعلیمی سکور پر نہیں۔
کیس 3 - خوش قسمت تقسیم۔ ایک تجزیہ کار کو ایک ہی تقسیم میں 88% حاصل کرنے پر خوشی ہوئی۔ جب اس کے ساتھی نے 5 گنا CV کیا تو اسکور 88%, 71%, 83%, 64%, 79% تھے — اوسط 77% ہے، لیکن یہ بہت غیر مستحکم ہے۔ ماڈل غیر مستحکم تھا؛ واحد ٹوکری گمراہ کن تھا۔ سبق: CV کا مطلب اور تقسیم دیکھیں، انفرادی بن کو نہیں۔
چار کاپی کرنے کے قابل ٹیمپلیٹس
1) مکمل درجہ بندی کی رپورٹ:
میرے پاس تربیت یافتہ ماڈل اور ٹیسٹ سیٹ ہے۔ پیدا کریں: کنفیوژن میٹرکس، درستگی، یاد، F1 (ہر کلاس کے لیے) اور سپورٹ شمار۔ میں اندازہ لگا رہا ہوں، لیکن یہ مجھ پر منحصر ہے: میں آپ کو بتاؤں گا کہ کون سا میٹرک اہم ہے۔ نوٹ کریں کہ غیر متوازن ڈیٹا کے ساتھ درستگی گمراہ کن ہو سکتی ہے۔
2) اوور لرننگ کنٹرول:
میرے ماڈل کے اسکور کو ٹریننگ اور ٹیسٹ دونوں سیٹوں میں ساتھ ساتھ پرنٹ کریں۔ ان کے درمیان فرق کا حساب لگائیں اور خبردار کریں کیونکہ بڑا فرق زیادہ سیکھنے کی علامت ہے۔ اگر فرق بڑا ہے تو ریگولرائزیشن یا آسان بنانے کا مشورہ دیں۔
3) کراس توثیق:
5 گنا کراس توثیق انجام دیں (سطح شدہ، درجہ بندی کے لیے)۔ ہر فولڈ کا سکور، اوسط اور معیاری انحراف پرنٹ کریں۔ اگر اسکور بہت اتار چڑھاؤ والے ہیں (اعلی std)، اشارہ کریں کہ ماڈل غیر مستحکم ہے۔ پائپ لائنوں کا استعمال کریں تاکہ تبدیلیاں صرف ہر پرت کے تربیتی ٹکڑے سے سیکھیں۔
4) بنیادی موازنہ:
میرے ماڈل کے میٹرک کو ڈمی کلاسیفائر بیس لائن کے ساتھ ساتھ رکھیں۔ کیا ماڈل نمایاں طور پر بیس لائن کو شکست دیتا ہے؟ اگر یہ پاس نہیں ہوتا ہے، تو یہ واضح کر دیں کہ ماڈل میں کوئی حقیقی قدر شامل نہیں ہے۔
کمزور فوری / مضبوط اشارہ
کمزور اشارہ:
کیا میرا ماڈل اچھا ہے؟
"اچھا" غیر متعینہ ہے؛ یہ واضح نہیں ہے کہ کون سا میٹرک، کون سی حد، کون سی بیس لائن۔ AI ایک ہی درستگی نمبر دے سکتا ہے اور گمراہ کر سکتا ہے۔
طاقتور اشارہ:
آپ کا کردار: اسسمنٹ اسسٹنٹ۔ درجہ بندی، غیر متوازن ڈیٹا (12% مثبت)۔ ترجیح: یاد کرنا (مثبت کو یاد نہ کرنا)۔ ٹاسک: (1) کنفیوژن میٹرکس، (2) درستگی/ریکال/F1، (3) 5 گنا سطحی سی وی کا مطلب اور std، (4) ڈمی کلاسیفائر بیس لائن موازنہ۔ یادداشت اور بنیادی فرق پر توجہ مرکوز کریں، درستگی پر نہیں۔ تبصرہ کریں، لیکن میں حتمی فیصلہ کرتا ہوں۔
یہاں، میٹرک کی ترجیح، CV اور بنیادی شرط واضح ہے۔
عام غلطیاں
- غیر متوازن ڈیٹا میں درستگی پر بھروسہ کرنا۔ 99% درستگی اقلیتی طبقے کو بالکل نہیں پکڑ سکتی۔ کنفیوژن میٹرکس کو دیکھیں۔
- صرف آپ کے تعلیمی اسکور کو دیکھ رہے ہیں۔ اعلیٰ تعلیم، کم ٹیسٹ سکور اوور لرننگ ہے۔ ہمیشہ دو سکور کا موازنہ کریں۔
- ایک ہی کمپارٹمنٹ پر انحصار کرنا۔ خوش قسمتی تقسیم گمراہ کن ہے۔ کراس توثیق کے ساتھ وسط اور تقسیم کو دیکھیں۔
- بیس لائن سے موازنہ نہیں کرنا۔ آپ یہ جانے بغیر "اچھا" نہیں کہہ سکتے ہیں کہ آیا ماڈل ایک احمق پیش گو کو شکست دیتا ہے۔
- ٹائم سیریز پر نارمل k-fold استعمال کرنا۔ یہ مستقبل کو لیک کرتا ہے؛ ٹائم سیریز کی تقسیم درکار ہے۔
ٹپ: ہر ماڈل کے آگے تین نمبر لکھیں: ٹریننگ سکور، کراس توثیق اوسط، اور بیس لائن سکور۔ یہ تینوں ایک نظر میں اوور لرننگ (ٹریننگ >> CV) اور کم قدر (CV ≈ بیس لائن) کو ظاہر کرتی ہے۔
خلاصہ میں
ماڈل بنانا آسان ہے، لیکن ایمانداری سے اس کا اندازہ لگانا مشکل ہے۔ درجہ بندی میں، کنفیوژن میٹرکس، درستگی، اور یاد کرنا درستگی سے کہیں زیادہ معلوماتی ہیں۔ کام کی قیمت اس بات کا تعین کرتی ہے کہ کون سا اہم ہے۔ MAE، RMSE اور R² رجعت میں استعمال ہوتے ہیں۔ سب سے خطرناک جال اوور لرننگ ہے: ہمیشہ ٹریننگ اور ٹیسٹ سکور کا موازنہ کریں۔ کراس توثیق کے وسط اور تقسیم پر بھروسہ کریں، ایک بھی تقسیم نہیں۔ ہر چیز کا بیس لائن سے موازنہ کریں۔ AI ان سب کا حساب لگاتا ہے، لیکن یہ فیصلہ کرنا انسان پر منحصر ہے کہ کون سا میٹرک استعمال کرنا ہے۔
درخواست کا کام
درجہ بندی کے ماڈل کے لیے کنفیوژن میٹرکس، درستگی، یاد اور F1 نکالیں۔ پھر 5 گنا کراس توثیق کریں اور فولڈز میں اسکور کی تقسیم کو دیکھیں۔ آخر میں، ٹریننگ سکور، CV اوسط، اور ایک بیس لائن سکور ساتھ ساتھ لکھیں۔ ایک جملے میں تبصرہ کریں کہ آیا آپ کا ماڈل زیادہ سیکھ رہا ہے اور بیس لائن کو پاس کر رہا ہے۔
چیک لسٹ
- کیا میں نے درستگی کے بجائے کام کے اصل میٹرک (پریسیزن/ریکال/F1 وغیرہ) کو دیکھا ہے؟
- کیا میں نے کنفیوژن میٹرکس کی جانچ کی ہے؟
- کیا میں نے تربیت اور ٹیسٹ سکور کا موازنہ کیا ہے اور اوور لرننگ کی جانچ کی ہے؟
- کیا میں نے کراس توثیق کے ساتھ اوسط اور تقسیم کو دیکھا ہے؟
- کیا میں نے ماڈل کا موازنہ بیس لائن سے کیا ہے؟