ماڈل ٹریننگ اور تشخیص: درست میٹرکس، ایماندار بینچ مارکنگ

فائدہ:

• مسئلہ کی قسم اور کاروباری سیاق و سباق کے لیے موزوں میٹرک کا انتخاب کرنے کی اہلیت (PR-AUC/ریکال ان متوازن ڈیٹا، MAE/RMSE in regression) اور اوور/کم سیکھنے کو پہچاننا
• ہر میٹرک کو بیس لائن کے خلاف تشریح کرنے اور انحراف کی پیمائش کرنے اور کراس توثیق کے ساتھ پیشرفت سے شور کو الگ کرنے کی صلاحیت
• توثیق سیٹ کے ساتھ ہائپر پیرامیٹر کو ٹیوننگ کرکے اور صرف آخر میں ٹیسٹ سیٹ کا استعمال کرکے غیر امید مند نتائج کی اطلاع دینے کی صلاحیت

ماڈل ٹریننگ (ٹریننگ: ڈیٹا سے پیٹرن سیکھنے کا عمل) ایم ایل انجینئرنگ کا سب سے زیادہ دکھائی دینے والا لیکن سب سے زیادہ گمراہ کن مرحلہ ہے۔ یہ ظاہر ہوتا ہے کیونکہ یہ ایک تسلی بخش نمبر پیدا کرتا ہے جیسے "درستگی 95%"۔ گمراہ کن کیونکہ وہ نمبر اکثر غلط سوال کا صحیح جواب ہوتا ہے۔ اس یونٹ میں انجینئرنگ ڈسپلن کے ساتھ تعلیم اور تشخیص پر تبادلہ خیال کیا جاتا ہے۔ ہم مصنوعی ذہانت کو تجرباتی ڈیزائن میں شراکت دار کے طور پر استعمال کرتے ہیں اور پیمائش پر فیصلہ کی بنیاد رکھتے ہیں۔

تربیتی سائیکل کی منطق

ایک ماڈل نقصان کے فنکشن کو کم سے کم کرکے ڈیٹا میں پیٹرن سیکھتا ہے: ایک فنکشن جو عددی طور پر ماڈل کی غلطی کی پیمائش کرتا ہے۔ اصلاح کا الگورتھم (مثلاً تدریجی نزول) قدم بہ قدم پیرامیٹرز کو ایڈجسٹ کرکے نقصان کو کم کرتا ہے۔ مقصد تربیتی ڈیٹا کو حفظ کرنا نہیں ہے، بلکہ اسے بے مثال ڈیٹا تک عام کرنا ہے۔

دو اہم خطرات:

• اوور فٹنگ: ماڈل تربیتی ڈیٹا کو حفظ کرتا ہے اور نئے ڈیٹا پر ناکام ہوجاتا ہے۔ تربیت کی کامیابی زیادہ ہے، توثیق کی کامیابی کم ہے۔
• انڈر فٹنگ: ماڈل پیٹرن پر قبضہ نہیں کر سکتا؛ تربیت اور توثیق کی کامیابی دونوں ہی کم ہیں۔

توازن تلاش کرنا تعلیم کا فن ہے۔ اس توازن کی نگرانی کے لیے توثیق کا سیٹ موجود ہے: اگر توثیق کی کامیابی کم ہونا شروع ہو جاتی ہے جبکہ تربیت کی کامیابی میں اضافہ ہوتا ہے، اوور لرننگ شروع ہو جاتی ہے۔

مشورہ: ہر قدم پر تربیت اور توثیق کے نقصان کو ایک ساتھ پلاٹ کریں۔ وہ نقطہ جہاں سے دو منحنی خطوط الگ ہونا شروع ہوتے ہیں جہاں سے اوور لرننگ شروع ہوتی ہے اور "جلد رکنے" کا صحیح لمحہ ہے۔

میٹرک انتخاب: سب سے اہم فیصلہ

غلط میٹرک اچھے ماڈل کو برا اور برا ماڈل اچھا لگتا ہے۔ مسئلہ میٹرک کا تعین کرتا ہے:

• غیر متوازن درجہ بندی (ایک طبقہ بہت کم ہوتا ہے، مثلاً فراڈ): درستگی گمراہ کن ہے۔ ایک ماڈل جو کہتا ہے کہ "ہر چیز کو نارمل کال کریں" کو 99% درستگی ملے گی لیکن ایک بھی فراڈ نہیں پکڑے گا۔ اس کے بجائے، درستگی (میں نے جو پکڑا ہے اس میں سے کتنا اصل میں مثبت ہے)، یاد کریں (میں نے جو پکڑا ہے اس میں سے کتنا مثبت ہے) اور ان کا بیلنس F1 یا PR-AUC استعمال کیا جاتا ہے۔
• متوازن درجہ بندی: درستگی اور ROC-AUC مناسب ہو سکتے ہیں۔
• ریگریشن (نمبر کا تخمینہ): MAE (مطلب مطلق غلطی)، RMSE (بڑی غلطیوں پر سزا دیتا ہے)، MAPE (فیصدی غلطی)۔
• درجہ بندی/سفارش: NDCG, MRR, Recall@K.

چاہے درستگی یا یادداشت اہم ہے کاروباری سیاق و سباق پر منحصر ہے۔ یاد رکھنا (کسی بھی مریض کو یاد نہ کرنا) کینسر کی اسکریننگ میں ترجیح ہے۔ سپیم فلٹر میں درستگی (اہم ای میلز کو سپیم پر نہ بھیجنا) اہم ہے۔ یہ ایک کاروباری فیصلہ ہے، تکنیکی نہیں، اور انجینئر اور مالک نے مل کر کیا ہے۔

کمزور فوری / مضبوط اشارہ

کمزور پرامپٹ: "میرے ماڈل کی کارکردگی کا اندازہ کریں، درستگی 0.97۔"

طاقتور اشارہ: "میرے پاس دھوکہ دہی کا پتہ لگانے کا ماڈل ہے؛ مثبت کلاس کی شرح 1.5% ہے۔ درستگی 0.97 بتائی گئی ہے۔ وضاحت کریں کہ یہ میٹرک کیوں گمراہ کن ہو سکتا ہے، مجھے بتائیں کہ مجھے کون سے میٹرکس (پریزیشن، ریکال، PR-AUC) کو ترجیح دینی چاہیے اور کیوں۔ یہ بھی حساب لگائیں کہ ایک 'کال لائن' کس قدر درست ہے، اس ماڈل پر ہر چیز کو منفی نظر آئے گا، جو کہ اصل ڈیٹا کا اضافہ کر سکتا ہے"

فرق: طاقتور پرامپٹ طبقاتی تناسب اور کاروباری تناظر دیتا ہے۔ یہ بیس لائن ماڈل کا موازنہ بھی کرتا ہے — یہ سب سے اہم اینکر ہے کہ آیا میٹرک معنی خیز ہے۔

بیس لائن: موازنہ کے بغیر میٹرک بے معنی ہے۔

میٹرک بذات خود اچھا یا برا نہیں ہوتا۔ یہ ایک بنیادی ماڈل کے مطابق اچھا یا برا ہے۔ بنیادی ماڈل سب سے آسان حل ہے جو ذہن میں آتا ہے: "ہمیشہ اکثریتی طبقے کو بتائیں"، "پچھلے ہفتے کی قیمت کو دہرائیں"، "مطلب کا اندازہ لگائیں"۔ اگر آپ کا ماڈل اس آسان حل کو واضح طور پر پاس نہیں کرسکتا ہے، تو تمام پیچیدگیاں بے کار ہیں۔

احتیاط: جملہ "میرا ماڈل 85% درست ہے" بذات خود کچھ نہیں کہتا۔ اگر بیس ماڈل کو پہلے ہی 84% مل جاتا ہے، تو آپ کا ماڈل تقریباً بیکار ہے۔ اگر بیس ماڈل کو 50% ملتا ہے، تو آپ کا ماڈل بہترین ہے۔ ہمیشہ بنیادی ماڈل کے لحاظ سے بات کریں۔

کراس توثیق اور اعتماد

ایک واحد تربیت/ٹیسٹنگ تقسیم موقع کی وجہ سے ہو سکتی ہے۔ کراس توثیق: ڈیٹا کو k حصوں میں تقسیم کرنا اور ہر حصے کی ترتیب وار جانچ کرنا ظاہر کرتا ہے کہ کارکردگی کتنی مستحکم ہے۔ 5 گنا کراس توثیق میں آپ کو پانچ مختلف اسکور ملتے ہیں۔ ان کا اوسط اور معیاری انحراف اہم ہے۔ اگر اوسط 80% ہے لیکن انحراف ±12% ہے، تو آپ کا ماڈل غیر مستحکم ہے — یہ ڈیٹا کے اگلے بیچ میں بہت مختلف طریقے سے برتاؤ کر سکتا ہے۔

یہ "دو ماڈل موازنہ" کے لیے بھی اہم ہے۔ اگر ماڈل A کو 81% اور ماڈل B کو 82% ملے تو کیا B واقعی بہتر ہے؟ اگر انحراف ±3% ہے، تو یہ فرق شور ہو سکتا ہے۔ فیصلہ کرنے سے پہلے غور کریں کہ فرق اہم ہے یا نہیں۔

ہائپر پیرامیٹر ٹیوننگ: توثیق کے ساتھ، جانچ نہیں

ہائپر پیرامیٹرز (تربیت سے پہلے دستی طور پر طے شدہ ترتیبات — سیکھنے کی شرح، درخت کی گہرائی، وغیرہ) توثیق کے سیٹ کے ساتھ سیٹ کیے جاتے ہیں۔ ٹیسٹ سیٹ صرف ایک بار آخر میں استعمال ہوتا ہے۔ اگر آپ ٹیسٹ سیٹ کو دیکھ کر ہائپر پیرامیٹرز کا انتخاب کرتے ہیں تو ٹیسٹ سیٹ آلودہ ہو جائے گا اور آپ کی رپورٹ کردہ کارکردگی پر امید ہو گی جو حقیقت میں ایسا نہیں ہے۔

مصنوعی ذہانت ہائپر پیرامیٹر سرچ اسپیس کو ڈیزائن کرنے اور سرچ کوڈ (گرڈ سرچ، رینڈم سرچ، بایسیئن آپٹیمائزیشن) لکھنے میں ایک اچھا مددگار ہے۔ لیکن آپ پھر بھی فیصلہ کرتے ہیں کہ "ہم کس میٹرک کو بہتر بنائیں گے؟"

تین چھوٹے مقدمات

کیس 1 - درستگی کا جال۔ ایک طبی ٹیم کو اس ماڈل پر فخر تھا جس نے ایک نادر بیماری کا پتہ لگایا: 98% درستگی۔ جب بنیادی ماڈل کا موازنہ کیا گیا تو سچائی سامنے آئی: چونکہ بیماری کی شرح 2% تھی، اس لیے ماڈل جس نے کہا تھا کہ "سب کو صحت مند کہتے ہیں" کو بھی 98% ملا۔ ماڈل کی واپسی صرف 11% تھی - زیادہ تر مریض غائب تھے۔ میٹرک کو PR-AUC میں تبدیل کرنے کے بعد، اصل کارکردگی کی پیمائش کی گئی اور ماڈل کو دوبارہ ڈیزائن کیا گیا۔

کیس 2 - پیشرفت کے لیے غلط آواز۔ ایک ٹیم نے ماڈل کو 86.2% سے 86.9% کرنے میں مہینوں گزارے۔ کراس توثیق نے ظاہر کیا کہ تعصب ±1.4% تھا - لہذا 0.7 پوائنٹ "بہتری" شماریاتی شور تھا۔ ٹیم نے غیر حقیقی کمائی پر تین ہفتے ضائع کیے تھے۔ سبق: اس بات کی تصدیق کیے بغیر فتح کا اعلان نہ کریں کہ بہتری انحراف سے زیادہ ہے۔

کیس 3 - ٹیسٹ سیٹ کی آلودگی۔ ایک انجینئر نے بہترین ہائپرپیرامیٹرس کو منتخب کرنے کے لیے بار بار ٹیسٹ سیٹ کو دیکھا۔ اس نے رپورٹ کیا کہ 91 فیصد پیداوار میں گر کر 83 فیصد رہ گئی۔ کیوں: اس نے نادانستہ طور پر ٹیسٹ سیٹ کو بار بار دیکھ کر (ٹیسٹ سیٹ پر اوور لرننگ) کے مطابق ماڈل کا انتخاب کیا تھا۔ جب ایک علیحدہ توثیق سیٹ استعمال کیا گیا تو رپورٹ شدہ اور اصل کارکردگی اوورلیپ ہو گئی۔

کاپی کرنے کے قابل ٹیمپلیٹس

درجہ بندی کے اس مسئلے کے لیے صحیح میٹرک کا انتخاب کرنے میں میری مدد کریں۔ مسئلہ: [کیا پیش گوئی کی گئی ہے] طبقاتی تقسیم: [مثبت شرح

درج ذیل دو ماڈلز کے موازنہ کا اندازہ لگائیں۔ ماڈل A کراس توثیق: [اسکورز کی فہرست] ماڈل B کراس توثیق: [اسکورز کی فہرست] اوسط اور معیاری انحراف کا حساب لگائیں۔ کیا فرق اعداد و شمار کے لحاظ سے اہم ہے یا یہ انحراف کے اندر صرف شور ہے؟ آپ مجھے کون سا انتخاب کرنے کی تجویز کریں گے اور کیوں؟

مندرجہ ذیل کے لیے اس ٹریننگ کوڈ کو چیک کریں: 1) کیا ہائپر پیرامیٹر ٹیسٹ سیٹ یا توثیق سیٹ کے ساتھ منتخب کیے گئے ہیں؟ 2) کیا ابتدائی رکنے کو درست سیٹ کے ساتھ مانیٹر کیا جاتا ہے؟

MAE، RMSE، اور MAPE میں سے کس کو اس رجعت کے مسئلے کی اطلاع دوں؟ ہدف متغیر کا پیمانہ: [range]کیا بڑی غلطیاں غیر متناسب طور پر خراب ہیں (RMSE)، یا وہ سب برابر ہیں (MAE)؟ کیا صفر کے قریب قدریں ہیں (کیا وہ MAPE کو بگاڑتے ہیں)؟ مختصر جواز کے ساتھ تجویز کریں۔

میٹرک سلیکشن ٹیبل

مسئلہ کی قسم

مناسب میٹرک

اجتناب کرنا

کیوں

غیر متوازن درجہ بندی

PR-AUC، F1، یاد کریں۔

درستگی

اکثریتی طبقہ میٹرک کو بڑھاتا ہے۔

متوازن درجہ بندی

درستگی، ROC-AUC

-

متوازن ڈیٹا میں قابل اعتماد

رجعت (اہم آؤٹ لیر)

RMSE

MAPE (اگر صفر ہو)

بڑی غلطیوں کی سزا دیتا ہے۔

رجعت (برابر وزن)

ایم اے ای

-

تشریح کرنا آسان ہے۔

درجہ بندی/سفارش

NDCG، Recall@K

درستگی

آرڈر اہم ہے۔

عام غلطیاں

• غیر متوازن ڈیٹا پر درستگی کا استعمال۔ سب سے عام میٹرک خرابی۔
• بیس ماڈل کا موازنہ نہیں کرنا۔ یہ میٹرک کو اپنا معنی کھو دیتا ہے۔
• ہائپرپیرامیٹرس کے لیے ٹیسٹ سیٹ کو دیکھ رہے ہیں۔ پر امید، غیر حقیقی نتیجہ۔
• ایک ہی کمپارٹمنٹ پر انحصار کرنا۔ کراس توثیق کے بغیر آپ کو تعصب نظر نہیں آئے گا۔
• ترقی کے لئے غلط شور. انحراف سے چھوٹی "بہتریاں" زیادہ تر قسمت ہیں۔
• کاروباری سیاق و سباق کو نظر انداز کرنا۔ درستگی/ریکال بیلنس ایک کاروباری فیصلہ ہے۔

خلاصہ میں

ماڈل ٹریننگ میں اصل مہارت زیادہ تعداد پیدا کرنا نہیں ہے، بلکہ یہ جاننا ہے کہ اس نمبر کا کیا مطلب ہے۔ مسئلہ اور کاروباری سیاق و سباق صحیح میٹرک کا تعین کرتے ہیں۔ بیس لائن ماڈل کے مطابق ہر میٹرک کی تشریح؛ کراس توثیق کے ساتھ تعصب کی پیمائش کریں اور پیشرفت کے لئے شور کو غلط نہ کریں۔ ٹیسٹ سیٹ کو صرف ایک بار آخر میں استعمال کریں۔ تجرباتی ڈیزائن میں AI آپ کا پارٹنر ہے، لیکن "کافی اچھا" کا فیصلہ آپ اور آپ پر منحصر ہے۔

درخواست کا کام

درجہ بندی کے ماڈل کے لیے: (1) کلاس ڈسٹری بیوشن لکھیں، (2) ایک مناسب بیس ماڈل بنائیں اور اس کے سکور کی پیمائش کریں، (3) 5 گنا کراس توثیق کے ساتھ اپنے ماڈل کا اندازہ کریں اور اوسط اور معیاری انحراف کی اطلاع دیں، (4) درستگی کے بجائے مسئلے کے لیے موزوں میٹرک کا حساب لگائیں (جیسے PR-AUC)۔ لکھیں کہ آیا آپ کا ماڈل بغیر کسی تعصب کے بیس لائن ماڈل کو بڑے مارجن سے ہرا دیتا ہے۔

چیک لسٹ

• میں نے مسئلہ کی قسم اور کاروباری سیاق و سباق کی بنیاد پر میٹرک کا انتخاب کیا۔
• میں نے ایک بیس ماڈل بنایا اور اس کا موازنہ کیا۔
• [ ] میں نے کراس توثیق کے ساتھ اوسط اور انحراف کی اطلاع دی۔
• میں نے تصدیق کی کہ بہتری انحراف سے زیادہ ہے۔
• [ ] میں نے توثیق کے سیٹ کے ساتھ ہائپر پیرامیٹر کا انتخاب کیا۔
• میں نے ٹیسٹ سیٹ کو صرف ایک بار استعمال کیا، بالکل آخر میں۔