تولیدی صلاحیت اور اینڈ ٹو اینڈ پروجیکٹ: ہر چیز کو یکجا کرنا

فائدہ:

• چار ستونوں کے ساتھ تولیدی صلاحیت کو یقینی بنانے کی صلاحیت (سیڈ فکسیشن، ڈیٹا ورژننگ، میڈیا فریزنگ، تجرباتی نگرانی) اور ایک ہی رن کو دہرانے پر وہی نتیجہ پیدا کرنا۔
• ماڈیول کے تمام اسٹاپس (میٹرکس، ڈیٹا، ماڈل، ایل ایل ایم اجزاء، ایول، فیئرنس، سیکورٹی، ڈسٹری بیوشن، مانیٹرنگ) کو ایک اختتام سے آخر تک سلسلہ میں یکجا کرنے کی صلاحیت
• اس بات کی تصدیق کرنے کی اہلیت کہ ہر اسٹاپ پر اہم فیصلہ انسان کے پاس رہتا ہے اور پروجیکٹ کو قابل سماعت انداز میں دستاویز کرنا

ایم ایل پروجیکٹ کی سب سے خطرناک ناکامی کوئی حادثہ نہیں ہے۔ "دوبارہ وہی نتیجہ نہیں مل رہا ہے۔" اگر آپ آج اس ماڈل کے اسکور کو دوبارہ پیش نہیں کر سکتے جو آپ نے تین مہینے پہلے بنایا تھا، تو آپ واقعی اس ماڈل کو کنٹرول نہیں کرتے۔ اس اختتامی یونٹ میں، ہم تولیدی صلاحیت کو مزید گہرا کرتے ہیں: ایک ہی ان پٹ کے ساتھ قابل اعتماد طریقے سے ایک ہی نتیجہ حاصل کرنے اور پورے ماڈیول کو ایک اختتام سے آخر تک پروجیکٹ کے نظم و ضبط میں یکجا کرنے کی صلاحیت۔

تولیدی صلاحیت کیوں مشکل ہے۔

عام سافٹ ویئر میں ایک ہی کوڈ ایک ہی آؤٹ پٹ دیتا ہے۔ ایم ایل میں اور بھی بہت سے متغیرات ہیں جو نتیجہ کا تعین کرتے ہیں:

• بے ترتیب پن: ڈیٹا کی تبدیلی، وزن کی ابتدا، ڈیٹا کی تقسیم - سب بے ترتیب پن پر انحصار کرتے ہیں۔
• ڈیٹا: ایک ہی کوڈ مختلف ڈیٹا ورژن کے ساتھ مختلف ماڈل تیار کرتا ہے۔
• ماحولیات: لائبریری ورژن، ہارڈویئر (CPU/GPU)، یہاں تک کہ آپریٹنگ سسٹم بھی نتیجہ بدل سکتا ہے۔
• پوشیدہ کیس: ایک غیر محفوظ شدہ ہائپر پیرامیٹر، ایک دستی پری پروسیسنگ مرحلہ، ایک غیر نوٹ شدہ انتخاب۔

تولیدی صلاحیت کوئی "اچھا ہونا" نہیں ہے بلکہ ایک سائنسی اور انجینئرنگ ضروری ہے۔ ایک نتیجہ جو دوبارہ پیش نہیں کیا جا سکتا ہے ایک دعوی ہے جو ثابت نہیں کیا جا سکتا.

تولیدی صلاحیت کے چار ستون

1. بے ترتیب پن کو درست کریں۔ تمام بے ترتیب بیجوں کو ایک جگہ پر سیٹ کریں: ڈیٹا کی تقسیم، ماڈل کی ابتدا، ڈیٹا شفلنگ۔ فکسڈ سیڈ "جب آپ ایک ہی رن کو دہرائیں گے تو ایک ہی نتیجہ" کی ضمانت ہے۔

2. ڈیٹا کا ورژن بنائیں۔ ریکارڈ کریں کہ ہر تجربہ کس ڈیٹا ورژن کے ساتھ کیا گیا تھا (یونٹ 2 میں ڈیٹا ورژننگ)۔ "تازہ ترین ڈیٹا" مبہم ہے۔ "ڈیٹا ورژن v3، ہیش abc123" بالکل درست ہے۔

3. میڈیم کو منجمد کریں۔ تمام انحصار کو ان کے عین مطابق ورژن پر پن کریں (جیسے کہ numpy==1.26.4 in requirements.txt، یا کنٹینر کی تصویر)۔ "تازہ ترین ورژن" ایک دن سب کچھ توڑ دے گا۔

4. ہر چیز کو ٹریک کریں (تجربہ سے باخبر رہنا)۔ ہر تجربے کے لیے خودکار طور پر محفوظ کریں: کوڈ ورژن (گٹ کمٹ)، ڈیٹا ورژن، تمام ہائپر پیرامیٹر، میٹرکس اور آؤٹ پٹ ڈھانچے تجربہ سے باخبر رہنے والے ٹولز جیسے MLflow، Weights & Biases یہ منظم طریقے سے کرتے ہیں۔ رجسٹریشن کے بغیر، سوال "کون سی ترتیب بہترین تھی" کا جواب نہیں ملتا۔

احتیاط: "میں بعد میں یاد کروں گا" سب سے مہنگی غلط فہمی ہے۔ دو ہفتے بعد آپ کو یاد نہیں ہوگا کہ آپ نے کون سا بیج، کون سا ڈیٹا، کون سا ہائپر پیرامیٹر استعمال کیا ہے۔ خودکار ٹریکنگ میموری پر انحصار کو ختم کرتی ہے۔

کمزور نقطہ نظر / مضبوط نقطہ نظر

کمزور: "مجھے بہترین ماڈل ملا، یہ نوٹ بک پر ہے، میرے خیال میں اس کا سکور 89% تھا۔"

مضبوط: "تجربہ سے باخبر رہنے والے ٹول میں #147 چلائیں: گٹ کمٹ a3f9c، ڈیٹا ورژن v3 (ہیش abc123)، سیڈ 42، تمام ہائپر پیرامیٹر رجسٹرڈ، ٹیسٹ PR-AUC 0.887۔ جب میں وہی کمانڈ دوبارہ چلاتا ہوں، تو مجھے تھوڑا تھوڑا کرکے وہی نتیجہ ملتا ہے۔ ماڈل رجسٹری میں اس رن پر منحصر ہے۔"

فرق: مضبوط نقطہ نظر میں نتیجہ میموری پر مبنی نہیں ہے، لیکن ایک مقررہ اور نگرانی کی زنجیر پر ہے. ہر کوئی ہر بار ایک ہی نتیجہ نکال سکتا ہے۔

اینڈ ٹو اینڈ پروجیکٹ: ماڈیول کا مجموعہ

اب آئیے پورے ماڈیول کو ایک پروجیکٹ فلو میں جوڑتے ہیں۔ ایک حقیقی ایم ایل سسٹم ان اسٹاپس سے گزرتا ہے، اور ہر اسٹاپ پچھلے ایک پر بنتا ہے:

1. مسئلہ کی تعریف: ہم کیا حل کر رہے ہیں، کامیابی کی پیمائش کیسے کریں (یونٹ 3: صحیح میٹرک، کاروباری تناظر)۔ میٹرک اور حد شروع سے واضح ہیں۔
2. ڈیٹا پائپ لائن: جمع کرنا، توثیق کرنا، صفائی کرنا، لیک فری تقسیم کرنا، ورژن بنانا (یونٹ 2)۔
3. ماڈل ڈویلپمنٹ: ٹریننگ، بیس لائن موازنہ، کراس توثیق، سخت بیج (یونٹ 3 + یہ یونٹ)
4. LLM اجزاء (اگر قابل اطلاق ہو): RAG (یونٹ 4) اور/یا ایجنٹس (یونٹ 5)؛ اگر ضروری ہو تو ٹھیک ٹیوننگ (یونٹ 6)۔
5. تشخیص: کنارے اور حفاظتی معاملات کے ساتھ ایول کلسٹر، ایل ایل ایم سسٹمز میں ملٹی لیئر ایول (یونٹ 8)۔
6. انصاف اور اخلاقیات کا آڈٹ: ذیلی گروپ تجزیہ، ماڈل کارڈ، وضاحتی قابلیت (یونٹ 10)۔
7. سیکیورٹی آڈٹ: فوری انجیکشن، رازداری، سپلائی چین (یونٹ 9)۔
8. تقسیم: پیکیجنگ، بتدریج تقسیم، رول بیک، ماڈل رجسٹری (یونٹ 7)۔
9. مانیٹرنگ: تھری لیئر مانیٹرنگ، ڈرفٹ الارم (یونٹ 8)۔
10. تولیدی صلاحیت: بیج، ڈیٹا ورژن، میڈیا اور تجربے سے باخبر رہنا پوری چین (اس یونٹ) میں۔

اس بہاؤ میں، AI ہر اسٹاپ پر ایک ایکسلریٹر اور بلیو پرنٹ جنریٹر ہے۔ لیکن میٹرک کا انتخاب، ڈیٹا کے فیصلے، منصفانہ ترجیح، تعیناتی کی حد، اور رہائی کی منظوری — اہم فیصلے انسان کے پاس رہتے ہیں۔ یہ ماڈیول کا جوہر ہے۔

دستاویزی: مستقبل آپ کا شکریہ ادا کرے گا۔

ایک اچھا ایم ایل پروجیکٹ خود دستاویزات کرتا ہے۔ کم از کم، درج ذیل کو لکھا جانا چاہیے: مسئلہ اور کامیابی کے معیار، ڈیٹا کا ذریعہ اور ورژن، ماڈل کے انتخاب اور جواز، تشخیص کے نتائج (بشمول ذیلی گروپ)، معلوم حدود اور خطرات، تعیناتی اور بازیافت کا طریقہ کار، نگرانی کا منصوبہ۔ یہ دستاویز اس شخص کا بہترین دوست ہے (شاید یہ آپ ہو) جو چھ ماہ کے بعد پروجیکٹ پر واپس آتا ہے۔

تین چھوٹے مقدمات

کیس 1 - گمشدہ نتیجہ۔ ایک انجینئر نے ایک بہترین ماڈل کو تربیت دی، لیکن اس نے بیج کو ٹھیک نہیں کیا اور ڈیٹا ورژن کو محفوظ نہیں کیا۔ جب اس نے نوکری چھوڑ دی، کوئی بھی اس نتیجہ کو دوبارہ پیش نہیں کر سکتا تھا۔ ماڈل ایک "بلیک باکس لیجنڈ" بن گیا اور آخر کار اسے شروع سے بنایا گیا۔ ہفتے ضائع ہو گئے۔ سبق: ایک غیر تولیدی نتیجہ ایک غیر موجود نتیجہ ہے۔

کیس 2 - ماحول کا خاتمہ۔ ایک ٹیم نے انحصار طے نہیں کیا تھا۔ جب ایک لائبریری خود بخود اپ ڈیٹ ہو جاتی تھی، تو ماڈل آؤٹ پٹ خاموشی سے تبدیل ہو جاتے تھے اور پیداوار میں خلل پڑتا تھا۔ مسئلہ ڈھونڈنے میں دن لگے۔ جب انحصار کو منجمد کیا گیا اور حتمی ورژن کے ساتھ کنٹینرائز کیا گیا، تو مسئلہ دوبارہ پیدا نہیں ہوا۔ سبق: ماحول کو منجمد کریں۔

کیس 3 - نگرانی کی طاقت۔ ایک ٹیم نے خود بخود ہر تجربے کی نگرانی کی۔ تین ماہ بعد، ایک ریگولیٹری آڈٹ کے دوران، انہوں نے اس سوال کا جواب دیا کہ "کس ڈیٹا کے ساتھ، کن سیٹنگز کے ساتھ، کن گروپوں میں اس نے کیا کارکردگی حاصل کی؟" منٹوں میں مکمل ریکارڈنگ کے ساتھ۔ معائنہ آسانی سے ہوا۔ سبق: نگرانی ایک تعمیل کا آلہ ہے، نہ صرف ایک انجینئرنگ۔

کاپی کرنے کے قابل ٹیمپلیٹس

اس ایم ایل پروجیکٹ کے لیے تولیدی صلاحیت کی جانچ کریں۔- کیا تمام بے ترتیبی کے بیج فکسڈ ہیں (تقسیم، ابتدا، شفل)؟- کیا ڈیٹا کا ورژن بنایا گیا ہے؟- کیا انحصار درست ورژن پر منجمد ہے؟- کیا ہر تجربہ (کوڈ کمٹ، ڈیٹا، ہائپر پیرامیٹر، میٹرک) کو ٹریک کیا جاتا ہے؟ ہر گمشدہ کالم کے لیے اسے کیسے ٹھیک کیا جائے اس کے لیے ٹھوس اقدامات لکھیں۔ پروجیکٹ ڈھانچہ: [تفصیل]

اس اینڈ ٹو اینڈ ایم ایل پروجیکٹ کے لیے ایک منصوبہ بندی تیار کریں۔ مسئلہ: [تفصیل] درج ذیل اسٹاپس کو ڈھانپیں اور نشان زد کریں کہ ہر اسٹاپ پر انسانی فیصلہ کہاں ہے: مسئلہ/میٹرک، پائپ لائن، ماڈل، (RAG/ایجنٹ/فائن ٹیون؟)، ایول، انصاف، تحفظ، تقسیم، نگرانی، تولیدی صلاحیت۔ ہر اسٹاپ کے لیے اہم خطرہ اور تصدیق کا مرحلہ لکھیں۔

اس پروجیکٹ کے لیے ایک تکنیکی دستاویزی ٹیمپلیٹ تیار کریں۔ سیکشنز: مسئلہ+کامیابی کا معیار، ڈیٹا (ماخذ+ورژن)، ماڈل کا انتخاب + جواز، تشخیص (بشمول ذیلی گروپ)، معلوم حدود + خطرات، تعیناتی + رول بیک، نگرانی کا منصوبہ۔ سوالات کے طور پر ہر سیکشن کے لیے بھرے جانے والے فیلڈز دیں۔

میرا تجربہ مانیٹرنگ سیٹ اپ چیک کریں: کیا یہ ہر رن پر خود بخود محفوظ ہوتا ہے: گٹ کمٹ، ڈیٹا ورژن/ہیش، تمام ہائپر پیرامیٹر، تمام میٹرکس، ماحولیات (لائبریری ورژن)؟ جب میں دوبارہ وہی رن چلاتا ہوں تو کیا مجھے وہی نتیجہ ملتا ہے؟ سیٹ اپ: [تفصیل]۔ خامیوں کی فہرست اور اصلاح کریں۔

تولیدی کالموں کی میز

کالم

جو طے شدہ ہے۔

گاڑی کی مثال

بے ترتیب پن

تمام بیج

بیج کی ترتیب

ڈیٹا

ڈیٹا ورژن/ہیش

ڈی وی سی

ماحول

لائبریری کے ورژن

ضروریات کا پن، ڈاکر

نگرانی

کوڈ+ڈیٹا+سیٹنگ+میٹرک

ایم فلو، ڈبلیو اینڈ بی

عام غلطیاں

• بیج کو ٹھیک نہیں کرنا۔ نتیجہ دہرایا نہیں جا سکتا۔
• ڈیٹا ورژن کو محفوظ نہیں کرنا۔ "کس ڈیٹا کے ساتھ؟" لا جواب رہتا ہے.
• منجمد کرنے والی لت نہیں۔ ایک اپ ڈیٹ خاموشی سے سب کچھ توڑ دے گا۔
• تجربات کو میموری پر چھوڑنا۔ دو ہفتے بعد کچھ یاد نہیں۔
• اہم فیصلوں کو مصنوعی ذہانت پر چھوڑنا۔ میٹرکس، انصاف، اور تقسیم کے فیصلے لوگوں کے پاس رہنے چاہئیں۔
• دستاویزات ملتوی کرنا۔ مستقبل کی ٹیم (اور آپ) قیمت ادا کرے گی۔

خلاصہ میں

Reproducibility سنجیدہ ML انجینئرنگ کی علامت ہے: ناقابل تولید نتیجہ ناقابلِ تصدیق دعویٰ ہے۔ یہ چار کالموں کے ساتھ آتا ہے — بے ترتیب پن، ورژن ڈیٹا، منجمد ماحول، ہر تجربے کو ٹریک کریں۔ ایک اینڈ ٹو اینڈ پراجیکٹ اس ماڈیول کے تمام اسٹاپس (میٹرک، ڈیٹا، ماڈل، ایل ایل ایم اجزاء، ایول، فیئرنس، سیکورٹی، ڈسٹری بیوشن، مانیٹرنگ) کو ایک دوسرے سے منسلک سلسلہ میں یکجا کرتا ہے۔ مصنوعی ذہانت ہر اسٹاپ پر ایک تیز رفتار ہے، لیکن اہم فیصلے انسان کے ساتھ رہتے ہیں۔ ہر چیز کو دستاویز کریں — مستقبل کی ٹیم اور آڈٹ کے لیے۔ یہ نظم و ضبط وہ فریم ورک ہے جو آپ کے پورے ماڈیول میں سیکھنے والی ہر چیز کو برقرار رکھتا ہے۔

درخواست کا کام

ایک ایم ایل پروجیکٹ کو تولیدی صلاحیت کے چار ستونوں کے خلاف چیک کریں: کیا بیج ناقابل تغیر ہیں، کیا ڈیٹا کو ورژن بنایا گیا ہے، کیا ماحول منجمد ہے، کیا تجربات کو ٹریک کیا گیا ہے؟ کسی بھی گمشدہ کالم کو درست کریں اور ثابت کریں کہ آپ ایک ہی رن کو دو بار چلا سکتے ہیں اور ایک ہی نتیجہ حاصل کر سکتے ہیں۔ پھر ایک صفحہ پر پروجیکٹ کے اختتام سے آخر تک بہاؤ (10 اسٹاپس) کو آؤٹ پٹ کریں اور ہر اسٹاپ پر "انسانی فیصلہ کہاں ہے" کو نشان زد کریں۔ آخر میں، ایک مختصر تکنیکی دستاویزات کا مسودہ لکھیں۔

چیک لسٹ

• تمام بے ترتیبی کے بیج طے ہو گئے۔
• ہر تجربے کے ساتھ ڈیٹا ورژن/ہیش ریکارڈ کیا جاتا ہے۔
• انحصار کو فرم ورژن (پن/کنٹینر) میں منجمد کر دیا جاتا ہے۔
• ہر تجربے کی خود بخود نگرانی کی جاتی ہے (کوڈ+ڈیٹا+سیٹنگ+میٹرک)۔
• جب میں وہی رن دہراتا ہوں تو مجھے وہی نتیجہ ملتا ہے۔
• [ ] میں نے تصدیق کی اور دستاویز کی کہ آخر سے آخر تک کے بہاؤ میں اہم فیصلے انسان ہی کرتے ہیں۔

ماڈیول امتحان

1. ایک ایم ایل انجینئر کے طور پر، ورک فلو میں مصنوعی ذہانت کو پوزیشن دینے کا بہترین طریقہ کیا ہے؟

• A) AI کم خطرے والے کاروباروں میں ایک ایکسلریٹر ہے۔ میٹرکس، ڈیٹا اور پروڈکشن جیسے اہم فیصلے توثیق ہوتے ہیں اور انسانوں پر چھوڑ دیتے ہیں ✔
• ب) جب تک AI آؤٹ پٹ اچھے لگتے ہیں، تصدیق کی ضرورت نہیں ہے۔
• C) ماڈل کو مصنوعی ذہانت پر تیار کرنے کے فیصلے کو چھوڑنے سے وقت کی بچت ہوتی ہے۔
• D) مصنوعی ذہانت صرف متن لکھنے کے لیے مفید ہے، اس کا ڈیٹا اور ماڈل کے کام سے کوئی تعلق نہیں ہے۔

تفصیل: AI کم خطرے والے، آسانی سے تصدیق شدہ کاموں جیسے کوڈ، ڈیٹا ڈائجسٹ، اور دستاویزات کے لیے ایک طاقتور ایکسلریٹر ہے۔ تاہم، پیسے، رازداری، اور قانونی ذمہ داری کو متاثر کرنے والے فیصلوں کی ذمہ داری، جیسے میٹرک سلیکشن، جو ڈیٹا ٹریننگ میں جاتا ہے، اور ماڈل کو پروڈکشن میں ڈالنا، اہل انجینئر اور ٹیم پر عائد ہوتا ہے۔ ہر آؤٹ پٹ کو بغیر تصدیق کے استعمال نہیں کیا جانا چاہیے۔

2. اسکیما کی توثیق کو ڈیٹا پائپ لائن کے آغاز میں کیوں رکھا جاتا ہے؟

• A) کیونکہ یہ براہ راست ماڈل کی درستگی کو بڑھاتا ہے۔
• ب) کیونکہ یہ ڈیٹا ورژننگ کو غیر ضروری بنا دیتا ہے۔
• ج) کیونکہ یہ کرپٹ ڈیٹا کو جلد سے جلد اور سستے ترین پوائنٹ پر پکڑتا ہے اور اسے اگلے مراحل میں لیک ہونے سے روکتا ہے ✔
• D) کیونکہ یہ لیبلنگ کی ضرورت کو ختم کرتا ہے۔

وضاحت: جتنا پہلے کرپٹ ڈیٹا پکڑا جاتا ہے، اسے ٹھیک کرنا اتنا ہی سستا ہوتا ہے۔ سکیما کی توثیق لائن کے شروع میں متوقع قسم اور رینج سے باہر ڈیٹا کو مسترد کر کے کرپٹ ڈیٹا کو خاموشی سے ٹریننگ یا پروڈکشن میں لیک ہونے سے روکتی ہے (مثلاً یونٹ کی تبدیلی کے ساتھ قیمت میں 100x تبدیلی)؛ پیداوار میں پکڑی گئی ایک ہی غلطی کئی گنا زیادہ مہنگی ہے۔

3. وقت (ٹائم سیریز) کے مسئلے میں ڈیٹا کو تربیت اور جانچ میں تقسیم کرتے وقت صحیح طریقہ کیا ہے؟

• A) بے ترتیب تقسیم کا استعمال کرنا کیونکہ یہ ہمیشہ بہترین طریقہ ہوتا ہے۔
• ب) وقتی تقسیم کا استعمال: ماضی کے ساتھ تربیت کرکے اور مستقبل میں جانچ کرکے رساو کو روکیں ✔
• C) تمام ڈیٹا کو تربیت اور جانچ دونوں کے طور پر استعمال کرنا
• D) تربیت سے پہلے اسکیلنگ کے پیرامیٹرز میں ٹیسٹ ڈیٹا کو شامل کرنا

وضاحت: ٹائم سیریز پر بے ترتیب تقسیم ماڈل کو ایک 'مستقبل کو دیکھنے' کا فائدہ دیتی ہے جو پیداوار میں کبھی نہیں ہوگا اور مصنوعی طور پر میٹرکس کو بڑھاتا ہے (وقتی رساو)۔ صحیح ایک وقتی تقسیم ہے: ماضی کے ساتھ تربیت، مستقبل میں ٹیسٹ۔ یہ اصل کارکردگی کی پیمائش کرتا ہے جو اسے پیداوار میں رکھتا ہے۔

4. 1.5% کی مثبت کلاس ریٹ کے ساتھ فراڈ کا پتہ لگانے والے ماڈل میں درستگی کیوں گمراہ کن ہے؟

• A) کیونکہ غیر متوازن ڈیٹا پر درستگی ہمیشہ کم ہوتی ہے۔
• ب) کیونکہ درستگی صرف رجعت کے مسائل پر استعمال کی جا سکتی ہے۔
• C) کیونکہ درستگی کے حساب کتاب کے لیے بہت زیادہ پروسیسنگ پاور کی ضرورت ہوتی ہے۔
• D) یہاں تک کہ ایک معمولی ماڈل جو کہ اکثریتی طبقے کی پیشین گوئی کرتا ہے بہت درست ہو سکتا ہے، اس طرح حقیقی کامیابی کو چھپایا جا سکتا ہے ✔

وضاحت: غیر متوازن ڈیٹا پر، یہاں تک کہ ایک بنیادی ماڈل جو کہتا ہے کہ 'ہر چیز کو منفی کال کریں' تقریباً 98.5 فیصد درستگی حاصل کرتا ہے لیکن ایک بھی دھوکہ نہیں پکڑے گا۔ لہذا، غیر متوازن درجہ بندی میں، درستگی کے بجائے درستگی، یادداشت، F1 یا PR-AUC استعمال کیے جاتے ہیں، اور ہر میٹرک کی تشریح بنیادی ماڈل کے مطابق کی جاتی ہے۔

5. ماڈل کے میٹرک کے بارے میں بات کرتے وقت بیس لائن موازنہ کیوں ضروری ہے؟

• A) کیونکہ بیس ماڈل ہمیشہ حقیقی ماڈل سے بہتر ہوتا ہے۔
• ب) کیونکہ یہ واضح ہے کہ آیا میٹرک معنی خیز ہے یا نہیں صرف اس صورت میں جب ایک سادہ بیس لائن ماڈل کے مقابلے میں ✔
• C) کیونکہ بیس ماڈل کراس توثیق کو غیر ضروری بناتا ہے۔
• D) کیونکہ بنیادی ماڈل قانونی طور پر ہر رپورٹ میں مطلوب ہے۔

وضاحت: میٹرک بذات خود اچھا یا برا نہیں ہوتا۔ یہ ایک بنیادی ماڈل کے مطابق اچھا یا برا ہے۔ '85% درست' جملے کا مطلب تقریباً بیکار ہے اگر بیس ماڈل کو پہلے ہی 84% مل جائے، اور اگر اسے 50% مل جائے تو کامل۔ موازنہ اینکر کے بغیر، میٹرک بے معنی ہے۔

6. کون سا سب سے اہم حفاظتی عنصر ہے جسے RAG (ریٹریول-آگمینٹڈ جنریشن) سسٹم کے پروڈکشن پرامپٹ میں شامل کیا جانا چاہئے؟

• A) صرف دیئے گئے ذریعہ پر انحصار کرنے کی ہدایت، اگر ذریعہ موجود نہیں ہے تو 'مجھے نہیں معلوم' کہنا، اور ذریعہ کا حوالہ دینا ✔
• ب) ماڈل کو بتانا کہ زیادہ سے زیادہ لمبے اور تخلیقی جوابات تیار کریں۔
• C) ماڈل وسائل پر اپنے تعلیمی علم کو ترجیح دیتا ہے۔
• ڈی) کمانڈ کے طور پر لائے گئے دستاویزات میں تمام ہدایات کو نافذ کریں۔

وضاحت: RAG کی واحد سب سے اہم ہدایت یہ ہے کہ ماڈل کو بتائے کہ وہ صرف دیے گئے ماخذ پر بھروسہ کرے، اور اگر معلومات ماخذ میں نہیں ہے، تو 'مجھے نہیں معلوم' کہے اور بغیر اس کے ماخذ کا حوالہ دیں۔ اس ٹرائیڈ کے بغیر، ماڈل سیاق و سباق کو نظر انداز کر سکتا ہے اور فریب پیدا کر سکتا ہے، اور جواب ناقابل تصدیق ہو جاتا ہے۔

7. ایک RAG سسٹم غلط جوابات دیتا ہے۔ تشخیص شروع کرنے کے لیے بہترین جگہ کہاں ہے؟

• A) پہلے بازیافت کی پیمائش کرنا (Recall@K): کیا صحیح ٹکڑا کبھی آتا ہے؟ ✔
• ب) فوری طور پر ماڈل کو بڑے سے تبدیل کریں۔
• C) تصادفی طور پر فوری طور پر تبدیل کریں اور کوشش جاری رکھیں
• D) تمام دستاویزات کو ماڈل میں فائن ٹیوننگ کے ساتھ شامل کرنا

وضاحت: RAG کا سب سے کمزور لنک عام طور پر بازیافت ہوتا ہے، پیداوار نہیں۔ اگر صحیح حصہ کبھی نہیں لایا جاتا ہے، تو ماڈل اس معلومات کو پیدا نہیں کر سکتا، چاہے پرامپٹ کو کتنا ہی بہتر بنایا جائے۔ لہذا، پہلے Recall@K کو یہ دیکھنے کے لیے ماپا جاتا ہے کہ آیا صحیح حصہ آیا ہے؛ اگر بازیافت اچھی ہے، تو پیداوار اور فوری جانچ پڑتال کی جاتی ہے۔

8. کسی ایجنٹ کو ٹول دیتے وقت انسانی منظوری کے پیچھے کن کاموں کو رکھا جانا چاہیے؟

• A) کوئی نہیں؛ ایجنٹ کو ہر عمل کو خود مختاری سے انجام دینے کے قابل ہونا چاہیے۔
• ب) صرف الٹ جانے والی کارروائیاں جیسے ڈیٹا کو پڑھنا اور تلاش کرنا
• C) ناقابل واپسی یا زیادہ اثر والے اقدامات جیسے رقم کی منتقلی، حذف کرنا، بھیجنا ✔
• D) وہ اعمال جن میں صرف حسابات شامل ہوں۔

تفصیل: اعمال خطرے کی سطح سے الگ ہوتے ہیں۔ بازیافت کے قابل کام جیسے پڑھنا، تلاش کرنا، حساب لگانا، اور ڈرافٹ تیار کرنا خود مختاری سے کیا جا سکتا ہے۔ تاہم، ناقابل واپسی یا زیادہ اثر انداز ہونے والے اقدامات جیسے رقم کی منتقلی، ای میل بھیجنا، ڈیٹا کو حذف کرنا، آرڈر دینا وغیرہ کے لیے انسانی منظوری کی ضرورت ہوتی ہے۔ ہر اٹل عمل رضامندی سے مشروط ہونا چاہیے۔

9. بالواسطہ فوری انجیکشن کے خطرے کے خلاف ڈیزائن کا بہترین طریقہ کیا ہے؟

• A) سسٹم پرامپٹ میں ایک جملہ 'بری ہدایات کو نظر انداز کریں' کا اضافہ کرنا کافی ہے۔
• ب) بیرونی مواد میں دی گئی ہدایات پر انحصار کرتے ہوئے ماڈل کو مزید اختیار دیں۔
• ج) کوئی احتیاط نہ کرنا کیونکہ انجکشن ناقابل روک تھام ہے۔
• D) خارجی مواد کو غیر معتبر ڈیٹا کے طور پر الگ کرنا اور کم سے کم اجازت، منظوری اور آؤٹ پٹ کنٹرول کے ساتھ تہہ دار دفاع قائم کرنا ✔

تفصیل: ایجنٹ یا RAG کی طرف سے پروسیس کردہ بیرونی مواد، جیسے ویب صفحہ، دستاویز، ای میل، وغیرہ، ناقابل اعتماد ڈیٹا ہے اور اس میں خفیہ ہدایات ہو سکتی ہیں۔ درست نقطہ نظر تہہ دار دفاع ہے: واضح حد بندیوں کے ساتھ بیرونی مواد کو 'ڈیٹا، نہ کہ کمانڈز' کے طور پر الگ کرنا، کم سے کم اجازت کا اطلاق کرنا، ناقابل واپسی اقدامات کو انسانی منظوری کے لیے پابند کرنا، اور آؤٹ پٹ کا آڈٹ کرنا۔ ہدایات کی ایک لائن کافی نہیں ہے۔

10. یہ فیصلہ کرتے وقت بنیادی فرق کیا ہے کہ آیا کسی مسئلے کو فائن ٹیوننگ یا RAG سے حل کیا جانا چاہیے؟

• A) معلومات کے مسائل کو RAG سے بہتر طریقے سے حل کیا جاتا ہے، رویے/فارمیٹ کے مسائل کو فائن ٹیوننگ سے بہتر طریقے سے حل کیا جاتا ہے ✔
• ب) ہر مسئلہ کو ہمیشہ فائن ٹیوننگ سے حل کیا جانا چاہیے۔
• C) RAG صرف کوڈ جنریشن کے لیے استعمال ہوتا ہے، فائن ٹیوننگ صرف ترجمہ کے لیے استعمال ہوتی ہے۔
• D) فائن ٹیوننگ کو ہمیشہ RAG سے سستا اور تیز اپ ڈیٹ کیا جا سکتا ہے۔

وضاحت: ماڈل کی نئی معلومات سکھانے میں فائن ٹیوننگ کمزور اور خطرناک ہے۔ لیکن تدریسی رویے، شکل، لہجے اور انداز میں طاقتور ہے۔ 'ماڈل کمپنی ہمارے ڈیٹا کو نہیں جانتی' ایک معلوماتی مسئلہ ہے اور اس کا تعلق RAG سے ہے۔ 'ماڈل کو ہمیشہ ہمارے سخت فارمیٹ میں آؤٹ پٹ ہونے دیں' ایک رویے کا مسئلہ ہے اور فائن ٹیوننگ کا امیدوار ہے۔ مزید برآں، فائن ٹیوننگ سے پہلے فوری اور چند شاٹس کا استعمال کیا جانا چاہیے۔

11. نئے ماڈل کو پروڈکشن میں ڈالتے وقت محفوظ تعیناتی کے لیے کون سا لازمی ہے؟

• A) اگر ماڈل ٹیسٹنگ میں اچھا ہے تو اسے براہ راست 100% ٹریفک کے لیے کھولیں۔
• ب) تعیناتی کے بعد مانیٹرنگ کو بالکل بھی ترتیب نہ دینا
• C) مرحلہ وار تعیناتی (شیڈو/کینری) اور پہلے سے ٹیسٹ شدہ رول بیک پلان ✔
• D) ماڈل کو شائع کرنا چاہے تشخیص کی حد پوری نہ ہو۔

وضاحت: نئے ماڈل کو براہ راست تمام ٹریفک کے لیے کھولنا خطرناک ہے۔ اگر یہ غلط ہے تو سب متاثر ہوتے ہیں۔ صحیح بات یہ ہے کہ یہ ایک بتدریج تقسیم ہے (شیڈو، کینری) اور ہر تقسیم کا ایک تجربہ شدہ رول بیک پلان ہوتا ہے۔ بغیر کسی کلاؤ بیک پلان کے تقسیم مکمل نہیں ہوتی۔ منٹوں میں پچھلے ورژن پر واپس آنے کے قابل ہونا صارف کی حفاظت کرتا ہے جب ماڈل پیداوار میں غیر متوقع طور پر برتاؤ کرتا ہے۔

12. ایک ایم ایل ماڈل پروڈکشن میں 'خاموش' کیسے ناکام ہو سکتا ہے اور اسے پکڑنے کا طریقہ کیا ہے؟

• A) ماڈل گر جاتا ہے؛ سرور لاگ اس کو ظاہر کرتے ہیں۔
• ب) غلطیاں کیے بغیر غلط پیشین گوئیاں کر کے؛ ✔ یہ آپریشنل، ان پٹ اور آؤٹ پٹ لیئرڈ مانیٹرنگ کو حاصل کرتا ہے۔
• C) ماڈل خاموشی سے کبھی ناکام نہیں ہو سکتا، ہمیشہ خطرے کی گھنٹی
• D) کسی بھی انحطاط کو پکڑنے کے لیے صرف تاخیر کی نگرانی کافی ہے۔

وضاحت: ماڈل صرف کریش ہونے یا غلطیوں کے بغیر غلط پیشین گوئیاں کر کے ناکام ہو سکتا ہے۔ اس کی بنیادی وجہ ڈیٹا ڈرفٹ اور کانسیپٹ ڈرفٹ ہے۔ صرف آپریشنل میٹرکس (لیٹنسی، غلطی کی شرح) کی نگرانی کافی نہیں ہے۔ ان پٹ کی تقسیم اور آؤٹ پٹ/پیش گوئی کی تقسیم کی بھی نگرانی کی جانی چاہیے۔ اگر اصل نتیجہ میں تاخیر ہوتی ہے تو ان پٹ ڈرفٹ ابتدائی وارننگ دیتا ہے۔

13. LLM سسٹم کا جائزہ لینے کے لیے LLM-as-judge استعمال کرتے وقت کون سا اصول ضروری ہے؟

• A) LLM-ریفری ہمیشہ درست ہوتا ہے، انسانی تصدیق غیر ضروری ہے۔
• ب) ریفری کو صرف جواب کی لمبائی کی بنیاد پر فیصلہ کرنا چاہیے۔
• C) قواعد پر مبنی کنٹرول اور انسانی تشخیص کو مکمل طور پر مسترد کر دینا چاہیے جب ریفریز کا استعمال کیا جائے۔
• D) جج کے اسکور کو انسانی لیبل والے نمونے کے ساتھ کیلیبریٹ کیا جانا چاہئے اور ان پر بھروسہ کرنے سے پہلے ان کے تعصب کی پیمائش کی جانی چاہئے ✔

تفصیل: ایل ایل ایم ریفری بھی ایک ماڈل ہے۔ یہ خیالی، متعصب (طویل، پر اعتماد جوابات کی حمایت)، اور متضاد ہو سکتا ہے۔ لہذا، ریفری سکور کو انسانی لیبل والے نمونے کے ساتھ کیلیبریٹ کیا جانا چاہیے اور پیداوار کا فیصلہ کرنے سے پہلے ان کے منظم تعصب کو ناپا جانا چاہیے۔ ایک غیر تصدیق شدہ ریفری غلط اعتماد دیتا ہے۔

14. ماڈل کے تعصب کا اندازہ لگاتے وقت مجموعی درستگی کو کیوں دیکھنا ناکافی ہے؟

• A) مجموعی طور پر درستگی کافی ہے کیونکہ یہ ہمیشہ بدترین گروپ کی کارکردگی کو ظاہر کرتی ہے۔
• ب) مجموعی طور پر درستگی ہی ناکافی ہے کیونکہ یہ ذیلی گروپوں کے درمیان منظم فرق (پوشیدہ امتیاز) کو غیر واضح کر سکتی ہے ✔
• C) کیونکہ درستگی ایک میٹرک ہے جس کا تعصب سے کوئی تعلق نہیں ہے۔
• D) تعصب صرف ماڈل سے آتا ہے اور اس کا ڈیٹا سے کوئی تعلق نہیں ہے۔

وضاحت: مجموعی طور پر درستگی ذیلی گروپوں کے درمیان منظم فرق کو غیر واضح کر سکتی ہے۔ مثال کے طور پر، جب کہ مجموعی درستگی 88% ہے، ایک گروپ میں 91% اور دوسرے گروپ میں 67% ریکال ہو سکتا ہے۔ ماڈل منظم طریقے سے اس گروپ کو یاد کرتا ہے۔ اس لیے ماڈل کا جائزہ ذیلی گروپس (ڈیموگرافکس/سگمنٹ) کی بنیاد پر کیا جانا چاہیے اور انصاف کی کس تعریف کو ترجیح دی جانی چاہیے اس کا فیصلہ اسٹیک ہولڈرز کے ساتھ کیا جانا چاہیے۔

15. ML نتیجہ دوبارہ پیدا کرنے کے لیے کن چار چیزوں کو ایک ساتھ طے کرنا ضروری ہے؟

• A) صرف ماڈل کا نام، سائز، قیمت اور ریلیز کی تاریخ
• ب) صرف GPU برانڈ اور انٹرنیٹ کی رفتار
• C) ماڈل کا صرف حتمی درستگی کا سکور؛ باقی میموری میں رکھا جا سکتا ہے
• D) بے ترتیب بیج، ڈیٹا ورژن، ماحولیات (انحصار ورژن) اور تجربہ ٹریکنگ ✔

تفصیل: تولیدی صلاحیت چار ستونوں کے ذریعے حاصل کی جاتی ہے: بے ترتیبی کے بیجوں کو درست کرنا، ڈیٹا کو ورژن بنانا (ورژن/ہیش)، ماحول کو منجمد کرنا (صحیح لائبریری کے ورژن/کنٹینر)، اور ہر تجربے کو ٹریک کرنا (کوڈ کمٹ، ڈیٹا، ہائپر پیرامیٹر، میٹرک)۔ اس سلسلہ کے بغیر ایک ہی نتیجہ کو دوبارہ پیش کرنا ممکن نہیں ہے۔ ایک غیر تولیدی نتیجہ ایک دعوی ہے جو ثابت نہیں کیا جا سکتا.