ڈیٹا کی تیاری اور فیچر انجینئرنگ: مصنوعی ذہانت کے ساتھ ایکچوریل ڈیٹا کو ہینڈل کرنا

فائدہ:

• پالیسی میں گمشدہ اقدار، آؤٹ لیرز، نمائش اور ڈیٹا کے معیار کے مسائل کا پتہ لگانے اور مصنوعی ذہانت کی مدد سے ڈیٹا کو نقصان پہنچانے اور اصلاحی مسودہ تیار کرنے کی صلاحیت
• فیچر انجینئرنگ (نیا متغیر اخذ، گروپ بندی، کوڈنگ) اور صحیح سیاق و سباق کے ساتھ مصنوعی ذہانت کو معمول پر لانا
• یہ سمجھیں کہ مصنوعی ذہانت کے ذریعہ تجویز کردہ ڈیٹا کی تبدیلیوں کا ڈیٹا لیکیج اور پوشیدہ تعصب کے خطرے کے خلاف ایکچوری کے ذریعہ آڈٹ کیا جانا چاہئے۔

کم سے کم بات کی جاتی ہے لیکن ایکچوریل کام کا سب سے زیادہ وقت لگتا ہے ڈیٹا کی تیاری۔ تجربہ کار ایکچوری جانتے ہیں کہ ماڈلنگ پروجیکٹ کا زیادہ تر وقت ڈیٹا کو صاف کرنے، یکجا کرنے اور درست کرنے میں صرف ہوتا ہے۔ اس سے کوئی فرق نہیں پڑتا ہے کہ ماڈل کتنا ہی خوبصورت ہو، اگر ان پٹ ڈیٹا کرپٹ ہے، تو آؤٹ پٹ کرپٹ ہے — مختصراً، "کچرا اندر، کچرا باہر"۔ اس یونٹ میں، ہم پالیسی اور دعووں کے ڈیٹا کے مخصوص مسائل، AI کے ساتھ ان کا پتہ لگانے اور ان کو ٹھیک کرنے کا طریقہ، اور فیچر انجینئرنگ (نئے متغیرات جو موجودہ ڈیٹا سے زیادہ معلوماتی ہیں) کے نقطہ نظر کو دیکھیں گے۔

شروع سے ایک انتباہ: ڈیٹا کی تیاری بظاہر تکنیکی اور معصوم قدم ہے، لیکن یہ وہ جگہ ہے جہاں سب سے زیادہ خطرناک غلطیاں چھپ جاتی ہیں۔ ایک غلط ایکسپوژر نارملائزیشن، پوشیدہ ڈیٹا لیک، یا انجانے میں متعارف کرایا گیا تعصب خاموشی سے تمام بعد کے ماڈلز کو خراب کر دیتا ہے۔ AI اس قدم کو بہت تیز کرتا ہے، لیکن اگر اسے بے قابو چھوڑ دیا جائے تو یہ خطرے کو بھی بڑھا دیتا ہے۔

ایکچوریل ڈیٹا کے عام مسائل

پالیسی اور دعووں کا ڈیٹا تقریباً کبھی صاف نہیں آتا۔ سب سے عام مسائل یہ ہیں: قدریں غائب ہیں: کچھ پالیسیوں میں گاڑی کی عمر، پیشہ یا علاقہ خالی ہے۔ ان کو آنکھ بند کرکے اوسط سے بھرنا تعصب پیدا کرسکتا ہے۔ کمی خود کبھی کبھی معلومات لے جاتی ہے (لاپتہ ایک مختلف گروپ ہیں)۔ آؤٹ لیرز: غیر منطقی ریکارڈز جیسے منفی پریمیم، 200 سالہ بیمہ شدہ، زیرو ایکسپوزر پالیسی۔ یہ تمیز کرنا ضروری ہے کہ آیا یہ ڈیٹا کی غلطیاں ہیں یا اصلی ایج کیسز۔ عدم مطابقت: ایک ہی علاقے کے مختلف املا ("استنبول"، "استنبول"، "34")، تاریخ کی شکل میں الجھن۔ ڈپلیکیٹ اندراجات: ایک ہی نقصان کا دو بار اندراج۔

لیکن ایکچوریل کے لیے مخصوص سب سے اہم مسئلہ نمائش ہے۔ اگر کوئی پالیسی سال کے وسط میں شروع ہوتی ہے، تو یہ اس سال کے لیے جزوی نمائش (مثلاً 0.5 سال) فراہم کرتی ہے، نہ کہ مکمل "پالیسی سال"۔ تعدد اور نقصان کی شرح کو ہمیشہ نمائش کے لیے معمول بنایا جانا چاہیے۔ بصورت دیگر قلیل مدتی پالیسیاں زیادہ خطرہ ظاہر کرتی ہیں۔ AI نمائش کے حساب کتاب کو کوڈ کر سکتا ہے، لیکن آپ کو تعریف اور کاروباری اصول فراہم کرنا ہوگا۔

درج ذیل جدول میں عام مسائل اور صحیح طریقہ کار کا خلاصہ کیا گیا ہے:

مسئلہ

غلط نقطہ نظر

صحیح نقطہ نظر

لاپتہ قدر

سب کو اوسط سے بھریں۔

کمی کا تجزیہ کریں؛ کبھی کبھی ایک الگ زمرہ کھولیں۔

outlier

آٹو ڈیلیٹ

ڈیٹا کی خرابی اور حقیقی لیڈ کے درمیان فرق کریں۔

نمائش

1 سال کے لیے تمام پالیسیوں کو شمار کریں۔

جزوی نمائش کا حساب لگائیں۔

زمرہ میں تضاد

نظر انداز کرنا

معیاری لغت کے ساتھ میچ کریں۔

بار بار نقصان

نوٹس نہ کرو

کلیدی فیلڈز کے ساتھ ڈپلیکیٹ کریں۔

فیچر انجینئرنگ: ڈیٹا سے علم حاصل کرنا

فیچر انجینئرنگ نئے متغیرات اخذ کرنے کا فن ہے جو موجودہ خام متغیرات سے ماڈل کے لیے زیادہ مفید ہیں۔ مثالیں: تاریخ پیدائش سے "عمر"، عمر سے "عمر گروپ" (بائننگ)، گاڑی کے بنانے والے ماڈل سے "خطرے کا حصہ"، ایڈریس پالیسی کے امتزاج سے "سالانہ مائلیج کا تخمینہ"۔ ایک اچھی خصوصیت خام ڈیٹا سے زیادہ مضبوط سگنل رکھتی ہے اور ماڈل کی درستگی اور تشریح دونوں کو بڑھاتی ہے۔

ایکچوریل کام میں تین تکنیکیں کثرت سے استعمال ہوتی ہیں۔ بائنڈنگ: ایک مسلسل متغیر (عمر) کو بامعنی گروپوں میں الگ کرنا؛ یہ غیر لکیری تعلقات کو پکڑتا ہے اور ٹیرف کو پڑھنے کے قابل بناتا ہے۔ انکوڈنگ: ماڈل کے لیے موزوں عددی شکل میں زمرہ دار متغیرات (علاقہ) کو تبدیل کرنا؛ خطرے پر مبنی کوڈنگ (ہر زمرے کو اس کے اپنے نقصان کی شرح کے ساتھ پیش کرنا) عام ہے لیکن احتیاط کے ساتھ کی جانی چاہیے۔ نارملائزیشن: ہر چیز کو اس کی نمائش سے تقسیم کرکے موازنہ کرنا۔ AI تیزی سے ان تبدیلیوں کے لیے کوڈ تیار کرتا ہے۔ لیکن آپ کو ہر تبدیلی کی منطق کو منظور کرنا ہوگا۔

ٹپ: ٹارگٹ انکوڈنگ طاقتور ہے لیکن ڈیٹا لیکیج کا خطرہ ہے: ماڈل "دھوکہ دیتا ہے" اگر آپ کسی زمرے کے اوسط نقصان کا حساب لگاتے وقت قطار کے اپنے نقصان کو شامل کرتے ہیں۔ یہ ہمیشہ تربیتی اعداد و شمار کے اندر، کراس توثیق کے پیٹرن میں کریں۔

سب سے خطرناک خطرہ: ڈیٹا کا لیک اور مضمر تعصب

ڈیٹا لیکیج ماڈل میں معلومات کا تعارف ہے جو پیشین گوئی کے وقت اصل میں موجود نہیں ہے۔ کلاسیکی مثال: ایک متغیر کو متعارف کرانا جس میں نتیجہ ہوتا ہے، جیسے کہ "ادائیگی کے دعوے" ایک ایسے ماڈل میں جو دعوے کی رقم کی پیشن گوئی کرتا ہے۔ ماڈل ٹیسٹ کے اعداد و شمار میں کامل نظر آتا ہے لیکن حقیقی دنیا میں بیکار ہے کیونکہ یہ معلومات پیشین گوئی کے وقت دستیاب نہیں ہوتی ہیں۔ رساو اکثر پوشیدہ ہوتا ہے اور صرف محتاط ایکچوریل استدلال سے پکڑا جاتا ہے - AI عام طور پر اس پر توجہ نہیں دیتا ہے، بعض اوقات یہ لیکی متغیر کو "بہت طاقتور پیش گو" کے طور پر بھی تعریف کرتا ہے۔

دوسرا کپٹی خطرہ مضمر تعصب ہے۔ اگر تاریخی ڈیٹا غیر منصفانہ طور پر کسی خاص گروپ کی نمائندگی کرتا ہے (مثال کے طور پر، ایک علاقے کو تاریخی طور پر بہت ساری پالیسیوں سے انکار کیا گیا ہے)، اس ڈیٹا سے اخذ کردہ خصوصیات اس تعصب کو رکھتی ہیں اور ماڈل اسے مستقبل میں نقل کرتا ہے۔ فیچر انجینئرنگ کا مرحلہ سب سے نازک لمحہ ہے جب اس تعصب کو پہچانا اور درست کیا جا سکتا ہے۔

احتیاط: اس سے پہلے کہ آپ خوشی منائیں جب ایک متغیر "پیش گوئی کی طاقت کو بہت زیادہ بہتر بناتا ہے"، پوچھیں: کیا یہ متغیر پیشین گوئی کے وقت واقعتاً موجود ہے، یا اس میں مستقبل شامل ہے؟ ایک نتیجہ جو بہت اچھا لگتا ہے اکثر لیک ہونے کی علامت ہوتا ہے۔

ڈیٹا کی تیاری میں AI کا استعمال کیسے کریں۔

1) ڈیٹا کوالٹی اسکریننگ:

آپ کا کردار: ڈیٹا کوالٹی اسسٹنٹ۔ آپ کے پاس ایکچوریل پالیسی کی پیداوار ہے۔ کالم: پالیسی_آئی ڈی، شروع_تاریخ، اختتامی_تاریخ، عمر، علاقہ، گاڑی_عمر، پریمیم، دعوی_کاؤنٹ، دعوی_رقم۔ مجھے ایک چیک لسٹ اور پائتھون (پانڈا) کوڈ کا خاکہ دیں:- کالم کے لحاظ سے گمشدہ اقدار کو شمار کریں۔- غیر معقول قدروں کو جھنڈا لگائیں (منفی پریمیم، عمر، <آرٹ_01-<< آرٹیکل> < آرٹیکل> <<<< نمائش (سالوں میں) شروع/اختتام سے۔ حذف نہ کریں؛ بس اس کی اطلاع دیں تاکہ میں فیصلہ کر سکوں۔

2) خصوصیت اخذ:

میں اپنے ٹریفک ڈیٹا سے نئی خصوصیات حاصل کرنا چاہتا ہوں۔ دستیاب: عمر، گاڑی کی_عمر، علاقہ، سالانہ_کلومیٹر، استعمال کی_قسم۔- آپ کس عمر اور کلومیٹر کے گروپس (بائننگ) کی تجویز کرتے ہیں، کیوں؟- میں ڈیٹا لیکیج کے بغیر 'خطے' کے لیے خطرے پر مبنی کوڈنگ کیسے کر سکتا ہوں؟- کوشش کرنے کے لائق 3 نئی خصوصیات تجویز کریں اور ہر ایک کے لیے حقیقی جواز لکھیں۔ میں فیصلہ کروں گا۔

3) لیک معائنہ:

میرا ماڈل درج ذیل متغیرات کے ساتھ نقصان کے امکانات کی پیش گوئی کرتا ہے: عمر، علاقہ، گاڑی کی_عمر، PAID_CLAIM_FLAG، SETTLEMENT_DAYS۔ ان میں سے کون سے متغیرات سے ڈیٹا لیک ہونے کا خطرہ ہے؟ ہر ایک کے لیے، اندازہ کریں کہ آیا یہ پیشین گوئی کے وقت دستیاب ہوگا۔ مشکوک افراد کی فہرست بنائیں اور کیوں۔

4) نمائش نارملائزیشن:

میری کچھ پالیسیاں سال کے وسط میں شروع ہوتی ہیں۔ تعدد کو درست طریقے سے شمار کرنے کے لیے ایکسپوزر نارملائزیشن کی وضاحت اور کوڈ کریں: فریکوئنسی = کل کلیم_کاؤنٹ / کل ایکسپوژر (پالیسی سال)۔ مثال کے ساتھ دکھائیں کہ سال کے وسط میں شروع ہونے والی پالیسی کی نمائش کا حساب کیسے لگایا جائے۔

کمزور فوری / مضبوط اشارہ

کمزور اشارہ:

ڈیٹا کو صاف کریں اور اسے ماڈل کے لیے تیار کریں۔

AI نہیں جانتا کہ کون سا کالم ہے، کاروباری اصول، نمائش کی تعریف؛ یہ آنکھیں بند کر کے ڈیٹا کو ڈیلیٹ اور بھر سکتا ہے اور کرپٹ کر سکتا ہے۔

طاقتور اشارہ:

آپ کا کردار: ایکچوریل ڈیٹا تیاری اسسٹنٹ۔ ڈیٹا لغت: پالیسی_آئی ڈی (شناخت)، آغاز/اختتام_تاریخ (پالیسی کی مدت)، عمر (متوقع 16-90)، پریمیم (ضروری ہے >0)، دعوی_کاؤنٹ (>=0)، دعوی_رقم (>=0)۔ ٹاسک: 1) ہر کالم کے لیے معقولیت کا اصول لکھیں اور کوڈ کوڈ (2) کے لیے فریکشنل ایکسپوزر کا حساب لگائیں۔ / اوسط / علیحدہ زمرہ) پلس مائنس کے ساتھ موجود؛ فیصلہ مجھ پر چھوڑ دیں۔ 4) اگر کوئی کالم ہے تو خبردار کریں جس سے لیک ہونے کا خطرہ ہو سکتا ہے۔ کسی بھی ریکارڈ کو خودکار طور پر حذف کر دینا۔ ہر فیصلہ منظور کروں گا۔

تین چھوٹے مقدمات

کیس 1 - نمائش کی خرابی۔ ایک پورٹ فولیو میں، قلیل مدتی (3 ماہ کی) سفری پالیسیوں کو پورے سال شمار کیا گیا، اس لیے تعدد اصل سے چار گنا کم دکھائی دی۔ قیمت غلط طریقے سے گر گئی۔ جب ایکچوری نے ایکسپوژر کو ایک فریکشن (0.25 پالیسی سال) کے طور پر شمار کیا، تو اصل فریکوئنسی ظاہر ہوئی اور ٹیرف کو درست کیا گیا۔ AI نے فریکشنل ایکسپوژر کوڈ تیار کیا۔ ایکچوری نے تعریف بتائی۔

کیس 2 - اویکت لیک۔ جب ایک مددگار نے "فائل بند ہونے کا وقت" متغیر کو نقصان کے امکانی ماڈل میں شامل کیا تو درستگی میں ڈرامائی طور پر اضافہ ہوا۔ خوشی قلیل المدتی تھی: یہ متغیر نقصان پہنچنے کے بعد ہی معلوم ہو سکتا تھا، یعنی یہ پیشین گوئی کے وقت دستیاب نہیں تھا۔ جب لیکی متغیر کو ہٹا دیا گیا تو، ماڈل حقیقت پسندانہ سطح پر کم ہو گیا۔ انہوں نے AI متغیر کو "طاقتور پیشن گوئی کرنے والے" کے طور پر سراہا؛ ایکچوری کے فیصلے نے جال پکڑ لیا۔

کیس 3 - تعصب کی نقل۔ ایک کمپنی نے تاریخی ڈیٹا سے "درخواست مسترد" کا نمونہ اخذ کیا اور اسے نئے ماڈل میں ڈال دیا۔ تجزیہ سے پتہ چلتا ہے کہ ماضی کی مستردیاں غیر متناسب طور پر کسی خاص محلے میں مرکوز تھیں، یعنی ایک تاریخی تعصب تھا۔ اس خصوصیت کو ماڈل سے ہٹا دیا گیا تھا اور اسے مزید غیر جانبدار خطرے کے اشارے کے ساتھ تبدیل کر دیا گیا تھا۔ AI نے پڑوس کے ساتھ پیٹرن کے اوورلیپ کی پیمائش کرتے ہوئے تجزیہ تیار کیا۔ اخلاقی فیصلہ ایکچوری اور تعمیل یونٹ نے کیا تھا۔

عام غلطیاں

• گمشدہ اقدار کو بغیر سوچے سمجھے کے ساتھ بھرنا۔ کمی بذات خود علم ہو سکتی ہے۔ اسے آنکھیں بند کرکے بھرنے سے تعصب پیدا ہوتا ہے۔
• خودکار طور پر آؤٹ لیرز کو حذف کریں۔ کچھ سچے کنارے کے مقدمات ہیں؛ ڈیٹا کو غلطیوں سے الگ کیے بغیر حذف کرنا معلومات کو تباہ کر دیتا ہے۔
• نمائش کو معمول نہیں بنانا۔ مختصر پالیسیوں کو پورے سالوں کے طور پر شمار کرنا تعدد کو بگاڑ دیتا ہے اور قیمت کو بگاڑ دیتا ہے۔
• ڈیٹا کے لیکیج کو نہیں دیکھنا۔ بہت اچھا نتیجہ اکثر مستقبل میں شامل متغیر کی علامت ہوتا ہے۔ استفسار کریں کہ آیا ہر متغیر پیشین گوئی کے وقت موجود ہے۔
• مستقبل میں مضمر تعصب لانا۔ تاریخی ڈیٹا میں ناانصافی اخذ کردہ خصوصیات کو لیک کر سکتی ہے۔ اسے خصوصیت کے مرحلے پر چیک کریں۔

خلاصہ میں

ایکچوریل ماڈلنگ زیادہ تر ڈیٹا کی تیاری کے بارے میں ہے۔ اگر ان پٹ کرپٹ ہے تو آؤٹ پٹ بھی کرپٹ ہے۔ عام مسائل میں اقدار کی کمی، آؤٹ لیرز، تضادات، اور نقل ہیں۔ اہم ایکچوریل مسئلہ نمائش کو معمول پر لانا ہے۔ فیچر انجینئرنگ — گروپ بندی، کوڈنگ، نارملائزیشن — ڈیٹا سے مضبوط سگنل حاصل کرتی ہے۔ سب سے زیادہ خطرناک خطرات ڈیٹا کا رساو اور مضمر تعصب ہیں۔ دونوں کو صرف ایکچوریل استدلال سے پکڑا گیا ہے۔ AI اس قدم کو بہت تیز کرتا ہے: اسکیننگ کوڈ اور سفارشات تیار کرتی ہے۔ لیکن کسی بھی ریکارڈ کو خود بخود حذف نہ کریں، انسانوں کو لیک اور تعصب کی جانچ کرنے دیں، اور ہر تبدیلی کو منظور کریں۔

درخواست کا کام

ایک چھوٹی گمنام پالیسی ڈیٹا لغت تیار کریں (5-7 کالم، ہر ایک کی معقول حد)۔ AI سے (a) ہر کالم کے لیے معقولیت کے اصول اور خلاف ورزی کے رپورٹ کوڈ، (b) فریکشنل ایکسپوژر کیلکولیشن، (c) کوشش کرنے کے لیے 3 نئی خصوصیات کے لیے تجاویز طلب کریں۔ پھر فہرست میں جان بوجھ کر "لیک ٹریپ" متغیر شامل کریں (جیسے "معاوضہ ادا کیا گیا") اور جانچ کریں کہ آیا AI اسے لیک کے طور پر پکڑتا ہے۔

چیک لسٹ

• [ ] کیا میں نے تجزیہ کیا ہے کہ گمشدہ اور آؤٹ لیرز کو حذف کرنے سے پہلے کیوں؟
• [ ] کیا میں نے نمائش کو صحیح طریقے سے تقسیم کیا اور معمول بنایا ہے؟
• کیا میں نے ہر نئی اخذ کردہ خصوصیت کے لیے ایکچوریل جواز لکھا ہے؟
• کیا میں نے سوال کیا ہے کہ کیا ہر متغیر پیشین گوئی کے وقت درحقیقت موجود ہوتا ہے (رساو)؟
• کیا میں نے اخذ کردہ خصوصیات میں مضمر تعصب کے لیے اسکین کیا ہے؟
• کیا میرے پاس AI نے کوئی ریکارڈ خود بخود حذف نہیں کیا اور ہر فیصلے کو خود منظور کیا؟