فائدہ:
- مناسب گرافس (ہسٹوگرام، باکس پلاٹ، سکیٹر پلاٹ) کے ساتھ متغیرات کی تقسیم، مرکز، پھیلاؤ اور بے ضابطگیوں کو دریافت کرنے کی صلاحیت۔
- باہمی تعلق کی صحیح تشریح کرنے کی صلاحیت اور اسے وجہ کے ساتھ الجھائے بغیر، اسکیٹر پلاٹ کے ساتھ مل کر پڑھنا
- یہ سمجھنے کی صلاحیت کہ خلاصہ کے اعدادوشمار گمراہ کن ہوسکتے ہیں (Anscombe سبق) اور ایسے مفروضے تیار کرسکتے ہیں جو ماڈلنگ کی سمت کا تعین کرتے ہیں۔
ماڈل بنانے سے پہلے ڈیٹا کو جاننا ضروری ہے۔ جس طرح ایک ڈاکٹر مریض کا معائنہ کیے بغیر دوائی تجویز نہیں کرتا، اسی طرح ڈیٹا سائنسدان ڈیٹا کا "جائزہ" کیے بغیر ماڈل نہیں بناتا۔ اس امتحان کو ایکسپلوریٹری ڈیٹا اینالیسس (ای ڈی اے مختصراً) کہا جاتا ہے: یہ اعداد و شمار کی تقسیم، رشتے، حیرت اور جال کو بصری اور تصویری طور پر دریافت کرنے کا مرحلہ ہے۔ EDA کا مقصد مفروضے پیدا کرنا، غلطیوں کو پکڑنا اور ماڈلنگ کی سمت کا تعین کرنا ہے۔ اس مرحلے پر مصنوعی ذہانت ایک بہت طاقتور معاون ہے: یہ بتاتا ہے کہ کون سا چارٹ موزوں ہے، اس کا کوڈ لکھتا ہے، تقسیم کی تشریح کرتا ہے۔ لیکن ایک شخص اپنے میدانی علم کے ساتھ فیصلہ کرتا ہے کہ آیا وہ جو نمونہ دیکھتا ہے وہ حقیقی ہے یا اتفاق۔
EDA کیا تلاش کرتا ہے؟
ای ڈی اے چار سوالوں کے جواب طلب کرتا ہے۔ تقسیم: ہر متغیر کو کس طرح تقسیم کیا جاتا ہے — کیا یہ ہموار، ترچھا، یا دو چوٹی والا ہے؟ مرکزی رجحان اور پھیلاؤ: وسط، درمیانی، معیاری انحراف کیا ہیں؟ تعلقات: متغیرات کا ایک دوسرے سے کیا تعلق ہے؟ بے ضابطگیاں: کیا غیر متوقع اقدار، فرق، گروہ بندی ہیں؟ یہ چار سوالات طے کرتے ہیں کہ کون سی خصوصیت کام کرے گی اور کون سا ماڈل مناسب ہے۔
آئیے کچھ بنیادی تصورات کی وضاحت کرتے ہیں۔ ہسٹوگرام ایک گراف ہے جو عددی متغیر کی قدروں کو وقفوں میں تقسیم کرتا ہے اور دکھاتا ہے کہ ہر وقفہ میں کتنے مشاہدات ہیں؛ یہ تقسیم کو دیکھنے کا تیز ترین طریقہ ہے۔ skewness ایک سمت میں تقسیم کی تبدیلی ہے؛ متغیرات جیسے آمدنی کو دائیں طرف متوجہ کیا جاتا ہے (اکثریت کم، کچھ بہت زیادہ)۔ ایک باکس پلاٹ ایک نظر میں میڈین، quartiles اور outliers کو دکھاتا ہے۔ ایک سکیٹر پلاٹ پوائنٹس کے بادل کے ساتھ دو عددی متغیرات کا تعلق ظاہر کرتا ہے۔
ارتباط: ایک رشتہ ہے لیکن محتاط رہیں
ارتباط - ایک پیمانہ کہ دو متغیر کیسے ایک ساتھ حرکت کرتے ہیں۔ -1 اور +1 کے درمیان نمبر — EDA کا سب سے زیادہ استعمال شدہ اور سب سے زیادہ غلط سمجھا جانے والا ٹول ہے۔ +1 کا مطلب ہے کامل شریک اضافہ، -1 کا مطلب کامل الٹا تعلق، 0 کا مطلب ہے کوئی لکیری تعلق نہیں۔ دو بڑے جال ہیں۔ پہلا، مشہور قاعدہ: ارتباط سبب نہیں ہے۔ آئس کریم کی فروخت کے ساتھ دم گھٹنے کے واقعات میں اضافہ۔ اس لیے نہیں کہ ایک دوسرے کی طرف لے جاتا ہے، بلکہ اس لیے کہ موسم گرما (چھپا ہوا تیسرا متغیر) دونوں کو متحرک کرتا ہے۔ دوسرا، ارتباط صرف لکیری تعلق کی پیمائش کرتا ہے۔ یہ 0 کے قریب ایک مضبوط لیکن منحنی رشتے کی نشاندہی کر سکتا ہے۔ لہذا جب ارتباط کو دیکھتے ہو، تو سکیٹر پلاٹ کو بھی دیکھنا یقینی بنائیں۔
احتیاط: جب AI ایک ارتباطی نمبر دیتا ہے، تو یہ وجہ کی زبان میں پھسل سکتا ہے جیسے "A بڑھتا ہے B۔" یہ خطرناک ہے۔ ارتباط صرف ایک ساتھ حرکت کی نشاندہی کرتا ہے۔ صرف تجربہ، ڈومین کا علم، اور محتاط اندازہ ہی وجہ قائم کرتا ہے۔
Anscombe quartet: کیوں نہ صرف نمبر کو دیکھیں
اعداد و شمار میں ایک مشہور مثال ہے: Anscombe quartet. چار مختلف ڈیٹا سیٹوں کا تقریباً ایک ہی مطلب، ایک ہی تغیر، اور ایک ہی ارتباط (0.82)؛ لیکن جب گراف کیا جاتا ہے، تو وہ بالکل مختلف نظر آتے ہیں — ایک سیدھی لکیر، ایک خمیدہ، ایک بادل جس کو ایک آؤٹ لیئر نے کھینچا ہے۔ سبق واضح ہے: خلاصہ کے اعدادوشمار گمراہ کن ہیں، گراف کو دیکھنا ضروری ہے۔ AI آپ کو اوسط اور ارتباط دے سکتا ہے، لیکن گراف کو دیکھے بغیر ان نمبروں پر بھروسہ کرنا Anscombe کے جال میں پھنس رہا ہے۔
مندرجہ ذیل جدول خلاصہ کرتا ہے کہ کون سا چارٹ کس سوال پر فٹ بیٹھتا ہے:
سوال
مناسب گرافک
کیا ظاہر کرتا ہے
ایک واحد متغیر کی تقسیم
ہسٹوگرام / کے ڈی ای
شکل، ترچھا پن، چوٹیوں کی تعداد
مرکز اور باہر والے
باکس پلاٹ
درمیانی، چوتھائی، آؤٹ لیرز
دو نمبروں کا رشتہ
بکھرے ہوئے چارٹ
سمت، طاقت، گھماؤ
زمرہ کا موازنہ
بار چارٹ
گروہوں کے درمیان فرق
وقت کے ساتھ تبدیلی
لائن چارٹ
رجحان، موسمی
ملٹی ویریٹ رشتہ
ارتباط گرمی کا نقشہ
جنرل ریلیشن شپ میٹرکس
سمپسن کا تضاد: مجموعی ڈیٹا جھوٹ بول سکتا ہے۔
EDA میں ایک ڈرپوک ٹریپ جس سے آگاہ ہونا سمپسن کا تضاد ہے: جب تمام ڈیٹا کو ایک ساتھ جانچا جائے تو پیٹرن ایک سمت دکھا سکتا ہے، لیکن جب ڈیٹا کو بامعنی ذیلی گروپوں میں تقسیم کیا جاتا ہے تو الٹ جاتا ہے۔ کلاسیکی مثال: یونیورسٹی میں خواتین درخواست دہندگان کے لیے مجموعی طور پر قبولیت کی شرح مردوں کے مقابلے کم دکھائی دیتی ہے۔ لیکن جب محکمہ کے لحاظ سے دیکھا جائے تو زیادہ تر محکموں میں خواتین کی قبولیت کی شرح مردوں سے زیادہ ہے۔ کہاں سے؟ خواتین نے زیادہ مسابقتی (کم قبولیت کی شرح) محکموں میں درخواست دی؛ مشترکہ نمبر اس پوشیدہ متغیر کو محفوظ کرتا ہے۔ سبق واضح ہے: کُل یا اوسط کو دیکھتے وقت، یقینی بنائیں کہ آیا یہ نمبر ایک ہی کہانی بیان کرتا ہے جب بامعنی ذیلی گروپس (طبقہ، مدت، چینل) میں تقسیم کیا جاتا ہے۔ جب AI آپ کو ایک مشترکہ ریٹ دیتا ہے، تو یہ پوچھنا کہ "کیا یہ اب بھی درست ہے جب آپ اسے الگ کرتے ہیں" سب سے زیادہ گمراہ کن نتائج کو جلد ہی پکڑ لے گا۔
تین چھوٹے مقدمات
کیس 1 - دو چھپی ہوئی پہاڑیاں۔ ایک تجزیہ کار نے صارف کی اوسط عمر 41 سال پائی اور اسے "ادھیڑ عمر کے ہجوم" کے طور پر رپورٹ کیا۔ لیکن ہسٹگرام نے دو چوٹیوں کو دکھایا: 22-28 اور 55-62 عمر کے گروپ۔ اوسط 41 نے حقیقت میں کسی کی نمائندگی نہیں کی۔ سبق: وسط پر بھروسہ کرنے سے پہلے تقسیم کا منصوبہ بنائیں۔
کیس 2 - جعلی ارتباط۔ ایک ٹیم نے "اشتہار کے اخراجات" اور "فروخت" کے درمیان 0.78 ارتباط پایا اور بجٹ کو دوگنا کردیا۔ تاہم، جس چیز نے دونوں کو متحرک کیا وہ موسمی مہمات تھیں۔ مہم کے دوران، تعلق 0.10 تک گر گیا۔ 340 ہزار TL اضافی اشتہارات سے متوقع منافع نہیں ملا۔ سبق: وجہ کے لئے غلط تعلق مہنگا ہے۔
کیس 3 - تنہا متضاد کی طرف سے کھینچی گئی لکیر۔ رئیل اسٹیٹ کے تجزیہ نے مربع فوٹیج اور قیمت (r=0.80) کے درمیان مضبوط تعلق ظاہر کیا۔ جب سکیٹر پلاٹ تیار کیا گیا تو، تقریباً پورا رشتہ ایک ہی 12 ملین TL لگژری ولا کے ذریعے بنایا گیا تھا۔ جب اس نقطہ کو ہٹا دیا گیا تو، ارتباط 0.31 پر گر گیا۔ سبق: ہمیشہ بکھرے ہوئے پلاٹ کے ساتھ ارتباط کو پڑھیں۔
چار کاپی کرنے کے قابل ٹیمپلیٹس
1) خودکار EDA کا خلاصہ:
میرے پاس پانڈا ڈی ایف ہے۔ وہ کوڈ لکھیں جو تیار کرتا ہے: (1) df.info() اور df.describe()، (2) ہر عددی کالم کے لیے ہسٹوگرام، (3) ہر زمرہ والے کالم کے لیے شمار۔ تبصرہ نہ کریں، صرف دریافت کوڈ بنائیں؛ میں پیٹرن کی تشریح کرتا ہوں۔
2) ارتباط + بصری (وجہ کے انتباہ کے ساتھ):
کوڈ لکھیں جو عددی کالموں کے لیے ایک ارتباطی میٹرکس اور حرارت کا نقشہ کھینچتا ہے۔ 3 سب سے زیادہ مربوط جوڑوں کا ایک سکیٹر پلاٹ بھی کھینچیں۔ آؤٹ پٹ میں ایک تبصرہ لائن شامل کریں جو آپ کو یاد دلاتا ہے کہ ارتباط کا مطلب نہیں ہے۔ وجہ کے دعوے نہ کریں۔
3) تقسیم کی تشخیص:
"income_tl" کالم کے لیے: کوڈ لکھیں جو ہسٹوگرام، باکس پلاٹ، skewness ویلیو اور میڈین/میین موازنہ تیار کرتا ہے۔ میں اس کی تشریح کروں گا کہ آیا تقسیم ترچھی ہے یا نہیں؛ صرف کوڈ دیں۔
4) طبقہ کا موازنہ:
"چینل" (ویب/موبائل) کے لحاظ سے صارفین کا موازنہ کریں: کوڈ لکھیں جو ہر چینل کے لیے اوسط رقم، اوسط رقم، آرڈرز کی تعداد، اور رقم کی تقسیم کا ایک باکس پلاٹ تیار کرتا ہے۔ تجویز کریں کہ دونوں چینلز کے درمیان فرق کی شماریاتی اہمیت کے لیے کون سا ٹیسٹ مناسب ہے، لیکن فیصلہ مجھ پر منحصر ہے۔
کمزور فوری / مضبوط اشارہ
کمزور اشارہ:
اس ڈیٹا میں کچھ دلچسپ تلاش کریں۔
"دلچسپ" غیر وضاحتی ہے؛ AI ڈیٹا کو نہیں دیکھتا، لہذا یہ یا تو اسے بناتا ہے یا عام بیانات دیتا ہے۔ کوئی سمت، کوئی متغیر، کوئی مقصد نہیں ہے۔
طاقتور اشارہ:
آپ کا کردار: EDA اسسٹنٹ۔ df کالم: عمر (int)، آمدنی_tl (فلوٹ)، شہر (زمرہ)، چینل (ویب/موبائل)، رقم (فلوٹ)۔ مقصد: "رقم" کو متاثر کرنے والے عوامل کو دریافت کرنا۔ ٹاسک: (1) رقم کی تقسیم کا کوڈ، (2) رقم اور عمر اور آمدنی کے درمیان تقسیم کا گراف، (3) چینل کی خرابی میں رقم کا باکس پلاٹ۔ ایک وجہ دعوی قائم کرنا؛ بس دریافت کوڈ تیار کریں اور میں پیٹرن کی تشریح کروں گا۔
یہاں، مقصد، متغیرات اور "دعوی کی وجہ" کی حد واضح ہے۔
عام غلطیاں
- مکمل طور پر خلاصہ کے اعدادوشمار پر انحصار کرنا۔ جیسا کہ Anscombe quartet ظاہر کرتا ہے، ایک ہی مطلب بہت مختلف تقسیم کو چھپاتا ہے۔ چارٹ دیکھیں.
- وجہ کے لیے غلط تعلق۔ تعاون اس بات کی نشاندہی نہیں کرتا کہ ایک دوسرے کی طرف لے جاتا ہے۔ پوشیدہ متغیرات سے بچو۔
- بغیر کسی بکھرے ہوئے پلاٹ کے ارتباط کو دیکھنا۔ ایک واحد آؤٹ لیئر یا گھماؤ نمبر کو گمراہ کرتا ہے۔
- وسط کے ساتھ دو چوٹیوں والی / ترچھی تقسیم کا خلاصہ۔ اوسط کسی کی نمائندگی نہیں کرسکتا ہے۔
- EDA کو چھوڑنا اور سیدھے ماڈل پر جانا۔ غیر تسلیم شدہ ڈیٹا کا مطلب ہے نابینا ماڈل۔
ٹپ: ہر نئے ڈیٹا سیٹ کے ساتھ، پہلے 30 منٹ صرف گراف کھینچنے میں صرف کریں: ہر عددی کا ہسٹوگرام، اہم جوڑوں کا سکیٹر پلاٹ، زمروں کا بار چارٹ۔ یہ 30 منٹ آنے والے دنوں کے لیے مستقبل کی ماڈلنگ کی غلطیوں کو روکتے ہیں۔
خلاصہ میں
EDA ماڈل بنانے سے پہلے ڈیٹا کو جاننے کا مرحلہ ہے اور چار سوالات کے جوابات تلاش کرتا ہے: تقسیم، مرکز پھیلاؤ، تعلقات اور بے ضابطگییں۔ خلاصہ کے اعدادوشمار گمراہ کن ہو سکتے ہیں۔ گراف کو دیکھنا ضروری ہے (Anscombe لیکچر)۔ ارتباط ایک طاقتور ٹول ہے، لیکن وجہ نہیں ہے اور اسے یقینی طور پر ایک سکیٹر پلاٹ کے ساتھ مل کر پڑھا جانا چاہیے۔ AI گرافکس اور تحریری کوڈ تجویز کرنے کے لیے ایک بہترین ایکسلریٹر ہے۔ لیکن لوگ اپنے فیلڈ کے علم سے تشریح کرتے ہیں کہ وہ جو نمونہ دیکھتے ہیں وہ حقیقی ہے یا اتفاق۔
درخواست کا کام
ایک ڈیٹاسیٹ کا انتخاب کریں اور صرف EDA کریں: کم از کم تین عددی متغیرات کا ایک ہسٹوگرام، متغیرات کے دو جوڑوں کا ایک سکیٹر پلاٹ، اور ایک ارتباط حرارت کا نقشہ نکالیں۔ کم از کم ایک "سرپرائز" تلاش کریں (جیسے کہ دو چوٹیوں کے ساتھ تقسیم، جعلی ارتباط کے لیے امیدوار، ایک رشتہ دار کی طرف سے متوجہ کیا گیا رشتہ) اور اسے ایک جملے میں بیان کریں۔ بغیر کسی وجہ کے دعوے کیے لکھیں۔
چیک لسٹ
- کیا میں نے ہر عددی متغیر کی تقسیم کا گراف بنایا ہے؟
- کیا میں نے سکیٹر پلاٹ کے ساتھ ارتباط کو دیکھا؟
- کیا میں نے وجہ اور ارتباط کو الگ رکھا ہے؟
- [ ] کیا میں نے ترچھی یا دو چوٹی والی تقسیم کو نہیں دیکھا اور مطلب پر آنکھیں بند کرکے بھروسہ کیا؟
- کیا میں نے اپنے EDA کے نتائج سے ماڈلنگ کا کم از کم ایک پہلو/مفروضہ اخذ کیا ہے؟