تحليل البيانات الاستكشافية (EDA): التوزيعات والعلاقات والرؤى الأولية

المكاسب:

• القدرة على استكشاف التوزيع والمركز والانتشار والشذوذات للمتغيرات باستخدام الرسوم البيانية المناسبة (الرسم البياني، الرسم المربع، الرسم المبعثر).
• القدرة على تفسير الارتباط بشكل صحيح وقراءته مع المخطط المبعثر، دون الخلط بينه وبين السببية
• القدرة على فهم أن الإحصائيات الموجزة يمكن أن تكون مضللة (درس أنسكومب) وتطوير الفرضيات التي تحدد اتجاه النمذجة.

قبل بناء النموذج، من الضروري معرفة البيانات. وكما أن الطبيب لا يصف الدواء دون فحص المريض، فإن عالم البيانات لا يبني نموذجًا دون "فحص" البيانات. يُطلق على هذا الفحص اسم تحليل البيانات الاستكشافية (EDA باختصار): وهي مرحلة اكتشاف توزيع البيانات وعلاقاتها ومفاجآتها ومصائدها بصريًا وبيانيًا. الغرض من EDA هو إنشاء فرضيات، ورصد الأخطاء، وتحديد اتجاه النمذجة. يعد الذكاء الاصطناعي مساعدًا قويًا جدًا في هذه المرحلة: فهو يقترح المخطط المناسب، ويكتب الكود الخاص به، ويفسر التوزيع. لكن الإنسان يقرر بمعرفته الميدانية ما إذا كان النمط الذي يراه حقيقيا أم صدفة.

ما الذي تبحث عنه جمعية الإمارات للغوص؟

تسعى جمعية الإمارات للغوص إلى الحصول على إجابات لأربعة أسئلة. التوزيع: كيف يتم توزيع كل متغير - هل هو متماثل أم منحرف أم ذو ذروتين؟ النزعة المركزية والانتشار: ما هو المتوسط ​​والوسيط والانحراف المعياري؟ العلاقات: كيف ترتبط المتغيرات ببعضها البعض؟ الشذوذات: هل هناك قيم أو فجوات أو تجمعات غير متوقعة؟ تحدد هذه الأسئلة الأربعة الميزة التي ستعمل والنموذج المناسب.

دعونا نحدد بعض المفاهيم الأساسية. الرسم البياني هو رسم بياني يقسم قيم المتغير العددي إلى فترات ويوضح عدد الملاحظات الموجودة في كل فترة؛ إنها أسرع طريقة لرؤية التوزيع. الانحراف هو تحول التوزيع في اتجاه واحد. تميل المتغيرات مثل الدخل إلى اليمين (أغلبية منخفضة، وعدد قليل مرتفع جدًا). يُظهر مخطط الصندوق الوسيط والربيع والقيم المتطرفة في لمحة. يوضح المخطط المبعثر العلاقة بين متغيرين رقميين وسحابة من النقاط.

الارتباط: هناك علاقة ولكن كن حذرا

الارتباط — مقياس لكيفية تحرك متغيرين معًا؛ الرقم بين -1 و+1 — هو الأداة الأكثر استخدامًا والأكثر إساءة فهمها في EDA. +1 يعني زيادة مشتركة كاملة، -1 يعني علاقة عكسية مثالية، 0 يعني عدم وجود علاقة خطية. هناك نوعان من الفخاخ الكبيرة. أولاً، القاعدة الشهيرة: الارتباط ليس السببية. حالات الاختناق تتزايد مع مبيعات الآيس كريم؛ ليس لأن أحدهما يؤدي إلى الآخر، بل لأن الصيف (المتغير الثالث الخفي) يؤدي إلى كليهما. ثانيا، الارتباط يقيس العلاقة الخطية فقط؛ قد يشير إلى وجود علاقة قوية ولكنها منحنية قريبة من 0. لذلك عند النظر إلى الارتباط، تأكد من إلقاء نظرة على المخطط المبعثر أيضًا.

تحذير: عندما يعطي الذكاء الاصطناعي رقم ارتباط، فقد ينزلق إلى لغة سببية مثل "أ يزيد ب". هذا أمر خطير. يشير الارتباط فقط إلى الحركة معًا؛ فقط الخبرة ومعرفة المجال والاستدلال الدقيق هي التي تحدد السبب.

فرقة أنسكومب الرباعية: لماذا لا تنظر فقط إلى الرقم

هناك مثال مشهور في الإحصاء: رباعية أنسكومب. أربع مجموعات بيانات مختلفة لها نفس المتوسط ​​تقريبًا، ونفس التباين، ونفس الارتباط (0.82)؛ لكن عند رسمها بيانيًا، فإنها تبدو مختلفة تمامًا: خط مستقيم، وآخر منحني، والآخر سحابة تسحبها قيمة متطرفة واحدة. الدرس واضح: ملخص الإحصائيات مضلل، والنظر إلى الرسم البياني أمر لا بد منه. يمكن أن يمنحك الذكاء الاصطناعي متوسطات وارتباطات، لكن الثقة في هذه الأرقام دون رؤية الرسم البياني تقع في فخ أنسكومب.

يلخص الجدول أدناه أي مخطط يناسب أي سؤال:

سؤال

رسم مناسب

ما يظهر

توزيع متغير واحد

الرسم البياني / كيدي

الشكل، الانحراف، عدد القمم

المركز والقيم المتطرفة

مؤامرة مربع

الوسيط، الربعيات، القيم المتطرفة

العلاقة بين رقمين

مخطط مبعثر

الاتجاه والقوة والانحناء

مقارنة الفئة

مخطط شريطي

الفرق بين المجموعات

تتغير مع مرور الوقت

مخطط خطي

الاتجاه والموسمية

علاقة متعددة المتغيرات

خريطة الحرارة الارتباطية

مصفوفة العلاقات العامة

مفارقة سيمبسون: البيانات المجمعة يمكن أن تكذب

هناك فخ خادع في EDA يجب الانتباه إليه وهو مفارقة سيمبسون: قد يُظهر النمط اتجاهًا واحدًا عندما يتم فحص جميع البيانات معًا، ولكنه ينعكس عندما يتم تقسيم البيانات إلى مجموعات فرعية ذات معنى. مثال كلاسيكي: يبدو أن معدل القبول الإجمالي للمتقدمات في إحدى الجامعات أقل من معدل القبول للذكور؛ ولكن عند النظر إلى قسم على حدة، فإن معدل قبول النساء أعلى من الرجال في معظم الأقسام. من أين؟ تقدمت النساء إلى أقسام أكثر تنافسية (معدلات قبول أقل)؛ الرقم المدمج يخزن هذا المتغير المخفي. الدرس واضح: عند النظر إلى الإجمالي أو المتوسط، تأكد من التحقق مما إذا كان هذا الرقم يروي نفس القصة عند تقسيمه إلى مجموعات فرعية ذات معنى (القطاع، الفترة، القناة). عندما يمنحك الذكاء الاصطناعي معدلًا مجمعًا، فإن السؤال "هل لا يزال صالحًا عند تقسيمه" سيؤدي إلى اكتشاف معظم النتائج المضللة في وقت مبكر.

ثلاث حالات صغيرة

الحالة 1 - تلتان مخفيتان. وجد أحد المحللين أن متوسط ​​عمر العميل هو 41 عامًا ووصفه بأنه "جمهور في منتصف العمر". لكن الرسم البياني أظهر ذروتين: الفئتان العمريتان 22-28 و55-62. متوسط ​​41 لا يمثل في الواقع أي شخص. الدرس: رسم التوزيع قبل الثقة بالمتوسط.

الحالة 2 - الارتباط الزائف. وجد أحد الفرق ارتباطًا بنسبة 0.78 بين "الإنفاق الإعلاني" و"المبيعات" وقام بمضاعفة الميزانية. ومع ذلك، فإن ما أثار كلا الأمرين هو الحملات الموسمية؛ وخلال فترة خارج الحملة الانتخابية، انخفضت العلاقة إلى 0.10. 340 ألف ليرة تركية إضافية لم تحقق العائد المتوقع. الدرس المستفاد: الخلط بين الارتباط والسببية أمر مكلف.

الحالة 3 - الخط الذي رسمه المتناقض الوحيد. أظهر التحليل العقاري وجود علاقة قوية بين المساحة بالمتر المربع والسعر (r=0.80). عندما تم رسم قطعة الأرض المبعثرة، تم إنشاء العلاقة بأكملها تقريبًا من خلال فيلا فاخرة واحدة بقيمة 12 مليون ليرة تركية؛ وعندما تمت إزالة هذه النقطة، انخفض الارتباط إلى 0.31. الدرس المستفاد: اقرأ دائمًا الارتباط مع المخطط المبعثر.

أربعة قوالب قابلة للنسخ

1) ملخص EDA التلقائي:

لدي الباندا مدافع. اكتب التعليمات البرمجية التي تنتج: (1) df.info() وdf.describe()، (2) رسم بياني لكل عمود رقمي، (3) حساب لكل عمود فئوي. لا تعلق، فقط قم بإنشاء رمز الاكتشاف؛ أنا أفسر الأنماط.

2) الارتباط + البصري (مع التنبيه على السببية):

اكتب التعليمات البرمجية التي ترسم مصفوفة ارتباط وخريطة حرارية للأعمدة الرقمية. ارسم أيضًا مخططًا مبعثرًا للأزواج الثلاثة الأعلى ارتباطًا. أضف سطر تعليق إلى المخرجات لتذكيرك بأن الارتباط لا يعني وجود علاقة سببية. لا تقدم ادعاءات سببية.

3) تشخيص التوزيع:

بالنسبة لعمود "الدخل_tl": اكتب الكود الذي ينتج الرسم البياني، ومخطط الصندوق، وقيمة الانحراف، والمقارنة المتوسطة/المتوسطة. سأشرح ما إذا كان التوزيع منحرفًا أم لا؛ فقط أعط الرمز.

4) مقارنة القطاعات:

قارن العملاء حسب "القناة" (الويب/الهاتف المحمول): اكتب التعليمات البرمجية التي تنتج مخططًا مربعًا لمتوسط المبلغ، والمبلغ المتوسط، وعدد الطلبات، وتوزيع المبلغ لكل قناة. اقترح أي اختبار مناسب للدلالة الإحصائية للفرق بين القناتين، ولكن القرار متروك لي.

موجه ضعيف / موجه قوي

حث ضعيف:

ابحث عن شيء مثير للاهتمام في هذه البيانات.

"مثير للاهتمام" غير محدد؛ لا يرى الذكاء الاصطناعي البيانات، لذا فهو إما يختلقها أو يدلي ببيانات عامة. لا يوجد اتجاه ولا متغيرات ولا غرض.

مطالبة قوية:

دورك: مساعد EDA. أعمدة df: العمر (int)، الدخل (عائم)، المدينة (الفئة)، القناة (الويب/الجوال)، المبلغ (عائم). الغرض: اكتشاف العوامل المؤثرة على "المبلغ". المهمة: (1) رمز يوضح توزيع المبلغ، (2) رسوم بيانية للتوزيع بين المبلغ والعمر والدخل، (3) مخطط مربع للمبلغ في تفاصيل القناة. إنشاء المطالبة السببية. ما عليك سوى إنشاء رمز الاكتشاف وسأقوم بتفسير النمط.

وهنا تتضح الغاية والمتغيرات وحدود "ادعاء السببية".

الأخطاء الشائعة

• الاعتماد فقط على الإحصائيات الموجزة. وكما تظهر رباعية أنسكومب، فإن نفس المتوسط ​​يخفي توزيعات مختلفة تمامًا؛ انظر الرسم البياني.
• الارتباط الخاطئ للسببية. والعمل المشترك لا يعني أن أحدهما يؤدي إلى الآخر؛ احذر من المتغيرات الخفية.
• النظر إلى الارتباط دون مؤامرة مبعثرة. إن وجود قيمة متطرفة أو منحنى خطي واحد يؤدي إلى تضليل الرقم.
• تلخيص توزيع ثنائي الذروة/منحرف مع المتوسط. المتوسط ​​قد لا يمثل أي شخص.
• تخطي EDA والانتقال مباشرة إلى النموذج. البيانات غير المعترف بها تعني نموذج أعمى.

نصيحة: مع كل مجموعة بيانات جديدة، اقض أول 30 دقيقة فقط في رسم الرسوم البيانية: رسم بياني لكل رقم، ومخطط مبعثر للأزواج المهمة، ومخطط شريطي للفئات. تمنع هذه الدقائق الثلاثين أخطاء النمذجة المستقبلية للأيام القادمة.

باختصار

EDA هي مرحلة التعرف على البيانات قبل بناء النموذج والبحث عن إجابات لأربعة أسئلة: التوزيع، وانتشار المركز، والعلاقات، والشذوذ. يمكن أن تكون إحصائيات الملخص مضللة؛ النظر إلى الرسم البياني أمر لا بد منه (محاضرة أنسكومب). يعد الارتباط أداة قوية، لكن العلاقة السببية ليست كذلك وينبغي بالتأكيد قراءتها جنبًا إلى جنب مع المخطط المبعثر. يعد الذكاء الاصطناعي مسرعًا رائعًا لاقتراح الرسومات وكتابة التعليمات البرمجية؛ لكن الناس يفسرون بمعرفتهم الميدانية ما إذا كان النمط الذي يرونه حقيقيًا أم محض صدفة.

مهمة التطبيق

اختر مجموعة بيانات وقم فقط بإجراء EDA: استخرج رسمًا بيانيًا لثلاثة متغيرات رقمية على الأقل، ومخططًا مبعثرًا لزوجين من المتغيرات، وخريطة حرارية للارتباط. ابحث عن "مفاجأة" واحدة على الأقل (مثل توزيع ذو ذروتين، أو مرشح للارتباط الزائف، أو علاقة تجتذبها قيمة متطرفة واحدة) واشرحها في جملة واحدة. اكتب دون تقديم أي ادعاءات سببية.

قائمة مرجعية

• [ ] هل قمت برسم بياني لتوزيع كل متغير عددي؟
• [ ] هل ألقيت نظرة على الارتباطات مع مخطط التشتت؟
• [ ] هل أبقيت السببية والارتباط منفصلين؟
• [ ] ألم ألاحظ توزيعات منحرفة أو ذات ذروتين وأثق في المتوسط ​​بشكل أعمى؟
• [ ] هل قمت باستخلاص جانب/فرضية نمذجة واحدة على الأقل من نتائج EDA الخاصة بي؟