المكاسب:
- القدرة على التمييز بين سير العمل المكون من ست مراحل لعلم البيانات (تعريف المشكلة، التجميع، التنظيف، الاكتشاف، النمذجة، الاتصال) والسلطة التي يعمل بموجبها الذكاء الاصطناعي في كل مرحلة، وفقًا لمستوى خطورة المهمة
- القدرة على تطبيق نظام يتحقق من كل مخرجات الذكاء الاصطناعي من خلال ربطها بالمصدر وتشغيلها ومقارنتها وتمريرها عبر تصفية الخبراء.
- القدرة على تحويل مبادئ التكاثر والخصوصية (الكتابة إلى تعليمات برمجية وإخفاء الهوية) إلى عادات تحليل منذ اليوم الأول
البيانات الخام، والفوضوية، والتي غالبًا ما تكون "كاذبة" تصل إلى مكتب عالم البيانات كل يوم. في جدول المبيعات، تتم كتابة عمود التاريخ بثلاثة تنسيقات مختلفة؛ أرقام العملاء فارغة في بعض الأسطر؛ اسم العمود هو "الدخل"، ولكنه يحتوي على قيمتي الليرة التركية والدولار الأمريكي. تتمثل مهمة علم البيانات في اتخاذ قرار موثوق به للخروج من هذه الفوضى: جمع البيانات، وتنظيفها، واستكشافها، وبناء نموذج، والتحقق من صحة النتيجة، وتحويلها إلى قصة. يمكن للذكاء الاصطناعي (AI، أو AI للاختصار - أنظمة الكمبيوتر التي يمكنها إنشاء نص ورمز، والتعرف على الأنماط، والتلخيص، وإجراء التنبؤات) أن يلمس كل رابط في هذه السلسلة: كتابة تعليمات برمجية للتنظيف في دقائق، والتوصية بالرسوم البيانية للتحليل الاستكشافي، وتفسير مقياس النموذج، وتصحيح استعلام SQL. لكن نفس الذكاء الاصطناعي يمكن أن يمنحك أيضًا تلفيقًا موثوقًا مثل "الارتباط 0.72" للبيانات التي لم يسبق له رؤيتها من قبل.
هذه الوحدة الأولى ليست مقدمة للمكتبة. والغرض منه هو توضيح مكان وضع الذكاء الاصطناعي في سير عمل علم البيانات وأين لا يجب وضعه أبدًا. دعونا نوضح المبدأ الأساسي من البداية: الذكاء الاصطناعي هو مساعد، وليس عالم بيانات. إن القرار المتعلق بالبيانات التي يجب جمعها، والمقياس الذي يجب اتخاذ قرار بشأنه، وما إذا كان سيتم وضع نموذج في الإنتاج، ومكان رسم الحدود الأخلاقية، يقع على عاتق الخبير المختص. يعد مخرجات الذكاء الاصطناعي التي لم يتم التحقق منها أمرًا محفوفًا بالمخاطر، كما هو الحال مع تقرير التحليل غير الموقع.
سير عمل علم البيانات: خريطة شاملة
لفهم مشروع البيانات، من المفيد تقسيمه إلى ست مراحل. تتبع هذه الوحدة بأكملها هذه الخريطة.
1. تعريف المشكلة: ما الذي نقيسه، ولماذا، لدعم أي قرار؟ هذه المرحلة غير مفوضة للذكاء الاصطناعي؛ هو الشخص الذي يحدد الوظيفة.
2. جمع البيانات: تحديد المصادر، استخراج البيانات، أخذ العينات. (الوحدة 2)
3. تنظيف البيانات ومعالجتها مسبقًا: القيمة المفقودة، القيمة المتطرفة، تحويل النوع. (الوحدة 3)
4. تحليل البيانات الاستكشافية (EDA - تحليل البيانات الاستكشافية، مرحلة التعرف على توزيع وعلاقات البيانات "بالعين"): (الوحدة الرابعة)
5. هندسة الميزات والنمذجة: الجيل المتغير، اختيار الخوارزمية، التدريب، التقييم. (الوحدة 5، 6، 7)
6. الاتصال والإنتاج: التصور، القصة، MLOps (الانضباط في بث النموذج مباشرة ومراقبته). (الوحدة 8، 11)
يعمل الذكاء الاصطناعي بسلطة مختلفة في كل مرحلة من هذه المراحل الست. ويلخص الجدول أدناه هذا التوزيع للسلطة؛ هذا هو الجدول الأكثر أهمية في الوحدة.
المرحلة
دور الذكاء الاصطناعي
مستوى المخاطر
من يوافق
تعريف المشكلة
شريك العصف الذهني
منخفض
عالم بيانات + أصحاب مصلحة
اكتب رمز التنظيف
مولد رسم الكود
متوسطة
عالم البيانات (يقرأ الكود)
تعليق جمعية الإمارات للغوص
مقترح النمط
متوسطة
عالم البيانات
توليد الميزة
مولد الفكرة والرمز
متوسطة عالية
السيطرة على التسرب أمر لا بد منه
اختيار النموذج/القياس
مستشار
عالية
عالم البيانات
قرار وضعه في الإنتاج
المدخلات المساعدة
عالية جدا
فريق + صاحب عمل
الموافقة على الأخلاق/الخصوصية
منبه
عالية جدا
الإنسان، دائما
ضع في اعتبارك الجملة الوحيدة من هذا الرسم البياني: مع ارتفاع المخاطر، يتقلص دور الذكاء الاصطناعي وتنمو الموافقة البشرية.
لماذا يعتبر التحقق هو قلب هذا العمل
تبدو نماذج لغة الذكاء الاصطناعي مؤكدة، لكنها قد لا تكون متأكدة. في اللغة التقنية، يسمى هذا الهلوسة: وهي تلفيق النموذج لمعلومات غير موجودة في جملة بطلاقة كما لو كانت حقيقية. في علم البيانات، يأتي ذلك في ثلاثة أشكال. الأول هو رقم مزيف: إذا سألت النموذج "ما هو متوسط مبلغ الطلب" دون تقديم أي بيانات، فسوف يخبرك بالرقم بثقة، على الرغم من أنه لم يطلع على بياناتك مطلقًا. والثاني هو دالة غير موجودة: قد يقترح النموذج دالة غير موجودة على الإطلاق، مثل pandas.read_excel_fast(). ثالثًا، التفسير الإحصائي غير الصحيح: يمكن للنموذج أن يكرر بسلاسة خطأ إحصائي كلاسيكي مثل "قيمة p هي 0.04، وبالتالي فإن الفرضية صحيحة بنسبة 96%".
يتكون نظام التحقق من ثلاث خطوات:
- رابط إلى المصدر: يجب أن يأتي كل رقم ومعدل واتجاه من بياناتك، وليس من ذاكرة الذكاء الاصطناعي. استخدم الذكاء الاصطناعي للتعليمات البرمجية التي تعمل على البيانات، وليس لتذكر البيانات.
- التشغيل والمقارنة: قم بتشغيل كل جزء من التعليمات البرمجية التي يقدمها الذكاء الاصطناعي بنفسك؛ قارن كل مقياس ينتجه بخط أساس مستقل.
- مرشح الخبراء: اختبر بنفسك ما إذا كان الإخراج يتعارض مع الإحصائيات ومعرفة المجال.
تحذير: إن وضع تحليل مكتوب بواسطة الذكاء الاصطناعي في عرض تقديمي دون تشغيله وقراءته يشبه تقديم تقرير غير موقع. فقط لأن الكود يعمل لا يعني أنه صحيح؛ الكود الذي يجمع العمود الخاطئ يعمل أيضًا بدون أخطاء.
القابلية للتكرار: القدرة على إنتاج نفس النتيجة مرتين
إن المبدأ الصامت ولكن الحاسم في علم البيانات هو قابلية التكرار: فعندما تقوم بإجراء تحليل مرة أخرى بعد ستة أشهر أو على جهاز كمبيوتر مختلف، فإنك تحصل على نفس النتيجة. ويزداد هذا الخطر عند العمل مع الذكاء الاصطناعي، لأنه عندما تطلب من الذكاء الاصطناعي "إنشاء هذا الرسم البياني" وتشغيله يدويًا، تختفي الخطوات. القاعدة: يجب تسجيل كل خطوة في الكود والتحكم في الإصدار (مثل Git)؛ في الخطوات التي تتضمن العشوائية، يجب أن تكون البذرة العشوائية (القيمة الأولية لمولد الأرقام العشوائية؛ إذا كانت ثابتة، ستكون النتيجة قابلة للتكرار). وسوف نتعمق في هذا الموضوع في الوحدة العاشرة؛ في الوقت الحالي، اعتد على هذه العادة: "لا تنقر باليد، اكتب الكود."
ثلاث حالات صغيرة
الحالة 1 - التسريع الآمن. عادةً ما يقضي محلل التجارة الإلكترونية نصف يوم في تصفية جدول الطلبات المكون من 240 ألف صف. أعطى أسماء الأعمدة والصفوف الخمسة الأولى (بدون بيانات شخصية) إلى الذكاء الاصطناعي وطلب رمز تنظيف الباندا. أنتج الذكاء الاصطناعي مسودة في 8 ثوانٍ؛ قرأ المحلل الكود سطرًا تلو الآخر، وقام بإصلاح خطأ في تحليل التاريخ، ثم قام بتشغيله. المدة: 35 دقيقة بدلاً من 4 ساعات. قدمت منظمة العفو الدولية رمزًا، وبقي التحقق مع الإنسان.
الحالة الثانية - المصيدة المترية المختلقة. سأل أحد المتدربين الذكاء الاصطناعي: "ما مدى دقة الغابة العشوائية في هذه البيانات؟" دون تدريب النموذج على الإطلاق. وقالت منظمة العفو الدولية: "حوالي 89%". وضع المتدرب هذا في العرض التقديمي؛ وعندما تم تدريب النموذج الحقيقي، كانت الدقة 71%. الخطأ: انتظار المقاييس دون تقديم البيانات والنماذج للذكاء الاصطناعي.
الحالة 3 – التسرب الصامت. نفذ أحد الفرق الفكرة التي اقترحها الذكاء الاصطناعي وهي "إضافة متوسط المتغير المستهدف كميزة" دون التشكيك فيها. كان أداء النموذج 98% في مجموعة الاختبار ولكنه تعطل في الإنتاج لأن الميزة كانت تسرب معلومات مستقبلية (تسرب البيانات، الوحدة 10). الخطأ: عدم تصفية توصية الذكاء الاصطناعي إحصائيًا.
موجه ضعيف / موجه قوي
حث ضعيف:
قم بتحليل بيانات المبيعات هذه وأخبرني بمتوسط الإيرادات.
هذا الادعاء معيب: لم يتم تزويد الذكاء الاصطناعي بالبيانات، وبالتالي لا يمكن تعويض "متوسط الدخل" إلا. لا الأعمدة ولا الفترة ولا العملة واضحة.
مطالبة قوية:
دورك: مساعد يساعد عالم البيانات. لدي DataFrame الباندا: df. الأعمدة: - order_date (نص، بالتنسيق "01-03-2024")- المبلغ_tl (عدد عشري، NaN في بعض الصفوف)- معرف_الزبون (عدد صحيح)المهمة: (1) كتابة رمز الباندا الذي يحسب متوسط المبلغ، (2) شرح كيفية تعامله مع قيم NaN، (3) سرد الافتراضات التي يضعها الكود. لا تقم باختلاق محتوى البيانات؛ ما عليك سوى إنشاء رمز وسأقوم بتشغيله والتحقق من النتيجة.
وفي هذا الطلب يتضح المخطط والتوقع و"تحريم التلفيق". لا يزال بإمكانك تشغيل والتحقق من الإخراج بنفسك.
بدايات الأخلاق والخصوصية
غالبًا ما يعمل علم البيانات مع البيانات الشخصية: سجلات العملاء والمريض والموظفين. يحمي KVKK (قانون حماية البيانات الشخصية) في تركيا واللائحة العامة لحماية البيانات في أوروبا هذه البيانات. يعد لصق اسمك الحقيقي أو معرفك أو بريدك الإلكتروني أو عنوانك في أداة الذكاء الاصطناعي العامة انتهاكًا. القاعدة: إخفاء هوية البيانات قبل المشاركة، وتوفير المخطط فقط (أسماء الأعمدة وأنواعها) ومثال الصف الوهمي إذا لزم الأمر. وسوف نتعمق في موضوع الأخلاق في الوحدة الحادية عشرة؛ دعونا نضع المبدأ من البداية: لفهم البيانات، غالبًا ما يكون مشاركة بنيتها، وليس محتواها، كافيًا.
الأخطاء الشائعة
- انتظار الأرقام/المقاييس دون تقديم البيانات إلى الذكاء الاصطناعي. لا يمكن للنموذج الوصول إلى البيانات؛ الرقم الذي يعطيه مزيف. قم دائمًا بحساب النتيجة وتشغيلها.
- معتقدًا أن رمز العمل صحيح. تعمل التعليمات البرمجية التي تعالج العمود الخطأ أيضًا بدون أخطاء؛ لا تثق دون قراءة المنطق.
- لصق البيانات الشخصية الحقيقية في الأداة المفتوحة. لا تتم مشاركة الاسم ورقم الهوية والبريد الإلكتروني مطلقًا؛ الرسم البياني يكفي.
- القيام بالخطوات يدوياً وعدم كتابتها في الكود. التحليل الذي لا يمكن تكراره لا يمكن الاعتماد عليه.
- قبول تفسير الذكاء الاصطناعي للإحصائيات دون سؤال. يمكن للذكاء الاصطناعي تكرار الأخطاء الكلاسيكية في مفاهيم مثل القيمة الاحتمالية والارتباط.
نصيحة: قم بتضمين "سطر قاعدة" قصير في كل جلسة من جلسات الذكاء الاصطناعي الخاصة بك: "لا تقم بتكوين محتوى البيانات؛ فقط قم بإنشاء كود/تحليل وسأقوم بتشغيل النتيجة والتحقق منها؛ قم بالإشارة إلى "غير متأكد" عندما تكون غير متأكد." هذه الجملة الواحدة تقلل بشكل كبير من خطر الهلوسة.
في ملخص
يعد الذكاء الاصطناعي مساعدًا قويًا في علم البيانات: فهو يعمل على تسريع عملية تنظيف التعليمات البرمجية وتفسير EDA والتوصية بالنماذج والتصور. لكن تعريف المشكلة واختيار المقاييس وقرار الإنتاج والحدود الأخلاقية هي أمور تخص البشر. يتكون سير العمل من ست مراحل، ويصبح دور الذكاء الاصطناعي أصغر مع زيادة المخاطر. ثلاث عادات هي أساس كل شيء: ربط المصدر (التحقق من الصحة)، وقابلية التكرار (الترميز)، وإخفاء الهوية (السرية). بمجرد استيعاب هذه العناصر الثلاثة، تصبح كل أداة في بقية الوحدة بمثابة مُسرّع آمن بالنسبة لك.
مهمة التطبيق
ما عليك سوى إنشاء مخطط لجدول صغير لديك (أو جدول افتراضي): أسماء الأعمدة وأنواعها و2-3 صفوف من الأمثلة الوهمية (بدون بيانات شخصية حقيقية). اطلب من الذكاء الاصطناعي الحصول على رمز إحصائيات موجزة باستخدام قالب "المطالبة القوية" أعلاه. قم بتشغيل الكود، وقارن المخرجات بقيمة يدوية، وتحقق من وجود أي افتراضات زائفة، ولاحظ النتائج التي توصلت إليها في 5 نقاط.
قائمة مرجعية
- [ ] هل قمت فقط بإعطاء الذكاء الاصطناعي مخططًا وعينة مزيفة بدلاً من البيانات الشخصية الحقيقية؟
- [ ] هل قرأت الكود الذي أنتجه وقمت بتشغيله سطرًا تلو الآخر؟
- [ ] هل قمت بالتحقق بشكل مستقل من كل رقم في المخرجات؟
- [ ] هل كتبت كل خطوة من خطوات التحليل في الكود وجعلتها قابلة للتكرار؟
- [ ] هل قمت بتحديد مستوى خطورة المهمة وأسندت القرار النهائي إلى الإنسان؟