المكاسب:
- القدرة على التعرف على المخاطر الخاصة بالذكاء الاصطناعي مثل الهلوسة، والتحيز، وتسرب البيانات، وانجراف النماذج، والتبعية، وعدم القدرة على تفسير تأثير الأعمال
- تسجيل المخاطر في أبعاد الاحتمالية والتأثير وإبقائها ضمن نطاق تقبل المؤسسة للمخاطر مع تدابير التخفيف
- القدرة على ضبط المراقبة وفقًا لمستوى المخاطر بدلاً من التوحيد، مما يضمن الكلمة الأخيرة للإنسان والمراقبة المستمرة في القرارات عالية المخاطر
القيمة والمخاطر وجهان لعملة واحدة. يفتح الذكاء الاصطناعي مصادر جديدة للقيمة، ولكنه يقدم أيضًا أنواعًا جديدة من المخاطر التي لا تحملها البرامج التقليدية. بالنسبة إلى أحد كبار المديرين، فإن القضية لا تتمثل في تجنب المخاطر، بل في إدارة المخاطر بوعي (إدارة المخاطر؛ الانضباط في التعرف على المخاطر وقياسها والحد منها وإبقائها عند حدود مقبولة). في هذه الوحدة، ستتعرف على المخاطر الخاصة بالذكاء الاصطناعي وتأثيرها على الأعمال وطرق التخفيف العملية منها. الهدف ليس "عدم القيام بذلك لأن هناك خطرًا" أو "التصرف كما لو أنه لا يوجد خطر"؛ وهو تنفيذ كل مبادرة مع الرغبة الواعية في المخاطرة؛ - مستوى المخاطرة التي تكون المؤسسة على استعداد لتحملها.
المخاطر الخاصة بالذكاء الاصطناعي
لا تزال مخاطر تكنولوجيا المعلومات التقليدية (الضعف والانقطاع) سارية؛ لكن الذكاء الاصطناعي يضيف مخاطره الخاصة:
نوع المخاطرة
ماذا تقصد؟
مثال على تأثير الأعمال
هلوسة
لقد تم اختلاقها ولكن تبين أنها قابلة للتصديق
معلومات غير صحيحة للعميل والمسؤولية القانونية
التحيز
انعكاس الظلم في البيانات الموجودة على المخرجات
قرار التوظيف / الائتمان التمييزي
تسرب البيانات
تسرب بيانات سرية إلى السيارة
انتهاك KVKK وفقدان السمعة
الانجراف النموذجي
تدهور الأداء مع مرور الوقت
الانقلاب الهادئ على القرارات
الإدمان
مقفل في مورد واحد
صدمة السعر/الوصول
عدم القدرة على التفسير
عدم معرفة سبب القرار
صعوبة التدقيق والاعتراض
هناك مصطلحان مهمان هنا: التحيز يحدث عندما يتعلم الذكاء الاصطناعي أنماطًا غير عادلة في بيانات التدريب ويعكسها في قراراته؛ على سبيل المثال، إذا كانت بيانات التوظيف التاريخية تفضل مجموعة واحدة، فإن النموذج يفعل ذلك أيضًا. يحدث انحراف النموذج عندما يصبح النموذج قديمًا ويتراجع أداؤه بصمت مع تغير العالم (منتجات جديدة، سلوكيات جديدة).
نصيحة: فكر في المخاطر ليس من حيث "قد يحدث/لا يحدث" ولكن في بعدين: الاحتمال (مدى احتمال حدوثه) والتأثير (مقدار الضرر في حالة حدوثه). يتم التعامل مع تلك التي لها تأثير كبير + احتمالية عالية أولاً؛ يتم قبول ومراقبة أولئك الذين لديهم قيم منخفضة + منخفضة.
المراقبة حسب مستوى المخاطر
لا تحمل كل منطقة استخدام نفس المخاطر. ويتمثل النهج الذكي في تكييف المراقبة مع مستوى المخاطر:
- مخاطرة منخفضة (مسودة داخلية، العصف الذهني): مراقبة خفيفة، أولوية السرعة.
- المخاطر المتوسطة (المحتوى للعملاء، دعم القرار): الموافقة البشرية، مراقبة العينات.
- مخاطر عالية (الائتمان، والتوظيف، والصحة، والقانونية): الحكم البشري الإلزامي، والتسجيل الكامل، والتدقيق المنتظم.
يعد هذا النهج "القائم على المخاطر" أيضًا العمود الفقري لقانون الذكاء الاصطناعي للاتحاد الأوروبي (الوحدة 9).
خطوة بخطوة: دورة إدارة المخاطر
1. التعرف على المخاطر. قم بإدراج المخاطر الخاصة بالذكاء الاصطناعي لكل مبادرة.
2. سجل الاحتمالية والتأثير. تقييم وتحديد أولويات كل خطر في بعدين.
3. تحديد تدابير التخفيف. مثل الموافقة البشرية، وإخفاء هوية البيانات، والتتبع، وتنويع الموردين.
4. قبول أو إيقاف المخاطر المتبقية. فالخطر المتبقي بعد التخفيض مقبول إذا كان في حدود الشهية؛ إذا لم يكن الأمر كذلك، تتوقف المحاولة.
5. المشاهدة والمراجعة. المخاطر ليست ثابتة. المراقبة المستمرة للانجراف والتهديدات الجديدة أمر ضروري.
ثلاث حالات صغيرة
الحالة 1 – تكلفة الهلوسة. يقوم برنامج الدردشة الآلي الخاص بالعميل التابع لشركة طيران "باختلاق" سياسة استرداد أموال غير موجودة للراكب؛ لقد وثق العميل بهذا وقام بالمعاملة. وحملت المحكمة الشركة المسؤولية عن إعلان الروبوت الخاص بها. الدرس المستفاد: إن مخرجات الذكاء الاصطناعي للعملاء متوسطة/عالية المخاطر؛ كان التحقق والقيود ضروريين. تم بعد ذلك تقييد الروبوت للرد فقط على نصوص السياسة المعتمدة.
الحالة 2 - التحيز الصامت. كان نموذج فحص التوظيف في إحدى الشركات يفضل بشكل منهجي الموظفين من مدارس معينة بسبب عدم التوازن في البيانات التاريخية. تم الكشف عن الفرق في التدقيق. كانت هناك مخاطر تتعلق بالسمعة والقانونية. تم فصل النموذج عن الخصائص المحمية وربطه بمراقبة العدالة المنتظمة. ولو تم إجراء اختبار التحيز منذ البداية، لما حدث هذا.
الحالة 3 - القبض على الانجراف. لقد تم إضعاف نموذج الكشف عن الاحتيال لدى البنك بهدوء عندما ظهر نمط احتيال جديد؛ وارتفع معدل الفشل من 8% إلى 19% خلال 3 أشهر. أخبار سارة: قامت الوكالة بتنفيذ مراقبة الأداء الشهرية، وتم اكتشاف الانحراف مبكرًا، وتم إعادة تدريب النموذج. ولولا المراقبة لتضاعفت الخسارة.
أربعة قوالب قابلة للنسخ
1) جرد المخاطر:
دورك: مدير مخاطر الذكاء الاصطناعي. قم بإدراج المخاطر الخاصة بالذكاء الاصطناعي لحالة الاستخدام التالية: الهلوسة، والتحيز، وتسرب البيانات، والانحراف، والتبعية، وعدم القدرة على التفسير. لكل خطر، اكتب في جملة واحدة مظهره المحتمل وتأثيره على الأعمال في هذا السيناريو. منطقة الاستخدام: [النص]
2) تسجيل الاحتمالية/التأثير:
حدد أولويات المخاطر التالية عن طريق تسجيلها وضربها كاحتمال (1-5) وتأثير (1-5). اشرح سبب إعطاء الأولوية للمخاطر الثلاثة الأولى. المخاطر: [قائمة]
3) خطة التخفيف:
اقتراح تدابير تخفيف عملية للمخاطر ذات الأولوية التالية: [المخاطر]. لكل إجراء: ما يجب القيام به، من المسؤول، وعلى أي مستوى من المخاطر إلزامي. استخدم المراقبة البشرية وإخفاء هوية البيانات والمراقبة وتنويع الموردين حيثما كان ذلك مناسبًا.
4) مصفوفة المراقبة القائمة على المخاطر:
قم بتعيين مجالات الاستخدام التالية لمستوى المخاطر (منخفض/متوسط/مرتفع) وحدد الإشراف المطلوب لكل مستوى: هل موافقة الإنسان مطلوبة، وهل سيتم الاحتفاظ بالسجلات، وما هو معدل تكرار التفتيش؟ الاستخدامات: [قائمة]
موجه ضعيف / موجه قوي
ضعيف: "ما هي مخاطر مشروع الذكاء الاصطناعي هذا؟"
الخلاصة: قائمة عامة بالمخاطر؛ الاحتمالية والتأثير وعدم التخفيف، لا يمكنك أن تقرري.
جوتشلو: "سوف نستخدم الذكاء الاصطناعي في التقييم الأولي لطلب قرض في أحد البنوك (سيتخذ الإنسان القرار النهائي). قم بإدراج المخاطر المحددة لهذا السيناريو (التحيز، وعدم القابلية للتفسير، والهلوسة، وخصوصية البيانات)؛ وسجل كل منها حسب الاحتمالية والتأثير؛ واقترح متطلبات ملموسة للتخفيف والرقابة على الثلاثة الأكثر أهمية. واذكر أيضًا ما يعنيه الالتزام بأن هذا يعتبر عالي المخاطر."
النتيجة: تحليل المخاطر الخاصة بالسيناريو، والمسجلة، والمخففة، والمتعلقة بالامتثال.
الأخطاء الشائعة
- تطبيق نفس الرقابة على كافة المبادرات. إن إبطاء العمل منخفض المخاطر لا يقل ضررا عن إهمال العمل عالي المخاطر؛ يجب أن تعتمد المراقبة على مستوى المخاطر.
- اعتبار الهلوسة "خطأً صغيرًا". قد يؤدي الإخراج غير الصحيح للعميل إلى المسؤولية القانونية.
- لا اختبار للتحيز. إن النموذج الذي يتم نشره دون اختبار العدالة يمكن أن يؤدي إلى تمييز صامت.
- لا أشاهد الانجراف. النموذج الذي يعمل بشكل جيد مرة واحدة لا يعمل بشكل جيد إلى الأبد؛ مطلوب مراقبة مستمرة.
- تأمين مورد واحد. بدون خطة للخروج، يتركك الإدمان عرضة لصدمة الأسعار والوصول.
تحذير: إدارة المخاطر ليست مرة واحدة وإلى الأبد؛ أنظمة الذكاء الاصطناعي هي أنظمة حية. فمجرد كون النموذج آمنًا اليوم لا يضمن أنه سيكون آمنًا غدًا. يجب أن تكون المراقبة المستمرة والتفتيش المنتظم ومفتاح القفل الواضح جزءًا من كل نظام عالي المخاطر.
باختصار
علاوة على مخاطر تكنولوجيا المعلومات التقليدية، يضيف الذكاء الاصطناعي مخاطر فريدة مثل الهلوسة، والتحيز، وتسرب البيانات، والانحراف، والتبعية، وعدم القدرة على التفسير. وينبغي تقييم هذه المخاطر وترتيب أولوياتها من حيث الاحتمالية والتأثير، ويجب أن تظل ضمن نطاق تقبل المؤسسة للمخاطرة مع اتخاذ تدابير التخفيف. المراقبة ليست موحدة ولكن يجب أن تكون مصممة حسب مستوى المخاطر؛ وفي القرارات عالية المخاطر، يجب أن يكون للناس الكلمة الأخيرة. إدارة المخاطر هي دورة مستمرة؛ ولا تكتمل دون المراقبة والتحكم. وفي الوحدة التالية، سنضع هيكل الحوكمة والسياسة الذي يجعل هذا الانضباط في إدارة المخاطر دائمًا.
مهمة التطبيق
اختر حالة استخدام للذكاء الاصطناعي وقم بإدراج المخاطر المحددة الخاصة بها باستخدام القالب 1. قم بتسجيل كل خطر حسب الاحتمالية والتأثير، مع تحديد المخاطر الثلاثة الأكثر أهمية. اكتب تدابير التخفيف الملموسة ومستوى الإشراف المطلوب لهذه المخاطر الثلاثة. وأخيرًا، قم بتصنيف الاستخدام على أنه منخفض/متوسط/عالي المخاطر ولاحظ كيف يغير ذلك متطلبات الرقابة.
قائمة مرجعية
- [ ] لقد أدرجت المخاطر الخاصة بالذكاء الاصطناعي بسيناريوهات محددة.
- [ ] قمت بتسجيل كل خطر حسب الاحتمالية والتأثير.
- [ ] لقد حددت تدابير التخفيف للمخاطر الأكثر خطورة.
- [ ] لقد قمت بتصنيف منطقة الاستخدام حسب مستوى المخاطرة.
- [ ] قمت بتعديل المراقبة وفقًا لمستوى الخطورة.
- [ ] لقد خططت لاختبار/مراقبة التحيز والانجراف.
- [ ] لقد قمت بتعيين سلطة التوقف للنظام عالي المخاطر.