المكاسب:
- القدرة على شرح أطر عمل ISO 26262 للأمن الوظيفي و ISO 21448 (SOTIF) وتأثيراتها على الأنظمة التي تحتوي على الذكاء الاصطناعي
- القدرة على إدارة خصوصية البيانات وبيانات السائق والأمن السيبراني (ISO/SAE 21434) والمخاطر الأخلاقية في سياق السيارات
- القدرة على الحفاظ على المسؤولية البشرية عن القرارات الحاسمة المتعلقة بالسلامة من خلال فهم أن مخرجات الذكاء الاصطناعي ليست بديلاً عن موافقة المهندس المختص
أنت في الوحدة الأكثر أهمية في هذه الوحدة. لقد رأينا حتى الآن الذكاء الاصطناعي كمسرّع للانتقال من التصميم إلى التصنيع، ومن الاختبار إلى سلسلة التوريد. لكن السؤال الحاسم في عالم السيارات هو: هل سيضر هذا النظام أحدا ومن المسؤول؟ تغطي هذه الوحدة بلغة واضحة أطر استخدام الذكاء الاصطناعي بشكل مسؤول في الصناعة ذات الأهمية الحيوية للسلامة - السلامة الوظيفية، وSOTIF، والأمن السيبراني، والخصوصية، والأخلاق. يظل المبدأ الأساسي ثابتًا: لا تحل مخرجات الذكاء الاصطناعي محل موافقة المهندس المختص أبدًا؛ الأمن - القرار الحاسم والمسؤولية تعود إلى الإنسان.
ISO 26262: السلامة الوظيفية
ISO 26262 هو معيار السلامة الوظيفية للأنظمة الكهربائية/الإلكترونية لمركبات الطرق. السلامة الوظيفية إنها تهتم بضمان أنه عندما يفشل النظام (يتعطل جهاز الاستشعار، يفشل البرنامج) فإنه لا يؤدي إلى موقف خطير.
في قلب هذا المعيار يوجد ASIL (مستوى سلامة سلامة السيارات). يتم تقييم الخطر في ثلاثة أبعاد:
- الخطورة: ما مدى سوء الأمر إذا حدث ذلك؟ (إصابة طفيفة أو وفاة)
- التعرض: كم مرة يحدث هذا؟
- القدرة على التحكم: ما مدى قدرة السائق على التحكم في الوضع؟
تؤدي هذه الثلاثة مجتمعة إلى مستوى من ASIL A (الأدنى) إلى ASIL D (الأعلى، على سبيل المثال، الكبح والتوجيه). مع زيادة المستوى، تصبح متطلبات التطوير والاختبار والتوثيق أكثر صرامة.
الرئيسية
نظام العينة
شدة المتطلبات
أ.
عطل في الإضاءة الداخلية
منخفض
ب.
ضوء الذيل
متوسطة
ج.
بعض وظائف ADAS
عالية
د.
الفرامل، التوجيه، وسادة هوائية
أعلى
نصيحة: معرفة المستوى الرئيسي للوظيفة يخبرك بمدى الاهتمام الذي يتطلبه استخدام الذكاء الاصطناعي في تلك الوظيفة. لا يمكن قبول أي قرار يعتمد على مخرجات الذكاء الاصطناعي في إحدى الوظائف دون التحقق الأمني المستقل.
ISO 21448 (SOTIF): سلامة الوظيفة المقصودة
تركز السلامة الوظيفية الكلاسيكية (ISO 26262) على السؤال "ماذا يحدث إذا فشل النظام؟" ولكن هناك مشكلة جديدة في أنظمة الكشف عن الذكاء الاصطناعي: حتى لو لم يتعطل النظام أبدا، فقد يكون غير كاف. تعمل الكاميرا بشكل جيد ولكن لا يمكنها التعرف على لوح ثلجي؛ الرادار قوي، لكنه يتجاهل السيارة المتوقفة كإشارة شبحية. لا يوجد فشل في الأجهزة/البرامج هنا؛ تكمن المشكلة في حدود النطاق المقصود للوظيفة.
يعالج معيار ISO 21448 - SOTIF (سلامة الوظيفة المقصودة) هذه الفجوة بالضبط: إدارة المخاطر الناشئة عن السيناريوهات غير المعترف بها، وحدود الاكتشاف والمواقف غير المتوقعة، حتى لو كان النظام يعمل كما هو مصمم. في أنظمة مساعدة السائق المساعدة المستندة إلى الذكاء الاصطناعي/القيادة الذاتية، يعد SOTIF بالغ الأهمية مثل ISO 26262.
الإطار
التركيز
مثال
ايزو 26262
خطر بسبب الفشل
ينقطع المستشعر وتختفي الإشارة
آيزو 21448 (سوتيف)
خطر عدم كفاية / عدم الاعتراف
الكاميرا الوعرة لا تتعرف على البلاطة الثلجية
إسو/ساي 21434
الأمن السيبراني
هجوم النظام والتلاعب بالبيانات
تنبيه: نماذج الذكاء الاصطناعي إحصائية؛ ولا يمكنهم ضمان أنهم سوف "يرون كل موقف بشكل صحيح". يهدف SOTIF إلى تضييق نطاق السيناريوهات الخطرة غير المعروفة في هذه الأنظمة المحدودة بطبيعتها وتقليل المخاطر المتبقية إلى مستوى مقبول. "النموذج دقيق بنسبة 99.9%" ليس دليلاً على الأمان.
ISO/SAE 21434: الأمن السيبراني
المركبات المتصلة والمحددة بالبرمجيات معرضة للهجوم السيبراني. يمكن للمهاجم عن بعد تغيير أمر الفرامل، أو سرقة القياس عن بعد، أو خداع نموذج الكشف (هجوم عدائي: جعل النموذج يخطئ في التعرف عليه عن طريق وضع ملصق صغير على لوحة). ISO/SAE 21434 هو الإطار الهندسي للأمن السيبراني للمركبات. في سياق الذكاء الاصطناعي، يبرز خطران: خداع النموذج (العدائي) وتسميم بيانات التدريب (تسميم البيانات). وينبغي اختبار أنظمة الذكاء الاصطناعي ذات الأهمية الأمنية ضد هذه الهجمات.
الخصوصية والبيانات الشخصية
السيارة الحديثة عبارة عن "مركز بيانات على عجلات": الموقع، وسلوك القيادة، والصوت، وحتى كاميرا المقصورة. معظم هذه البيانات هي بيانات شخصية وتغطيها KVKK (تركيا) واللائحة العامة لحماية البيانات (أوروبا). يمكن لـ VIN (رقم الهيكل) التعرف على السيارة ومالكها بشكل غير مباشر. المبادئ الأساسية:
- تقليل البيانات: اجمع فقط ما هو مطلوب.
- قيود الغرض: لا تستخدم البيانات لأغراض أخرى غير الغرض الذي تم جمعها من أجله.
- إخفاء الهوية/اسم مستعار: إزالة معلومات التعريف الشخصية أو تشفيرها.
- الموافقة الصريحة والشفافية: يجب أن يعرف السائق ما يتم جمعه.
- تخزين ونقل آمن.
تحذير: يمكن أن يمثل إرسال رقم VIN الأولي أو سجل الموقع أو سلوك القيادة إلى أداة الذكاء الاصطناعي السحابية العامة انتهاكًا للخصوصية ومخاطرة تعاقدية. عند العمل مع هذه البيانات، قم بإخفاء هويتها واستخدم بيئة مؤسسية محمية بالبيانات.
الأخلاق ومسؤولية المهندس
الذكاء الاصطناعي يجلب معه بعض المخاطر الأخلاقية:
- التحيز: إذا كانت بيانات التدريب سائدة في ظروف معينة (مثل النهار، البشرة الفاتحة، بعض الطرق الإقليمية)، فقد يكون أداء النموذج ضعيفًا في الظروف غير الممثلة (الليل، الظروف المختلفة). هذه ثغرة أمنية.
- الثقة المفرطة (تحيز الأتمتة): يثق الناس بشكل أعمى في الأتمتة ويتجاهلون أحكامهم الخاصة. إذا توقف مهندس الاختبار عن النظر إلى البيانات الأولية لمجرد أن الذكاء الاصطناعي يقول "تمرير"، فهذا اتجاه خطير.
- فقدان المسؤولية: "النموذج المقرر" ليس دفاعاً. يجب أن يكون هناك دائمًا شخص يوقع خلف القرار.
دراسات الحالة المصغرة
الحالة 1 - حد SOTIF. نظام مكابح الطوارئ الأوتوماتيكية يجتاز جميع الاختبارات المعملية، دون أي أعطال. في الحقل، تحت شمس منخفضة، تخطئ شاحنة بيضاء في مقطورتها وتظن أنها السماء وتفرمل متأخرة. هذا ليس خللاً، ولكنه ثغرة أمنية في SOTIF: النظام سليم ولكن السيناريو خارج حدود الاكتشاف. يضيف الفريق هذا السيناريو إلى مكتبة الاختبار ويعزز الاندماج الراداري. الخلاصة: "لا فشل" ليس دليلاً على السلامة؛ القصور هو أيضا خطر.
الحالة 2 - البيانات المتحيزة. تم تدريب نموذج الكشف عن المشاة في الغالب باستخدام البيانات النهارية؛ الاستذكار الليلي أقل بكثير. يقوم الفريق بموازنة وإعادة تدريب بيانات الإضاءة الليلية والمنخفضة والإبلاغ عن السيناريوهات الليلية بشكل منفصل. الاستنتاج: البيانات غير المتوازنة تخلق ثغرة أمنية مميتة في ظروف معينة.
الحالة 3 - منع انتهاك الخصوصية. أحد المحللين على وشك لصق بيانات الأسطول في أداة الذكاء الاصطناعي العامة عندما لاحظ أن البيانات تحتوي على مواقع VIN وGPS أولية. وهو يعمل في بيئة الشركة من خلال إخفاء هوية البيانات (vehicle_01..arac_50 بدلاً من VIN، ورمز المنطقة بدلاً من الموقع). النتيجة: لحظة من الاهتمام حالت دون حدوث انتهاك خطير لـ KVKK.
قوالب سريعة
النموذج 1 - التقييم المسبق/التقييم الأولي للمخاطر (مسودة):
الدور: أنت مستشار السلامة الوظيفية. المهمة: إعداد مسودة للمساعدة في تحليل المخاطر والمخاطر لوظيفة ما. السياق: الوظيفة: الكبح التلقائي في حالات الطوارئ؛ المناطق الحضرية وبين المدن. القيد: التعيين الدقيق لـ ASIL؛ أعط قائمة بالأسئلة ونقاط الاهتمام بشأن أبعاد الخطورة/التعرض/إمكانية التحكم؛ تشير إلى أن المهمة النهائية تقع على عاتق مهندس الأمن المعتمد. الإخراج: الحجم | سؤال التقييم | جدول ملاحظة الاهتمام.
النموذج 2 - مسح سيناريو SOTIF:
الدور: أنت خبير في SOTIF. المهمة: قم بإدراج السيناريوهات التي قد تكون فيها وظيفة الكشف "نظامًا سليمًا ولكنه غير كافٍ". السياق: الكاميرا + الرادار؛ شمس منخفضة، ثلج، مخرج نفق، أشياء غير عادية. الإخراج: السيناريو | لماذا القصور | توصية التخفيض.
النموذج 3 - التحكم في الخصوصية:
الدور: أنت مستشار حماية البيانات (KVKK/GDPR). المهمة: إجراء تدقيق الخصوصية قبل مشاركة مجموعة البيانات. السياق: قياس الأسطول عن بعد؛ تحتوي الأعمدة على VIN وGPS ودرجة القيادة. القيد: ما هي الحقول التي تعتبر بيانات شخصية، وكيف ينبغي أن تكون مجهولة المصدر، وما الذي يجب ألا أشاركه على الإطلاق؛ فرز.الإخراج: حقل | خطر | مخطط المعاملات الموصى به.
النموذج 4 - التحقق من التحيز:
الدور: أنت مدقق للسلامة والعدالة في تعلم الآلة. المهمة: أخبرني كيف أبحث عن خطر التحيز في نموذج الكشف. السياق: كشف المشاة؛ بيانات التدريب المرجحة باليوم/المدينة.الإخراج: الحالة المراد التحقق منها | قياس | علامة الخطر.
موجه ضعيف / موجه قوي
حث ضعيف:
هل نظام الكبح المستقل هذا آمن، تأكد.
إن محاولة الحصول على تصريح أمني باستخدام الذكاء الاصطناعي أمر خطير؛ تعود الموافقة للمهندس المعتمد.
مطالبة قوية:
الدور: أنت مستشار للسلامة الوظيفية ومستشار SOTIF. المهمة: قم بإدراج الأسئلة التي يجب أن أطرحها والأدلة التي يجب أن أجمعها في تقييم سلامة وظيفة الفرملة الأوتوماتيكية. السياق: الكشف القائم على الذكاء الاصطناعي؛ كاميرا + رادار؛ يمكن أن يكون ASIL عاليًا. القيد: "الموافقة" على النظام؛ تقديم قوائم منفصلة من الأسئلة والأدلة فيما يتعلق بمعيار ISO 26262 (العيب) وSOTIF (النقص)؛ التأكيد على أن الموافقة النهائية تقع على عاتق مهندس الأمن المعتمد. المخرجات: الإطار | سؤال | جدول الأدلة المطلوبة
الأخطاء الشائعة
- الخلط بين "لا يوجد خلل" و"آمن". يمكن أن يؤدي نقص SOTIF إلى الوفاة دون حدوث خلل.
- الحصول على تصريح أمني للذكاء الاصطناعي. الموافقة والمسؤولية تقع على عاتق المهندس المعتمد.
- الخطأ في دقة النموذج كدليل على الأمان. الدقة البالغة 99.9% لا تشير إلى أنه تمت إدارة المخاطر المتبقية.
- عدم حماية البيانات الشخصية. يقع سلوك VIN/الموقع/القيادة ضمن نطاق KVKK/GDPR.
- تجاهل التحيز والثقة الزائدة. تعتبر البيانات غير المتوازنة والثقة العمياء في الأتمتة من نقاط الضعف.
باختصار
- يدير ISO 26262 المخاطر الناجمة عن الفشل (مع ASIL)، بينما يدير ISO 21448/SOTIF مخاطر الفشل دون فشل؛ كلاهما حاسم في اكتشاف الذكاء الاصطناعي.
- ISO/SAE 21434 الأمن السيبراني؛ تعد الهجمات العدائية وتسميم البيانات بمثابة تهديدات خاصة بالذكاء الاصطناعي.
- يعد تقليل البيانات وتحديد الغرض وإخفاء الهوية أمرًا إلزاميًا ضمن نطاق KVKK/GDPR؛ VIN/الموقع هو بيانات شخصية.
- إن التحيز والثقة المفرطة وفقدان المسؤولية هي المخاطر الأخلاقية الرئيسية.
- إن مخرجات الذكاء الاصطناعي ليست بديلاً عن موافقة المهندس المؤهل؛ دائمًا ما يكون القرار الأمني والتوقيع ملكًا للشخص نفسه.
مهمة التطبيق
حدد وظيفة متعلقة بالسلامة (مثل الحفاظ على المسار). (1) ناقش سبب كون مستوى ASIL لهذه الوظيفة مرتفعًا/منخفضًا على طول أبعاد الخطورة/التعرض/إمكانية التحكم. (2) قم بإنشاء 5 سيناريوهات "نظام قوي ولكنه غير مناسب" باستخدام النموذج 2. (3) تدقيق السرية لمجموعة بيانات ذات صلة باستخدام النموذج 3. (4) اشرح لماذا لا تعد عبارة "تم تأكيد النموذج" بمثابة دفاع.
قائمة مرجعية
- [ ] لقد قمت بتقييم الأبعاد الفعلية للوظيفة (تركت المهمة الدقيقة للسلطة).
- [ ] لقد ميزت بين ISO 26262 (عطل) وSOTIF (قصور).
- [ ] لقد أخذت في الاعتبار مخاطر الأمن السيبراني (الخصومة/التسمم).
- [ ] لقد قمت بإخفاء هوية البيانات الشخصية وتقليلها.
- [ ] لقد تحققت من مخاطر التحيز والثقة المفرطة.
- [ ] لقد تأكدت من أن التصريح الأمني مع المهندس المؤهل.