سود:
- توانایی توضیح چارچوب های امنیتی عملکردی ISO 26262 و ISO 21448 (SOTIF) و تأثیرات آنها بر روی سیستم های حاوی هوش مصنوعی
- توانایی مدیریت حریم خصوصی داده ها، داده های راننده، امنیت سایبری (ISO/SAE 21434) و خطرات اخلاقی در زمینه خودرو
- توانایی حفظ مسئولیت انسانی در قبال تصمیمات حیاتی ایمنی با درک اینکه خروجی هوش مصنوعی جایگزینی برای تایید مهندس صالح نیست.
شما در حساس ترین واحد این ماژول هستید. تاکنون هوش مصنوعی را به عنوان یک شتاب دهنده از طراحی تا تولید، از آزمایش تا زنجیره تامین دیده ایم. اما سوال تعیین کننده در خودرو این است: آیا این سیستم به کسی آسیب می رساند و چه کسی مسئول است؟ این واحد به زبان ساده چارچوبهایی را برای استفاده مسئولانه از هوش مصنوعی در صنعت حیاتی ایمنی - ایمنی عملکردی، SOTIF، امنیت سایبری، حریم خصوصی و اخلاقیات پوشش میدهد. اصل اصلی ثابت می ماند: خروجی هوش مصنوعی هرگز جایگزین تاییدیه مهندس صالح نمی شود. تصمیم و مسئولیت حیاتی امنیتی متعلق به انسان است.
ISO 26262: ایمنی عملکردی
ISO 26262 استاندارد ایمنی عملکردی برای سیستم های الکتریکی/الکترونیکی وسایل نقلیه جاده ای است. ایمنی عملکردی؛ به این فکر میکند که وقتی یک سیستم از کار میافتد (حسگر خراب میشود، یک نرمافزار از کار میافتد) منجر به وضعیت خطرناکی نمیشود.
در قلب این استاندارد ASIL (سطح یکپارچگی ایمنی خودرو) قرار دارد. یک خطر در سه بعد ارزیابی می شود:
- شدت: اگر این اتفاق بیفتد چقدر بد می شد؟ (آسیب جزئی یا مرگ)
- قرار گرفتن در معرض: هر چند وقت یکبار این اتفاق می افتد؟
- کنترل پذیری: راننده چقدر می تواند اوضاع را کنترل کند؟
این سه ترکیب منجر به یک سطح از ASIL A (پایینترین) تا ASIL D (بالاترین، مانند ترمز، فرمان) میشوند. با افزایش سطح، الزامات توسعه، آزمایش و مستندسازی سختتر میشوند.
اصلی
سیستم نمونه
شدت مورد نیاز
الف
خرابی روشنایی داخلی
پایین
ب.
چراغ عقب
متوسط
سی.
برخی از توابع ADAS
بالا
D.
ترمز، فرمان، کیسه هوا
بالاترین
نکته: دانستن سطح MAIN یک تابع به شما می گوید که استفاده از هوش مصنوعی در آن تابع به چه میزان توجه نیاز دارد. هیچ تصمیمی بر اساس خروجی هوش مصنوعی در یک تابع بدون تأیید امنیتی مستقل قابل قبول نیست.
ISO 21448 (SOTIF): ایمنی عملکرد مورد نظر
ایمنی عملکردی کلاسیک (ISO 26262) بر این سوال تمرکز دارد که "اگر سیستم از کار بیفتد چه اتفاقی می افتد؟" اما یک مشکل جدید در سیستمهای تشخیص هوش مصنوعی وجود دارد: حتی اگر سیستم هرگز خراب نشود، ممکن است ناکافی باشد. دوربین به خوبی کار می کند اما نمی تواند یک تخته برفی را تشخیص دهد. رادار جامد است، اما یک وسیله نقلیه ثابت را به عنوان سیگنال شبح نادیده می گیرد. در اینجا هیچ نقص سخت افزاری/نرم افزاری وجود ندارد. مشکل در حد محدوده مورد نظر تابع است.
ISO 21448 - SOTIF (Safety Of The Intended Functional) دقیقاً به این شکاف می پردازد: مدیریت خطرات ناشی از سناریوهای ناشناخته، محدودیت های تشخیص و موقعیت های پیش بینی نشده، حتی اگر سیستم طبق طراحی کار کند. در رانندگی خودکار مبتنی بر هوش مصنوعی، SOTIF به اندازه ISO 26262 حیاتی است.
قاب
تمرکز کنید
مثال
ISO 26262
ریسک ناشی از شکست
سنسور می شکند، سیگنال ناپدید می شود
ISO 21448 (SOTIF)
خطر نارسایی/عدم شناخت
دوربین ناهموار تخته برفی را تشخیص نمی دهد
ISO/SAE 21434
امنیت سایبری
حمله به سیستم، دستکاری داده ها
احتیاط: مدلهای هوش مصنوعی آماری هستند. آنها نمی توانند تضمین کنند که "هر موقعیتی را به درستی خواهند دید". هدف SOTIF محدود کردن سناریوهای خطرناک ناشناخته در این سیستمهای ذاتا محدود و کاهش ریسک باقیمانده به سطح قابل قبولی است. "مدل 99.9٪ دقیق است" دلیلی بر امنیت نیست.
ISO/SAE 21434: امنیت سایبری
وسایل نقلیه متصل و نرم افزاری تعریف شده در برابر حملات سایبری آسیب پذیر هستند. مهاجم از راه دور می تواند فرمان ترمز را تغییر دهد، تله متری را بدزدد، یا مدل شناسایی را فریب دهد (حمله خصمانه: باعث می شود مدل با قرار دادن یک برچسب کوچک روی صفحه، آن را به اشتباه تشخیص دهد). ISO/SAE 21434 چارچوب مهندسی برای امنیت سایبری وسایل نقلیه است. در زمینه هوش مصنوعی، دو خطر برجسته است: فریب مدل (دشمن) و مسموم کردن داده های آموزشی (مسمومیت داده ها). سیستمهای هوش مصنوعی حیاتی باید در برابر این حملات آزمایش شوند.
حریم خصوصی و داده های شخصی
وسیله نقلیه مدرن یک "مرکز داده روی چرخ ها" است: موقعیت مکانی، رفتار رانندگی، صدا، حتی دوربین کابین. بیشتر این اطلاعات شخصی است و تحت پوشش KVKK (ترکیه) و GDPR (اروپا) قرار دارد. VIN (شماره شاسی) می تواند یک وسیله نقلیه و به طور غیر مستقیم مالک آن را شناسایی کند. اصول اولیه:
- به حداقل رساندن داده ها: فقط موارد مورد نیاز را جمع آوری کنید.
- محدودیت هدف: از داده ها برای مقاصدی غیر از هدفی که برای آن جمع آوری شده است استفاده نکنید.
- ناشناس سازی/نام مستعار: اطلاعات شناسایی شخصی را حذف یا رمزگذاری کنید.
- رضایت صریح و شفافیت: راننده باید بداند چه چیزی جمع آوری می شود.
- ذخیره سازی و انتقال ایمن
احتیاط: ارسال VIN خام، سابقه موقعیت مکانی، یا رفتار رانندگی به ابزار هوش مصنوعی ابری عمومی می تواند هم نقض حریم خصوصی و هم یک خطر قراردادی باشد. هنگام کار با این داده ها، آنها را ناشناس کنید و از یک محیط سازمانی و محافظت شده از داده ها استفاده کنید.
اخلاق و مسئولیت مهندسی
هوش مصنوعی برخی از خطرات اخلاقی را به همراه دارد:
- تعصب: اگر دادههای آموزشی بر شرایط خاصی غالب باشد (مانند روز، پوست روشن، جادههای منطقهای خاص)، مدل ممکن است در شرایطی که نشان داده نشده است (شب، شرایط مختلف) ضعیف عمل کند. این یک آسیب پذیری است.
- اعتماد بیش از حد (سوگیری اتوماسیون): افراد کورکورانه به اتوماسیون اعتماد می کنند و قضاوت خود را نادیده می گیرند. اگر مهندس آزمایشی فقط به این دلیل که هوش مصنوعی میگوید «گذر»، نگاه کردن به دادههای خام را متوقف کند، این یک روند خطرناک است.
- از دست دادن مسئولیت: "مدل تصمیم گرفت" دفاع نیست. همیشه باید یک نفر پشت تصمیم باشد که امضا کند.
مطالعات موردی کوچک
مورد 1 - حد SOTIF. سیستم ترمز اضطراری خودکار تمام تست های آزمایشگاهی را بدون نقص انجام می دهد. در مزرعه، در آفتاب کم، یک کامیون سفید رنگ تریلر خود را با آسمان اشتباه می گیرد و دیر ترمز می کند. این یک نقص نیست، بلکه یک آسیب پذیری SOTIF است: سیستم دست نخورده است اما سناریو خارج از محدوده تشخیص است. این تیم این سناریو را به کتابخانه آزمایشی اضافه می کند و همجوشی رادار را تقویت می کند. نتیجه: «عدم شکست» دلیلی بر ایمنی نیست. نارسایی نیز یک خطر است.
مورد 2 - داده های مغرضانه. یک مدل تشخیص عابر پیاده عمدتاً با دادههای روز آموزش داده شد. یادآوری شب به طور قابل توجهی کمتر است. این تیم داده های شب و کم نور را متعادل می کند و دوباره آموزش می دهد و سناریوهای شب را جداگانه گزارش می دهد. نتیجهگیری: دادههای نامتعادل در شرایط خاصی آسیبپذیری کشنده ایجاد میکند.
مورد 3 - پیشگیری از نقض حریم خصوصی. یک تحلیلگر در حال چسباندن دادههای ناوگان در ابزار هوش مصنوعی عمومی است که متوجه میشود دادهها حاوی مکانهای VIN و GPS خام هستند. در یک محیط شرکتی با ناشناس کردن داده ها (vehicle_01..arac_50 به جای VIN، کد منطقه به جای مکان) کار می کند. نتیجه: یک لحظه توجه مانع از نقض جدی KVKK شد.
قالب های سریع
الگو 1 - ارزیابی مقدماتی PRIOR/ریسک (پیش نویس):
نقش: شما یک مشاور ایمنی عملکردی هستید. وظیفه: یک پیش نویس برای کمک به تجزیه و تحلیل خطر و ریسک برای یک عملکرد آماده می کند. زمینه: عملکرد: ترمز اضطراری خودکار. شهری و بین شهری. محدودیت: انتساب دقیق ASIL; فهرستی از سؤالات و نکات مورد توجه در مورد ابعاد شدت / مواجهه / کنترل پذیری ارائه دهید. نشان می دهد که تکلیف نهایی با مهندس امنیت مجاز است. خروجی: اندازه | سوال ارزشیابی | جدول یادداشت توجه
الگو 2 - اسکن سناریوی SOTIF:
نقش: شما یک متخصص SOTIF هستید. وظیفه: سناریوهایی را فهرست کنید که در آنها یک تابع تشخیص ممکن است "سیستم دست نخورده اما ناکافی" باشد. زمینه: دوربین + رادار. آفتاب کم، برف، خروجی تونل، اشیاء غیر معمول. خروجی: سناریو | چرا نارسایی | توصیه کاهش
الگو 3 - کنترل حریم خصوصی:
نقش: شما یک مشاور حفاظت از داده ها (KVKK/GDPR) هستید. وظیفه: قبل از به اشتراک گذاری مجموعه داده، یک ممیزی حریم خصوصی انجام دهید. زمینه: تله متری ناوگان. ستون ها حاوی VIN، GPS، امتیاز رانندگی هستند. محدودیت: کدام فیلدها داده های شخصی هستند، چگونه باید ناشناس شوند، چه مواردی را اصلا نباید به اشتراک بگذارم. مرتب سازی.خروجی: فیلد | ریسک | نمودار معاملات توصیه شده
الگو 4 - بررسی سوگیری:
نقش: شما یک حسابرس ایمنی و انصاف ML هستید. وظیفه: به من بگویید چگونه خطر سوگیری را در یک مدل تشخیص جستجو کنم. زمینه: تشخیص عابر پیاده. داده های آموزشی وزن شده روز/شهر. خروجی: شرایط برای بررسی | اندازه گیری | علامت خطر
اعلان ضعیف / اعلان قوی
اعلان ضعیف:
آیا این سیستم ترمز خودکار ایمن است، تأیید کنید.
تلاش برای دریافت مجوز امنیتی هوش مصنوعی خطرناک است. تاییدیه متعلق به مهندس مجاز می باشد.
اعلان قدرتمند:
نقش: شما یک مشاور ایمنی عملکردی و SOTIF هستید. وظیفه: فهرست کنید که چه سؤالاتی را باید بپرسم و چه شواهدی را باید در ارزیابی ایمنی عملکرد ترمز خودکار خود جمع آوری کنم. زمینه: تشخیص مبتنی بر هوش مصنوعی. دوربین+رادار; ASIL می تواند بالا باشد. محدودیت: سیستم را تأیید کنید. لیست جداگانه ای از سوالات و شواهد را از نظر ISO 26262 (نقص) و SOTIF (نقص) ارائه دهید. تاکید کنید که تایید نهایی با مهندس امنیت مجاز است. خروجی: چارچوب | سوال | جدول شواهد مورد نیاز
اشتباهات رایج
- اشتباه گرفتن "بدون نقص" با "ایمن". کمبود SOTIF میتواند بدون نقص باعث مرگ شود.
- دریافت گواهی امنیتی هوش مصنوعی تاییدیه و مسئولیت بر عهده مهندس مجاز می باشد.
- اشتباه گرفتن دقت مدل به عنوان اثبات امنیت دقت 99.9 درصد نشان نمی دهد که ریسک باقی مانده مدیریت شده است.
- عدم محافظت از داده های شخصی رفتار VIN/مکان/رانندگی در محدوده KVKK/GDPR است.
- نادیده گرفتن تعصب و اعتماد بیش از حد. داده های نامتعادل و اعتماد کور به اتوماسیون آسیب پذیری هستند.
به طور خلاصه
- ISO 26262 ریسک ناشی از خرابی را مدیریت می کند (با ASIL)، در حالی که ISO 21448/SOTIF خطر شکست را بدون شکست مدیریت می کند. هر دو در تشخیص هوش مصنوعی حیاتی هستند.
- ISO/SAE 21434 امنیت سایبری؛ حملات خصمانه و مسمومیت داده، تهدیدهای خاص هوش مصنوعی هستند.
- حداقل سازی داده ها، محدودیت هدف و ناشناس سازی در محدوده KVKK/GDPR الزامی است. VIN/مکان اطلاعات شخصی است.
- تعصب، اعتماد بیش از حد و از دست دادن مسئولیت، خطرات اخلاقی اصلی هستند.
- خروجی هوش مصنوعی جایگزین تاییدیه مهندس واجد شرایط نیست. تصمیم و امضای حیاتی امنیتی همیشه متعلق به شخص است.
وظیفه کاربردی
یک عملکرد مرتبط با ایمنی (مانند حفظ خطوط) را انتخاب کنید. (1) بحث کنید که چرا سطح ASIL این تابع ممکن است در امتداد ابعاد شدت/قرار گرفتن/قابلیت کنترل بالا/پایین باشد. (2) با الگوی 2، 5 سناریوی "سیستم محکم اما ناکافی" ایجاد کنید. (3) حسابرسی محرمانه یک مجموعه داده مرتبط با الگوی 3. (4) توضیح دهید که چرا گفتن "مدل تایید شد" دفاع نیست.
چک لیست
- [ ] من ابعاد واقعی تابع را ارزیابی کردم (تخصیص دقیق را به مقامات واگذار کردم).
- [ ] من بین ISO 26262 (نقص عملکرد) و SOTIF (نارسایی) تمایز قائل شدم.
- [ ] من خطر امنیت سایبری (تخاصم / مسمومیت) را در نظر گرفته ام.
- [ ] من اطلاعات شخصی را ناشناس و به حداقل رساندم.
- [ ] من خطرات سوگیری و اعتماد بیش از حد را بررسی کردم.
- [ ] من تأیید کرده ام که مجوز امنیتی نزد مهندس واجد شرایط است.