Печалби:
- Способност за обяснение на функционалната сигурност на ISO 26262 и рамките на ISO 21448 (SOTIF) и техните ефекти върху системи, съдържащи изкуствен интелект
- Възможност за управление на поверителността на данните, данните на водача, киберсигурността (ISO/SAE 21434) и етичните рискове в автомобилния контекст
- Способност да се поддържа човешка отговорност за критични за безопасността решения чрез разбиране, че изходът на AI не е заместител на одобрението на компетентен инженер
Вие сте в най-критичното звено на този модул. Досега сме виждали AI като ускорител от дизайна до производството, от тестването до веригата за доставки. Но решаващият въпрос в автомобилостроенето е: ще навреди ли тази система на някого и кой е отговорен? Този раздел обхваща на прост език рамките за отговорно използване на AI в критична за безопасността индустрия – функционална безопасност, SOTIF, киберсигурност, поверителност и етика. Основният принцип остава постоянен: продукцията на AI никога не замества одобрението на компетентен инженер; Критичното за сигурността решение и отговорност принадлежат на човека.
ISO 26262: функционална безопасност
ISO 26262 е стандартът за функционална безопасност за електрически/електронни системи на пътни превозни средства. Функционална безопасност; Занимава се с гарантирането, че когато дадена система се повреди (счупи се сензор, повреди софтуер), това не води до опасна ситуация.
В основата на този стандарт е ASIL (Automotive Safety Integrity Level). Опасността се оценява в три измерения:
- Тежест: Колко лошо би било, ако се случи? (леко нараняване или смърт)
- Експозиция: Колко често се случва това?
- Контролируемост: Доколко водачът може да контролира ситуацията?
Тези три комбинирани водят до ниво от ASIL A (най-ниското) до ASIL D (най-високото, например спиране, управление). С нарастването на нивото изискванията за разработка, тестване и документация стават по-строги.
ОСНОВЕН
примерна система
Интензивност на изискването
А.
Неизправност на вътрешното осветление
ниско
б.
задна светлина
среден
В.
Някои ADAS функции
високо
г.
Спирачка, управление, въздушна възглавница
най-високо
Съвет: Познаването на ОСНОВНОТО ниво на дадена функция ви казва колко внимание изисква използването на AI в тази функция. НИКАКВО решение, основано на AI изход във функция, не може да бъде прието без независима проверка на сигурността.
ISO 21448 (SOTIF): безопасност на предвидената функция
Класическата функционална безопасност (ISO 26262) се фокусира върху въпроса "какво се случва, ако системата се повреди?" Но има нов проблем в системите за откриване на изкуствен интелект: дори ако системата никога не работи неизправно, тя може да е неадекватна. Камерата работи добре, но не може да разпознае снежна плоча; Радарът е стабилен, но игнорира неподвижно превозно средство като призрачен сигнал. Тук няма повреда в хардуера/софтуера; Проблемът е на границата на планирания обхват на функцията.
ISO 21448 - SOTIF (Безопасност на предвидената функционалност) адресира точно тази празнина: управление на рисковете, произтичащи от неразпознати сценарии, граници на откриване и непредвидени ситуации, дори ако системата работи, както е проектирана. При ADAS/автономно шофиране, базирано на AI, SOTIF е толкова критичен, колкото и ISO 26262.
Рамка
Фокус
пример
ISO 26262
Риск поради повреда
Сензорът се поврежда, сигналът изчезва
ISO 21448 (SOTIF)
Риск от неадекватност/непризнаване
Здравата камера не разпознава снежна плоча
ISO/SAE 21434
киберсигурност
Системна атака, манипулиране на данни
Внимание: AI моделите са статистически; Те не могат да гарантират, че ще „виждат всяка ситуация правилно“. SOTIF има за цел да стесни неизвестните опасни сценарии в тези по своята същност ограничени системи и да намали оставащия риск до приемливо ниво. „Моделът е 99,9% точен“ не е доказателство за сигурност.
ISO/SAE 21434: киберсигурност
Свързаните и софтуерно дефинирани превозни средства са уязвими на кибератаки. Дистанционен нападател може да промени командата за спиране, да открадне телеметрия или да подмами модела за откриване (съперническа атака: накара модела да го разпознае погрешно, като постави малък стикер върху табела). ISO/SAE 21434 е инженерната рамка за киберсигурността на превозните средства. В контекста на изкуствения интелект се открояват два риска: измама на модела (противопоставяне) и отравяне на данните за обучение (отравяне на данни). Критични за сигурността AI системи трябва да бъдат тествани срещу тези атаки.
Поверителност и лични данни
Модерното превозно средство е „център за данни на колела“: местоположение, поведение при шофиране, аудио, дори камера в кабината. Повечето от това са лични данни и са обхванати от KVKK (Türkiye) и GDPR (Европа). VIN (номер на шаси) може да идентифицира превозно средство и индиректно неговия собственик. Основни принципи:
- Минимизиране на данните: Събирайте само това, което е необходимо.
- Ограничение на целта: Не използвайте данни за цели, различни от целта, за която са събрани.
- Анонимизиране/псевдонимизиране: Премахване или кодиране на лична идентифицираща информация.
- Изрично съгласие и прозрачност: Водачът трябва да знае какво се събира.
- Сигурно съхранение и прехвърляне.
Внимание: Изпращането на необработен VIN, история на местоположението или поведение при шофиране до публичен облачен AI инструмент може да бъде както нарушение на поверителността, така и договорен риск. Когато работите с тези данни, анонимизирайте ги и използвайте институционална среда, защитена от данни.
Етика и инженерна отговорност
Изкуственият интелект носи със себе си някои етични рискове:
- Отклонение: Ако данните от обучението преобладават при определени условия (напр. през деня, светла кожа, определени регионални пътища), моделът може да се представи зле при недостатъчно представени условия (нощ, различни условия). Това е уязвимост.
- Прекомерна самоувереност (пристрастност към автоматизацията): Хората се доверяват сляпо на автоматизацията и пренебрегват собствената си преценка. Ако тестовият инженер спре да разглежда необработените данни само защото AI казва „преминат“, това е опасна тенденция.
- Загуба на отговорност: „Моделът реши“ не е защита. Винаги трябва да има човек, който се подписва зад решението.
Мини казуси
Случай 1 - SOTIF лимит. Системата за автоматично аварийно спиране преминава всички лабораторни тестове, без неизправности. В полето, под ниското слънце, бял камион бърка ремаркето си с небето и спира със закъснение. Това не е неизправност, а уязвимост на SOTIF: системата е непокътната, но сценарият е извън границата на откриване. Екипът добавя този сценарий към тестовата библиотека и укрепва радарния синтез. Заключение: „Без повреда“ не е доказателство за безопасност; Недостатъчността също е риск.
Случай 2 – Пристрастни данни. Модел за откриване на пешеходци беше обучен предимно с данни през деня; Нощното припомняне е значително по-ниско. Екипът балансира и преобучава данните за нощта и слабата осветеност и отчита отделно нощните сценарии. Заключение: Небалансираните данни създават смъртоносна уязвимост при определени обстоятелства.
Случай 3 - Предотвратяване на нарушаване на поверителността. Анализатор се кани да постави данни за автопарк в публичен AI инструмент, когато забелязва, че данните съдържат необработен VIN и GPS местоположения. Работи в корпоративна среда чрез анонимизиране на данните (vehicle_01..arac_50 вместо VIN, регионален код вместо местоположение). Резултат: Момент на внимание предотврати сериозно нарушение на KVKK.
подканващи шаблони
Образец 1 - ПРЕДВАРИТЕЛНА/предварителна оценка на риска (проект):
Роля: Вие сте консултант по функционална безопасност. Задача: Подготвя проект за подпомагане на анализа на опасностите и риска за дадена функция. Контекст: Функция: автоматично аварийно спиране; градски и междуградски. Ограничение: точно определяне на ASIL; Дайте списък с въпроси и точки на внимание относно измеренията на тежест/излагане/контролируемост; посочват, че окончателното възлагане е на упълномощения инженер по сигурността. Изход: Размер | въпрос за оценка | таблица с бележки за внимание.
Шаблон 2 - сканиране на SOTIF сценарий:
Роля: Вие сте SOTIF експерт. Задача: Избройте сценарии, при които функция за откриване може да е „системата непокътната, но неадекватна“. Контекст: Камера + радар; слабо слънце, сняг, изход от тунел, необичайни обекти. Резултат: Сценарий | защо неадекватност | препоръка за намаляване.
Шаблон 3 - Контрол на поверителността:
Роля: Вие сте консултант по защита на данните (KVKK/GDPR). Задача: Извършете проверка на поверителността, преди да споделите набор от данни. Контекст: телеметрия на флота; Колоните съдържат VIN, GPS, резултат от шофиране. Ограничение: Кои полета са лични данни, как да бъдат анонимизирани, какво да не споделям изобщо; сортиране. Изход: Поле | риск | препоръчителна диаграма на транзакциите.
Шаблон 4 - Проверка на отклонение:
Роля: Вие сте одитор на безопасността и справедливостта на машинното обучение. Задача: Кажете ми как да търся риск от отклонение в модел за откриване. Контекст: Разпознаване на пешеходци; данни за обучение, претеглени ден/град. Резултат: Условие за проверка | измерване | знак за риск.
Слаба подкана / Силна подкана
Слаба подкана:
Безопасна ли е тази автономна спирачна система, потвърдете.
Опитът да получите разрешение за сигурност на AI е опасен; Одобрението принадлежи на оторизирания инженер.
Мощна подкана:
Роля: Вие сте консултант по функционална безопасност и SOTIF. Задача: Избройте какви въпроси трябва да задам и какви доказателства трябва да събера при оценката на безопасността на моята функция за автоматично спиране. Контекст: AI-базирано откриване; камера+радар; ASIL може да бъде висок. Ограничение: „Одобрете“ системата; Предоставете отделни списъци с въпроси и доказателства по отношение на ISO 26262 (дефект) и SOTIF (дефицит); Подчертайте, че окончателното одобрение е от упълномощения инженер по сигурността. Резултат: Рамка | въпрос | необходимата таблица с доказателства.
Често срещани грешки
- Объркване на „без неизправност“ с „безопасно“. Дефицитът на SOTIF може да убие, без да се повреди.
- Получаване на разрешение за сигурност на AI. Одобрението и отговорността се носят от оторизирания инженер.
- Погрешна точност на модела като доказателство за сигурност. 99,9% точност не означава, че оставащият риск е управляван.
- Без защита на личните данни. VIN/локация/поведение при шофиране е в обхвата на KVKK/GDPR.
- Игнориране на пристрастията и прекалената самоувереност. Небалансираните данни и сляпото доверие в автоматизацията са уязвимости.
В обобщение
- ISO 26262 управлява риска поради повреда (с ASIL), докато ISO 21448/SOTIF управлява риска от повреда без повреда; И двете са критични при откриването на AI.
- ISO/SAE 21434 киберсигурност; състезателните атаки и атаките с отравяне на данни са специфични за AI заплахи.
- Минимизирането на данните, ограничаването на целите и анонимизирането са задължителни в обхвата на KVKK/GDPR; VIN/локацията е лична информация.
- Предразсъдъците, прекомерната самоувереност и загубата на отговорност са основните етични рискове.
- AI изходът не е заместител на одобрението на квалифициран инженер; Критичното за сигурността решение и подпис винаги принадлежат на лицето.
Задача за приложение
Изберете функция, свързана с безопасността (напр. поддържане на лентата). (1) Обсъдете защо нивото на ASIL на тази функция може да бъде високо/ниско по отношение на измеренията сериозност/експозиция/контролируемост. (2) Генерирайте 5 сценария за „солидна система, но неадекватна“ с Шаблон 2. (3) Одит на поверителността на подходящ набор от данни с Шаблон 3. (4) Обяснете защо казването „Моделът е потвърден“ не е защита.
контролен списък
- [ ] Оцених ДЕЙСТВИТЕЛНИТЕ размери на функцията (оставих точното възлагане на органа).
- [ ] Направих разграничение между ISO 26262 (неизправност) и SOTIF (недостатъчност).
- [ ] Взех под внимание риска за киберсигурността (противопоставяне/отравяне).
- [ ] Анонимизирах и минимизирах личните данни.
- [ ] Проверих за рискове от пристрастност и прекомерна самоувереност.
- [ ] Потвърдих, че разрешението за сигурност е от квалифициран инженер.