Прибыль:
- Способность объяснить структуру функциональной безопасности ISO 26262 и структуру ISO 21448 (SOTIF) и их влияние на системы, содержащие искусственный интеллект.
- Способность управлять конфиденциальностью данных, данными водителя, кибербезопасностью (ISO/SAE 21434) и этическими рисками в автомобильном контексте.
- Способность сохранять ответственность человека за критически важные для безопасности решения, понимая, что результаты искусственного интеллекта не заменяют одобрение компетентного инженера.
Вы находитесь в самом важном блоке этого модуля. До сих пор мы рассматривали ИИ как ускоритель процессов от проектирования до производства, от тестирования до цепочки поставок. Но решающий вопрос в автомобилестроении: навредит ли эта система кому-либо и кто за это несет ответственность? В этом модуле простым языком рассматриваются основы ответственного использования ИИ в отрасли, где безопасность критически важна: функциональная безопасность, SOTIF, кибербезопасность, конфиденциальность и этика. Основной принцип остается неизменным: результаты ИИ никогда не заменяют одобрение компетентного инженера; Критически важные для безопасности решения и ответственность принадлежат человеку.
ISO 26262: функциональная безопасность.
ISO 26262 — это стандарт функциональной безопасности электрических/электронных систем дорожных транспортных средств. Функциональная безопасность; Он направлен на то, чтобы в случае сбоя системы (слома датчика, сбоя программного обеспечения) это не привело к опасной ситуации.
В основе этого стандарта лежит ASIL (уровень полноты автомобильной безопасности). Опасность оценивается по трем направлениям:
- Серьезность: насколько плохо было бы, если бы это произошло? (небольшая травма или смерть)
- Воздействие: Как часто это происходит?
- Управляемость: Насколько водитель может контролировать ситуацию?
В совокупности эти три показателя дают уровень от ASIL A (самый низкий) до ASIL D (самый высокий, например, торможение, рулевое управление). По мере повышения уровня требования к разработке, тестированию и документации становятся более строгими.
ГЛАВНАЯ
система отбора проб
Интенсивность требований
А.
Неисправность внутреннего освещения
низкий
Б.
задний фонарь
средний
С.
Некоторые функции ADAS
высокий
Д.
Тормоза, рулевое управление, подушка безопасности
самый высокий
Совет: знание уровня MAIN функции покажет вам, сколько внимания требует использование ИИ в этой функции. НИКАКОЕ решение, основанное на выводе ИИ в функции, не может быть принято без независимой проверки безопасности.
ISO 21448 (SOTIF): безопасность предполагаемой функции.
Классическая функциональная безопасность (ISO 26262) фокусируется на вопросе «что произойдет, если система выйдет из строя?» Но в системах обнаружения искусственного интеллекта есть новая проблема: даже если система никогда не дает сбоев, она может быть неадекватной. Камера работает нормально, но не может распознать заснеженную плиту; Радар работает стабильно, но он игнорирует неподвижный автомобиль как призрачный сигнал. Здесь нет аппаратного/программного сбоя; Проблема заключается в пределе предполагаемой области действия функции.
ISO 21448 - SOTIF (Безопасность предполагаемой функциональности) устраняет именно этот пробел: управление рисками, возникающими из-за нераспознанных сценариев, пределов обнаружения и непредвиденных ситуаций, даже если система работает так, как задумано. В ADAS/автономном вождении на основе искусственного интеллекта SOTIF так же важен, как и ISO 26262.
Рамка
Фокус
пример
ИСО 26262
Риск из-за неудачи
Датчик ломается, сигнал пропадает
ИСО 21448 (СОТИФ)
Риск неадекватности/непризнания
Прочная камера не распознает заснеженную плиту
ИСО/САЭ 21434
кибербезопасность
Системная атака, манипулирование данными
Внимание: модели ИИ являются статистическими; Они не могут гарантировать, что «правильно увидят каждую ситуацию». SOTIF стремится сузить количество неизвестных опасных сценариев в этих изначально ограниченных системах и снизить оставшийся риск до приемлемого уровня. «Точность модели составляет 99,9%» не является доказательством безопасности.
ISO/SAE 21434: кибербезопасность.
Подключенные и программно-определяемые транспортные средства уязвимы для кибератак. Удаленный злоумышленник может изменить команду торможения, украсть телеметрию или обмануть модель обнаружения (состязательная атака: заставить модель неправильно распознать ее, поместив небольшую наклейку на пластину). ISO/SAE 21434 — это инженерная основа кибербезопасности транспортных средств. В контексте искусственного интеллекта выделяются два риска: обман модели (состязательный) и отравление обучающих данных (данное отравление). Критически важные для безопасности системы искусственного интеллекта должны быть протестированы против этих атак.
Конфиденциальность и персональные данные
Современный автомобиль — это «центр обработки данных на колесах»: местоположение, поведение при вождении, звук и даже камера в салоне. Большая часть этих данных является личными данными и подпадает под действие KVKK (Турция) и GDPR (Европа). VIN (номер шасси) может идентифицировать транспортное средство и косвенно его владельца. Основные принципы:
- Минимизация данных: собирайте только то, что необходимо.
- Ограничение цели: не используйте данные для целей, отличных от цели, для которой они были собраны.
- Анонимизация/псевдонимизация: удаление или кодирование личной информации.
- Явное согласие и прозрачность: водитель должен знать, что собирается.
- Безопасное хранение и передача.
Внимание: отправка необработанного VIN-кода, истории местоположений или поведения вождения в общедоступный облачный инструмент искусственного интеллекта может быть как нарушением конфиденциальности, так и договорным риском. При работе с этими данными анонимизируйте их и используйте институциональную среду, защищенную данными.
Этика и ответственность инженера
Искусственный интеллект несет с собой некоторые этические риски:
- Смещение: если данные обучения преобладают в определенных условиях (например, дневное время, светлая кожа, определенные региональные дороги), модель может работать плохо в недостаточно представленных условиях (ночь, другие условия). Это уязвимость.
- Чрезмерная самоуверенность (предвзятость в отношении автоматизации). Люди слепо доверяют автоматизации и игнорируют собственные суждения. Если инженер-испытатель перестает смотреть на необработанные данные только потому, что ИИ говорит «пройдено», это опасная тенденция.
- Потеря ответственности: «Модель решила» — это не защита. За решением всегда должен стоять человек, подписавшийся.
Мини-кейсы
Случай 1 – лимит SOTIF. Система автоматического экстренного торможения проходит все лабораторные испытания и не имеет неисправностей. В поле, под низким солнцем, белый грузовик принимает прицеп за небо и поздно тормозит. Это не неисправность, а SOTIF-уязвимость: система цела, но сценарий выходит за пределы обнаружения. Команда добавляет этот сценарий в тестовую библиотеку и усиливает радиолокационный синтез. Вывод: «Отсутствие сбоя» не является доказательством безопасности; Недостаточность также представляет собой риск.
Случай 2 – Смещенные данные. Модель обнаружения пешеходов обучалась преимущественно на дневных данных; Ночная память значительно ниже. Команда балансирует и переобучает данные в ночное время и при слабом освещении и сообщает о ночных сценариях отдельно. Вывод: несбалансированные данные при определенных обстоятельствах создают смертельную уязвимость.
Случай 3. Предотвращение нарушения конфиденциальности. Аналитик собирается вставить данные об автопарке в общедоступный инструмент искусственного интеллекта, когда замечает, что данные содержат необработанные данные о местоположении VIN и GPS. Он работает в корпоративной среде, анонимизируя данные (vehicle_01..arac_50 вместо VIN, код региона вместо местоположения). Результат: Момент внимания предотвратил серьезное нарушение КВКК.
шаблоны подсказок
Форма 1 – Предварительная оценка ПРИОР/рисков (проект):
Роль: Вы консультант по функциональной безопасности. Задача: готовит проект для помощи в анализе опасностей и рисков для функции. Контекст: Функция: автоматическое экстренное торможение; городской и междугородний. Ограничение: точное задание УПБА; Приведите список вопросов и вопросов, на которые следует обратить внимание по параметрам серьезности/воздействия/управляемости; указывают, что окончательное задание остается за уполномоченным инженером по безопасности. Выходные данные: Размер | вопрос оценки | таблица примечаний к вниманию.
Шаблон 2 — сканирование сценария SOTIF:
Роль: Вы эксперт SOTIF. Задача: Перечислить сценарии, в которых функция обнаружения может быть «системой исправной, но неадекватной». Контекст: камера + радар; низкое солнце, снег, выход из туннеля, необычные объекты. Результат: Сценарий | почему неадекватность | рекомендация по сокращению.
Шаблон 3 – Контроль конфиденциальности:
Роль: вы консультант по защите данных (KVKK/GDPR). Задача: провести аудит конфиденциальности, прежде чем делиться набором данных. Контекст: телеметрия флота; Столбцы содержат VIN, GPS, оценку вождения. Ограничение: какие поля являются персональными данными, как их следует анонимизировать, чем вообще не следует делиться; sort.Вывод: Поле | риск | Рекомендуемая схема сделок.
Шаблон 4. Проверка смещения:
Роль: вы являетесь аудитором безопасности и справедливости ОД. Задача: Расскажите мне, как искать риск систематической ошибки в модели обнаружения. Контекст: обнаружение пешеходов; данные обучения, взвешенные по дням/городам. Выходные данные: Условие для проверки | измерение | знак риска.
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Безопасна ли эта автономная тормозная система, подтвердите.
Попытка получить допуск к секретной информации ИИ опасна; Разрешение принадлежит авторизованному инженеру.
Мощная подсказка:
Роль: Вы консультант по функциональной безопасности и SOTIF. Задание: Перечислите, какие вопросы мне следует задать и какие доказательства мне следует собрать при оценке безопасности моей функции автоматического торможения. Контекст: обнаружение на основе искусственного интеллекта; камера+радар; УПБА может быть высоким. Ограничение: «Утвердить» систему; Предоставить отдельные списки вопросов и доказательств по ISO 26262 (дефект) и SOTIF (недостаток); Подчеркните, что окончательное утверждение лежит на уполномоченном инженере по безопасности. Результат: Framework | вопрос | таблица необходимых доказательств.
Распространенные ошибки
- Путаете «отсутствие неисправности» и «безопасность». Дефицит SOTIF может привести к смерти без сбоев.
- Получение допуска к безопасности ИИ. Утверждение и ответственность лежит на уполномоченном инженере.
- Принятие точности модели за доказательство безопасности. Точность 99,9% не означает, что оставшимся риском удалось управлять.
- Не защищает персональные данные. VIN/местоположение/поведение вождения подпадают под действие KVKK/GDPR.
- Игнорирование предвзятости и самоуверенности. Несбалансированные данные и слепое доверие к автоматизации — это уязвимости.
В заключение
- ISO 26262 управляет риском отказа (с ASIL), а ISO 21448/SOTIF управляет риском отказа без сбоя; Оба имеют решающее значение для обнаружения ИИ.
- Кибербезопасность ISO/SAE 21434; состязательные атаки и атаки по отравлению данных представляют собой угрозы, специфичные для ИИ.
- Минимизация данных, ограничение целей и анонимизация являются обязательными в рамках KVKK/GDPR; VIN/местоположение является персональными данными.
- Предрассудки, чрезмерная самоуверенность и потеря ответственности являются основными этическими рисками.
- Выходные данные AI не заменяют одобрение квалифицированного инженера; Критическое для безопасности решение и подпись всегда принадлежат человеку.
Задача приложения
Выберите функцию, связанную с безопасностью (например, удержание полосы движения). (1) Обсудите, почему уровень ASIL этой функции может быть высоким/низким по параметрам серьезности/воздействия/управляемости. (2) Создайте 5 сценариев «система надежна, но неадекватна» с помощью Шаблона 2. (3) Проведите аудит конфиденциальности соответствующего набора данных с помощью Шаблона 3. (4) Объясните, почему фраза «Модель подтверждена» не является защитой.
контрольный список
- [ ] Я оценил ФАКТИЧЕСКИЕ размеры функции (точное назначение я оставил на усмотрение органа власти).
- [ ] Я провел различие между ISO 26262 (неисправность) и SOTIF (недостаточность).
- [ ] Я принял во внимание риск кибербезопасности (враждебности/отравления).
- [ ] Я анонимизировал и свел к минимуму личные данные.
- [ ] Я проверил на наличие рисков предвзятости и самоуверенности.
- [ ] Я подтвердил, что допуск к секретной информации имеется у квалифицированного инженера.