Прибыль:
- Способность объяснить роль камеры, радара, LiDAR и датчика в цепочке обнаружения и уровнях автоматизации SAE.
- Возможность создания маркировки данных, определения сценариев и показателей оценки для обнаружения, классификации и отслеживания объектов.
- Способность критически оценивать крайние случаи, ложноположительный/отрицательный баланс и запас прочности в выходных данных модели обнаружения.
Сегодня большинство транспортных средств имеют такие функции, как предупреждение о выходе из полосы движения, автоматическое экстренное торможение или адаптивный круиз-контроль. Все они находятся под эгидой ADAS (Advanced Driver Assistance Systems). В основе этих систем и дальнейшего автономного вождения лежит восприятие: то, как автомобиль «видит» окружающий мир с помощью датчиков и «понимает» его с помощью искусственного интеллекта. В этом модуле мы рассмотрим цепочку обнаружения, датчики, уровни автоматизации и наиболее важную проблему — границы безопасности.
Предупреждение с самого начала: эта область критически важна для безопасности. Если модель обнаружения не обнаруживает пешехода, результат может быть фатальным. Вот почему каждый результат ИИ здесь должен быть окружен процессами разработки безопасности (ISO 26262 и SOTIF в следующих разделах).
Датчики: глаза, уши и радар.
Комплекс автономного вождения объединяет различные датчики, поскольку каждый из них имеет сильные и слабые стороны:
- Камера: камера лучше всего «видит» цвет, текст (дорожный знак), линию полосы движения и тип объекта. Но ночью плохо, туман, сильные солнечные блики и оценка расстояния.
- Радар (радиообнаружение и определение дальности): измеряет расстояние и скорость с помощью радиоволн. Он меньше подвержен влиянию дождя/тумана и напрямую измеряет скорость (с помощью эффекта Доплера); но разрешение у него низкое, из-за чего сложно отличить "это пешеход или коробка?"
- LiDAR (обнаружение света и определение дальности): стреляет лазером и создает точное трехмерное «облако точек» окружающей среды; Он очень хорошо передает расстояние и форму. Но это дорого и может пострадать от сильного тумана/дождя.
- Ультразвуковой: ближнего действия, как датчики парковки.
Поскольку ни того, ни другого недостаточно, выполняется объединение датчиков: путем объединения данных разных датчиков слабость каждого компенсируется силой другого. Например, камера говорит «пешеход», радар говорит «на расстоянии 12 метров, приближается к 5 км/ч»; Fusion объединяет эти два фактора и создает надежную трассу.
Совет: При оценке заявления об обнаружении, «какой датчик может его обнаружить и насколько хорошо?» просить. Если оценка расстояния камеры ночью плохая, решение о расстоянии, основанное на одной камере, сомнительно.
Цепочка обнаружения
Типичная цепочка от необработанных данных датчика до решения выглядит следующим образом:
- Обнаружение: поиск объектов на изображении/облаке точек («здесь есть инструмент»).
- Классификация: Определение типа объекта (пешеход, велосипед, транспортное средство, знак).
- Отслеживание: отслеживание объекта между кадрами, оценка его скорости и направления.
- Fusion: объединение датчиков для создания единой модели мира.
- Прогноз: «Перейдет ли этот пешеход улицу?»
- Планирование и контроль: принятие решений и команды рулевого управления/тормоза/ускорения.
Искусственный интеллект (особенно глубокое обучение) 1-3. очень силен в шагах; 5-6. Эти шаги все чаще окружены инженерными правилами и логикой безопасности.
Уровни автоматизации SAE
Автономия – это не вопрос «да/нет», она постепенная. Стандарт SAE J3016 определяет шесть уровней:
Уровень
Имя
Кто за рулем?
пример
0
Никакой автоматизации
все ездят
Только предупреждение (предупреждение о слепых зонах)
1
Поддержка драйверов
водитель + одиночная поддержка
Адаптивный круиз ИЛИ удержание полосы движения
2
Частичная автоматизация
Водитель (постоянный присмотр)
Скорость + полоса движения вместе, ответственность несет водитель.
3
Условная автоматизация
Система (при определенных условиях)
При определенных условиях система едет, водитель готов взять на себя управление.
4
высокая автоматизация
Система (в конкретной области)
Без водителя в определенной зоне
5
Полная автоматизация
Система (во всех условиях)
Беспилотные везде (пока)
Внимание: самое опасное недопонимание – это Уровень 2. На Уровне 2 автомобиль поддерживает рулевое управление и скорость, но водитель сохраняет за собой постоянный контроль и ответственность. Принятие системы за «автопилот» и невнимание привели к несчастным случаям со смертельным исходом. Уровень 2 не означает «без водителя».
Метрики оценки: ложноположительный и ложноотрицательный результат.
Два типа ошибок имеют решающее значение при оценке модели обнаружения:
- Ложное срабатывание: думать, что есть что-то, чего не существует. Например, думать, что тень моста является «препятствием», и без необходимости тормозить. Тревожно, а иногда и опасно (наезд сзади).
- Ложноотрицательный (ложноотрицательный/промах): Невозможность увидеть то, что существует. Например, не увидев настоящего пешехода. Это самая смертельная ошибка в автономном вождении.
Метрики, которые суммируют это:
- Точность: какая часть того, что вы отметили, на самом деле верна.
- Вспоминание (чувствительность): Как много из того, что существует на самом деле, вы уловили.
- mAP (средняя средняя точность): общий составной показатель обнаружения объектов.
Напоминание (не пропустить ни одного пешехода) жизненно важно в таких вопросах, как обнаружение пешеходов при автономном вождении; Увеличение этого значения иногда увеличивает количество ложных срабатываний. Этот компромисс является решением инженерной безопасности, а не чистой точностью модели.
Краевые случаи и длинный хвост
Самое сложное в автономном вождении — это не обычные ситуации, а редкие и странные: наполовину видимый под снегом знак, перевернутый грузовик, костюмированный пешеход, упавшая на дорогу мебель. Эти редкие, но опасные ситуации называются «длинным хвостом». Хотя модель может быть идеальной для миллионов «нормальных» миль, она может выйти из строя в экстремальной ситуации, с которой она никогда раньше не сталкивалась. Вот почему тестирование на основе сценариев, моделирование и проверка в реальных условиях бесконечны.
Мини-кейсы
Случай 1 – Значение слияния. При тестировании системы автоматического экстренного торможения команда ADAS обнаружила, что при ярком солнце она медленно обнаруживает автомобиль темного цвета, идущий перед ним, с помощью одной лишь камеры. При добавлении данных радара (на радар не влияет блики) система обнаруживает транспортное средство на 0,4 секунды раньше; Это означает тормозной путь примерно 10 метров на скорости 90 км/ч. Результат: Fusion закрыл слепую зону единственного датчика.
Случай 2. Отзыв/точный баланс. При снижении порога модели обнаружения пешеходов отзыв увеличивается с 96% до 99%, но увеличиваются ложные срабатывания (тень, кусты), что приводит к ненужному торможению. Команда безопасности принимает решение: избегать пешеходов является приоритетом, но комфорт сохраняется за счет устранения ложных срабатываний с помощью логики слияния и отслеживания. Вывод: выбор метрики — это инженерное решение/решение по безопасности, единого «правильного числа» не существует.
Случай 3. Крайний случай-сюрприз. Хотя модель прошла проверку на 99,8%, она приняла фотографию гигантского пешехода позади грузовика с рекламой зимних шин в поле за «настоящего пешехода» и внезапно затормозила. Команда добавляет этот крайний случай в библиотеку сценариев и переобучает модель. Вывод: длинный хвост никогда не «кончается»; Требуется постоянный сбор сценариев.
шаблоны подсказок
Шаблон 1. Создание списка сценариев:
Роль: вы — инженер тестового сценария ADAS. Задача: разработать сложные (крайние случаи) сценарии испытаний для автоматического экстренного торможения. Контекст: Город, 30-50 км/ч, смешанный пешеход и велосипедист. Ограничение: отдавайте предпочтение редким/опасным, а не частым сценариям; напишите ожидаемое правильное поведение для каждого сценария. Выходные данные: Сценарий | состояние | ожидаемое поведение | уровень риска.
Шаблон 2. Схема руководства по маркировке:
Роль: Руководитель отдела качества маркировки данных. Задача: Написать проект правил согласованности маркировки пешеходов. Контекст: пешеходы частично видны, сидят, в инвалидных колясках и группами. Результат: Правило | пример | предельная таблица государственных оценок.
Шаблон 3. Метрическая интерпретация:
Должность: Эксперт по оценке компьютерного зрения. Задача: Интерпретировать результаты обнаружения пешеходов. Контекст: точность 0,93, полнота 0,90, большинство промахов ночью или под дождем. Ограничение: подчеркните важность отзыва для безопасности; Подскажите, при каких условиях требуется дополнительная проверка. Результат: комментарий + приоритетные области для улучшения.
Шаблон 4. Схема логики объединения:
Роль: Вы инженер по термоядерному синтезу. Задача: Предложить примерную логику принятия решений в случае конфликта камеры и радара. Контекст: радар видит движущийся небольшой объект на расстоянии 15 м, а камера говорит: «Пешеходов нет». Ограничение: Примените принцип предположений в пользу безопасности (безопасная сторона). Результат: Таблица решений + обоснование.
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Безопасна ли моя модель автономного автомобиля?
Без контекста; «безопасный» не определен; ИИ говорит только в общих чертах и может давать обманчивую уверенность.
Мощная подсказка:
Роль: Вы консультант по оценке безопасности ADAS. Задача: создать для меня контрольный список, чтобы проверить уязвимости моей модели обнаружения пешеходов. Контекст: городская система уровня 2; Напомним, приходится ночью и под дождем; Есть только камера+радар, лидара нет. Ограничение: не объявлять «безопасным»; указать, при каких условиях система находится на пределе своих возможностей и какое дополнительное тестирование требуется. Результат: Зона риска | почему | рекомендуемый тест | Таблица важности.
Распространенные ошибки
- Ошибочно принять уровень 2 за «беспилотный». Ответственность лежит на водителе; Это заблуждение фатально.
- Опираясь на один датчик. У каждого датчика есть слепая зона; слияние необходимо.
- Просто смотрю на среднюю точность. 99% успеха, 1% пропущенного пешехода может оказаться фатальным; отзыв и крайние случаи имеют решающее значение.
- Игнорирование крайних случаев. Длинный хвост никогда не заканчивается; Сбор сценариев осуществляется непрерывно.
- Решение о безопасности остается на усмотрение модели. За принятие решений по пороговым значениям и балансу отвечают специалисты по обеспечению безопасности.
В заключение
- В основе ADAS и системы автономного вождения лежат камера, радар, LiDAR и датчики; Каждый датчик имеет свои сильные/слабые стороны.
- Цепочка обнаружения состоит из обнаружения, классификации, мониторинга, объединения, прогнозирования и контроля; ИИ силен на первых шагах.
- Уровни SAE варьируются от 0 до 5; На уровне 2 ответственность лежит на водителе.
- Ложноотрицательный результат (похищение пешехода) — самая фатальная ошибка; отзыв и крайние случаи имеют приоритет.
- Решения по обеспечению безопасности — это инженерная ответственность; Точность модели – не единственный критерий.
Задача приложения
Выберите функцию ADAS (например, систему помощи при удержании полосы движения). (1) Запишите в таблицу, какие датчики поддерживают эту функцию и насколько хорошо. (2) Создайте 5 крайних сценариев с помощью шаблона 1 и укажите ожидаемое безопасное поведение для каждого. (3) Сравните результаты ложноположительных и ложноотрицательных результатов для этой функции. (4) Перечислите, какие независимые испытания необходимы, прежде чем утверждать, что модель «безопасна».
контрольный список
- [ ] Я оценил сильные и слабые стороны датчиков в зависимости от их функций.
- [ ] Я также перечислил конечные сценарии (длинный хвост).
- [ ] Я сравнил ложноположительные/отрицательные результаты на предмет безопасности.
- [ ] Я принял во внимание критическое значение Recall с точки зрения безопасности.
- [ ] Я уточнил уровень SAE и кто за это отвечает.
- [ ] Я подготовил план независимого тестирования, прежде чем заявить, что он «безопасен».