ADAS и автономно шофиране: Основи на сензора — Изкуствен интелект в автомобилното инженерство

Печалби:

Възможност за обяснение на ролите на камерата, радара, LiDAR и сливането на сензори във веригата за откриване и нивата на автоматизация на SAE
Възможност за създаване на етикетиране на данни, дефиниране на сценарии и показатели за оценка за откриване, класифициране и проследяване на обекти
Възможност за критична оценка на крайните случаи, фалшиво положителен/отрицателен баланс и марж на безопасност в изхода на модела за откриване

Повечето превозни средства днес имат функции като предупреждение за напускане на лентата, автоматично аварийно спиране или адаптивен круиз контрол. Всички те са под егидата на ADAS (Advanced Driver Assistance Systems). В основата на тези системи и по-нататъшното автономно шофиране е възприятието: начинът, по който автомобилът „вижда“ света около себе си със сензори и го „разбира“ с помощта на изкуствен интелект. В този раздел ще разгледаме веригата за откриване, сензорите, нивата на автоматизация и най-критичния проблем, границите на сигурността.

Предупреждение от самото начало: тази област е критична за сигурността. Ако моделът за откриване не разпознае пешеходец, резултатът може да бъде фатален. Ето защо всеки AI изход тук трябва да бъде заобиколен от инженерни процеси за сигурност (ISO 26262 и SOTIF в следващите модули).

Сензори: очи, уши и радар

Автономен стек за шофиране комбинира различни сензори, защото всеки има силни и слаби страни:

Камера: Камерата "вижда" най-добре цвят, текст (пътен знак), линия на платното и тип обект. Но е лошо през нощта, мъгла, силни слънчеви отблясъци и оценка на разстоянието.
Радар (Радиооткриване и обхват): Измерва разстояние и скорост с радиовълни. По-малко се влияе от дъжд/мъгла и измерва скоростта директно (с ефекта на Доплер); но резолюцията му е ниска, което затруднява разграничаването "пешеходец ли е това или кутия?"
LiDAR (Light Detection and Ranging): Изстрелва лазер и създава прецизен триизмерен „облак от точки“ на околността; Придава дистанция и форма много добре. Но е скъпо и може да се повлияе от силна мъгла/дъжд.
Ултразвуков: Къс обхват, като парктроник.

Тъй като нито един от тях не е достатъчен сам по себе си, се извършва сливане на сензори: чрез комбиниране на данните от различни сензори, слабостта на всеки се компенсира от силата на другия. Например на камерата пише „пешеходец“, на радара пише „на 12 метра, приближава 5 км/ч“; Fusion съчетава двете и създава надеждна писта.

Съвет: Когато оценявате твърдение за откриване, "кой сензор може да го види и колко добре?" попитайте. Ако оценката на разстоянието на камерата през нощта е лоша, решението за разстояние въз основа на една камера е под въпрос.

Верига за откриване

Типичната верига от необработените сензорни данни до решението е както следва:

Откриване: Намиране на обекти в изображението/облака от точки („тук има инструмент“).
Класификация: Определяне на вида на обекта (пешеходец, велосипед, превозно средство, знак).
Проследяване: Следване на обекта между кадрите, оценка на скоростта и посоката му.
Fusion: Комбиниране на сензори за създаване на последователен модел на света.
Прогноза: "Този пешеходец ще пресече ли улицата?"
Планиране и контрол: Решение и команда за управление/спирачка/ускорител.

Изкуствен интелект (особено дълбоко обучение) 1-3. много силен в стъпките; 5-6. Стъпалата все повече са заобиколени от инженерни правила и логика за сигурност.

SAE нива на автоматизация

Автономията не е нещо "да/не", тя е постепенна. Стандартът SAE J3016 дефинира шест нива:

Ниво

Име

Кой кара?

пример

Без автоматизация

всички карам

Само предупреждение (предупреждение за мъртва зона)

Поддръжка на драйвери

драйвер + единична опора

Адаптивен круиз ИЛИ поддържане на лентата

Частична автоматизация

Шофьор (постоянен надзор)

Скорост + лента заедно, водачът носи отговорност

Условна автоматизация

Система (при определени условия)

При определени условия системата задвижва, водачът е готов да поеме

висока автоматизация

Система (в конкретна област)

Без шофьор в определена зона

Пълна автоматизация

Система (при всякакви условия)

Навсякъде без шофьор (все още не)

Внимание: Най-опасното недоразумение е ниво 2. При ниво 2 превозното средство поддържа управление и скорост, но водачът запазва постоянен надзор и отговорност. Сбъркането на системата с „автопилот“ и невнимаването доведе до фатални инциденти. Ниво 2 не означава „без шофьор“.

Показатели за оценка: фалшиво положително и фалшиво отрицателно

Два вида грешки са критични при оценката на модел за откриване:

Фалшиво положително: Мисля, че има нещо, което не съществува. Например да мислите, че сянката на моста е „пречка“ и да спирате ненужно. Притеснително и понякога опасно (сблъсък отзад).
Фалшиво отрицание (фалшиво отрицание / пропуск): Невъзможност да видите нещо, което съществува. Например да не видиш истински пешеходец. Това е най-смъртоносната грешка при автономното шофиране.

Показатели, които обобщават това:

Прецизност: Колко от това, което сте маркирали, е действително правилно.
Припомняне (чувствителност): Колко от това, което действително съществува, сте уловили.
mAP (средна средна точност): Общ съставен показател за откриване на обекти.

Припомнянето (да не се пропуска нито един пешеходец) е жизненоважно по въпроси като разпознаването на пешеходци при автономно шофиране; Увеличаването на това понякога увеличава фалшивите положителни резултати. Този компромис е инженерно решение за сигурност, а не чиста точност на модела.

Edge case и дългата опашка

Най-трудната част от автономното шофиране не са обичайните ситуации, а редките и странни: знакът, който се вижда наполовина под снега, обърнатият камион, костюмиран пешеходец, мебели, паднали на пътя. Тези редки, но опасни ситуации се наричат дълга опашка. Въпреки че даден модел може да е перфектен за милиони „нормални“ мили, той може да се провали в екстремна ситуация, каквато не е виждал досега. Ето защо базираното на сценарии тестване, симулация и валидиране в реалния свят са безкрайни.

Мини казуси

Случай 1 - Стойността на синтеза. Докато тества автоматично аварийно спиране, екип на ADAS установи, че е бавно да забележи тъмно превозно средство пред себе си на ярко слънце само с камерата. Когато се добавят радарни данни (радарът не се влияе от отблясъците) системата открива автомобила 0,4 секунди по-рано; Това означава спирачен път от приблизително 10 метра при 90 км/ч. Резултат: Fusion затвори сляпото петно с един сензор.

Случай 2 - Баланс за припомняне/прецизност. Когато прагът на модела за разпознаване на пешеходци се понижи, извикването се увеличава от 96% на 99%, но фалшивите положителни резултати (сянка, храсти) се увеличават, което води до ненужно спиране. Екипът по сигурността взема решението: избягването на пешеходци е приоритет, но комфортът се поддържа чрез елиминиране на фалшиви положителни резултати с синтез и логика за проследяване. Заключение: Изборът на метрика е инженерно/сигурно решение, няма едно „правилно число“.

Случай 3 - Edge case изненада. Въпреки че един модел беше 99,8% успешен в набора си за валидиране, той обърка снимка на гигантски пешеходец зад камион, носещ реклама на гума за сняг в полето, за „истински пешеходец“ и внезапно спря. Екипът добавя този краен случай към библиотеката със сценарии и преобучава модела. Заключение: Дългата опашка никога не "свършва"; Изисква се постоянно събиране на сценарии.

подканващи шаблони

Шаблон 1 - Генериране на списък със сценарии:

Роля: Вие сте инженерът на тестови случаи на ADAS. Задача: Създаване на предизвикателни (крайни случаи) тестови сценарии за автоматично аварийно спиране. Контекст: Градски, 30-50 км/ч, смесени пешеходци и велосипедисти. Ограничение: Дайте приоритет на редките/опасни, а не на честите сценарии; напишете очакваното правилно поведение за всеки сценарий. Резултат: Сценарий | състояние | очаквано поведение | ниво на риск.

Шаблон 2 - Схема на ръководството за етикетиране:

Роля: Ръководител на качеството на етикетирането на данни. Задача: Напишете проект на правила за последователност за етикетиране на пешеходци. Контекст: Има частично видими пешеходци, седнали, в инвалидни колички и в групи. Резултат: Правило | пример | таблица за степен на гранично състояние.

Шаблон 3 – Тълкуване на показатели:

Роля: Експерт по оценка на компютърното зрение. Задача: Интерпретирайте моите резултати от разпознаване на пешеходци. Контекст: точност 0,93, припомняне 0,90, повечето пропуски през нощта или в дъжда. Ограничение: Подчертайте важността на припомнянето за сигурността; Кажете ми при какви условия е необходима допълнителна проверка. Резултат: Коментар + приоритетни области за подобрение.

Шаблон 4 - схема на логика на Fusion:

Роля: Вие сте инженер по синтез на сензори. Задача: Предложете проект на логика за решение, когато камерата и радарът са в конфликт. Контекст: Радарът вижда движещ се малък обект на 15 м, докато камерата казва „без пешеходец“. Ограничение: Приложете принципа на предположението в полза на безопасността (сигурна страна). Резултат: Таблица с решения + обосновка.

Слаба подкана / Силна подкана

Слаба подкана:

Моят модел автономно превозно средство безопасен ли е?

Без контекст; "безопасен" не е дефиниран; AI говори само с общи думи и може да даде подвеждаща увереност.

Мощна подкана:

Роля: Вие сте консултантът по оценка на сигурността на ADAS. Задача: Създайте контролен списък, за да поставя под съмнение уязвимостите на моя модел за откриване на пешеходци. Контекст: система Urban Level 2; Спомнете си пада през нощта и в дъжда; Има само камера + радар, няма LiDAR. Ограничение: Не обявявайте „безопасно“; уточнете при какви условия системата е на предела си и какви допълнителни тестове са необходими. Резултат: Рискова зона | защо | препоръчан тест | таблица на важността.

Често срещани грешки

Погрешно ниво 2 за „без шофьор“. Отговорността е на водача; Това погрешно схващане е фатално.
Разчитайки на един сензор. Всеки сензор има мъртва точка; синтезът е от съществено значение.
Просто гледам средната точност. 99% успех, 1% пропуснат пешеходец може да бъде фатален; припомнянето и крайните случаи са критични.
Игнориране на крайни случаи. Дългата опашка никога не свършва; Събирането на сценарии е непрекъснато.
Оставяне на решението за сигурност на модела. Решенията за праг и баланс са отговорност на инженеринга за сигурност.

В обобщение

В основата на ADAS и автономното разпознаване при шофиране е сливането на камера, радар, LiDAR и сензор; Всеки сензор има различни силни/слаби страни.
Веригата за откриване се състои от откриване, класифициране, наблюдение, синтез, прогнозиране и контрол; AI е силен в първите стъпки.
Нивата на SAE варират от 0 до 5; При ниво 2 отговорността е на водача.
Фалшивият отрицателен резултат (отвличане на пешеходец) е най-фаталната грешка; припомнянето и крайните случаи имат приоритет.
Решенията за сигурност са инженерна отговорност; Точността на модела не е единственият критерий.

Задача за приложение

Изберете ADAS функция (напр. асистент за поддържане на лентата). (1) Напишете в таблица кои сензори поддържат тази функция и колко добре. (2) Генерирайте 5 крайни сценария с Шаблон 1 и посочете очакваното безопасно поведение за всеки. (3) Сравнете резултатите от фалшиво положителни и фалшиво отрицателни резултати за тази функция. (4) Избройте какви независими тестове са необходими, преди да се твърди, че моделът е „безопасен“.

контролен списък

[ ] Оцених силните/слабите страни на сензорите според функцията.
[ ] Изброих също крайните сценарии (дълга опашка).
[ ] Сравних фалшиви положителни/отрицателни резултати за безопасност.
[ ] Взех предвид критичното значение на Recall за сигурността.
[ ] Изясних нивото на SAE и кой е отговорен.
[ ] Подготвих независим план за тестване, преди да заявя, че е безопасен.