ADAS і автономне водіння: основи датчиків

Прибуток:

• Здатність пояснити роль камери, радара, LiDAR і злиття датчиків у ланцюжку виявлення та рівнях автоматизації SAE
• Можливість створювати маркування даних, визначення сценарію та метрики оцінки для виявлення, класифікації та відстеження об’єктів
• Можливість критично оцінювати крайові випадки, хибнопозитивний/негативний баланс і запас міцності на виході моделі виявлення

Більшість сучасних транспортних засобів мають такі функції, як попередження про виїзд зі смуги руху, автоматичне екстрене гальмування або адаптивний круїз-контроль. Усі вони знаходяться під егідою ADAS (Advanced Driver Assistance Systems). В основі цих систем і подальшого автономного водіння лежить сприйняття: те, як автомобіль «бачить» навколишній світ за допомогою датчиків і «розуміє» його за допомогою штучного інтелекту. У цьому розділі ми розглянемо ланцюжок виявлення, датчики, рівні автоматизації та найважливішу проблему – межі безпеки.

Попередження з самого початку: ця область є критично важливою для безпеки. Якщо модель виявлення не розпізнає пішохода, результат може бути летальним. Ось чому кожен вихід ШІ тут повинен бути оточений процесами безпеки (ISO 26262 і SOTIF у наступних блоках).

Датчики: очі, вуха і радар

Стек автономного водіння поєднує в собі різні датчики, оскільки кожен має сильні та слабкі сторони:

• Камера: камера найкраще «бачить» колір, текст (дорожній знак), лінію смуги руху та тип об’єкта. Але це погано вночі, туман, сильні сонячні відблиски та оцінка відстані.
• Радар (радіовиявлення та визначення дальності): вимірювання відстані та швидкості за допомогою радіохвиль. Він менше піддається впливу дощу/туману та безпосередньо вимірює швидкість (з ефектом Доплера); але його роздільна здатність низька, що ускладнює розрізнення "це пішохід чи коробка?"
• LiDAR (Light Detection and Ranging): стріляє лазером і створює точне тривимірне «хмара точок» навколишнього середовища; Дуже добре надає відстань і форму. Але це дорого, і на нього може вплинути сильний туман/дощ.
• Ультразвуковий: малого радіусу дії, як датчики паркування.

Оскільки жоден сам по собі недостатній, виконується об’єднання датчиків: об’єднуючи дані різних датчиків, слабкість кожного компенсується потужністю іншого. Наприклад, камера каже «пішохід», радар каже «на 12 метрах, наближається до 5 км/год»; Fusion поєднує обидва й створює надійну колію.

Порада: під час оцінки заяви про виявлення, «який датчик може це бачити і наскільки добре?» запитати. Якщо оцінка відстані камерою вночі погана, рішення про відстань на основі однієї камери є сумнівним.

Ланцюг виявлення

Типовий ланцюжок від необроблених даних сенсора до прийняття рішення виглядає так:

1. Виявлення: пошук об’єктів на зображенні/хмарі точок («тут є інструмент»).
2. Класифікація: Визначення типу об’єкта (пішохід, велосипед, транспортний засіб, знак).
3. Відстеження: стеження за об’єктом між кадрами, оцінка його швидкості та напрямку.
4. Fusion: поєднання датчиків для створення узгодженої моделі світу.
5. Передбачення: «Чи переходитиме цей пішохід вулицю?»
6. Планування та контроль: прийняття рішень і керування кермом/гальмом/акселератором.

Штучний інтелект (особливо глибоке навчання) 1-3. дуже сильний в кроках; 5-6. Сходи все частіше оточені інженерними правилами та логікою безпеки.

Рівні автоматизації SAE

Автономія – це не «так/ні», це поступово. Стандарт SAE J3016 визначає шість рівнів:

Рівень

Ім'я

Хто за кермом?

приклад

0

Без автоматизації

все драйв

Лише попередження (попередження про сліпу зону)

1

Підтримка драйверів

драйвер + одна опора

Адаптивний круїз АБО утримання в смузі руху

2

Часткова автоматизація

Водій (постійний нагляд)

Швидкість + смуга разом, водій відповідальний

3

Умовна автоматизація

Система (за певних умов)

За певних умов, коли система працює, драйвер готовий взяти на себе керування

4

висока автоматизація

Система (у певній області)

Без водія у визначеній зоні

5

Повна автоматизація

Система (в будь-яких умовах)

Скрізь без водія (ще ні)

Застереження: найнебезпечнішим непорозумінням є Рівень 2. На Рівні 2 автомобіль підтримує кермування та швидкість, але водій зберігає постійний нагляд і відповідальність. Помилкове сприйняття системи як «автопілота» та відсутність уваги призвело до смертельних аварій. Рівень 2 не означає «без водія».

Показники оцінки: хибнопозитивні та хибнонегативні

Два типи помилок є критичними під час оцінки моделі виявлення:

• Хибний позитивний результат: думати, що є щось, чого не існує. Наприклад, думати, що тінь мосту є «перешкодою» і гальмувати без потреби. Тривожно та іноді небезпечно (зіткнення ззаду).
• Помилково негативний (хибний негативний результат / промах): Неможливість побачити те, що існує. Наприклад, не побачити справжнього пішохода. Це найстрашніша помилка автономного водіння.

Показники, які узагальнюють це:

• Точність: скільки з того, що ви позначили, є правильним.
• Пригадування (чутливість): скільки з того, що насправді існує, ви вловили.
• mAP (середня точність): загальна складена метрика для виявлення об’єктів.

Відкликання (не пропустити жодного пішохода) є життєво важливим у таких питаннях, як виявлення пішоходів під час автономного водіння; Збільшення цього іноді збільшує хибно-позитивний результат. Цей компроміс є рішенням техніки безпеки, а не чистою точністю моделі.

Крайові корпуси та довгий хвіст

Найскладніша частина автономного водіння — це не звичайні ситуації, а рідкісні та дивні: знак, який наполовину видно під снігом, перевернута вантажівка, одягнений пішохід, меблі, що впали на дорогу. Ці рідкісні, але небезпечні ситуації називаються довгим хвостом. Хоча модель може бути ідеальною для мільйонів «нормальних» миль, вона може вийти з ладу в екстремальних ситуаціях, яких вона ніколи раніше не бачала. Ось чому тестування на основі сценаріїв, моделювання та перевірка в реальному світі нескінченні.

Міні кейси

Випадок 1 - Значення злиття. Випробовуючи автоматичне екстрене гальмування, команда ADAS виявила, що на яскравому сонці попереду темного транспортного засобу повільно помітити лише за допомогою камери. Коли додаються дані радара (на радар не впливає відблиск), система виявляє транспортний засіб на 0,4 секунди раніше; Це означає гальмівний шлях приблизно 10 метрів при 90 км/год. Результат: Fusion закрив сліпу зону з одним сенсором.

Випадок 2 - Відкликання/точний баланс. Коли поріг моделі виявлення пішоходів знижується, запам'ятовування збільшується з 96% до 99%, але помилкові спрацьовування (тінь, кущі) збільшуються, що призводить до непотрібного гальмування. Команда безпеки приймає рішення: уникати пішоходів є пріоритетом, але комфорт підтримується шляхом усунення помилкових спрацьовувань за допомогою логіки синтезу та відстеження. Висновок: вибір метрики – це інженерне/безпекове рішення, єдиного «правильного числа» не існує.

Випадок 3 - Граничний випадок сюрприз. Хоча модель була успішною на 99,8% у своєму наборі перевірки, вона сприйняла фотографію гігантського пішохода позаду вантажівки, що везе рекламу зимових шин у полі, за «справжнього пішохода» та раптово загальмувала. Команда додає цей крайовий випадок до бібліотеки сценаріїв і перенавчає модель. Висновок: довгий хвіст ніколи не «закінчується»; Необхідний постійний збір сценаріїв.

шаблони підказок

Шаблон 1 – Створення списку сценаріїв:

Роль: Ви розробник тестових випадків ADAS. Завдання: Створення складних (граничних випадків) тестових сценаріїв для автоматичного екстреного гальмування. Контекст: місто, 30-50 км/год, пішохід і велосипедист. Обмеження: віддавайте пріоритет рідкісним/небезпечним, а не частим сценаріям; напишіть очікувану правильну поведінку для кожного сценарію. Результат: Сценарій | стан | очікувана поведінка | рівень ризику.

Шаблон 2 – Схема посібника з маркування:

Роль: Керівник якості маркування даних. Завдання: Напишіть проект узгоджених правил для маркування пішоходів. Контекст: Є пішоходи, які частково видно, сидять, в інвалідних візках і в групах. Результат: Правило | приклад | таблиця оцінок граничного стану.

Шаблон 3 – Інтерпретація показників:

Посада: експерт з оцінки комп’ютерного зору. Завдання: Інтерпретувати мої результати виявлення пішоходів. Контекст: точність 0,93, відкликання 0,90, більшість промахів вночі або під дощем. Обмеження: підкресліть важливість відкликання для безпеки; Підкажіть, за яких умов потрібна додаткова перевірка. Результат: коментар + пріоритетні напрямки для покращення.

Шаблон 4 – Схема логіки Fusion:

Посада: Ви інженер з синтезу датчиків. Завдання: Запропонуйте проект логіки рішення при конфлікті камери та радара. Контекст: радар бачить невеликий об’єкт, що рухається, на відстані 15 м, а камера каже «пішоходів немає». Обмеження: Застосуйте принцип припущення на користь безпеки (безпечна сторона). Результат: Таблиця рішень + обґрунтування.

Слабка підказка / Сильна підказка

Слабка підказка:

Чи безпечна модель моєї автономної машини?

Без контексту; «безпечний» не визначено; ШІ говорить лише в загальних рисах і може викликати оманливу впевненість.

Потужна підказка:

Роль: Ви консультант з оцінки безпеки ADAS. Завдання: Створіть для мене контрольний список, щоб поставити під сумнів вразливі місця моєї моделі виявлення пішоходів. Контекст: система міського рівня 2; Відкликання падає вночі і під дощем; Є тільки камера + радар, без LiDAR. Обмеження: не оголошуйте «безпечним»; вкажіть, за яких умов система працює на межі своїх можливостей і які додаткові тести потрібні. Результат: зона ризику | чому | рекомендований тест | таблиця важливості.

Поширені помилки

• Рівень 2 прийнято за "без водія". Відповідальність лежить на водієві; Ця помилкова думка є фатальною.
• Покладаючись на один датчик. У кожного датчика є сліпа зона; синтез необхідний.
• Просто дивлячись на середню точність. 99% успіху, 1% пропуску пішохода може бути фатальним; пригадування та крайові випадки є критичними.
• Ігнорування крайніх випадків. Довгий хвіст ніколи не закінчується; Збір сценаріїв безперервний.
• Залишаючи рішення щодо безпеки моделі. Рішення щодо порогів і балансу є відповідальністю інженерів безпеки.

Підсумовуючи

• В основі ADAS і автономного визначення водіння лежить злиття камери, радара, LiDAR і датчиків; Кожен датчик має різні сильні та слабкі сторони.
• Ланцюг виявлення складається з виявлення, класифікації, моніторингу, синтезу, прогнозування та контролю; ШІ сильний на перших кроках.
• Рівень SAE коливається від 0 до 5; На рівні 2 відповідальність лежить на водієві.
• Помилково негативний результат (викрадення пішохода) є найбільш фатальною помилкою; відкликання та крайові випадки мають пріоритет.
• Рішення щодо безпеки є інженерною відповідальністю; Точність моделі – не єдиний критерій.

Аплікаційне завдання

Виберіть функцію ADAS (наприклад, система підтримки смуги руху). (1) Запишіть у таблицю, які датчики підтримують цю функцію та наскільки добре. (2) Згенеруйте 5 крайніх сценаріїв за допомогою шаблону 1 і вкажіть очікувану безпечну поведінку для кожного. (3) Порівняйте результати хибнопозитивних і хибнонегативних для цієї функції. (4) Перелічіть, які незалежні тести необхідні, перш ніж стверджувати, що модель є «безпечною».

контрольний список

• [ ] Я оцінив сильні та слабкі сторони датчиків відповідно до функції.
• [ ] Я також перерахував сценарії кінцевого випадку (довгий хвіст).
• [ ] Я порівнював хибнопозитивні/негативні результати для безпеки.
• [ ] Я взяв до уваги важливість Recall для безпеки.
• [ ] Я уточнив рівень SAE і хто несе відповідальність.
• [ ] Я підготував план незалежного тестування, перш ніж заявити про "безпечність".