Zyski:
- Umiejętność wyjaśnienia roli kamery, radaru, LiDAR i fuzji czujników w łańcuchu detekcji i poziomach automatyzacji SAE
- Możliwość tworzenia etykiet danych, definiowania scenariuszy i metryk oceny na potrzeby wykrywania, klasyfikacji i śledzenia obiektów
- Możliwość krytycznej oceny przypadków brzegowych, salda fałszywie dodatniego/ujemnego i marginesu bezpieczeństwa na wyjściu modelu detekcji
Większość współczesnych pojazdów jest wyposażona w takie funkcje, jak ostrzeganie o opuszczeniu pasa ruchu, automatyczne hamowanie awaryjne lub adaptacyjny tempomat. Wszystko to podlega systemowi ADAS (zaawansowane systemy wspomagania kierowcy). Sercem tych systemów i dalszej autonomicznej jazdy jest percepcja: sposób, w jaki pojazd „widzi” otaczający go świat za pomocą czujników i „rozumie” go za pomocą sztucznej inteligencji. W tej części omówimy łańcuch wykrywania, czujniki, poziomy automatyzacji i najbardziej krytyczną kwestię, czyli granice bezpieczeństwa.
Ostrzeżenie od początku: ten obszar ma kluczowe znaczenie dla bezpieczeństwa. Jeżeli model detekcji nie wykryje pieszego, skutki mogą być śmiertelne. Dlatego też każdy wynik AI musi być tutaj otoczony procesami inżynierii bezpieczeństwa (ISO 26262 i SOTIF w kolejnych jednostkach).
Czujniki: oczy, uszy i radar
Autonomiczny stos napędowy łączy różne czujniki, ponieważ każdy z nich ma mocne i słabe strony:
- Kamera: Kamera najlepiej „widzi” kolor, tekst (znak drogowy), linię pasa ruchu i typ obiektu. Ale w nocy jest słabo, mgła, silne odblaski słońca i szacowanie odległości.
- Radar (wykrywanie i określanie zasięgu radia): mierzy odległość i prędkość za pomocą fal radiowych. Jest mniej wrażliwy na deszcz/mgłę i bezpośrednio mierzy prędkość (z efektem Dopplera); ale jego rozdzielczość jest niska, co utrudnia rozróżnienie „czy to pieszy czy pudełko?”
- LiDAR (wykrywanie i określanie zasięgu światła): Wystrzeliwuje laser i tworzy precyzyjną trójwymiarową „chmurę punktów” otoczenia; Bardzo dobrze nadaje dystans i kształt. Jest to jednak kosztowne i może na niego wpływać silna mgła/deszcz.
- Ultradźwiękowe: Krótki zasięg, jak czujniki parkowania.
Ponieważ żaden z nich sam w sobie nie jest wystarczający, przeprowadzana jest fuzja czujników: łącząc dane z różnych czujników, słabość każdego z nich jest kompensowana siłą drugiego. Na przykład kamera mówi „pieszy”, radar „w odległości 12 metrów, zbliżając się do 5 km/h”; Fusion łączy te dwa elementy i tworzy niezawodny utwór.
Wskazówka: oceniając zgłoszenie wykrycia, „który czujnik może to wykryć i jak dobrze?” zapytać. Jeśli szacunkowa odległość kamery w nocy jest słaba, decyzja o odległości na podstawie pojedynczej kamery może budzić wątpliwości.
Łańcuch wykrywania
Typowy łańcuch od surowych danych z czujnika do decyzji jest następujący:
- Detekcja: Wyszukiwanie obiektów na obrazie/chmurze punktów („tutaj jest narzędzie”).
- Klasyfikacja: Określenie rodzaju obiektu (pieszy, rower, pojazd, znak).
- Śledzenie: podążanie za obiektem pomiędzy klatkami, szacując jego prędkość i kierunek.
- Fuzja: Łączenie czujników w celu stworzenia spójnego modelu świata.
- Prognoza: „Czy ten pieszy przejdzie przez ulicę?”
- Planowanie i kontrola: decyzja i polecenie kierowania/hamowania/przyspieszenia.
Sztuczna inteligencja (zwłaszcza głębokie uczenie) 1-3. bardzo mocne kroki; 5-6. Kroki są w coraz większym stopniu otoczone regułami inżynieryjnymi i logiką bezpieczeństwa.
Poziomy automatyzacji SAE
Autonomia nie jest kwestią „tak/nie”, jest stopniowalna. Norma SAE J3016 definiuje sześć poziomów:
Poziom
Imię
Kto prowadzi?
przykład
0
Brak automatyzacji
wszyscy jeżdżą
Tylko ostrzeżenie (ostrzeżenie o martwym punkcie)
1
Wsparcie kierowcy
sterownik + pojedyncze wsparcie
Adaptacyjny tempomat LUB utrzymywanie pasa ruchu
2
Częściowa automatyzacja
Kierowca (stały nadzór)
Prędkość + pas ruchu razem, odpowiedzialny kierowca
3
Automatyzacja warunkowa
System (pod pewnymi warunkami)
Pod pewnymi warunkami system prowadzi, kierowca jest gotowy do przejęcia kontroli
4
wysoka automatyzacja
System (w określonym obszarze)
Bez kierowcy na określonym obszarze
5
Pełna automatyzacja
System (w każdych warunkach)
Wszędzie bez kierowcy (jeszcze nie)
Uwaga: najniebezpieczniejszym nieporozumieniem jest poziom 2. Na poziomie 2 pojazd wspomaga kierowanie i prędkość, ale kierowca zachowuje stały nadzór i odpowiedzialność. Błędne potraktowanie systemu jako „autopilota” i niezachowanie ostrożności doprowadziło do śmiertelnych wypadków. Poziom 2 nie oznacza „bez kierowcy”.
Metryki oceny: fałszywie pozytywne i fałszywie negatywne
Dwa rodzaje błędów są krytyczne przy ocenie modelu wykrywania:
- Fałszywie pozytywne: myślenie, że istnieje coś, co nie istnieje. Na przykład myślenie, że cień mostu jest „przeszkodą” i niepotrzebne hamowanie. Niepokojące i czasami niebezpieczne (kolizja w tył).
- Fałszywie negatywny (fałszywie negatywny / brak): Niemożność zobaczenia czegoś, co istnieje. Na przykład nie widząc prawdziwego pieszego. To najbardziej śmiercionośny błąd w jeździe autonomicznej.
Metryki, które je podsumowują:
- Precyzja: ile z tego, co zaznaczyłeś, jest rzeczywiście poprawne.
- Przypomnienie (czułość): Ile z tego, co faktycznie istnieje, uchwyciłeś.
- mAP (średnia średnia precyzja): Wspólna miara złożona do wykrywania obiektów.
Przywołanie (nie pominięcie żadnego pieszego) ma kluczowe znaczenie w takich kwestiach, jak wykrywanie pieszych w jeździe autonomicznej; Zwiększanie tego czasami zwiększa liczbę fałszywych alarmów. Ten kompromis jest decyzją inżynierii bezpieczeństwa, a nie czystą dokładnością modelu.
Obudowy krawędziowe i długi ogon
Najtrudniejszą częścią autonomicznej jazdy nie są zwykłe sytuacje, ale te rzadkie i dziwne: znak do połowy widoczny pod śniegiem, odwrócona ciężarówka, pieszy w kostiumie, meble upadłe na drogę. Te rzadkie, ale niebezpieczne sytuacje nazywane są długim ogonem. Chociaż model może być idealny przez miliony „normalnych” mil, może zawieść w ekstremalnej sytuacji, jakiej nigdy wcześniej nie widział. Dlatego testy oparte na scenariuszach, symulacje i weryfikacja w świecie rzeczywistym są nieograniczone.
Mini studia przypadków
Przypadek 1 – Wartość fuzji. Podczas testowania automatycznego hamowania awaryjnego zespół ADAS stwierdził, że dostrzeżenie ciemnego pojazdu przed nim w jasnym słońcu za pomocą samej kamery było powolne. Po dodaniu danych radarowych (odblaski nie wpływają na radar) system wykrywa pojazd 0,4 sekundy wcześniej; Oznacza to drogę hamowania wynoszącą około 10 metrów przy prędkości 90 km/h. Wynik: Fusion zamknął martwy punkt pojedynczego czujnika.
Przypadek 2 – Waga przywoławcza/precyzyjna. Gdy obniżony zostanie próg modelu wykrywania pieszych, przywołanie wzrasta z 96% do 99%, ale wzrasta liczba fałszywych alarmów (cień, krzaki), co prowadzi do niepotrzebnego hamowania. Zespół ds. bezpieczeństwa podejmuje decyzję: unikanie pieszych jest priorytetem, ale komfort jest utrzymywany poprzez eliminację fałszywych alarmów za pomocą logiki fuzji i śledzenia. Wniosek: wybór metryki to decyzja inżynieryjna/bezpieczeństwa, nie ma jednej „poprawnej liczby”.
Przypadek 3 – Niespodzianka w sprawie Edge. Chociaż model przeszedł testy w 99,8%, pomylił zdjęcie gigantycznego pieszego za ciężarówką z reklamą opon zimowych na polu z „prawdziwym pieszym” i nagle zahamował. Zespół dodaje ten przypadek brzegowy do biblioteki scenariuszy i ponownie szkoli model. Wniosek: długi ogon nigdy się „nie kończy”; Wymagane jest ciągłe zbieranie scenariuszy.
szablony podpowiedzi
Szablon 1 – Generowanie listy scenariuszy:
Rola: Jesteś inżynierem przypadków testowych ADAS. Zadanie: Przygotuj trudne (przypadek skrajny) scenariusze testowe automatycznego hamowania awaryjnego. Kontekst: miasto, 30-50 km/h, mieszany pieszy i rowerzysta. Ograniczenie: nadawaj priorytet scenariuszom rzadkim/niebezpiecznym, a nie częstym; zapisz oczekiwane prawidłowe zachowanie dla każdego scenariusza. Wynik: Scenariusz | stan | oczekiwane zachowanie | poziom ryzyka.
Szablon 2 – Zarys przewodnika po etykietowaniu:
Rola: Lider jakości etykietowania danych. Zadanie: Napisz projekt zasad spójności oznakowania dla pieszych. Kontekst: Piesi są częściowo widoczni, siedzą, na wózkach inwalidzkich i w grupach. Wynik: Reguła | przykład | tabela ocen stanu granicznego.
Szablon 3 – Interpretacja metryczna:
Rola: Ekspert ds. oceny wizji komputerowej. Zadanie: Zinterpretuj wyniki wykrywania pieszych. Kontekst: precyzja 0,93, przypominanie 0,90, większość chybień w nocy lub w deszczu. Ograniczenie: Podkreśl znaczenie wycofania produktu dla bezpieczeństwa; Powiedz mi, w jakich warunkach wymagana jest dodatkowa weryfikacja. Wynik: komentarz + priorytetowe obszary wymagające poprawy.
Szablon 4 – Zarys logiki Fusion:
Rola: Jesteś inżynierem zajmującym się syntezą czujników. Zadanie: Zaproponuj projekt logiki decyzyjnej w przypadku konfliktu kamery i radaru. Kontekst: Radar widzi poruszający się mały obiekt z odległości 15 m, a kamera informuje „żadnego pieszego”. Ograniczenie: Zastosuj zasadę założenia na korzyść bezpieczeństwa (bezpieczna strona). Wynik: tabela decyzyjna + uzasadnienie.
Słaba zachęta/silna zachęta
Słaba zachęta:
Czy mój model pojazdu autonomicznego jest bezpieczny?
Bez kontekstu; „bezpieczny” jest nieokreślony; Sztuczna inteligencja wypowiada się wyłącznie ogólnie i może dawać mylącą pewność.
Potężny monit:
Rola: Jesteś konsultantem ds. oceny bezpieczeństwa ADAS. Zadanie: Utwórz dla mnie listę kontrolną, w której będę mógł sprawdzić luki w zabezpieczeniach mojego modelu wykrywania pieszych. Kontekst: system miejski poziomu 2; Przypomnijmy, spada w nocy i podczas deszczu; Jest tylko kamera + radar, nie ma LiDAR-u. Ograniczenie: nie deklaruj „bezpieczne”; określić, w jakich warunkach system osiąga swoje granice i jakie dodatkowe testy są wymagane. Wynik: Obszar ryzyka | dlaczego | zalecane badanie | tabela ważności.
Typowe błędy
- Mylenie poziomu 2 z „bez kierowcy”. Odpowiedzialność spoczywa na kierowcy; To błędne przekonanie jest śmiertelne.
- Poleganie na jednym czujniku. Każdy czujnik ma martwy punkt; fuzja jest niezbędna.
- Patrzę tylko na średnią dokładność. 99% sukcesu, 1% pominięcia pieszego może być śmiertelne; Przypadki wycofania i Edge są krytyczne.
- Ignorowanie skrajnych przypadków. Długi ogon nigdy się nie kończy; Gromadzenie scenariuszy ma charakter ciągły.
- Pozostawienie decyzji dotyczącej bezpieczeństwa modelowi. Decyzje dotyczące progów i równowagi są obowiązkiem inżynierów bezpieczeństwa.
Podsumowując
- Sercem ADAS i autonomicznego wykrywania jazdy jest połączenie kamery, radaru, LiDAR i czujników; Każdy czujnik ma inne mocne/słabe strony.
- Łańcuch wykrywania składa się z wykrywania, klasyfikacji, monitorowania, fuzji, przewidywania i kontroli; AI jest silna już w pierwszych krokach.
- Poziomy SAE wahają się od 0 do 5; Na poziomie 2 odpowiedzialność spoczywa na kierowcy.
- Fałszywie negatywny wynik (porwanie przez pieszego) jest najbardziej krytycznym błędem; Przypadki wycofania i Edge mają pierwszeństwo.
- Decyzje dotyczące bezpieczeństwa są odpowiedzialnością inżynierską; Dokładność modelu nie jest jedynym kryterium.
Zadanie aplikacji
Wybierz funkcję ADAS (np. asystent pasa ruchu). (1) Zapisz w tabeli, które czujniki obsługują tę funkcję i jak dobrze. (2) Wygeneruj 5 scenariuszy skrajnych przypadków za pomocą Szablonu 1 i określ oczekiwane bezpieczne zachowanie dla każdego z nich. (3) Porównaj wyniki fałszywie dodatnie i fałszywie ujemne dla tej funkcji. (4) Wymień, jakie niezależne testy są wymagane, zanim będziesz mógł stwierdzić, że model jest „bezpieczny”.
lista kontrolna
- [ ] Oceniłem mocne i słabe strony czujników w zależności od ich funkcji.
- [ ] Podałem także scenariusze końcowe (długi ogon).
- [ ] Porównałem wyniki fałszywie dodatnie/ujemne pod kątem bezpieczeństwa.
- [ ] Wziąłem pod uwagę krytyczne znaczenie Recall dla bezpieczeństwa.
- [ ] Wyjaśniłem, jaki jest poziom SAE i kto jest za to odpowiedzialny.
- [ ] Przygotowałem niezależny plan testów, zanim stwierdziłem, że jest „bezpieczny”.