ADAS i autonomna vožnja: osnove senzora

Dobici:

• Sposobnost objašnjavanja uloga kamere, radara, LiDAR-a i fuzije senzora u lancu detekcije i nivoima automatizacije SAE
• Sposobnost kreiranja označavanja podataka, definicije scenarija i metrike evaluacije za otkrivanje, klasifikaciju i praćenje objekata
• Sposobnost kritičke procjene rubnih slučajeva, lažno pozitivnog/negativnog balansa i margine sigurnosti u izlazu modela detekcije

Većina današnjih vozila ima funkcije kao što su upozorenje o napuštanju trake, automatsko kočenje u nuždi ili prilagodljivi tempomat. Sve su to pod okriljem ADAS-a (Napredni sistemi za pomoć vozaču). At the heart of these systems and further autonomous driving is perception: the way the vehicle "sees" the world around it with sensors and "understands" it with artificial intelligence. U ovoj jedinici ćemo pokriti lanac detekcije, senzore, nivoe automatizacije i najkritičnije pitanje, sigurnosne granice.

Upozorenje od početka: Ovo područje je sigurnosno kritično. Ako model detekcije ne otkrije pješaka, rezultat može biti fatalan. Zato svaki AI izlaz ovdje mora biti okružen procesima sigurnosnog inženjeringa (ISO 26262 i SOTIF u sljedećim jedinicama).

Senzori: oči, uši i radar

Sistem za autonomnu vožnju kombinuje različite senzore jer svaki ima prednosti i nedostatke:

• Kamera: Kamera najbolje "vidi" boju, tekst (saobraćajni znak), liniju trake i vrstu objekta. Ali noću je slabo, magla, jak odsjaj sunca i procjena udaljenosti.
• Radar (Radio Detection and Ranging): Mjeri udaljenost i brzinu pomoću radio valova. Manje je pod uticajem kiše/magle i direktno meri brzinu (sa Doplerovim efektom); ali njegova rezolucija je niska, pa je teško razlikovati "je li ovo pješak ili kutija?"
• LiDAR (detekcija i domet svjetlosti): puca laserom i proizvodi precizan trodimenzionalni "oblak tačaka" okoline; Vrlo dobro daje distancu i oblik. Ali to je skupo i na njega može uticati jaka magla/kiša.
• Ultrazvučni: Kratki domet, poput parking senzora.

Since neither is sufficient on its own, sensor fusion is performed: by combining the data of different sensors, the weakness of each is compensated for by the strength of the other. Na primjer, kamera kaže "pješak", radar kaže "na 12 metara, približava se 5 km/h"; Fusion kombinuje to dvoje i stvara pouzdanu stazu.

Savjet: Prilikom procjene tvrdnje o detekciji, "koji senzor to može vidjeti i koliko dobro?" pitaj. Ako je procjena udaljenosti kamere noću loša, odluka o udaljenosti zasnovana na jednoj kameri je upitna.

Lanac detekcije

Tipični lanac od neobrađenih podataka senzora do odluke je sljedeći:

1. Detekcija: Pronalaženje objekata na slici/oblaku tačaka („ovdje postoji alat“).
2. Klasifikacija: Određivanje vrste objekta (pješak, bicikl, vozilo, znak).
3. Praćenje: Praćenje objekta između kadrova, procjena njegove brzine i smjera.
4. Fuzija: Kombinacija senzora za stvaranje dosljednog modela svijeta.
5. Predviđanje: "Hoće li ovaj pješak preći ulicu?"
6. Planiranje i kontrola: Odluka i naredba za upravljanje/kočnicu/akcelerator.

Umjetna inteligencija (posebno duboko učenje) 1-3. vrlo jak u koracima; 5-6. Koraci su sve više okruženi inženjerskim pravilima i sigurnosnom logikom.

SAE nivoi automatizacije

Autonomija nije stvar "da/ne", ona je postepena. Standard SAE J3016 definiše šest nivoa:

Nivo

Ime

ko vozi?

primjer

0

Nema automatizacije

svi voze

Samo upozorenje (upozorenje na mrtvu tačku)

1

Podrška za vozače

drajver + pojedinačna podrška

Adaptive cruise OR lane keeping

2

Djelomična automatizacija

Driver (constant supervision)

Brzina + traka zajedno, vozač odgovoran

3

Uslovna automatizacija

System (under certain condition)

Pod određenim uslovima sistem radi, vozač je spreman za preuzimanje

4

visoka automatizacija

Sistem (u određenom području)

Bez vozača u definisanom području

5

Potpuna automatizacija

Sistem (u svim uslovima)

Driverless everywhere (not yet)

Oprez: Najopasniji nesporazum je nivo 2. U nivou 2, vozilo podržava upravljanje i brzinu, ali vozač zadržava stalni nadzor i odgovornost. Greška sistema kao "autopilot" i ne obraćanje pažnje dovelo je do fatalnih nesreća. Level 2 does not mean "driverless".

metrika evaluacije: lažno pozitivna i lažno negativna

Dvije vrste grešaka su kritične kada se procjenjuje model detekcije:

• Lažno pozitivno: Mislite da postoji nešto što ne postoji. Na primjer, misleći da je sjena mosta "prepreka" i nepotrebno kočenje. Uznemirujuće i ponekad opasno (sudar od pozadi).
• Lažno negativan (lažno negativan/promašaj): Nemogućnost da se vidi nešto što postoji. Na primjer, ne vidjeti pravog pješaka. Ovo je najsmrtonosnija greška u autonomnoj vožnji.

metrika koja ovo sumira:

• Preciznost: Koliko je od onoga što ste označili zapravo tačno.
• Prisjetite se (osjetljivost): Koliko od onoga što stvarno postoji ste uhvatili.
• mAP (srednja prosečna preciznost): Uobičajena kompozitna metrika za detekciju objekata.

Opoziv (ne propustiti nijednog pješaka) je od vitalnog značaja u pitanjima kao što je otkrivanje pješaka u autonomnoj vožnji; Povećanje ovog ponekad povećava lažno pozitivan rezultat. Ovaj kompromis je odluka sigurnosnog inženjeringa, a ne čista tačnost modela.

Rubna kućišta i dugi rep

Najteži dio autonomne vožnje nisu uobičajene situacije, već one rijetke i čudne: znak napola vidljiv pod snijegom, prevrnuti kamion, kostimirani pješak, namještaj pao na cestu. Ove rijetke, ali opasne situacije nazivaju se dugim repom. Iako model može biti savršen za milione "normalnih" milja, može pokvariti u ekstremnoj situaciji kakvu nikada ranije nije vidio. Zato su testiranje zasnovano na scenarijima, simulacija i validacija u stvarnom svijetu beskrajni.

Mini studije slučaja

Case 1 - The value of fusion. Dok je testirao automatsko kočenje u slučaju nužde, tim ADAS-a je otkrio da je samo kamerom sporo uočio vozilo tamne boje ispred sebe na jakom suncu. Kada se dodaju radarski podaci (na radar ne utiče odsjaj) sistem detektuje vozilo 0,4 sekunde ranije; To znači kočni put od oko 10 metara pri 90 km/h. Rezultat: Fusion je zatvorio mrtvu tačku jednog senzora.

Case 2 - Recall/precision balance. Kada se spusti prag modela detekcije pješaka, opoziv se povećava sa 96% na 99%, ali se povećavaju lažni pozitivni rezultati (sjena, žbunje), što dovodi do nepotrebnog kočenja. Sigurnosni tim donosi odluku: izbjegavanje pješaka je prioritet, ali udobnost se održava eliminacijom lažnih pozitivnih rezultata pomoću fuzije i logike praćenja. Zaključak: Izbor metrike je inženjerska/sigurnosna odluka, ne postoji jedinstven "tačan broj".

Case 3 - Edge case surprise. Dok je model bio 99,8% uspješan u svom kompletu za provjeru valjanosti, zamijenio je fotografiju ogromnog pješaka iza kamiona koji nosi reklamu za gume za snijeg na terenu za "pravog pješaka" i iznenada je zakočio. Tim dodaje ovaj rubni slučaj biblioteci scenarija i ponovo obučava model. Conclusion: The long tail never "ends"; Constant scenario collection is required.

prompt templates

Template 1 - Generating a scenario list:

Uloga: Vi ste inženjer ADAS test slučaja. Zadatak: Izraditi izazovne scenarije testiranja za automatsko kočenje u slučaju nužde. Kontekst: Urbano, 30-50 km/h, mješovito pješak i biciklista. Ograničenje: Dajte prioritet rijetkim/opasnim scenarijima, a ne čestim; napišite očekivano ispravno ponašanje za svaki scenarij. Izlaz: Scenarij | stanje | očekivano ponašanje | nivo rizika.

Šablon 2 - Pregled vodiča za označavanje:

Uloga: Voditelj kvaliteta označavanja podataka. Zadatak: Napisati nacrt pravila konzistentnosti za označavanje pješaka. Kontekst: Pješaci su djelimično vidljivi, sjede, u invalidskim kolicima i u grupama. Ishod: Pravilo | primjer | tabela graničnog stanja.

Šablon 3 - metričko tumačenje:

Uloga: Stručnjak za evaluaciju kompjuterskog vida. Task: Interpret my pedestrian detection results. Kontekst: preciznost 0,93, opoziv 0,90, većina promašaja noću ili po kiši. Ograničenje: Naglasite važnost opoziva za sigurnost; Recite mi pod kojim uslovima je potrebna dodatna verifikacija. Rezultat: Komentar + prioritetne oblasti za poboljšanje.

Predložak 4 - Nacrt logike fuzije:

Uloga: Vi ste inženjer fuzije senzora. Zadatak: Predložite nacrt logike odluke kada se kamera i radar sukobe. Kontekst: Radar vidi pokretni mali objekat na 15 m dok kamera kaže 'nema pješaka'. Ograničenje: Primijenite princip pretpostavke u korist sigurnosti (sigurna strana). Ishod: Tabela odluka + obrazloženje.

Slaba prompt / Jaka prompt

Slab upit:

Da li je moj autonomni model vozila siguran?

Bez konteksta; "sigurno" je nedefinisano; AI govori samo općenito i može dati pogrešnu sigurnost.

Snažan upit:

Uloga: Vi ste konsultant za procjenu sigurnosti ADAS-a. Zadatak: Napravite kontrolnu listu za mene da ispitam ranjivosti mog modela detekcije pješaka. Kontekst: Urban nivo 2 sistem; Prisjetite se pada noću i po kiši; Postoji samo kamera + radar, nema LiDAR-a. Constraint: Do not declare 'safe'; navedite pod kojim uslovima je sistem na svom limitu i koja dodatna testiranja su potrebna. Izlaz: Područje rizika | zašto | preporučeni test | tabela važnosti.

Uobičajene greške

• Pogrešio nivo 2 za "bez vozača". Odgovornost je na vozaču; This misconception is fatal.
• Relying on a single sensor. Every sensor has a blind spot; fuzija je neophodna.
• Gledajući samo prosečnu tačnost. 99% uspjeha, 1% propuštenog pješaka može biti fatalno; opoziv i rubni slučajevi su kritični.
• Ignorisanje ekstremnih slučajeva. Dugi rep nikada ne prestaje; Prikupljanje scenarija je kontinuirano.
• Odluku o sigurnosti ostavljamo modelu. Odluke o pragu i balansu odgovornost su sigurnosnog inženjeringa.

Ukratko

• U srcu ADAS-a i autonomne vožnje je fuzija kamere, radara, LiDAR-a i senzora; Svaki senzor ima različite prednosti/slabosti.
• Lanac detekcije se sastoji od detekcije, klasifikacije, praćenja, fuzije, predviđanja i kontrole; AI je jak u prvim koracima.
• SAE nivoi se kreću od 0 do 5; U nivou 2, odgovornost je na vozaču.
• Lažno negativna (otmica pješaka) je najfatalnija greška; opoziv i rubni slučajevi imaju prioritet.
• Sigurnosne odluke su inženjerska odgovornost; Tačnost modela nije jedini kriterij.

Zadatak aplikacije

Odaberite ADAS funkciju (npr. pomoć pri zadržavanju trake). (1) Napišite u tablicu koji senzori podržavaju ovu funkciju i koliko dobro. (2) Generirajte 5 scenarija rubnih slučajeva s predloškom 1 i specificirajte očekivano sigurno ponašanje za svaki. (3) Uporedite rezultate lažno pozitivnih i lažno negativnih za ovu funkciju. (4) Navedite koja su nezavisna testiranja potrebna prije nego što se tvrdi da je model "siguran".

kontrolna lista

• [ ] Procijenio sam prednosti/slabosti senzora prema funkciji.
• [ ] Također sam naveo scenarije krajnjeg slučaja (dugi rep).
• [ ] Uporedio sam lažno pozitivne/negativne rezultate radi sigurnosti.
• [ ] Uzeo sam u obzir bezbednosno kritičnu važnost opoziva.
• [ ] Pojasnio sam nivo SAE i ko je odgovoran.
• [ ] Pripremio sam nezavisni plan testiranja prije nego što sam rekao da je "siguran".