ADAS i autonomna vožnja: osnove senzora

Dobici:

• Sposobnost objašnjenja uloge kamere, radara, LiDAR-a i spajanja senzora u lancu detekcije i SAE razinama automatizacije
• Sposobnost stvaranja označavanja podataka, definicije scenarija i metrike procjene za otkrivanje, klasifikaciju i praćenje objekata
• Sposobnost kritičke procjene rubnih slučajeva, lažno pozitivne/negativne ravnoteže i granice sigurnosti u izlazu modela detekcije

Većina današnjih vozila ima značajke poput upozorenja o napuštanju trake, automatskog kočenja u nuždi ili adaptivnog tempomata. Sve su to pod okriljem ADAS (Advanced Driver Assistance Systems). U središtu ovih sustava i daljnje autonomne vožnje je percepcija: način na koji vozilo "vidi" svijet oko sebe senzorima i "razumije" ga pomoću umjetne inteligencije. U ovoj jedinici pokrit ćemo lanac detekcije, senzore, razine automatizacije i najkritičnije pitanje, sigurnosne granice.

Upozorenje od početka: Ovo područje je sigurnosno kritično. Ako model detekcije ne detektira pješaka, rezultat može biti koban. Zato svaki izlaz umjetne inteligencije ovdje mora biti okružen procesima sigurnosnog inženjeringa (ISO 26262 i SOTIF u sljedećim jedinicama).

Senzori: oči, uši i radar

Stog autonomne vožnje kombinira različite senzore jer svaki ima prednosti i slabosti:

• Kamera: Kamera najbolje "vidi" boju, tekst (prometni znak), liniju trake i vrstu objekta. Ali noću je loš, magla, jako sunce i procjena udaljenosti.
• Radar (radio otkrivanje i domet): Mjeri udaljenost i brzinu pomoću radiovalova. Na njega manje utječe kiša/magla i izravno mjeri brzinu (s Dopplerovim efektom); ali njegova je razlučivost niska, što otežava razlikovanje "je li ovo pješak ili kutija?"
• LiDAR (Light Detection and Ranging): Ispaljuje laser i proizvodi precizan trodimenzionalni "oblak točaka" okoline; Vrlo dobro daje udaljenost i oblik. Ali skupo je i na njega može utjecati jaka magla/kiša.
• Ultrazvučno: kratkog dometa, poput senzora za parkiranje.

Budući da niti jedan nije dovoljan sam po sebi, provodi se spajanje senzora: kombiniranjem podataka različitih senzora, slabost svakog kompenzira se snagom drugog. Na primjer, kamera kaže "pješak", radar kaže "na 12 metara, približava se 5 km/h"; Fusion kombinira to dvoje i stvara pouzdanu stazu.

Savjet: Kada procjenjujete tvrdnju o otkrivanju, "koji senzor to može vidjeti i koliko dobro?" pitati. Ako je procjena udaljenosti kamere noću loša, upitna je odluka o udaljenosti temeljena na jednoj kameri.

Lanac detekcije

Tipični lanac od neobrađenih senzorskih podataka do odluke je sljedeći:

1. Detekcija: Pronalaženje objekata na slici/oblaku točaka ("ovdje je alat").
2. Klasifikacija: Određivanje vrste objekta (pješak, bicikl, vozilo, znak).
3. Praćenje: Praćenje objekta između okvira, procjena njegove brzine i smjera.
4. Fuzija: Kombiniranje senzora za stvaranje dosljednog modela svijeta.
5. Predviđanje: "Hoće li ovaj pješak prijeći ulicu?"
6. Planiranje i kontrola: Odluka i naredba za upravljanje/kočenje/gas.

Umjetna inteligencija (osobito duboko učenje) 1-3. vrlo jak u koracima; 5-6. Koraci su sve više okruženi inženjerskim pravilima i sigurnosnom logikom.

SAE razine automatizacije

Autonomija nije "da/ne" stvar, ona je postupna. Standard SAE J3016 definira šest razina:

Razina

Ime

Tko vozi?

primjer

0

Nema automatizacije

svi voziti

Samo upozorenje (upozorenje na mrtvi kut)

1

Podrška vozaču

vozač + pojedinačna podrška

Prilagodljivo krstarenje ILI zadržavanje trake

2

Djelomična automatizacija

Vozač (stalni nadzor)

Brzina + traka zajedno, vozač odgovoran

3

Uvjetna automatizacija

Sustav (pod određenim uvjetima)

Pod određenim uvjetima koje sustav pokreće, vozač je spreman preuzeti

4

visoka automatizacija

Sustav (u određenom području)

Bez vozača u definiranom području

5

Potpuna automatizacija

Sustav (u svim uvjetima)

Posvuda bez vozača (još ne)

Oprez: Najopasniji nesporazum je Razina 2. U Razini 2, vozilo podržava upravljanje i brzinu, ali vozač zadržava stalni nadzor i odgovornost. Zamjena sustava kao "autopilota" i neobraćanje pažnje doveli su do smrtonosnih nesreća. Razina 2 ne znači "bez vozača".

Mjere evaluacije: lažno pozitivne i lažno negativne

Dvije su vrste pogrešaka kritične pri procjeni modela detekcije:

• Lažno pozitivno: Misljenje da postoji nešto što ne postoji. Na primjer, misliti da je sjena mosta "prepreka" i nepotrebno kočiti. Uznemirujuće i ponekad opasno (sudar straga).
• Lažno negativan (lažno negativan / promašen): Nemogućnost vidjeti nešto što postoji. Na primjer, ne vidjeti pravog pješaka. Ovo je najsmrtonosnija greška u autonomnoj vožnji.

Mjerni podaci koji ovo sažimaju:

• Preciznost: Koliko je od onoga što ste označili zapravo točno.
• Prisjetite se (osjetljivost): Koliko ste uhvatili onoga što stvarno postoji.
• mAP (srednja prosječna preciznost): Uobičajena složena metrika za otkrivanje objekata.

Prisjećanje (nepropuštanje nijednog pješaka) ključno je u stvarima kao što je detekcija pješaka u autonomnoj vožnji; Povećanje ovoga ponekad povećava lažno pozitivno. Ovaj kompromis je odluka sigurnosnog inženjeringa, a ne čista točnost modela.

Edge kućišta i dugi rep

Najteži dio autonomne vožnje nisu uobičajene situacije, već one rijetke i čudne: znak napola vidljiv ispod snijega, naopako okrenut kamion, kostimirani pješak, namještaj pao na cestu. Ove rijetke, ali opasne situacije nazivaju se long tail. Iako model može biti savršen za milijune "normalnih" kilometara, može zakazati u ekstremnoj situaciji kakvu nikada prije nije vidio. Zato su testiranja temeljena na scenarijima, simulacija i provjera valjanosti u stvarnom svijetu beskrajna.

Mini studije slučaja

Slučaj 1 - Vrijednost fuzije. Tijekom testiranja automatskog kočenja u nuždi, tim ADAS-a otkrio je da je sporo uočiti vozilo tamne boje ispred sebe na jakom suncu samo pomoću kamere. Kada se dodaju radarski podaci (na radar ne utječe bliještanje) sustav detektira vozilo 0,4 sekunde ranije; To znači put kočenja od približno 10 metara pri 90 km/h. Rezultat: Fusion je zatvorio mrtvu točku jednog senzora.

Slučaj 2 - Prisjećanje/precizna vaga. Kada se spusti prag modela detekcije pješaka, prisjećanje se povećava sa 96% na 99%, ali se povećavaju lažni pozitivni rezultati (sjena, grmlje), što dovodi do nepotrebnog kočenja. Sigurnosni tim donosi odluku: izbjegavanje pješaka je prioritet, ali udobnost se održava eliminacijom lažno pozitivnih rezultata pomoću fuzije i logike praćenja. Zaključak: odabir metrike je inženjerska/sigurnosna odluka, ne postoji jedan "točan broj".

Slučaj 3 - Edge case iznenađenje. Dok je model bio 99,8% uspješan u svom setu validacije, pogrešno je zamijenio fotografiju divovskog pješaka iza kamiona koji nosi reklamu za snježne gume na terenu za "pravog pješaka" i naglo zakočio. Tim dodaje ovaj rubni slučaj u biblioteku scenarija i ponovno obučava model. Zaključak: Dugi rep nikad ne "kraja"; Potrebno je stalno prikupljanje scenarija.

promptni predlošci

Predložak 1 - Generiranje popisa scenarija:

Uloga: Vi ste ADAS inženjer testnog slučaja. Zadatak: Izradite izazovne (rubni slučaj) testne scenarije za automatsko kočenje u nuždi. Kontekst: Urbano, 30-50 km/h, mješoviti pješak i biciklist. Ograničenje: Dajte prednost rijetkim/opasnim, a ne čestim scenarijima; napišite očekivano ispravno ponašanje za svaki scenarij.Izlaz: Scenarij | stanje | očekivano ponašanje | razina rizika.

Predložak 2 - pregled vodiča za označavanje:

Uloga: Voditelj kvalitete označavanja podataka. Zadatak: Napišite nacrt pravila dosljednosti za označavanje pješaka. Kontekst: Pješaci su djelomično vidljivi, sjede, u invalidskim kolicima i u skupinama. Izlaz: Pravilo | primjer | tablica graničnog stanja.

Predložak 3 - metrička interpretacija:

Uloga: Stručnjak za procjenu računalnog vida. Zadatak: Protumačite moje rezultate otkrivanja pješaka. Kontekst: preciznost 0,93, opoziv 0,90, većina promašaja noću ili po kiši. Ograničenje: Naglasite važnost opoziva za sigurnost; Reci mi pod kojim je uvjetima potrebna dodatna provjera. Rezultat: Komentar + prioritetna područja za poboljšanje.

Predložak 4 - Pregled logike fuzije:

Uloga: Vi ste inženjer za fuziju senzora. Zadatak: Predložite nacrt logike odluke kada se kamera i radar sukobe. Kontekst: Radar vidi pokretni mali objekt na 15 m dok kamera kaže 'bez pješaka'. Ograničenje: Primijenite načelo pretpostavke u korist sigurnosti (sigurna strana). Ishod: Tablica odluka + obrazloženje.

Slab upit / Jak upit

Slab upit:

Je li moj model autonomnog vozila siguran?

Bez konteksta; "siguran" je nedefiniran; AI govori samo općenito i može dati obmanjujuće povjerenje.

Snažan upit:

Uloga: Vi ste ADAS konzultant za procjenu sigurnosti. Zadatak: Napravite popis za provjeru za ispitivanje ranjivosti mog modela detekcije pješaka. Kontekst: sustav urbane razine 2; Opoziv pada noću i po kiši; Postoji samo kamera + radar, nema LiDAR-a. Ograničenje: Ne proglašavajte 'sigurnim'; navedite pod kojim uvjetima je sustav na svom limitu i koja su dodatna testiranja potrebna. Izlaz: Rizično područje | zašto | preporučeni test | tablica važnosti.

Uobičajene greške

• Zamjena razine 2 za "bez vozača". Odgovornost leži na vozaču; Ova zabluda je kobna.
• Oslanjanje na jedan senzor. Svaki senzor ima mrtvi kut; fuzija je bitna.
• Samo gledajući prosječnu točnost. 99% uspjeha, 1% propuštenog pješaka može biti kobno; prisjećanje i rubni slučajevi su kritični.
• Ignoriranje ekstremnih slučajeva. Dugi rep nikad kraja; Prikupljanje scenarija je kontinuirano.
• Prepuštanje odluke o sigurnosti modelu. Odluke o pragu i ravnoteži odgovornost su sigurnosnog inženjeringa.

Ukratko

• U središtu ADAS-a i detektiranja autonomne vožnje je fuzija kamere, radara, LiDAR-a i senzora; Svaki senzor ima različite prednosti/slabosti.
• Lanac detekcije sastoji se od detekcije, klasifikacije, praćenja, fuzije, predviđanja i kontrole; AI je jak u prvim koracima.
• Razine SAE kreću se od 0 do 5; U razini 2, odgovornost leži na vozaču.
• Lažno negativan (otmica pješaka) najkobnija je pogreška; opoziv i rubni slučajevi imaju prioritet.
• Sigurnosne odluke su inženjerska odgovornost; Točnost modela nije jedini kriterij.

Zadatak aplikacije

Odaberite ADAS funkciju (npr. pomoć pri održavanju trake). (1) Upišite u tablicu koji senzori podržavaju ovu funkciju i koliko dobro. (2) Generirajte 5 rubnih scenarija s predloškom 1 i navedite očekivano sigurno ponašanje za svaki. (3) Usporedite lažno pozitivne i lažno negativne rezultate za ovu funkciju. (4) Navedite koja su neovisna testiranja potrebna prije tvrdnje da je model "siguran".

popis za provjeru

• [ ] Procijenio sam prednosti/slabosti senzora prema funkciji.
• [ ] Također sam naveo scenarije krajnjeg slučaja (dugi rep).
• [ ] Usporedio sam lažno pozitivne/negativne rezultate radi sigurnosti.
• [ ] Uzeo sam u obzir sigurnosno kritičnu važnost opoziva.
• [ ] Pojasnio sam SAE razinu i tko je odgovoran.
• [ ] Pripremio sam neovisni plan testiranja prije nego što sam tvrdio da je "siguran".