ADAS un autonomā braukšana: Sensing Fundamentals

Ieguvumi:

• Spēja izskaidrot kameras, radara, LiDAR un sensoru saplūšanas lomu noteikšanas ķēdē un SAE automatizācijas līmeņos
• Spēja izveidot datu marķēšanu, scenāriju definēšanas un novērtēšanas metriku objektu noteikšanai, klasifikācijai un izsekošana
• Spēja kritiski novērtēt malas gadījumus, viltus pozitīvo/negatīvo līdzsvaru un drošības rezervi noteikšanas modeļa izvadē

Lielākajai daļai transportlīdzekļu mūsdienās ir tādas funkcijas kā joslas novirzīšanas brīdinājums, automātiska avārijas bremzēšana vai adaptīvā kruīza kontrole. Tās visas atrodas ADAS (Advanced Driver Assistance Systems) paspārnē. Šo sistēmu un turpmākās autonomās braukšanas pamatā ir uztvere: veids, kā transportlīdzeklis "redz" apkārtējo pasauli ar sensoriem un "saprot" to ar mākslīgo intelektu. Šajā nodaļā mēs apskatīsim noteikšanas ķēdi, sensorus, automatizācijas līmeņus un vissvarīgāko jautājumu – drošības robežas.

Brīdinājums no paša sākuma: šī joma ir svarīga drošībai. Ja noteikšanas modelis nekonstatē gājēju, rezultāts var būt letāls. Tāpēc katrai AI izvadei šeit ir jābūt drošības inženierijas procesiem (ISO 26262 un SOTIF nākamajās vienībās).

Sensori: acis, ausis un radars

Autonomā braukšanas kaudze apvieno dažādus sensorus, jo katram ir stiprās un vājās puses:

• Kamera: kamera vislabāk "redz" krāsu, tekstu (ceļa zīmi), joslu līniju un objekta veidu. Bet naktī ir slikti, migla, spēcīgs saules atspīdums un attāluma novērtējums.
• Radars (Radio noteikšana un diapazona noteikšana): mēra attālumu un ātrumu ar radioviļņiem. To mazāk ietekmē lietus/migla un tieši mēra ātrumu (ar Doplera efektu); bet tā izšķirtspēja ir zema, tāpēc ir grūti atšķirt "tas ir gājējs vai kaste?"
• LiDAR (gaismas noteikšana un diapazona noteikšana): uzņem lāzeru un rada precīzu apkārtnes trīsdimensiju "punktu mākoni"; Tas ļoti labi piešķir attālumu un formu. Bet tas ir dārgi, un to var ietekmēt spēcīga migla/lietus.
• Ultraskaņas: mazs darbības rādiuss, piemēram, parkošanās sensori.

Tā kā ne ar vienu vien nepietiek, tiek veikta sensoru saplūšana: apvienojot dažādu sensoru datus, katra vājums tiek kompensēts ar otra stiprumu. Piemēram, kamera saka "gājējs", radars saka "pie 12 metriem, tuvojas 5 km/h"; Fusion apvieno abus un rada uzticamu sliežu ceļu.

Padoms. Izvērtējot noteikšanas apgalvojumu, "kurš sensors to var redzēt un cik labi?" jautāt. Ja kameras attāluma novērtējums naktī ir slikts, attāluma lēmums, pamatojoties uz vienu kameru, ir apšaubāms.

Atklāšanas ķēde

Tipiskā ķēde no neapstrādātiem sensora datiem līdz lēmumam ir šāda:

1. Atklāšana: objektu atrašana attēlā/punktu mākonī ("šeit ir rīks").
2. Klasifikācija: Objekta veida noteikšana (gājējs, velosipēds, transportlīdzeklis, zīme).
3. Izsekošana: sekot objektam starp kadriem, novērtējot tā ātrumu un virzienu.
4. Fusion: sensoru apvienošana, lai izveidotu konsekventu pasaules modeli.
5. Prognoze: "Vai šis gājējs šķērsos ielu?"
6. Plānošana un kontrole: Lēmums un stūrēšanas/bremzēšanas/akceleratora komanda.

Mākslīgais intelekts (īpaši dziļā mācīšanās) 1.-3. ļoti spēcīgi soļos; 5-6. Šos soļus arvien vairāk ieskauj inženiertehniskie noteikumi un drošības loģika.

SAE automatizācijas līmeņi

Autonomija nav "jā/nē" lieta, tā ir pakāpeniska. SAE J3016 standarts nosaka sešus līmeņus:

Līmenis

Vārds

Kurš brauc?

piemērs

0

Nav automatizācijas

visi brauc

Tikai brīdinājums (aklās zonas brīdinājums)

1

Vadītāja atbalsts

draiveris + viens atbalsts

Adaptīvs kruīzs VAI joslu saglabāšana

2

Daļēja automatizācija

Šoferis (pastāvīga uzraudzība)

Ātrums + josla kopā, vadītājs atbildīgs

3

Nosacīta automatizācija

Sistēma (noteiktos apstākļos)

Noteiktos apstākļos sistēma vada, vadītājs ir gatavs pārņemt vadību

4

augsta automatizācija

Sistēma (noteiktā apgabalā)

Bez vadītāja noteiktā apgabalā

5

Pilnīga automatizācija

Sistēma (visos apstākļos)

Visur bez vadītājiem (vēl ne)

Uzmanību: visbīstamākais pārpratums ir 2. līmenis. 2. līmenī transportlīdzeklis atbalsta stūrēšanu un ātrumu, bet vadītājs saglabā pastāvīgu uzraudzību un atbildību. Sistēmas maldināšana kā "autopilots" un uzmanības nepievēršana ir izraisījusi letālus negadījumus. 2. līmenis nenozīmē "bez vadītāja".

Novērtēšanas metrika: viltus pozitīva un kļūdaini negatīva

Novērtējot noteikšanas modeli, būtiskas ir divu veidu kļūdas:

• Viltus pozitīvs: domā, ka ir kaut kas, kas neeksistē. Piemēram, domājot, ka tilta ēna ir "šķērslis", un nevajadzīgi bremzēt. Satraucoša un dažkārt bīstama (sadursme no aizmugures).
• Viltus negatīvs (viltus negatīvs / nepamanīts): nespēja redzēt kaut ko, kas pastāv. Piemēram, neredzot īstu gājēju. Šī ir nāvējošākā kļūda autonomajā braukšanā.

Metrika, kas apkopo tos:

• Precizitāte: cik daudz no atzīmētā ir patiesība.
• Atsaukt (jutīgums): cik daudz no tā, kas patiesībā pastāv, esat fiksējis.
• mAP (vidējā vidējā precizitāte): kopēja saliktā metrika objektu noteikšanai.

Atgādināšana (neizlaižot garām nevienu gājēju) ir ļoti svarīga tādos jautājumos kā gājēju noteikšana autonomas braukšanas laikā; Palielinot to, dažkārt palielinās viltus pozitīvais rādītājs. Šis kompromiss ir drošības inženierijas lēmums, nevis tīra modeļa precizitāte.

Apmales un garā aste

Autonomās braukšanas grūtākais ir nevis ierastās situācijas, bet gan retās un dīvainās: zem sniega pa pusei redzama zīme, otrādi apgāzta kravas automašīna, kostīms gājējs, uz ceļa nokritušas mēbeles. Šīs retās, bet bīstamās situācijas sauc par garo asti. Lai gan modelis var būt ideāls miljoniem "normālu" jūdžu nobraukšanai, tas var neizdoties ekstremālā situācijā, ko tas nekad agrāk nav redzējis. Tāpēc uz scenārijiem balstīta testēšana, simulācija un reālās pasaules validācija ir bezgalīgas.

Mini gadījumu izpēte

1. gadījums — saplūšanas vērtība. Pārbaudot automātisko avārijas bremzēšanu, ADAS komanda atklāja, ka spilgtā saulē ir lēni pamanīt priekšā tumšas krāsas transportlīdzekli tikai ar kameru. Kad tiek pievienoti radara dati (radaru neietekmē atspīdums), sistēma konstatē transportlīdzekli 0,4 sekundes agrāk; Tas nozīmē, ka bremzēšanas ceļš ir aptuveni 10 metri pie 90 km/h. Rezultāts: Fusion aizvēra viena sensora aklo zonu.

2. gadījums — atsaukšana/precizitātes līdzsvars. Pazeminot gājēju noteikšanas modeļa slieksni, atsaukšana palielinās no 96% līdz 99%, bet palielinās kļūdaini pozitīvi (ēna, krūmi), kas noved pie nevajadzīgas bremzēšanas. Drošības komanda pieņem lēmumu: izvairīšanās no gājējiem ir prioritāte, taču komforts tiek saglabāts, novēršot viltus pozitīvus rezultātus, izmantojot saplūšanas un izsekošanas loģiku. Secinājums: Metrikas izvēle ir inženiertehnisks/drošības lēmums, nav viena "pareizā skaitļa".

3. gadījums — pārsteigums. Lai gan modelis bija 99,8% veiksmīgs savā validācijas komplektā, tas maldināja fotoattēlu, kurā redzams milzīgs gājējs aiz kravas automašīnas, kas laukā veda sniega riepu reklāmu, un tas pēkšņi nobremzēja. Komanda pievieno šo malas gadījumu scenāriju bibliotēkai un pārkvalificē modeli. Secinājums: garā aste nekad "nebeidzas"; Nepieciešama pastāvīga scenāriju apkopošana.

uzvedņu veidnes

1. veidne — scenāriju saraksta ģenerēšana:

Loma: Jūs esat ADAS pārbaudes gadījumu inženieris. Uzdevums: Izveidojiet izaicinošus (malas korpusa) testa scenārijus automātiskai avārijas bremzēšanai. Konteksts: pilsētā, 30-50 km/h, jaukts gājējs un velosipēdists. Ierobežojums: dodiet priekšroku retajiem/bīstamajiem, nevis bieži sastopamajiem scenārijiem; uzrakstiet paredzamo pareizo uzvedību katram scenārijam.Izvade: Scenārijs | stāvoklis | paredzamā uzvedība | riska līmenis.

2. veidne — marķēšanas rokasgrāmatas izklāsts:

Loma: Datu marķēšanas kvalitātes vadība.Uzdevums: uzrakstīt konsekvences noteikumu projektu gājēju marķēšanai.Konteksts: gājēji ir daļēji redzami, sēž, ratiņkrēslos un grupās.Izvade: Noteikums | piemērs | robežstāvokļa atzīmju tabula.

3. veidne — metrikas interpretācija:

Loma: Datorredzes novērtēšanas eksperts. Uzdevums: Interpretējiet manus gājēju noteikšanas rezultātus. Konteksts: precizitāte 0,93, atsaukšana 0,90, lielākā daļa nolaižas naktī vai lietū. Ierobežojums: Uzsveriet atsaukšanas nozīmi drošībai; Pastāstiet man, kādos apstākļos ir nepieciešama papildu pārbaude. Rezultāts: komentārs + prioritārās jomas uzlabošanai.

4. veidne — saplūšanas loģikas izklāsts:

Loma: Jūs esat sensoru kodolsintēzes inženieris. Uzdevums: Iesakiet lēmuma projektu, kad kamera un radars konfliktē. Konteksts: radars redz kustīgu mazu objektu 15 m augstumā, kamēr kamera saka “nav gājēju”. Ierobežojums: pielietojiet pieņēmuma principu par labu drošībai (drošības puse). Rezultāts: Lēmuma tabula + pamatojums.

Vāja uzvedne / spēcīga uzvedne

Vāja uzvedne:

Vai mans autonomā transportlīdzekļa modelis ir drošs?

Bez konteksta; "drošs" nav definēts; AI runā tikai vispārīgi un var radīt maldinošu pārliecību.

Spēcīga uzvedne:

Loma: Jūs esat ADAS drošības novērtēšanas konsultants. Uzdevums: izveidojiet man kontrolsarakstu, lai apšaubītu mana gājēju noteikšanas modeļa ievainojamības. Konteksts: Pilsētas 2. līmeņa sistēma; Atsaukt kritienus naktī un lietū; Ir tikai kamera + radars, nav LiDAR. Ierobežojums: nepaziņot par "drošu"; norādiet, kādos apstākļos sistēma ir sasniegusi savu ierobežojumu un kāda papildu pārbaude ir nepieciešama. Rezultāts: riska zona | kāpēc | ieteicamais tests | svarīguma tabula.

Biežas kļūdas

• 2. līmeni sajaucot ar vārdu "bez vadītāja". Atbildība gulstas uz šoferi; Šis nepareizs priekšstats ir liktenīgs.
• Paļaujoties uz vienu sensoru. Katram sensoram ir aklā zona; saplūšana ir būtiska.
• Skatoties tikai uz vidējo precizitāti. 99% panākumu, 1% nepalaistu gājēju varētu būt letāls; atsaukšanas un malas gadījumi ir kritiski.
• Ārkārtējo gadījumu ignorēšana. Garā aste nekad nebeidzas; Scenāriju apkopošana ir nepārtraukta.
• Drošības lēmumu atstāšana modeļa ziņā. Par sliekšņa un līdzsvara lēmumiem atbild drošības inženierija.

Rezumējot

• ADAS un autonomās braukšanas sensoru pamatā ir kameras, radara, LiDAR un sensoru saplūšana; Katram sensoram ir dažādas stiprās/vājās puses.
• Noteikšanas ķēde sastāv no noteikšanas, klasifikācijas, uzraudzības, saplūšanas, prognozēšanas un kontroles; AI ir spēcīgs pirmajos soļos.
• SAE līmeņi svārstās no 0 līdz 5; 2. līmenī atbildība gulstas uz vadītāju.
• Viltus negatīvs (gājēju nolaupīšana) ir visnāvējošākā kļūda; atsaukšanas un malas gadījumiem ir prioritāte.
• Drošības lēmumi ir inženiertehniskā atbildība; Modeļa precizitāte nav vienīgais kritērijs.

Lietojumprogrammas uzdevums

Izvēlieties ADAS funkciju (piemēram, joslas saglabāšanas palīgsistēmu). (1) Tabulā ierakstiet, kuri sensori atbalsta šo funkciju un cik labi. (2) Ģenerējiet 5 malas scenārijus ar 1. veidni un katram norādiet paredzamo drošo darbību. (3) Salīdziniet šīs funkcijas kļūdaini pozitīvu un viltus negatīvu rezultātu. (4) Uzskaitiet, kāda neatkarīga pārbaude ir nepieciešama, pirms apgalvot, ka modelis ir "drošs".

kontrolsaraksts

• [ ] Es novērtēju sensoru stiprās/vājās puses atbilstoši funkcijai.
• [ ] Esmu uzskaitījis arī beigu (garās astes) scenārijus.
• [ ] Drošības nolūkos es salīdzināju viltus pozitīvus/negatīvus rezultātus.
• [ ] Es ņēmu vērā Recall drošības kritisko nozīmi.
• [ ] Noskaidroju SAE līmeni un atbildīgo.
• [ ] Es sagatavoju neatkarīgu testēšanas plānu pirms apgalvojuma par "drošu".