ADAS ir autonominis vairavimas: pagrindai

Pelnas:

• Gebėjimas paaiškinti kameros, radaro, LiDAR ir jutiklių sintezės vaidmenis aptikimo grandinėje ir SAE automatizavimo lygius
• Galimybė kurti duomenų ženklinimą, scenarijų apibrėžimą ir vertinimo metriką objektų aptikimui, klasifikavimui ir sekimui
• Gebėjimas kritiškai įvertinti kraštinius atvejus, klaidingą teigiamą/neigiamą balansą ir saugos ribą aptikimo modelio išvestyje

Dauguma šiandieninių transporto priemonių turi tokias funkcijas kaip įspėjimas apie nukrypimą nuo eismo juostos, automatinis avarinis stabdymas arba prisitaikanti pastovaus greičio palaikymo sistema. Visa tai yra ADAS (Advanced Driver Assistance Systems) skėtyje. Šių sistemų ir tolesnio autonominio vairavimo pagrindas yra suvokimas: tai, kaip transporto priemonė „mato“ supantį pasaulį jutikliais ir „supranta“ jį naudodama dirbtinį intelektą. Šiame skyriuje apžvelgsime aptikimo grandinę, jutiklius, automatizavimo lygius ir svarbiausią problemą – saugumo ribas.

Įspėjimas nuo pat pradžių: ši sritis yra labai svarbi saugumui. Jei aptikimo modelis neaptinka pėsčiojo, rezultatas gali būti mirtinas. Štai kodėl kiekviena AI išvestis čia turi būti apsupta saugumo inžinerijos procesų (ISO 26262 ir SOTIF kituose blokuose).

Jutikliai: akys, ausys ir radaras

Autonominis vairavimo kaminas sujungia skirtingus jutiklius, nes kiekvienas turi stipriąsias ir silpnąsias puses:

• Kamera: kamera geriausiai „mato“ spalvą, tekstą (eismo ženklą), juostos liniją ir objekto tipą. Tačiau naktį bloga, rūkas, stiprus saulės spindėjimas ir atstumo įvertinimas.
• Radaras (radijo aptikimas ir nuotolio nustatymas): radijo bangomis matuoja atstumą ir greitį. Jam mažiau įtakos turi lietus/rūkas ir matuoja greitį tiesiogiai (su Doplerio efektu); bet jo skiriamoji geba maža, todėl sunku atskirti "tai pėstysis ar dėžė?"
• LiDAR (Šviesos aptikimas ir diapazonas): fotografuoja lazeriu ir sukuria tikslų trimatį aplinkos „taškinį debesį“; Labai gerai suteikia atstumą ir formą. Bet tai brangu ir gali turėti įtakos stiprus rūkas / lietus.
• Ultragarsinis: trumpas nuotolis, kaip parkavimo jutikliai.

Kadangi nei vieno, nei vieno neužtenka, atliekamas jutiklių suliejimas: sujungus skirtingų jutiklių duomenis, kiekvieno silpnumas kompensuojamas kito stiprumu. Pavyzdžiui, kamera sako „pėstysis“, radaras – „12 metrų, artėjant 5 km/h greičiui“; „Fusion“ sujungia abu dalykus ir sukuria patikimą takelį.

Patarimas: vertinant aptikimo teiginį, „kuris jutiklis gali jį matyti ir kaip gerai?“ paklausti. Jei fotoaparato atstumo įvertinimas naktį yra prastas, atstumo sprendimas, pagrįstas viena kamera, yra abejotinas.

Aptikimo grandinė

Įprasta grandinė nuo neapdorotų jutiklio duomenų iki sprendimo yra tokia:

1. Aptikimas: objektų radimas vaizde/taškų debesyje („čia yra įrankis“).
2. Klasifikacija: Objekto tipo nustatymas (pėstysis, dviratis, transporto priemonė, ženklas).
3. Stebėjimas: objekto sekimas tarp kadrų, jo greičio ir krypties įvertinimas.
4. Fusion: jutiklių sujungimas, kad būtų sukurtas nuoseklus pasaulio modelis.
5. Prognozė: "Ar šis pėsčiasis kirs gatvę?"
6. Planavimas ir valdymas: sprendimas ir vairo / stabdymo / akceleratoriaus komanda.

Dirbtinis intelektas (ypač gilus mokymasis) 1-3. labai stiprus žingsniais; 5-6. Žingsniai vis labiau apsupti inžinerinių taisyklių ir saugumo logikos.

SAE automatizavimo lygiai

Autonomija nėra „taip/ne“ dalykas, tai laipsniška. SAE J3016 standartas apibrėžia šešis lygius:

Lygis

Vardas

Kas vairuoja?

pavyzdys

0

Jokios automatikos

visi varo

Tik įspėjimas (aklosios zonos įspėjimas)

1

Vairuotojo palaikymas

vairuotojas + vienas palaikymas

Prisitaikantis kruizas ARBA eismo juostos išlaikymas

2

Dalinis automatizavimas

Vairuotojas (nuolatinė priežiūra)

Greitis + juosta kartu, atsakingas vairuotojas

3

Sąlyginė automatika

Sistema (tam tikromis sąlygomis)

Esant tam tikroms sąlygoms, kai sistema veikia, vairuotojas yra pasirengęs perimti

4

aukšta automatika

Sistema (konkrečioje srityje)

Be vairuotojo nustatytoje vietoje

5

Pilna automatika

Sistema (visomis sąlygomis)

Visur be vairuotojo (dar ne)

Atsargiai: Pavojingiausias nesusipratimas yra 2 lygis. 2 lygyje transporto priemonė palaiko vairavimą ir greitį, tačiau vairuotojas išlaiko nuolatinę priežiūrą ir atsakomybę. Sistemos klaidinimas kaip „autopilotas“ ir nekreipimas dėmesio lėmė mirtinus nelaimingus atsitikimus. 2 lygis nereiškia „be vairuotojo“.

Vertinimo metrika: klaidingai teigiamas ir klaidingas neigiamas

Vertinant aptikimo modelį, labai svarbios dviejų tipų klaidos:

• Klaidingai teigiama: galvojate, kad yra kažkas, ko nėra. Pavyzdžiui, galvoti, kad tilto šešėlis yra „kliūtis“ ir be reikalo stabdyti. Trikdantis ir kartais pavojingas (susitrenkimas iš galo).
• Klaidingas neigiamas (klaidingas neigiamas / praleistas): nematote kažko, kas egzistuoja. Pavyzdžiui, nematyti tikro pėsčiojo. Tai pati mirtiniausia autonominio vairavimo klaida.

Metrika, kuri apibendrina šiuos dalykus:

• Tikslumas: kiek to, ką pažymėjote, iš tikrųjų yra teisinga.
• Prisiminkite (jautrumas): kiek užfiksavote to, kas iš tikrųjų egzistuoja.
• mAP (vidutinis vidutinis tikslumas): bendra sudėtinė objektų aptikimo metrika.

Prisiminimas (nepraleidžiant nė vieno pėsčiojo) yra gyvybiškai svarbus tokiais klausimais kaip pėsčiojo aptikimas autonominio vairavimo metu; Tai padidinus, kartais padidėja klaidingai teigiamas rezultatas. Šis kompromisas yra saugumo inžinerinis sprendimas, o ne grynas modelio tikslumas.

Kraštiniai dėklai ir ilga uodega

Sunkiausia autonominio vairavimo dalis – ne įprastos situacijos, o retos ir keistos: po sniegu pusiau matomas ženklas, aukštyn kojomis apverstas sunkvežimis, kostiumuotas pėsčiasis, ant kelio nukritę baldai. Šios retos, bet pavojingos situacijos vadinamos ilga uodega. Nors modelis gali puikiai nuvažiuoti milijonus „įprastų“ mylių, jis gali sugesti ekstremalioje situacijoje, kurios dar niekada nebuvo matęs. Štai kodėl scenarijais pagrįstas testavimas, modeliavimas ir tikrinimas realiame pasaulyje yra begaliniai.

Mini atvejų analizė

1 atvejis – sintezės vertė. Bandydama automatinį avarinį stabdymą, ADAS komanda pastebėjo, kad ryškioje saulėje vien fotoaparatu buvo lėta pastebėti priešais važiuojančią tamsios spalvos transporto priemonę. Pridėjus radaro duomenis (radaras nėra paveiktas akinimo), sistema aptinka transporto priemonę 0,4 sekundės anksčiau; Tai reiškia, kad stabdymo kelias yra maždaug 10 metrų, važiuojant 90 km/val. Rezultatas: „Fusion“ uždarė vieno jutiklio akląją zoną.

2 atvejis – atšaukimas / tikslus balansas. Nuleidus pėsčiųjų aptikimo modelio slenkstį, atšaukimas padidėja nuo 96% iki 99%, tačiau padaugėja klaidingų teigiamų rezultatų (šešėlis, krūmai), todėl stabdoma be reikalo. Apsaugos komanda priima sprendimą: pirmenybė teikiama pėsčiųjų vengimui, tačiau komfortas išlaikomas pašalinus klaidingus teigiamus duomenis su sintezės ir sekimo logika. Išvada: Metrikos pasirinkimas yra inžinerinis/saugumo sprendimas, vieno „teisingo skaičiaus“ nėra.

3 atvejis – krašto dėklo staigmena. Nors modeliui 99,8 proc. pasisekęs patvirtinimo rinkinys, milžiniško pėsčiojo, esančio už sunkvežimio, vežančio žieminių padangų reklamą lauke, nuotrauką jis klaidingai suprato ir staigiai stabdė. Komanda prideda šį kraštinį atvejį prie scenarijų bibliotekos ir perkvalifikuoja modelį. Išvada: ilga uodega niekada „nesibaigia“; Būtinas nuolatinis scenarijų rinkimas.

raginimo šablonai

1 šablonas – scenarijų sąrašo generavimas:

Vaidmuo: esate ADAS bandomojo atvejo inžinierius. Užduotis: Sukurkite sudėtingus (krašto atveju) automatinio avarinio stabdymo bandymo scenarijus. Kontekstas: Miesto, 30-50 km/h, mišrus pėstysis ir dviratininkas. Apribojimas: pirmenybę teikite retiems/pavojingiems, o ne dažniems scenarijams; parašykite kiekvieno scenarijaus tikėtiną teisingą elgesį.Išvestis: Scenarijus | būklė | laukiamas elgesys | rizikos lygis.

2 šablonas – ženklinimo vadovo metmenys:

Vaidmuo: Duomenų ženklinimo kokybės vadovas.Užduotis: Parašykite pėsčiųjų ženklinimo nuoseklumo taisyklių projektą.Kontekstas: Yra pėstieji, kurie yra iš dalies matomi, sėdi, vežimėliuose ir grupėse.Išvestis: taisyklė | pavyzdys | ribinės būklės pažymių lentelė.

3 šablonas – metrikos aiškinimas:

Vaidmuo: Kompiuterinio regėjimo vertinimo ekspertas. Užduotis: interpretuoti mano pėsčiųjų aptikimo rezultatus. Kontekstas: tikslumas 0,93, atšaukimas 0,90, dažniausiai praleidžiama naktį arba lyjant. Apribojimas: Pabrėžkite atšaukimo svarbą saugumui; Pasakykite man, kokiomis sąlygomis reikalingas papildomas patikrinimas. Rezultatas: komentaras + prioritetinės tobulintinos sritys.

4 šablonas – sintezės logikos kontūrai:

Vaidmuo: esate jutiklių sintezės inžinierius. Užduotis: Pasiūlykite sprendimo logikos projektą, kai konfliktuoja kamera ir radaras. Kontekstas: radaras mato judantį mažą objektą 15 m atstumu, o kamera sako „nėra pėsčiųjų“. Apribojimas: taikykite prielaidos principą saugos naudai (saugi pusė). Rezultatas: sprendimų lentelė + pagrindimas.

Silpnas raginimas / Stiprus raginimas

Silpnas raginimas:

Ar mano autonominės transporto priemonės modelis yra saugus?

Be konteksto; "seifas" yra neapibrėžtas; AI kalba tik bendrais bruožais ir gali suteikti klaidinančio pasitikėjimo.

Galingas raginimas:

Vaidmuo: esate ADAS saugumo vertinimo konsultantas. Užduotis: sukurkite kontrolinį sąrašą, kad galėčiau suabejoti mano pėsčiųjų aptikimo modelio pažeidžiamumu. Kontekstas: Urban Level 2 sistema; Prisiminkite kritimus naktį ir lyjant; Yra tik kamera + radaras, nėra LiDAR. Apribojimas: neskelbti „saugus“; nurodyti, kokiomis sąlygomis sistema yra pasiekusi savo ribą ir kokių papildomų bandymų reikia. Rezultatas: rizikos sritis | kodėl | rekomenduojamas testas | svarbos lentelė.

Dažnos klaidos

• 2 lygis klaidingas kaip „be vairuotojo“. Atsakomybė tenka vairuotojui; Šis klaidingas supratimas yra mirtinas.
• Pasikliaujant vienu jutikliu. Kiekvienas jutiklis turi akląją zoną; sintezė yra būtina.
• Tiesiog žiūrint į vidutinį tikslumą. 99 % sėkmės, 1 % praleistas pėsčiasis gali būti mirtinas; atšaukimo ir krašto atvejai yra labai svarbūs.
• Nepaisydami ekstremalių atvejų. Ilga uodega niekada nesibaigia; Scenarijų rinkimas yra nuolatinis.
• Saugumo sprendimą paliekame modeliui. Už slenksčio ir pusiausvyros sprendimus atsako saugumo inžinerija.

Apibendrinant

• ADAS ir autonominio vairavimo jutimo pagrindas yra fotoaparato, radaro, LiDAR ir jutiklių suliejimas; Kiekvienas jutiklis turi skirtingas stipriąsias / silpnąsias puses.
• Aptikimo grandinę sudaro aptikimas, klasifikavimas, stebėjimas, suliejimas, numatymas ir valdymas; AI yra stiprus pirmaisiais žingsniais.
• SAE lygiai svyruoja nuo 0 iki 5; 2 lygyje atsakomybė tenka vairuotojui.
• Klaidingas neigiamas rezultatas (pėsčiojo pagrobimas) yra pati mirtingiausia klaida; Pirmenybė teikiama atšaukimo ir krašto atvejams.
• Saugumo sprendimai yra inžinerinė atsakomybė; Modelio tikslumas nėra vienintelis kriterijus.

Taikymo užduotis

Pasirinkite ADAS funkciją (pvz., eismo juostos palaikymo asistentą). (1) Lentelėje parašykite, kurie jutikliai palaiko šią funkciją ir kaip gerai. (2) Sukurkite 5 kraštutinių atvejų scenarijus naudodami 1 šabloną ir kiekviename nurodykite numatomą saugų elgesį. (3) Palyginkite klaidingai teigiamų ir klaidingai neigiamų šios funkcijos rezultatus. (4) Išvardykite, kokių nepriklausomų bandymų reikia atlikti prieš pareiškiant, kad modelis yra „saugus“.

kontrolinis sąrašas

• [ ] Daviklių stipriąsias/silpnąsias puses įvertinau pagal funkciją.
• [ ] Taip pat išvardijau galutinio atvejo (ilgos uodegos) scenarijus.
• [ ] Saugumo sumetimais palyginau klaidingai teigiamus / neigiamus rezultatus.
• [ ] Atsižvelgiau į saugumui itin svarbią „Recall“ svarbą.
• [ ] Pasiaiškinau SAE lygį ir kas atsakingas.
• [ ] Prieš teigdamas „saugu“, parengiau nepriklausomą testavimo planą.