Dobički:
- Sposobnost razlage funkcionalne varnosti ISO 26262 in okvirov ISO 21448 (SOTIF) ter njihovih učinkov na sisteme, ki vsebujejo umetno inteligenco
- Sposobnost upravljanja zasebnosti podatkov, podatkov voznika, kibernetske varnosti (ISO/SAE 21434) in etičnih tveganj v avtomobilskem kontekstu
- Sposobnost ohraniti človeško odgovornost za varnostno kritične odločitve z razumevanjem, da rezultat umetne inteligence ni nadomestilo za odobritev pristojnega inženirja
Ste v najbolj kritični enoti tega modula. Doslej smo AI videli kot pospeševalnik od načrtovanja do proizvodnje, od testiranja do dobavne verige. A odločilno vprašanje v avtomobilizmu je: ali bo ta sistem komu škodoval in kdo je odgovoren? Ta enota v preprostem jeziku pokriva okvire za odgovorno uporabo umetne inteligence v industriji, ki je kritična za varnost – funkcionalna varnost, SOTIF, kibernetska varnost, zasebnost in etika. Osnovno načelo ostaja nespremenjeno: rezultat umetne inteligence nikoli ne nadomesti odobritve pristojnega inženirja; Varnostno kritična odločitev in odgovornost pripada človeku.
ISO 26262: funkcionalna varnost
ISO 26262 je funkcionalno varnostni standard za električne/elektronske sisteme cestnih vozil. Funkcionalna varnost; Ukvarja se z zagotavljanjem, da ob okvari sistema (pokvari se senzor, odpove programska oprema) ne pride do nevarne situacije.
V središču tega standarda je ASIL (raven celovitosti avtomobilske varnosti). Nevarnost se ocenjuje v treh dimenzijah:
- Resnost: Kako hudo bi bilo, če bi se to zgodilo? (lahka poškodba ali smrt)
- Izpostavljenost: Kako pogosto se to zgodi?
- Obvladljivost: Koliko lahko voznik nadzoruje situacijo?
Ti trije skupaj povzročijo raven od ASIL A (najnižja) do ASIL D (najvišja, npr. zaviranje, krmiljenje). Z višanjem ravni postajajo zahteve glede razvoja, testiranja in dokumentacije strožje.
GLAVNO
vzorčni sistem
Intenzivnost zahteve
A.
Okvara notranje osvetlitve
nizka
B.
zadnja luč
srednje
C.
Nekatere funkcije ADAS
visoka
D.
Zavore, krmiljenje, airbag
najvišja
Nasvet: Poznavanje GLAVNE ravni funkcije vam pove, koliko pozornosti zahteva uporaba AI v tej funkciji. NOBENE odločitve, ki temelji na izhodu AI v funkciji, ni mogoče sprejeti brez neodvisnega varnostnega preverjanja.
ISO 21448 (SOTIF): varnost predvidene funkcije
Klasična funkcionalna varnost (ISO 26262) se osredotoča na vprašanje "kaj se zgodi, če sistem odpove?" Toda v sistemih za zaznavanje umetne inteligence se pojavi nova težava: tudi če se sistem nikoli ne pokvari, je lahko neustrezen. Kamera deluje dobro, vendar ne more prepoznati zasnežene plošče; Radar je soliden, vendar ignorira stoječe vozilo kot megleni signal. Tu ni napake strojne/programske opreme; Težava je na meji predvidenega obsega funkcije.
ISO 21448 – SOTIF (Safety Of The Intended Functionality) obravnava točno to vrzel: obvladovanje tveganj, ki izhajajo iz neprepoznanih scenarijev, omejitev zaznavanja in nepredvidenih situacij, tudi če sistem deluje, kot je načrtovano. Pri ADAS/avtonomni vožnji, ki temelji na umetni inteligenci, je SOTIF tako kritičen kot ISO 26262.
Okvir
Fokus
primer
ISO 26262
Tveganje zaradi okvare
Senzor se zlomi, signal izgine
ISO 21448 (SOTIF)
Tveganje neustreznosti/nepriznavanja
Robustna kamera ne prepozna zasnežene plošče
ISO/SAE 21434
kibernetska varnost
Napad na sistem, manipulacija podatkov
Pozor: modeli AI so statistični; Ne morejo zagotoviti, da bodo "vsako situacijo videli pravilno". SOTIF želi zožiti neznane nevarne scenarije v teh inherentno omejenih sistemih in zmanjšati preostalo tveganje na sprejemljivo raven. »Model je 99,9 % točen« ni dokaz varnosti.
ISO/SAE 21434: kibernetska varnost
Povezana in programsko definirana vozila so ranljiva za kibernetske napade. Napadalec na daljavo lahko spremeni ukaz za zaviranje, ukrade telemetrijo ali prelisiči model zaznavanja (kontradiktorni napad: poskrbi, da ga model napačno prepozna, tako da na krožnik nalepi majhno nalepko). ISO/SAE 21434 je inženirski okvir za kibernetsko varnost vozil. V kontekstu umetne inteligence izstopata dve nevarnosti: zavajanje modela (adversarial) in zastrupitev učnih podatkov (data poisoning). Varnostno kritične sisteme umetne inteligence je treba preizkusiti proti tem napadom.
Zasebnost in osebni podatki
Sodobno vozilo je »podatkovni center na kolesih«: lokacija, obnašanje pri vožnji, zvok, celo kamera v kabini. Večinoma so to osebni podatki in jih pokrivata KVKK (Türkiye) in GDPR (Evropa). VIN (številka šasije) lahko identificira vozilo in posredno njegovega lastnika. Osnovna načela:
- Zmanjšanje podatkov: Zberite samo tisto, kar je potrebno.
- Omejitev namena: Ne uporabljajte podatkov za druge namene kot za namen, za katerega so bili zbrani.
- Anonimizacija/psevdonimizacija: odstranite ali kodirajte podatke, ki omogočajo osebno identifikacijo.
- Izrecno soglasje in preglednost: voznik mora vedeti, kaj se zbira.
- Varno shranjevanje in prenos.
Pozor: pošiljanje neobdelanega VIN-a, zgodovine lokacij ali vedenja med vožnjo javnemu orodju umetne inteligence v oblaku je lahko tako kršitev zasebnosti kot pogodbeno tveganje. Ko delate s temi podatki, jih anonimizirajte in uporabite institucionalno okolje, zaščiteno s podatki.
Etika in inženirska odgovornost
Umetna inteligenca s seboj prinaša nekaj etičnih tveganj:
- Pristranskost: Če podatki o usposabljanju prevladujejo v določenih pogojih (npr. podnevi, svetla polt, nekatere regionalne ceste), lahko model slabo deluje v premalo zastopanih pogojih (noč, drugačni pogoji). To je ranljivost.
- Prekomerna samozavest (pristranskost avtomatizacije): Ljudje slepo zaupajo avtomatizaciji in preglasijo lastno presojo. Če testni inženir neha gledati neobdelanih podatkov samo zato, ker umetna inteligenca reče "uspešno", je to nevaren trend.
- Izguba odgovornosti: "Model se je odločil" ni obramba. Vedno mora biti podpisana oseba pod odločitvijo.
Mini študije primerov
Primer 1 – omejitev SOTIF. Sistem za samodejno zaviranje v sili prestane vse laboratorijske teste, brez okvar. Na polju, v nizkem soncu, beli tovornjak zamenja prikolico za nebo in prepozno zavira. To ni okvara, ampak ranljivost SOTIF: sistem je nedotaknjen, vendar je scenarij zunaj meje zaznavanja. Ekipa doda ta scenarij v testno knjižnico in okrepi radarsko fuzijo. Zaključek: »Brez napake« ni dokaz varnosti; Nezadostnost je tudi tveganje.
Primer 2 – Pristranski podatki. Model zaznavanja pešcev je bil usposobljen predvsem s podatki podnevi; Nočni odpoklic je bistveno manjši. Ekipa uravnoteži in ponovno usposobi podatke o noči in šibki svetlobi ter ločeno poroča o nočnih scenarijih. Zaključek: Neuravnoteženi podatki v določenih okoliščinah povzročijo smrtonosno ranljivost.
Primer 3 – Preprečevanje kršitev zasebnosti. Analitik namerava podatke o voznem parku prilepiti v javno orodje AI, ko opazi, da podatki vsebujejo neobdelane lokacije VIN in GPS. Deluje v korporativnem okolju z anonimizacijo podatkov (vehicle_01..arac_50 namesto VIN, regionalna koda namesto lokacije). Rezultat: Trenutek pozornosti preprečil hujšo kršitev KVKK.
predloge pozivov
Predloga 1 – PREDHODNA/predhodna ocena tveganja (osnutek):
Vloga: Ste svetovalec za funkcionalno varnost. Naloga: Pripravi osnutek za pomoč pri analizi nevarnosti in tveganja za funkcijo. Kontekst: Funkcija: samodejno zaviranje v sili; mestno in medkrajevno. Omejitev: natančna dodelitev ASIL; Navedite seznam vprašanj in točk, na katere morate biti pozorni, glede razsežnosti resnosti/izpostavljenosti/možnosti nadzora; kažejo, da je končna naloga pooblaščenega varnostnega inženirja. Izhod: Velikost | ocenjevalno vprašanje | tabela pozornosti.
Predloga 2 - skeniranje scenarija SOTIF:
Vloga: Ste strokovnjak za SOTIF. Naloga: Seznam scenarijev, kjer je funkcija zaznavanja morda "sistem nedotaknjen, vendar neustrezen". Kontekst: Kamera + radar; nizko sonce, sneg, izhod iz tunela, nenavadni predmeti. Rezultat: Scenarij | zakaj neustreznost | priporočilo za zmanjšanje.
Predloga 3 – Nadzor zasebnosti:
Vloga: Ste svetovalec za varstvo podatkov (KVKK/GDPR). Naloga: Izvedite revizijo zasebnosti, preden delite nabor podatkov. Kontekst: telemetrija flote; Stolpci vsebujejo VIN, GPS, rezultat vožnje. Omejitev: Katera polja so osebni podatki, kako naj bodo anonimizirana, česa sploh ne smem deliti; sort.Izhod: Polje | tveganje | priporočeni transakcijski grafikon.
Predloga 4 – Preverjanje pristranskosti:
Vloga: ste revizor ML za varnost in poštenost. Naloga: Povejte mi, kako poiskati tveganje pristranskosti v modelu zaznavanja. Kontekst: zaznavanje pešcev; dan/mesto, uteženi podatki o usposabljanju. Izhod: Pogoj za preverjanje | meritev | znak tveganja.
Šibek poziv/močan poziv
Šibek poziv:
Ali je ta avtonomni zavorni sistem varen, potrdite.
Poskus pridobitve varnostnega dovoljenja AI je nevaren; Soglasje pripada pooblaščenemu inženirju.
Močan poziv:
Vloga: Ste svetovalec za funkcionalno varnost in SOTIF. Naloga: Navedite, katera vprašanja naj postavim in katere dokaze moram zbrati pri oceni varnosti moje funkcije samodejnega zaviranja. Kontekst: zaznavanje na podlagi AI; kamera+radar; ASIL je lahko visok. Omejitev: 'Odobri' sistem; Predložite ločene sezname vprašanj in dokazov v smislu ISO 26262 (pomanjkljivost) in SOTIF (pomanjkljivost); Poudarite, da ima končno odobritev pooblaščeni varnostni inženir. Rezultat: Okvir | vprašanje | potrebna dokazna tabela.
Pogoste napake
- Zamenjati "brez napake" z "varno". Pomanjkanje SOTIF lahko ubije brez okvare.
- Pridobivanje varnostnega dovoljenja AI. Odobritev in odgovornost nosi pooblaščeni inženir.
- Napačna točnost modela kot dokaz varnosti. 99,9-odstotna natančnost ne pomeni, da je bilo preostalo tveganje obvladovano.
- Nevarovanje osebnih podatkov. VIN/lokacija/vožnja je v okviru KVKK/GDPR.
- Ignoriranje pristranskosti in pretirane samozavesti. Neuravnoteženi podatki in slepo zaupanje v avtomatizacijo so ranljivosti.
Če povzamem
- ISO 26262 obvladuje tveganje zaradi okvare (z ASIL), medtem ko ISO 21448/SOTIF obvladuje tveganje okvare brez okvare; Oba sta kritična pri odkrivanju AI.
- kibernetska varnost ISO/SAE 21434; kontradiktorni napadi in napadi z zastrupitvijo podatkov so grožnje, specifične za AI.
- Minimizacija podatkov, omejitev namena in anonimizacija so obvezni v okviru KVKK/GDPR; VIN/lokacija je osebni podatek.
- Predsodki, pretirana samozavest in izguba odgovornosti so glavna etična tveganja.
- Izhod umetne inteligence ni nadomestilo za odobritev kvalificiranega inženirja; Varnostno kritična odločitev in podpis vedno pripadata osebi.
Aplikacijska naloga
Izberite funkcijo, povezano z varnostjo (npr. ohranjanje voznega pasu). (1) Razpravljajte o tem, zakaj je lahko raven ASIL te funkcije visoka/nizka glede na dimenzije resnosti/izpostavljenosti/možnosti nadzora. (2) S predlogo 2 ustvarite 5 scenarijev »sistem trden, vendar neustrezen«. (3) Revizija zaupnosti ustreznega nabora podatkov s predlogo 3. (4) Pojasnite, zakaj beseda »model potrjen« ni obramba.
kontrolni seznam
- [ ] Ocenil sem DEJANSKE razsežnosti funkcije (natančno dodelitev sem prepustil organu).
- [ ] Naredil sem razliko med ISO 26262 (motnja) in SOTIF (nezadostnost).
- [ ] Upošteval sem tveganje kibernetske varnosti (nasprotovanje/zastrupitev).
- [ ] Osebne podatke sem anonimiziral in minimiziral.
- [ ] Preveril sem tveganje pristranskosti in pretirane samozavesti.
- [ ] Potrdil sem, da je varnostno dovoljenje opravil kvalificirani inženir.