Dobici:
- Sposobnost objašnjenja okvira ISO 26262 funkcionalne sigurnosti i ISO 21448 (SOTIF) i njihovih učinaka na sustave koji sadrže umjetnu inteligenciju
- Sposobnost upravljanja privatnošću podataka, podacima o vozaču, kibersigurnošću (ISO/SAE 21434) i etičkim rizicima u automobilskom kontekstu
- Sposobnost održavanja ljudske odgovornosti za odluke ključne za sigurnost razumijevanjem da AI izlaz nije zamjena za odobrenje kompetentnog inženjera
Vi ste u najkritičnijoj jedinici ovog modula. Do sada smo AI vidjeli kao akcelerator od dizajna do proizvodnje, od testiranja do opskrbnog lanca. Ali odlučujuće pitanje u automobilskoj industriji je: hoće li ovaj sustav ikome naštetiti i tko je odgovoran? Ova jedinica jednostavnim jezikom pokriva okvire za odgovornu upotrebu umjetne inteligencije u industriji koja je kritična za sigurnost—funkcionalna sigurnost, SOTIF, kibernetička sigurnost, privatnost i etika. Temeljno načelo ostaje konstantno: rezultat umjetne inteligencije nikada ne zamjenjuje odobrenje kompetentnog inženjera; Sigurnosno kritična odluka i odgovornost pripada čovjeku.
ISO 26262: funkcionalna sigurnost
ISO 26262 standard je funkcionalne sigurnosti za električne/elektroničke sustave cestovnih vozila. Funkcionalna sigurnost; Brine se o tome da kada sustav zakaže (senzor se pokvari, softver zakaže) to ne dovede do opasne situacije.
Srž ovog standarda je ASIL (Automotive Safety Integrity Level). Opasnost se procjenjuje u tri dimenzije:
- Ozbiljnost: Koliko bi bilo loše da se to dogodi? (lakša ozljeda ili smrt)
- Izloženost: Koliko se često to događa?
- Upravljivost: Koliko vozač može kontrolirati situaciju?
Ove tri kombinacije rezultiraju razinom od ASIL A (najniža) do ASIL D (najviša, npr. kočenje, upravljanje). Kako se razina povećava, zahtjevi za razvoj, testiranje i dokumentaciju postaju stroži.
GLAVNI
sustav uzoraka
Intenzitet zahtjeva
A.
Kvar unutarnje rasvjete
nizak
B.
stražnje svjetlo
srednji
C.
Neke ADAS funkcije
visoka
D.
Kočnica, upravljač, zračni jastuk
najviši
Savjet: Poznavanje GLAVNE razine funkcije govori vam koliko pažnje zahtijeva korištenje umjetne inteligencije u toj funkciji. NIKAKVA odluka temeljena na izlazu umjetne inteligencije u funkciji ne može se prihvatiti bez neovisne sigurnosne provjere.
ISO 21448 (SOTIF): sigurnost predviđene funkcije
Klasična funkcionalna sigurnost (ISO 26262) fokusira se na pitanje "što se događa ako sustav zakaže?" Ali postoji novi problem u sustavima za otkrivanje umjetne inteligencije: čak i ako sustav nikada ne radi pogrešno, može biti neadekvatan. Kamera radi dobro, ali ne može prepoznati snježnu ploču; Radar je solidan, ali ignorira vozilo koje stoji kao duhovnu signalizaciju. Ovdje nema kvara hardvera/softvera; Problem je na granici predviđenog opsega funkcije.
ISO 21448 - SOTIF (Sigurnost planirane funkcionalnosti) rješava upravo ovaj nedostatak: upravljanje rizicima koji proizlaze iz neprepoznatih scenarija, ograničenja detekcije i nepredviđenih situacija, čak i ako sustav radi kako je projektirano. U ADAS-u/autonomnoj vožnji temeljenoj na umjetnoj inteligenciji, SOTIF je kritičan kao i ISO 26262.
Okvir
Fokusirajte se
primjer
ISO 26262
Rizik zbog kvara
Senzor se pokvari, signal nestane
ISO 21448 (SOTIF)
Rizik od neadekvatnosti/nepriznavanja
Robustan fotoaparat ne prepoznaje snježnu ploču
ISO/SAE 21434
cyber sigurnost
Napad na sustav, manipulacija podacima
Oprez: AI modeli su statistički; Ne mogu jamčiti da će "ispravno vidjeti svaku situaciju". SOTIF ima za cilj suziti nepoznate opasne scenarije u ovim inherentno ograničenim sustavima i smanjiti preostali rizik na prihvatljivu razinu. "Model je 99,9% točan" nije dokaz sigurnosti.
ISO/SAE 21434: kibernetička sigurnost
Povezana i softverski definirana vozila ranjiva su na kibernetičke napade. Daljinski napadač može promijeniti naredbu kočnice, ukrasti telemetriju ili prevariti model detekcije (suparnički napad: natjerati model da ga pogrešno prepozna postavljanjem male naljepnice na tanjur). ISO/SAE 21434 je inženjerski okvir za kibernetičku sigurnost vozila. U kontekstu umjetne inteligencije ističu se dva rizika: zavaravanje modela (adversarial) i trovanje podataka za obuku (data poisoning). Sigurnosno kritične sustave umjetne inteligencije treba testirati protiv ovih napada.
Privatnost i osobni podaci
Moderno vozilo je "podatkovni centar na kotačima": lokacija, ponašanje u vožnji, zvuk, čak i kamera u kabini. Većina toga su osobni podaci i obuhvaćeni su KVKK (Türkiye) i GDPR (Europa). VIN (broj šasije) može identificirati vozilo, a posredno i njegovog vlasnika. Osnovna načela:
- Minimizacija podataka: Prikupite samo ono što je potrebno.
- Ograničenje svrhe: Nemojte koristiti podatke u druge svrhe osim svrhe za koju su prikupljeni.
- Anonimizacija/pseudonimizacija: Uklonite ili kodirajte osobne podatke.
- Izričit pristanak i transparentnost: vozač mora znati što se prikuplja.
- Sigurno skladištenje i prijenos.
Oprez: slanje neobrađenog VIN-a, povijesti lokacije ili ponašanja u vožnji javnom alatu za umjetnu inteligenciju u oblaku može predstavljati kršenje privatnosti i ugovorni rizik. Kada radite s tim podacima, anonimizirajte ih i koristite institucionalno okruženje zaštićeno podacima.
Etika i odgovornost inženjera
Umjetna inteligencija sa sobom nosi neke etičke rizike:
- Pristranost: ako podaci o obuci prevladavaju u određenim uvjetima (npr. danju, svijetloj koži, određenim regionalnim cestama), model može imati lošu izvedbu u nedovoljno zastupljenim uvjetima (noć, različiti uvjeti). Ovo je ranjivost.
- Pretjerano samopouzdanje (pristranost automatizacije): Ljudi slijepo vjeruju automatizaciji i nadjačavaju vlastitu prosudbu. Ako testni inženjer prestane gledati sirove podatke samo zato što AI kaže "prošao", to je opasan trend.
- Gubitak odgovornosti: "Manekenka je odlučila" nije obrana. Uvijek treba postojati osoba koja potpisuje odluku.
Mini studije slučaja
Slučaj 1 - SOTIF limit. Sustav automatskog kočenja u nuždi prolazi sve laboratorijske testove, bez kvarova. U polju, na niskom suncu, bijeli kamion griješi prikolicu s nebom i kasno koči. Ovo nije kvar, već SOTIF ranjivost: sustav je netaknut, ali scenarij je izvan granice detekcije. Tim dodaje ovaj scenarij testnoj knjižnici i jača radarsku fuziju. Zaključak: "Bez kvara" nije dokaz sigurnosti; Nedostatak je također rizik.
Slučaj 2 - Pristrani podaci. Model detekcije pješaka treniran je pretežno s dnevnim podacima; Noćno pamćenje znatno je niže. Tim uravnotežuje i ponovno obučava noćne podatke i podatke o slabom osvjetljenju te zasebno izvještava o noćnim scenarijima. Zaključak: neuravnoteženi podaci stvaraju smrtonosnu ranjivost u određenim okolnostima.
Slučaj 3 - Prevencija povrede privatnosti. Analitičar se spremao zalijepiti podatke o voznom parku u javni alat umjetne inteligencije kada primijeti da podaci sadrže neobrađene VIN i GPS lokacije. Radi u poslovnom okruženju anonimizirajući podatke (vehicle_01..arac_50 umjesto VIN-a, regionalni kod umjesto lokacije). Rezultat: Trenutkom pažnje spriječen teži prekršaj KVKK.
promptni predlošci
Predložak 1 - PRETHODNA/preliminarna procjena rizika (nacrt):
Uloga: Vi ste savjetnik za funkcionalnu sigurnost. Zadatak: priprema nacrt kao pomoć u analizi opasnosti i rizika za funkciju. Kontekst: Funkcija: automatsko kočenje u nuždi; gradski i međugradski. Ograničenje: točna dodjela ASIL-a; Dajte popis pitanja i točaka pozornosti o dimenzijama ozbiljnosti/izloženosti/mogućnosti kontrole; naznačiti da je konačni zadatak ovlašteni sigurnosni inženjer. Izlaz: Veličina | evaluacijsko pitanje | pozornost note table.
Predložak 2 - SOTIF skeniranje scenarija:
Uloga: Vi ste SOTIF stručnjak. Zadatak: Navedite scenarije u kojima bi funkcija otkrivanja mogla biti 'sustav netaknut, ali neadekvatan'. Kontekst: Kamera + radar; nisko sunce, snijeg, izlaz iz tunela, neobični objekti. Izlaz: Scenarij | zašto neadekvatnost | preporuka za smanjenje.
Predložak 3 - Kontrola privatnosti:
Uloga: Vi ste savjetnik za zaštitu podataka (KVKK/GDPR). Zadatak: Provedite reviziju privatnosti prije dijeljenja skupa podataka. Kontekst: telemetrija flote; Stupci sadrže VIN, GPS, rezultat vožnje. Ograničenje: Koja su polja osobni podaci, kako ih treba anonimizirati, što uopće ne smijem dijeliti; sortiraj.Izlaz: Polje | rizik | preporučeni grafikon transakcija.
Predložak 4 - Provjera pristranosti:
Uloga: Vi ste revizor ML-a za sigurnost i poštenje. Zadatak: Reci mi kako tražiti rizik od pristranosti u modelu detekcije. Kontekst: Detekcija pješaka; podaci o obuci ponderirani dan/grad. Izlaz: Uvjet za provjeru | mjerenje | znak rizika.
Slab upit / Jak upit
Slab upit:
Je li ovaj sustav autonomnog kočenja siguran, potvrdite.
Opasan je pokušaj dobivanja sigurnosne dozvole AI-ja; Suglasnost pripada ovlaštenom inženjeru.
Snažan upit:
Uloga: Vi ste konzultant za funkcionalnu sigurnost i SOTIF. Zadatak: Navedite koja pitanja trebam postaviti i koje dokaze trebam prikupiti u sigurnosnoj procjeni moje funkcije automatskog kočenja. Kontekst: otkrivanje temeljeno na umjetnoj inteligenciji; kamera+radar; ASIL može biti visok. Ograničenje: 'Odobri' sustav; Navedite zasebne popise pitanja i dokaza u smislu ISO 26262 (nedostatak) i SOTIF (nedostatak); Naglasite da konačno odobrenje ima ovlašteni sigurnosni inženjer. Izlaz: Okvir | pitanje | potrebna evidencijska tablica.
Uobičajene greške
- Brkanje "bez kvara" sa "sigurno". Nedostatak SOTIF-a može ubiti bez kvara.
- Dobivanje AI sigurnosne dozvole. Odobrenje i odgovornost snosi ovlašteni inženjer.
- Pogrešna točnost modela kao dokaz sigurnosti. Točnost od 99,9% ne znači da se upravlja preostalim rizikom.
- Ne štiti osobne podatke. VIN/lokacija/ponašanje u vožnji je unutar opsega KVKK/GDPR.
- Ignoriranje pristranosti i pretjeranog samopouzdanja. Neuravnoteženi podaci i slijepo povjerenje u automatizaciju su ranjivosti.
Ukratko
- ISO 26262 upravlja rizikom zbog kvara (s ASIL-om), dok ISO 21448/SOTIF upravlja rizikom kvara bez kvara; Oba su ključna u otkrivanju umjetne inteligencije.
- ISO/SAE 21434 kibernetička sigurnost; kontradiktorni napadi i napadi trovanjem podataka prijetnje su specifične za AI.
- Minimiziranje podataka, ograničenje svrhe i anonimizacija obvezni su u okviru KVKK/GDPR; VIN/lokacija je osobni podatak.
- Predrasude, pretjerano samopouzdanje i gubitak odgovornosti glavni su etički rizici.
- AI izlaz nije zamjena za odobrenje kvalificiranog inženjera; Sigurnosno kritična odluka i potpis uvijek pripadaju osobi.
Zadatak aplikacije
Odaberite funkciju koja se odnosi na sigurnost (npr. držanje trake). (1) Raspravite zašto razina ASIL-a ove funkcije može biti visoka/niska uz dimenzije ozbiljnosti/izloženosti/mogućnosti kontrole. (2) Generirajte 5 scenarija "sustav solidan, ali neadekvatan" s Predloškom 2. (3) Revizija povjerljivosti relevantnog skupa podataka s Predloškom 3. (4) Objasnite zašto izjava "Model je potvrđen" nije obrana.
popis za provjeru
- [ ] Ocijenio sam STVARNE dimenzije funkcije (prepustio sam nadležnom tijelu točan zadatak).
- [ ] Napravio sam razliku između ISO 26262 (kvar) i SOTIF (nedostatnost).
- [ ] Uzeo sam u obzir rizik kibernetičke sigurnosti (suprotstavljanje/trovanje).
- [ ] Anonimizirao sam i minimizirao osobne podatke.
- [ ] Provjerio sam rizik od pristranosti i pretjeranog samopouzdanja.
- [ ] Potvrdio sam da je sigurnosna provjera kod kvalificiranog inženjera.