Dobici:
- Sposobnost da se objasni ISO 26262 funkcionalna sigurnost i ISO 21448 (SOTIF) okviri i njihovi efekti na sisteme koji sadrže umjetnu inteligenciju
- Sposobnost upravljanja privatnošću podataka, podacima vozača, cyber sigurnošću (ISO/SAE 21434) i etičkim rizicima u automobilskom kontekstu
- Sposobnost održavanja ljudske odgovornosti za sigurnosno kritične odluke razumijevanjem da izlaz umjetne inteligencije nije zamjena za odobrenje nadležnog inženjera
Vi ste u najkritičnijoj jedinici ovog modula. Do sada smo AI vidjeli kao akcelerator od dizajna do proizvodnje, od testiranja do lanca opskrbe. Ali odlučujuće pitanje u automobilizmu je: hoće li ovaj sistem nekome naštetiti i ko je odgovoran? Ova jedinica na jednostavnom jeziku pokriva okvire za odgovorno korištenje AI u industriji koja je kritična za sigurnost – funkcionalnu sigurnost, SOTIF, sajber sigurnost, privatnost i etiku. Osnovni princip ostaje konstantan: AI izlaz nikada ne zamjenjuje odobrenje kompetentnog inženjera; Bezbjednosno kritična odluka i odgovornost pripada čovjeku.
ISO 26262: funkcionalna sigurnost
ISO 26262 je standard funkcionalne sigurnosti za električne/elektronske sisteme drumskih vozila. Funkcionalna sigurnost; Brine se o tome da kada sistem otkaže (senzor se pokvari, softver otkaže) to ne dovede do opasne situacije.
U srcu ovog standarda je ASIL (Nivo integriteta automobilske sigurnosti). Opasnost se procjenjuje u tri dimenzije:
- Ozbiljnost: Koliko bi loše bilo da se to dogodi? (manja povreda ili smrt)
- Izloženost: Koliko često se to dešava?
- Upravljivost: Koliko vozač može kontrolisati situaciju?
Ova tri kombinovana rezultiraju nivoom od ASIL A (najniži) do ASIL D (najviši, npr. kočenje, upravljanje). Kako se nivo povećava, zahtjevi za razvoj, testiranje i dokumentaciju postaju stroži.
MAIN
sistem uzorka
Intenzitet zahtjeva
A.
Neispravnost unutrašnjeg osvjetljenja
nisko
B.
zadnje svjetlo
srednje
C.
Neke ADAS funkcije
visoko
D.
Kočnica, upravljač, vazdušni jastuk
najviši
Savjet: Poznavanje GLAVNOG nivoa funkcije govori vam koliko pažnje zahtijeva korištenje AI u toj funkciji. NIJEDNA odluka zasnovana na AI izlazu u funkciji se ne može prihvatiti bez nezavisne sigurnosne provjere.
ISO 21448 (SOTIF): sigurnost predviđene funkcije
Klasična funkcionalna sigurnost (ISO 26262) fokusira se na pitanje "šta se dešava ako sistem otkaže?" Ali postoji novi problem u sistemima za detekciju veštačke inteligencije: čak i ako sistem nikada ne pokvari, može biti neadekvatan. Kamera radi dobro, ali ne može prepoznati snježnu ploču; Radar je solidan, ali ignoriše vozilo koje miruje kao signal duha. Ovdje nema hardverskog/softverskog kvara; Problem je na granici predviđenog opsega funkcije.
ISO 21448 - SOTIF (Sigurnost predviđene funkcionalnosti) rješava upravo ovaj nedostatak: upravljanje rizicima koji proizlaze iz neprepoznatih scenarija, granica detekcije i nepredviđenih situacija, čak i ako sistem radi kako je dizajniran. U ADAS-u/autonomnoj vožnji zasnovanoj na veštačkoj inteligenciji, SOTIF je kritičan koliko i ISO 26262.
Okvir
Focus
primjer
ISO 26262
Rizik zbog kvara
Senzor se pokvari, signal nestaje
ISO 21448 (SOTIF)
Rizik neadekvatnosti/nepriznavanja
Čvrsta kamera ne prepoznaje snježnu ploču
ISO/SAE 21434
sajber sigurnost
Sistemski napad, manipulacija podacima
Oprez: AI modeli su statistički; Ne mogu garantovati da će "svaku situaciju sagledati ispravno". SOTIF ima za cilj da suzi nepoznate opasne scenarije u ovim inherentno ograničenim sistemima i smanji preostali rizik na prihvatljiv nivo. “Model je 99,9% tačan” nije dokaz sigurnosti.
ISO/SAE 21434: sajber sigurnost
Povezana i softverski definirana vozila ranjiva su na sajber napade. Daljinski napadač može promijeniti komandu kočnice, ukrasti telemetriju ili prevariti model detekcije (konkurentni napad: natjerati model da ga pogrešno prepozna postavljanjem male naljepnice na ploču). ISO/SAE 21434 je inženjerski okvir za sajber sigurnost vozila. U kontekstu vještačke inteligencije izdvajaju se dva rizika: obmanjivanje modela (kontravensko) i trovanje podataka o obuci (trovanje podacima). Sigurnosno kritični AI sistemi bi trebali biti testirani protiv ovih napada.
Privatnost i lični podaci
Moderno vozilo je „data centar na točkovima“: lokacija, ponašanje u vožnji, audio, čak i kamera u kabini. Većina toga su lični podaci i pokriveni su KVKK (Türkiye) i GDPR (Evropa). VIN (broj šasije) može identifikovati vozilo i indirektno njegovog vlasnika. Osnovni principi:
- Minimizacija podataka: Prikupite samo ono što je potrebno.
- Ograničenje svrhe: Nemojte koristiti podatke u druge svrhe osim svrhe za koju su prikupljeni.
- Anonimizacija/pseudonimizacija: Uklonite ili kodirajte lične informacije.
- Eksplicitna saglasnost i transparentnost: Vozač mora znati šta se prikuplja.
- Sigurno skladištenje i prijenos.
Oprez: Slanje neobrađenog VIN-a, historije lokacija ili ponašanja u vožnji javnom oblaku AI alatu može biti i kršenje privatnosti i ugovorni rizik. Kada radite s ovim podacima, anonimizirajte ih i koristite institucionalno okruženje zaštićeno podacima.
Etika i odgovornost inženjera
Umjetna inteligencija sa sobom nosi neke etičke rizike:
- Pristranost: Ako podaci o obuci prevladavaju u određenim uslovima (npr. dan, svijetla koža, određeni regionalni putevi), model može biti loš u podzastupljenim uvjetima (noć, različiti uvjeti). Ovo je ranjivost.
- Pretjerano samopouzdanje (pristranost automatizacije): Ljudi slijepo vjeruju automatizaciji i poništavaju vlastitu prosudbu. Ako test inženjer prestane da gleda neobrađene podatke samo zato što AI kaže „prošao“, ovo je opasan trend.
- Gubitak odgovornosti: "Model je odlučio" nije odbrana. Uvek treba da stoji osoba koja potpisuje odluku.
Mini studije slučaja
Slučaj 1 - SOTIF granica. Sistem automatskog kočenja u nuždi prolazi sve laboratorijske testove, bez kvarova. U polju, po slabom suncu, bijeli kamion zamijeni svoju prikolicu za nebo i kasno koči. Ovo nije kvar, već SOTIF ranjivost: sistem je netaknut, ali je scenario izvan granice detekcije. Tim dodaje ovaj scenario biblioteci testova i jača fuziju radara. Zaključak: „Nema kvara“ nije dokaz sigurnosti; Insuficijencija je takođe rizik.
Slučaj 2 – Pristrasni podaci. Model detekcije pješaka obučen je pretežno sa dnevnim podacima; Noćni opoziv je znatno manji. Tim balansira i ponovo obučava podatke o noći i slabom osvjetljenju i zasebno izvještava o noćnim scenarijima. Zaključak: Neuravnoteženi podaci stvaraju smrtonosnu ranjivost u određenim okolnostima.
Slučaj 3 - Prevencija narušavanja privatnosti. Analitičar se sprema zalijepiti podatke o floti u javni AI alat kada primijeti da podaci sadrže neobrađene VIN i GPS lokacije. Radi u korporativnom okruženju anonimizirajući podatke (vehicle_01..arac_50 umjesto VIN-a, kod regije umjesto lokacije). Rezultat: Trenutak pažnje spriječio je ozbiljan prekršaj KVKK.
prompt templates
Obrazac 1 - PRETHODNA/preliminarna procjena rizika (nacrt):
Uloga: Vi ste konsultant za funkcionalnu sigurnost. Zadatak: Priprema nacrt za pomoć u analizi opasnosti i rizika za funkciju. Kontekst: Funkcija: automatsko kočenje u nuždi; gradski i međugradski. Ograničenje: tačna dodjela ASIL-a; Dajte listu pitanja i tačaka pažnje o dimenzijama ozbiljnosti/izloženosti/kontrolisanja; naznačiti da konačni zadatak pripada ovlaštenom sigurnosnom inženjeru. Izlaz: Veličina | evaluacijsko pitanje | tabela za napomene.
Šablon 2 - SOTIF skeniranje scenarija:
Uloga: Vi ste stručnjak za SOTIF. Zadatak: Navedite scenarije u kojima bi funkcija detekcije mogla biti 'sistem netaknut, ali neadekvatan'. Kontekst: Kamera + radar; nisko sunce, snijeg, izlaz iz tunela, neobični objekti. Ishod: Scenario | zašto neadekvatnost | preporuka za smanjenje.
Šablon 3 - Kontrola privatnosti:
Uloga: Vi ste konsultant za zaštitu podataka (KVKK/GDPR). Zadatak: Izvršite reviziju privatnosti prije dijeljenja skupa podataka. Kontekst: telemetrija flote; Kolone sadrže VIN, GPS, rezultat vožnje. Ograničenje: Koja polja su lični podaci, kako ih treba anonimizirati, šta uopće ne smijem dijeliti; sort.Izlaz: Polje | rizik | preporučeni transakcioni grafikon.
Šablon 4 - Provjera pristranosti:
Uloga: Vi ste revizor sigurnosti i pravičnosti ML. Zadatak: Recite mi kako tražiti rizik od pristranosti u modelu detekcije. Kontekst: Detekcija pješaka; podaci o treningu ponderisani dan/grad.Izlaz: stanje za provjeru | mjerenje | znak rizika.
Slaba prompt / Jaka prompt
Slab upit:
Da li je ovaj autonomni kočioni sistem bezbedan, potvrdite.
Pokušaj da dobijete AI sigurnosnu dozvolu je opasan; Odobrenje pripada ovlaštenom inženjeru.
Snažan upit:
Uloga: Vi ste konsultant za funkcionalnu sigurnost i SOTIF. Zadatak: Navedite koja pitanja trebam postaviti i koje dokaze trebam prikupiti u procjeni sigurnosti moje funkcije automatskog kočenja. Kontekst: detekcija zasnovana na AI; kamera+radar; ASIL može biti visok. Ograničenje: 'Odobri' sistem; Obezbediti odvojene liste pitanja i dokaza u smislu ISO 26262 (defekt) i SOTIF (nedostatak); Naglasite da konačno odobrenje ima ovlašteni sigurnosni inženjer. Ishod: Okvir | pitanje | potrebnim dokazima.
Uobičajene greške
- Brkanje "bez kvara" sa "sigurno". Nedostatak SOTIF-a može ubiti bez kvara.
- Dobivanje AI sigurnosne dozvole. Odobrenje i odgovornost snose ovlašteni inženjer.
- Pogrešna tačnost modela kao dokaz sigurnosti. Preciznost od 99,9% ne znači da je preostali rizik upravljan.
- Ne štiti lične podatke. VIN/lokacija/ponašanje u vožnji je u okviru KVKK/GDPR.
- Ignoriranje pristrasnosti i pretjeranog samopouzdanja. Neuravnoteženi podaci i slijepo povjerenje u automatizaciju su ranjivosti.
Ukratko
- ISO 26262 upravlja rizikom zbog kvara (sa ASIL-om), dok ISO 21448/SOTIF upravlja rizikom od kvara bez greške; Oba su kritična u detekciji AI.
- ISO/SAE 21434 sajber sigurnost; neprijateljski napadi i napadi trovanjem podataka su prijetnje specifične za umjetnu inteligenciju.
- Minimizacija podataka, ograničenje svrhe i anonimizacija su obavezni u okviru KVKK/GDPR; VIN/lokacija je lični podatak.
- Predrasude, pretjerano samopouzdanje i gubitak odgovornosti glavni su etički rizici.
- AI izlaz nije zamjena za odobrenje kvalifikovanog inženjera; Bezbjednosno kritična odluka i potpis uvijek pripadaju osobi.
Zadatak aplikacije
Odaberite funkciju koja se odnosi na sigurnost (npr. zadržavanje trake). (1) Razgovarajte o tome zašto ASIL nivo ove funkcije može biti visok/nizak duž dimenzija ozbiljnosti/izloženosti/kontrolisanja. (2) Generirajte 5 scenarija “čvrst, ali neadekvatan” u sistemu pomoću predloška 2. (3) Revizija povjerljivosti relevantnog skupa podataka pomoću šablona 3. (4) Objasnite zašto izgovaranje “Model potvrđen” nije odbrana.
kontrolna lista
- [ ] Procijenio sam STVARNE dimenzije funkcije (tačan zadatak sam ostavio autoritetu).
- [ ] Napravio sam razliku između ISO 26262 (kvar) i SOTIF (nedovoljnost).
- [ ] Uzeo sam u obzir rizik sajber sigurnosti (konkurentnost/trovanje).
- [ ] Anonimizirao sam i minimizirao lične podatke.
- [ ] Provjerio sam rizike od pristrasnosti i pretjeranog samopouzdanja.
- [ ] Potvrdio sam da je sigurnosna dozvola kod kvalifikovanog inženjera.