Pelnas:
- Gebėjimas paaiškinti ISO 26262 funkcinės saugos ir ISO 21448 (SOTIF) sistemas ir jų poveikį sistemoms, kuriose yra dirbtinis intelektas
- Gebėjimas valdyti duomenų privatumą, vairuotojo duomenis, kibernetinį saugumą (ISO/SAE 21434) ir etinę riziką automobilių kontekste
- Gebėjimas išlaikyti žmogaus atsakomybę už saugai svarbius sprendimus suprantant, kad dirbtinio intelekto išvestis nepakeičia kompetentingo inžinieriaus patvirtinimo
Jūs esate svarbiausiame šio modulio skyriuje. Iki šiol AI matėme kaip greitintuvą nuo projektavimo iki gamybos, nuo testavimo iki tiekimo grandinės. Tačiau automobilyje lemiamas klausimas: ar ši sistema kam nors pakenks ir kas už tai atsakingas? Šiame skyriuje aiškia kalba aprašomos atsakingo dirbtinio intelekto naudojimo saugai svarbioje pramonėje sistemos – funkcinė sauga, SOTIF, kibernetinis saugumas, privatumas ir etika. Pagrindinis principas išlieka pastovus: AI išvestis niekada nepakeičia kompetentingo inžinieriaus patvirtinimo; Saugumui svarbus sprendimas ir atsakomybė priklauso žmogui.
ISO 26262: funkcinė sauga
ISO 26262 yra kelių transporto priemonių elektrinių/elektroninių sistemų funkcinis saugos standartas. Funkcinė sauga; Jam rūpi užtikrinti, kad sugedus sistemai (sugedus jutikliui, sugedus programinei įrangai), tai nesukeltų pavojingos situacijos.
Šio standarto esmė yra ASIL (Automotive Safety Integrity Level). Pavojus vertinamas trimis aspektais:
- Sunkumas: kaip būtų blogai, jei taip atsitiktų? (nežymus sužalojimas arba mirtis)
- Ekspozicija: kaip dažnai tai vyksta?
- Valdomumas: kiek vairuotojas gali kontroliuoti situaciją?
Dėl šių trijų kartu gaunamas lygis nuo ASIL A (žemiausias) iki ASIL D (aukščiausias, pvz., stabdymo, vairavimo). Didėjant lygiui, griežtėja kūrimo, testavimo ir dokumentacijos reikalavimai.
PAGRINDINĖ
pavyzdžių sistema
Reikalavimo intensyvumas
A.
Vidaus apšvietimo gedimas
žemas
B.
galinis žibintas
vidutinis
C.
Kai kurios ADAS funkcijos
aukštas
D.
Stabdžiai, vairas, oro pagalvė
aukščiausias
Patarimas: žinant funkcijos MAIN lygį, galima sužinoti, kiek dėmesio reikia dirbti dirbtiniu intelektu šioje funkcijoje. Joks sprendimas, pagrįstas AI išvestimi funkcijoje, negali būti priimtas be nepriklausomo saugumo patikrinimo.
ISO 21448 (SOTIF): numatytos funkcijos sauga
Klasikinė funkcinė sauga (ISO 26262) sutelkta į klausimą "kas atsitiks, jei sistema suges?" Tačiau dirbtinio intelekto aptikimo sistemose yra nauja problema: net jei sistema niekada neveikia, ji gali būti netinkama. Kamera veikia gerai, bet negali atpažinti apsnigtos plokštės; Radaras yra tvirtas, tačiau jis nepaiso stovinčios transporto priemonės kaip vaiduoklio signalo. Čia nėra aparatinės / programinės įrangos gedimo; Problema yra ties numatytos funkcijos apimties riba.
ISO 21448 – SOTIF (Numatyto funkcionalumo sauga) tiksliai pašalina šią spragą: valdo riziką, kylančią dėl neatpažintų scenarijų, aptikimo ribų ir nenumatytų situacijų, net jei sistema veikia taip, kaip numatyta. Dirbtinio intelekto pagrindu sukurtame ADAS / autonominiame vairavimo sistemoje SOTIF yra toks pat svarbus kaip ISO 26262.
Rėmas
Fokusas
pavyzdys
ISO 26262
Rizika dėl nesėkmės
Jutiklis sugenda, signalas dingsta
ISO 21448 (SOTIF)
Neadekvatumo/nepripažinimo rizika
Tvirta kamera neatpažįsta apsnigtos plokštės
ISO/SAE 21434
kibernetinis saugumas
Sistemos ataka, manipuliavimas duomenimis
Atsargiai: AI modeliai yra statistiniai; Jie negali garantuoti, kad „teisingai matys kiekvieną situaciją“. SOTIF siekia susiaurinti nežinomus pavojingus scenarijus šiose natūraliai ribotose sistemose ir sumažinti likusią riziką iki priimtino lygio. „Modelis yra 99,9 % tikslus“ nėra saugumo įrodymas.
ISO/SAE 21434: kibernetinė sauga
Prijungtos ir programinės įrangos apibrėžtos transporto priemonės yra pažeidžiamos kibernetinių atakų. Nuotolinis užpuolikas gali pakeisti stabdymo komandą, pavogti telemetriją arba apgauti aptikimo modelį (priešinė ataka: priverčiamas modelį klaidingai jį atpažinti, ant lėkštės uždėjus mažą lipduką). ISO/SAE 21434 yra transporto priemonių kibernetinio saugumo inžinerinė sistema. Dirbtinio intelekto kontekste išsiskiria dvi rizikos: modelio apgaudinėjimas (priešingas) ir mokymo duomenų nuodijimas (duomenų apsinuodijimas). Saugumui svarbios AI sistemos turėtų būti išbandytos prieš šias atakas.
Privatumas ir asmens duomenys
Šiuolaikinė transporto priemonė yra „duomenų centras ant ratų“: vieta, vairavimo elgsena, garsas, net salono kamera. Didžioji jų dalis yra asmens duomenys, kuriems taikomas KVKK (Türkiye) ir GDPR (Europa). VIN (važiuoklės numeris) gali identifikuoti transporto priemonę ir netiesiogiai jos savininką. Pagrindiniai principai:
- Duomenų mažinimas: rinkti tik tai, ko reikia.
- Tikslo apribojimas: nenaudokite duomenų kitais tikslais nei tie, kuriems jie buvo surinkti.
- Anonimizavimas / pseudoniminimas: pašalinkite arba užkoduokite asmenį identifikuojančią informaciją.
- Aiškus sutikimas ir skaidrumas: vairuotojas turi žinoti, kas renkama.
- Saugus saugojimas ir perkėlimas.
Atsargiai: neapdoroto VIN, vietos istorijos ar vairavimo elgsenos siuntimas į viešąjį debesies AI įrankį gali būti privatumo pažeidimas ir sutartinė rizika. Dirbdami su šiais duomenimis, anoniminkite juos ir naudokite institucinę, nuo duomenų apsaugotą aplinką.
Etika ir inžinieriaus atsakomybė
Dirbtinis intelektas kelia tam tikrų etinių pavojų:
- Poslinkis: jei treniruočių duomenys vyrauja tam tikromis sąlygomis (pvz., diena, šviesi oda, tam tikri regioniniai keliai), modelis gali prastai veikti esant nepakankamai reprezentatyvioms sąlygoms (naktis, skirtingos sąlygos). This is a vulnerability.
- Per didelis pasitikėjimas savimi (automatizavimo šališkumas): žmonės aklai pasitiki automatizavimu ir nepaiso savo sprendimų. Jei bandymų inžinierius nustoja žiūrėti į neapdorotus duomenis tik todėl, kad AI sako „pasiekė“, tai yra pavojinga tendencija.
- Atsakomybės praradimas: „Modelis nusprendė“ nėra gynyba. Už sprendimą visada turėtų pasirašyti asmuo.
Mini atvejų analizė
1 atvejis – SOTIF riba. Automatinė avarinio stabdymo sistema išlaiko visus laboratorinius bandymus, be gedimų. Lauke, žemai saulei, baltas sunkvežimis sumaišo savo priekabą su dangumi ir vėlai stabdo. Tai ne gedimas, o SOTIF pažeidžiamumas: sistema nepažeista, bet scenarijus viršija aptikimo ribą. Komanda prideda šį scenarijų į bandymų biblioteką ir sustiprina radaro sintezę. Išvada: „Nėra gedimų“ nėra saugumo įrodymas; Nepakankamas pavojus taip pat yra.
Case 2 - Biased data. Pėsčiųjų aptikimo modelis buvo apmokytas daugiausia naudojant dienos duomenis; Naktinis prisiminimas yra žymiai mažesnis. Komanda subalansuoja ir iš naujo apmoko nakties ir silpno apšvietimo duomenis bei atskirai praneša apie nakties scenarijus. Išvada: nesubalansuoti duomenys tam tikromis aplinkybėmis sukuria mirtiną pažeidžiamumą.
3 atvejis – privatumo pažeidimo prevencija. Analitikas ruošiasi įklijuoti transporto parko duomenis į viešąjį AI įrankį, kai pastebi, kad duomenyse yra neapdorotos VIN ir GPS vietos. Jis veikia įmonės aplinkoje anonimizuojantis duomenis (vehicle_01..arac_50 vietoj VIN, regiono kodas vietoj vietos). Rezultatas: akimirka dėmesio užkirto kelią rimtam KVKK pažeidimui.
raginimo šablonai
1 šablonas – IŠANKSTINIS / rizikos preliminarus įvertinimas (juodraštis):
Vaidmuo: esate funkcinės saugos konsultantas. Užduotis: parengia juodraštį, kad būtų lengviau atlikti funkcijos pavojų ir rizikos analizę. Kontekstas: Funkcija: automatinis avarinis stabdymas; miesto ir tarpmiestiniai. Apribojimas: tikslus ASIL priskyrimas; Pateikite klausimų ir dėmesio punktų, susijusių su sunkumo/ekspozicijos/valdomumo matmenimis, sąrašą; nurodykite, kad galutinę užduotį turi įgaliotas saugos inžinierius.Išvestis: dydis | evaluation question | attention note table.
2 šablonas – SOTIF scenarijaus nuskaitymas:
Vaidmuo: esate SOTIF ekspertas. Užduotis: išvardykite scenarijus, kai aptikimo funkcija gali būti „sistema nepažeista, bet netinkama“. Context: Camera + radar; žema saulė, sniegas, tunelio išėjimas, neįprasti objektai. Išvestis: Scenarijus | why inadequacy | mažinimo rekomendacija.
3 šablonas – privatumo valdymas:
Vaidmuo: esate duomenų apsaugos (KVKK/GDPR) konsultantas. Užduotis: prieš dalindamiesi duomenų rinkiniu atlikite privatumo auditą. Kontekstas: parko telemetrija; Stulpeliuose yra VIN, GPS, vairavimo balas. Apribojimas: Kurie laukai yra asmens duomenys, kaip jie turi būti anonimizuoti, ko iš viso neturėčiau dalytis; sort.Output: Field | rizika | Rekomenduojama sandorių diagrama.
Template 4 - Bias check:
Vaidmuo: esate ML saugos ir sąžiningumo auditorius. Užduotis: pasakykite man, kaip aptikimo modelyje ieškoti šališkumo rizikos. Kontekstas: pėsčiųjų aptikimas; treniruočių duomenų svertinė diena/miestas.Išvestis: Sąlyga, kurią reikia patikrinti | measurement | risk sign.
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Ar ši autonominė stabdžių sistema yra saugi, patvirtinkite.
Bandymas gauti AI saugumo leidimą yra pavojingas; Patvirtinimas priklauso įgaliotajam inžinieriui.
Galingas raginimas:
Vaidmuo: esate funkcinės saugos ir SOTIF konsultantas. Užduotis: Išvardykite, kokius klausimus turėčiau užduoti ir kokius įrodymus turėčiau surinkti vertindamas savo automatinio stabdymo funkciją. Kontekstas: AI pagrįstas aptikimas; camera+radar; ASIL gali būti didelis. Apribojimas: "Patvirtinti" sistemą; Pateikite atskirus klausimų ir įrodymų sąrašus pagal ISO 26262 (defektas) ir SOTIF (trūkumas); Pabrėžkite, kad galutinį patvirtinimą turi įgaliotas saugos inžinierius.Išvestis: sistema | question | required evidence table.
Dažnos klaidos
- Painiojame „nėra gedimo“ su „saugu“. SOTIF trūkumas gali nužudyti be veikimo sutrikimų.
- AI saugumo pažymėjimo gavimas. Patvirtinimas ir atsakomybė tenka įgaliotam inžinieriui.
- Klaidingas modelio tikslumas kaip saugumo įrodymas. 99,9% tikslumas nereiškia, kad likusi rizika buvo suvaldyta.
- Nesaugo asmens duomenų. VIN / vieta / vairavimo elgsena patenka į KVKK / GDPR taikymo sritį.
- Nepaisymas šališkumo ir per didelio pasitikėjimo savimi. Nesubalansuoti duomenys ir aklas pasitikėjimas automatizavimu yra pažeidžiamumas.
Apibendrinant
- ISO 26262 valdo riziką dėl gedimo (su ASIL), o ISO 21448/SOTIF valdo gedimo riziką be gedimo; Abu yra labai svarbūs AI aptikimui.
- ISO/SAE 21434 kibernetinis saugumas; priešingos ir duomenų apsinuodijimo atakos yra DI specifinės grėsmės.
- Duomenų sumažinimas, tikslo ribojimas ir anonimiškumas yra privalomi KVKK/GDPR taikymo sferoje; VIN/vieta yra asmens duomenys.
- Išankstinis nusistatymas, per didelis pasitikėjimas savimi ir atsakomybės praradimas yra pagrindinė etinė rizika.
- AI išvestis nepakeičia kvalifikuoto inžinieriaus patvirtinimo; Saugumui svarbus sprendimas ir parašas visada priklauso asmeniui.
Taikymo užduotis
Pasirinkite su sauga susijusią funkciją (pvz., eismo juostos išlaikymą). (1) Aptarkite, kodėl šios funkcijos ASIL lygis gali būti aukštas / žemas atsižvelgiant į sunkumo / ekspozicijos / valdomumo matmenis. (2) Sukurkite 5 „sistemos tvirtus, bet netinkamus“ scenarijus naudodami 2 šabloną. (3) Konfidencialumo patikrinkite atitinkamą duomenų rinkinį naudodami 3 šabloną. (4) Paaiškinkite, kodėl pasakymas „Modelis patvirtintas“ nėra gynyba.
kontrolinis sąrašas
- [ ] Įvertinau AKTUALIUS funkcijos matmenis (tikslų užduotį palikau institucijai).
- [ ] Atskyriau ISO 26262 (gedimas) ir SOTIF (nepakankamumas).
- [ ] Atsižvelgiau į kibernetinio saugumo (priešingumo / apsinuodijimo) riziką.
- [ ] Asmens duomenis anonimizuojau ir sumažinau.
- [ ] Patikrinau, ar nėra šališkumo ir per didelio pasitikėjimo savimi.
- [ ] Patvirtinau, kad saugumo pažymėjimą turi kvalifikuotas inžinierius.