Ieguvumi:
- Spēja izskaidrot ISO 26262 funkcionālās drošības un ISO 21448 (SOTIF) ietvarus un to ietekmi uz sistēmām, kas satur mākslīgo intelektu
- Spēja pārvaldīt datu privātumu, vadītāja datus, kiberdrošību (ISO/SAE 21434) un ētiskos riskus automobiļu kontekstā
- Spēja saglabāt cilvēka atbildību par drošībai kritiskiem lēmumiem, saprotot, ka mākslīgā intelekta izvade neaizstāj kompetenta inženiera apstiprinājumu
Jūs atrodaties šī moduļa vissvarīgākajā vienībā. Līdz šim mēs esam redzējuši AI kā paātrinātāju no projektēšanas līdz ražošanai, no testēšanas līdz piegādes ķēdei. Bet izšķirošais jautājums autobūves jomā ir: vai šī sistēma kādam kaitēs un kurš ir atbildīgs? Šajā nodaļā vienkāršā valodā ir aprakstītas AI atbildīgas lietošanas pamatnostādnes drošībai kritiskā nozarē — funkcionālā drošība, SOTIF, kiberdrošība, privātums un ētika. Pamatprincips paliek nemainīgs: AI izvade nekad neaizstāj kompetenta inženiera apstiprinājumu; Drošībai kritisks lēmums un atbildība pieder cilvēkam.
ISO 26262: funkcionālā drošība
ISO 26262 ir funkcionālās drošības standarts autotransporta elektriskajām/elektroniskajām sistēmām. Funkcionālā drošība; Tas ir saistīts ar to, lai sistēmas kļūmes gadījumā (sensors sabojājas, programmatūras kļūme) neradītu bīstamu situāciju.
Šī standarta pamatā ir ASIL (Automotive Safety Integrity Level). Apdraudējums tiek novērtēts trīs dimensijās:
- Smagums: cik slikti tas būtu, ja tas notiktu? (neliels ievainojums vai nāve)
- Iedarbība: cik bieži tas notiek?
- Vadāmība: cik daudz vadītājs var kontrolēt situāciju?
Šīs trīs kombinācijas rada līmeni no ASIL A (zemākais) līdz ASIL D (augstākais, piemēram, bremzēšana, stūrēšana). Paaugstinoties līmenim, izstrādes, testēšanas un dokumentācijas prasības kļūst stingrākas.
GALVENĀ
paraugu sistēma
Prasības intensitāte
A.
Iekšējā apgaismojuma darbības traucējumi
zems
B.
aizmugurējais lukturis
vidējs
C.
Dažas ADAS funkcijas
augsts
D.
Bremze, stūre, gaisa spilvens
augstākais
Padoms. Zinot funkcijas GALVENO līmeni, varat uzzināt, cik daudz uzmanības prasa AI izmantošana šajā funkcijā. Nevienu lēmumu, kas balstīts uz MI izvadi funkcijā, nevar pieņemt bez neatkarīgas drošības pārbaudes.
ISO 21448 (SOTIF): paredzētās funkcijas drošība
Klasiskā funkcionālā drošība (ISO 26262) koncentrējas uz jautājumu "kas notiek, ja sistēma neizdodas?" Bet mākslīgā intelekta noteikšanas sistēmās ir jauna problēma: pat ja sistēma nekad nedarbojas, tā var būt nepietiekama. Kamera darbojas labi, bet nevar atpazīt sniegotu plāksni; Radars ir stabils, taču tas ignorē stāvošu transportlīdzekli kā spoka signālu. Šeit nav aparatūras/programmatūras kļūmes; Problēma ir pie paredzētā funkcijas apjoma robežas.
ISO 21448 — SOTIF (Paredzētās funkcionalitātes drošība) novērš tieši šo trūkumu: tiek pārvaldīti riski, kas rodas no neatpazītiem scenārijiem, noteikšanas ierobežojumiem un neparedzētām situācijām, pat ja sistēma darbojas, kā paredzēts. AI balstītajā ADAS/autonomajā braukšanā SOTIF ir tikpat kritisks kā ISO 26262.
Rāmis
Fokuss
piemērs
ISO 26262
Risks neveiksmes dēļ
Sensors sabojājas, signāls pazūd
ISO 21448 (SOTIF)
Nepietiekamības/neatpazīšanas risks
Izturīgā kamera neatpazīst sniegotu plāksni
ISO/SAE 21434
kiberdrošība
Sistēmas uzbrukums, datu manipulācijas
Uzmanību: AI modeļi ir statistiski; Viņi nevar garantēt, ka "redzēs katru situāciju pareizi". SOTIF mērķis ir sašaurināt nezināmos bīstamības scenārijus šajās pēc būtības ierobežotajās sistēmās un samazināt atlikušo risku līdz pieņemamam līmenim. “Modelis ir 99,9% precīzs” nav drošības pierādījums.
ISO/SAE 21434: kiberdrošība
Savienoti un programmatūras definēti transportlīdzekļi ir neaizsargāti pret kiberuzbrukumiem. Attālināts uzbrucējs var mainīt bremzēšanas komandu, nozagt telemetriju vai viltot noteikšanas modeli (sacensību uzbrukums: liek modelim to nepareizi atpazīt, uzliekot uz šķīvja nelielu uzlīmi). ISO/SAE 21434 ir transportlīdzekļu kiberdrošības inženiertehniskā sistēma. Mākslīgā intelekta kontekstā izceļas divi riski: modeļa maldināšana (pretenciozitāte) un apmācības datu saindēšana (datu saindēšana). Drošībai kritiskās AI sistēmas ir jāpārbauda pret šiem uzbrukumiem.
Privātums un personas dati
Mūsdienu transportlīdzeklis ir “datu centrs uz riteņiem”: atrašanās vieta, braukšanas uzvedība, audio, pat salona kamera. Lielākā daļa no tiem ir personas dati, un uz tiem attiecas KVKK (Türkiye) un GDPR (Eiropa). VIN (šasijas numurs) var identificēt transportlīdzekli un netieši tā īpašnieku. Pamatprincipi:
- Datu minimizēšana: vāciet tikai nepieciešamo.
- Mērķa ierobežojums: neizmantojiet datus citiem mērķiem, nevis tiem, kādiem tie tika vākti.
- Anonimizēšana/pseidonimizācija: noņemiet vai iekodējiet personu identificējošu informāciju.
- Skaidra piekrišana un pārredzamība: vadītājam ir jāzina, kas tiek vākts.
- Droša uzglabāšana un pārsūtīšana.
Uzmanību! Neapstrādāta VIN, atrašanās vietu vēstures vai braukšanas uzvedības nosūtīšana uz publisku mākoņa AI rīku var būt gan privātuma pārkāpums, gan līgumisks risks. Strādājot ar šiem datiem, padariet tos anonīmus un izmantojiet institucionālu, ar datiem aizsargātu vidi.
Ētika un inženiera atbildība
Mākslīgais intelekts rada dažus ētiskus riskus:
- Novirze: ja apmācību dati dominē noteiktos apstākļos (piemēram, dienas laikā, gaiša āda, noteikti reģionālie ceļi), modelis var slikti darboties nepietiekami pārstāvētos apstākļos (nakts, dažādi apstākļi). Tā ir ievainojamība.
- Pārmērīga pašpārliecinātība (automatizācijas aizspriedumi): cilvēki akli uzticas automatizācijai un ignorē savu spriedumu. Ja testa inženieris pārstāj skatīties neapstrādātos datus tikai tāpēc, ka AI saka “izturēts”, tā ir bīstama tendence.
- Atbildības zaudēšana: "Modele nolēma" nav aizstāvība. Aiz lēmuma vienmēr jābūt personai, kas parakstās.
Mini gadījumu izpēte
1. gadījums — SOTIF ierobežojums. Automātiskā avārijas bremzēšanas sistēma iztur visus laboratorijas testus bez darbības traucējumiem. Laukā zemā saulē balta kravas automašīna piekabi sajauc ar debesīm un vēlu bremzē. Tā nav darbības kļūme, bet gan SOTIF ievainojamība: sistēma ir neskarta, bet scenārijs ir ārpus noteikšanas robežas. Komanda pievieno šo scenāriju testa bibliotēkai un stiprina radaru saplūšanu. Secinājums: "Nav kļūmes" nav drošības pierādījums; Nepietiekamība ir arī risks.
2. gadījums — neobjektīvi dati. Gājēju noteikšanas modelis tika apmācīts galvenokārt ar dienas datiem; Nakts atsaukšana ir ievērojami zemāka. Komanda līdzsvaro un pārkvalificē nakts un vāja apgaismojuma datus un atsevišķi ziņo par nakts scenārijiem. Secinājums: nelīdzsvaroti dati noteiktos apstākļos rada nāvējošu ievainojamību.
3. gadījums — privātuma pārkāpumu novēršana. Analītiķis gatavojas ielīmēt flotes datus publiskā AI rīkā, kad viņš pamana, ka datos ir neapstrādātas VIN un GPS atrašanās vietas. Tas darbojas korporatīvajā vidē, anonimizējot datus (vehicle_01..arac_50, nevis VIN, reģiona kods, nevis atrašanās vieta). Rezultāts: Uzmanības brīdis novērsa nopietnu KVKK pārkāpumu.
uzvedņu veidnes
1. veidne — IEPRIEKŠĒJS/riska provizoriskais novērtējums (projekts):
Loma: Jūs esat funkcionālās drošības konsultants. Uzdevums: sagatavo uzmetumu, lai palīdzētu veikt funkcijas apdraudējumu un riska analīzi. Konteksts: Funkcija: automātiska avārijas bremzēšana; pilsētas un starppilsētu.Ierobežojums: precīza ASIL piešķiršana; Sniedziet jautājumu un uzmanības punktu sarakstu par smaguma/ekspozīcijas/kontrolējamības dimensijām; norāda, ka galīgo uzdevumu veic pilnvarotais drošības inženieris.Izvade: izmērs | vērtēšanas jautājums | uzmanības piezīmju tabula.
2. veidne — SOTIF scenārija skenēšana:
Loma: Jūs esat SOTIF eksperts. Uzdevums: uzskaitiet scenārijus, kuros noteikšanas funkcija varētu būt “sistēma neskarta, bet neatbilstoša”. Konteksts: kamera + radars; zema saule, sniegs, tuneļa izeja, neparasti objekti.Izvade: Scenārijs | kāpēc neatbilstība | samazināšanas ieteikums.
3. veidne — konfidencialitātes kontrole:
Loma: Jūs esat datu aizsardzības (KVKK/GDPR) konsultants. Uzdevums: pirms datu kopas koplietošanas veiciet privātuma auditu. Konteksts: Flotes telemetrija; Slejās ir VIN, GPS, braukšanas rezultāts. Ierobežojums: Kuri lauki ir personas dati, kā tos anonimizēt, ko vispār nedrīkstu kopīgot; kārtot.Izvade: Lauks | risks | ieteicamā darījumu diagramma.
4. veidne — novirzes pārbaude:
Loma: Jūs esat ML drošības un godīguma auditors. Uzdevums: Pastāstiet man, kā atrast neobjektivitātes risku noteikšanas modelī. Konteksts: Gājēju noteikšana; treniņu datu svērtā diena/pilsēta.Izvade: Pārbaudāmais stāvoklis | mērījums | riska zīme.
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Vai šī autonomā bremžu sistēma ir droša, apstipriniet.
Mēģinājums iegūt AI drošības pielaidi ir bīstams; Apstiprinājums pieder pilnvarotajam inženierim.
Spēcīga uzvedne:
Loma: Jūs esat funkcionālās drošības un SOTIF konsultants. Uzdevums: Uzskaitiet, kādi jautājumi man būtu jāuzdod un kādi pierādījumi man būtu jāapkopo savas automātiskās bremzēšanas funkcijas drošības novērtējumā. Konteksts: uz AI balstīta noteikšana; kamera+radars; ASIL var būt augsts.Ierobežojums: "Apstiprināt" sistēmu; Sniedziet atsevišķus jautājumu un pierādījumu sarakstus attiecībā uz ISO 26262 (defekts) un SOTIF (trūkums); Uzsveriet, ka galīgo apstiprinājumu nodrošina pilnvarotais drošības inženieris.Izvade: Framework | jautājums | nepieciešamo pierādījumu tabulu.
Biežas kļūdas
- Sajaukšana "nav darbības traucējumu" ar "drošs". SOTIF trūkums var nogalināt bez darbības traucējumiem.
- AI drošības pielaides iegūšana. Apstiprinājums un atbildība gulstas uz pilnvarotu inženieri.
- Kļūdaina modeļa precizitāte kā drošības pierādījums. 99,9% precizitāte neliecina, ka atlikušais risks ir pārvaldīts.
- Neaizsargā personas datus. VIN/atrašanās vieta/braukšanas uzvedība ir KVKK/GDPR darbības jomā.
- Neobjektivitātes un pārmērīgas pašpārliecinātības ignorēšana. Nesabalansēti dati un akla uzticēšanās automatizācijai ir ievainojamība.
Rezumējot
- ISO 26262 pārvalda risku atteices dēļ (ar ASIL), savukārt ISO 21448/SOTIF pārvalda kļūmes risku bez atteices; Abi ir kritiski svarīgi AI noteikšanā.
- ISO/SAE 21434 kiberdrošība; Sacensību un datu saindēšanās uzbrukumi ir AI specifiski draudi.
- Datu minimizēšana, mērķa ierobežošana un anonimizācija ir obligāta KVKK/GDPR darbības jomā; VIN/atrašanās vieta ir personas dati.
- Aizspriedumi, pārmērīga uzticēšanās un atbildības zaudēšana ir galvenie ētiskie riski.
- AI izvade neaizstāj kvalificēta inženiera apstiprinājumu; Drošībai kritiskais lēmums un paraksts vienmēr pieder personai.
Lietojumprogrammas uzdevums
Izvēlieties ar drošību saistītu funkciju (piemēram, joslas saglabāšanu). (1) Apspriediet, kāpēc šīs funkcijas ASIL līmenis var būt augsts/zems atkarībā no smaguma pakāpes/ekspozīcijas/vadāmības dimensijām. (2) Izveidojiet 5 “sistēmas stabilu, bet neatbilstošu” scenārijus, izmantojot 2. veidni. (3) Konfidencialitātes pārbaudi attiecīgu datu kopu, izmantojot 3. veidni. (4) Paskaidrojiet, kāpēc teikšana “Modelis apstiprināts” nav aizsardzība.
kontrolsaraksts
- [ ] Novērtēju FAKTISKĀS funkcijas dimensijas (precīzu uzdevumu atstāju iestādes ziņā).
- [ ] Es nošķīru ISO 26262 (nepareiza darbība) un SOTIF (nepietiekamība).
- [ ] Esmu ņēmis vērā kiberdrošības (pretdarbības/saindēšanās) risku.
- [ ] Es anonimizēju un samazināju personas datus.
- [ ] Es pārbaudīju neobjektivitātes un pārmērīgas pašpārliecinātības riskus.
- [ ] Esmu apstiprinājis, ka drošības pielaide ir pie kvalificēta inženiera.