zisky:
- Schopnosť vysvetliť funkčnú bezpečnosť ISO 26262 a rámce ISO 21448 (SOTIF) a ich účinky na systémy obsahujúce umelú inteligenciu
- Schopnosť spravovať súkromie údajov, údaje vodičov, kybernetickú bezpečnosť (ISO/SAE 21434) a etické riziká v automobilovom kontexte
- Schopnosť zachovať ľudskú zodpovednosť za rozhodnutia kritické z hľadiska bezpečnosti tým, že pochopíte, že výstup AI nie je náhradou za schválenie kompetentným inžinierom
Nachádzate sa v najkritickejšej jednotke tohto modulu. Doteraz sme AI vnímali ako akcelerátor od návrhu po výrobu, od testovania po dodávateľský reťazec. Rozhodujúca otázka v automotive však znie: poškodí tento systém niekoho a kto je zaň zodpovedný? Táto jednotka v jednoduchom jazyku pokrýva rámce pre zodpovedné používanie AI v odvetví kritickom z hľadiska bezpečnosti – funkčná bezpečnosť, SOTIF, kybernetická bezpečnosť, súkromie a etika. Základný princíp zostáva konštantný: výstup AI nikdy nenahrádza schválenie kompetentným inžinierom; Bezpečnostne kritické rozhodnutie a zodpovednosť patrí človeku.
ISO 26262: funkčná bezpečnosť
ISO 26262 je norma funkčnej bezpečnosti pre elektrické/elektronické systémy cestných vozidiel. Funkčná bezpečnosť; Ide o to, aby v prípade zlyhania systému (pokazenie snímača, zlyhania softvéru) nedošlo k nebezpečnej situácii.
Základom tohto štandardu je ASIL (Úroveň integrity bezpečnosti automobilového priemyslu). Nebezpečenstvo sa hodnotí v troch dimenziách:
- Závažnosť: Aké zlé by to bolo, keby sa to stalo? (ľahké zranenie alebo smrť)
- Expozícia: Ako často sa to stáva?
- Ovládateľnosť: Do akej miery môže vodič kontrolovať situáciu?
Tieto tri kombinácie vedú k úrovni od ASIL A (najnižšia) po ASIL D (najvyššia, napr. brzdenie, riadenie). Ako sa úroveň zvyšuje, požiadavky na vývoj, testovanie a dokumentáciu sa sprísňujú.
HLAVNÁ
vzorový systém
Intenzita požiadavky
A.
Porucha vnútorného osvetlenia
nízka
B.
koncové svetlo
stredná
C.
Niektoré funkcie ADAS
vysoká
D.
Brzda, riadenie, airbag
najvyššie
Tip: Poznanie HLAVNEJ úrovne funkcie vám povie, koľko pozornosti si vyžaduje používanie AI v danej funkcii. ŽIADNE rozhodnutie založené na výstupe AI vo funkcii nemožno prijať bez nezávislého overenia bezpečnosti.
ISO 21448 (SOTIF): bezpečnosť zamýšľanej funkcie
Klasická funkčná bezpečnosť (ISO 26262) sa zameriava na otázku "čo sa stane, ak systém zlyhá?" V detekčných systémoch umelej inteligencie je však nový problém: aj keď systém nikdy nepracuje nesprávne, môže byť nedostatočný. Kamera funguje dobre, ale nedokáže rozpoznať zasneženú dosku; Radar je pevný, ale ignoruje stojace vozidlo ako signál duchov. Nedochádza tu k zlyhaniu hardvéru/softvéru; Problém je na hranici zamýšľaného rozsahu funkcie.
ISO 21448 – SOTIF (Safety Of The Intended Functionality) rieši presne túto medzeru: riadenie rizík vyplývajúcich z nerozpoznaných scenárov, limitov detekcie a nepredvídaných situácií, aj keď systém funguje tak, ako bol navrhnutý. Pri ADAS/autonómnom riadení založenom na AI je SOTIF rovnako dôležitý ako ISO 26262.
Rám
Zamerajte sa
príklad
ISO 26262
Riziko v dôsledku zlyhania
Senzor sa pokazí, signál zmizne
ISO 21448 (SOTIF)
Riziko nedostatočnosti/neuznania
Robustná kamera nerozpozná zasneženú dosku
ISO/SAE 21434
kybernetickej bezpečnosti
Systémový útok, manipulácia s údajmi
Upozornenie: Modely AI sú štatistické; Nemôžu zaručiť, že „uvidia každú situáciu správne“. Cieľom SOTIF je zúžiť neznáme nebezpečné scenáre v týchto inherentne obmedzených systémoch a znížiť zostávajúce riziko na prijateľnú úroveň. „Model má 99,9 % presnosť“ nie je dôkazom bezpečnosti.
ISO/SAE 21434: kybernetická bezpečnosť
Prepojené a softvérovo definované vozidlá sú zraniteľné voči kybernetickým útokom. Vzdialený útočník môže zmeniť príkaz na brzdenie, ukradnúť telemetriu alebo oklamať detekčný model (útok protivníka: spôsobí, že ho model nesprávne rozpozná umiestnením malej nálepky na tanier). ISO/SAE 21434 je inžiniersky rámec pre kybernetickú bezpečnosť vozidiel. V kontexte umelej inteligencie vystupujú do popredia dve riziká: oklamanie modelu (adversarial) a otrava tréningových dát (data poisoning). Bezpečnostne kritické systémy AI by sa mali testovať proti týmto útokom.
Súkromie a osobné údaje
Moderné vozidlo je „dátové centrum na kolesách“: umiestnenie, jazdné správanie, zvuk, dokonca aj kabínová kamera. Väčšina z nich sú osobné údaje a vzťahuje sa na ne KVKK (Türkiye) a GDPR (Európa). VIN (číslo podvozku) dokáže identifikovať vozidlo a nepriamo aj jeho majiteľa. Základné princípy:
- Minimalizácia údajov: Zhromažďujte len to, čo je potrebné.
- Obmedzenie účelu: Nepoužívajte údaje na iné účely, ako je účel, na ktorý boli zhromaždené.
- Anonymizácia/pseudonymizácia: Odstráňte alebo zakódujte informácie umožňujúce identifikáciu osôb.
- Výslovný súhlas a transparentnosť: Vodič musí vedieť, čo sa zbiera.
- Bezpečné uloženie a prenos.
Upozornenie: Odosielanie nespracovaného VIN, histórie polohy alebo správania pri jazde do verejného cloudového nástroja AI môže byť porušením ochrany osobných údajov a zmluvným rizikom. Pri práci s týmito údajmi ich anonymizujte a používajte inštitucionálne prostredie chránené údajmi.
Etika a zodpovednosť inžiniera
Umelá inteligencia so sebou prináša niektoré etické riziká:
- Skreslenie: Ak tréningové údaje prevládajú za určitých podmienok (napr. deň, svetlá pokožka, určité regionálne cesty), model môže fungovať zle v nedostatočne znázornených podmienkach (noc, iné podmienky). Toto je zraniteľnosť.
- Prílišná sebadôvera (automatizačná zaujatosť): Ľudia slepo dôverujú automatizácii a potlačujú svoj vlastný úsudok. Ak sa testovací inžinier prestane pozerať na nespracované údaje len preto, že AI povie „vyhovuje“, ide o nebezpečný trend.
- Strata zodpovednosti: „Model sa rozhodol“ nie je obrana. Za rozhodnutím by mal byť vždy podpísaný človek.
Mini prípadové štúdie
Prípad 1 – limit SOTIF. Systém automatického núdzového brzdenia prejde všetkými laboratórnymi testami bez porúch. Na poli, na nízkom slnku, si biely kamión pomýli príves s oblohou a neskoro zabrzdí. Nejde o poruchu, ale o zraniteľnosť SOTIF: systém je neporušený, ale scenár je mimo detekčného limitu. Tím pridáva tento scenár do testovacej knižnice a posilňuje radarovú fúziu. Záver: „Žiadne zlyhanie“ nie je dôkazom bezpečnosti; Rizikom je aj nedostatočnosť.
Prípad 2 – Skreslené údaje. Model detekcie chodcov bol trénovaný prevažne s dennými údajmi; Nočná pamäť je výrazne nižšia. Tím vyvažuje a rekvalifikuje nočné údaje a údaje pri slabom osvetlení a samostatne uvádza nočné scenáre. Záver: Nevyvážené údaje vytvárajú za určitých okolností smrteľnú zraniteľnosť.
Prípad 3 – Zabránenie narušeniu súkromia. Analytik sa chystá vložiť údaje o flotile do verejného nástroja AI, keď si všimne, že údaje obsahujú nespracované VIN a polohy GPS. Vo firemnom prostredí funguje tak, že údaje anonymizuje (vozidlo_01..arac_50 namiesto VIN, kód regiónu namiesto miesta). Výsledok: Chvíľka pozornosti zabránila vážnemu porušeniu KVKK.
šablóny výzvy
Šablóna 1 – PREDBEŽNÉ/predbežné hodnotenie rizika (návrh):
Úloha: Ste konzultant funkčnej bezpečnosti. Úloha: Pripraví návrh na pomoc pri analýze nebezpečenstva a rizík pre funkciu. Kontext: Funkcia: automatické núdzové brzdenie; mestské a medzimestské. Obmedzenie: presné priradenie ASIL; Uveďte zoznam otázok a bodov, ktorým treba venovať pozornosť, pokiaľ ide o rozmery závažnosti/expozície/kontrolovateľnosti; uveďte, že konečné pridelenie je na autorizovanom bezpečnostnom technikovi.Výstup: Veľkosť | hodnotiaca otázka | tabuľka upozornení.
Šablóna 2 – skenovanie scenára SOTIF:
Úloha: Ste odborník na SOTIF. Úloha: Vymenujte scenáre, v ktorých môže byť funkcia detekcie „intaktná, ale nedostatočná“. Kontext: Kamera + radar; nízke slnko, sneh, výjazd z tunela, nezvyčajné objekty.Výstup: Scenár | prečo nedostatočnosť | odporúčanie na zníženie.
Šablóna 3 – Kontrola ochrany osobných údajov:
Úloha: Ste konzultant pre ochranu údajov (KVKK/GDPR). Úloha: Pred zdieľaním súboru údajov vykonajte audit ochrany osobných údajov. Kontext: telemetria flotily; Stĺpce obsahujú VIN, GPS, skóre jazdy. Obmedzenie: Ktoré polia sú osobné údaje, ako by mali byť anonymizované, čo by som vôbec nemal zdieľať; triediť.Výstup: Pole | riziko | odporúčaný graf transakcií.
Šablóna 4 – Kontrola zaujatosti:
Úloha: Ste audítorom bezpečnosti a spravodlivosti ML. Úloha: Povedzte mi, ako hľadať riziko skreslenia v modeli detekcie. Kontext: Detekcia chodcov; tréningové dáta vážené deň/mesto.Výstup: Podmienka na kontrolu | meranie | rizikové znamenie.
Slabá výzva / Silná výzva
Slabá výzva:
Je tento systém autonómneho brzdenia bezpečný, potvrďte.
Pokúšať sa získať bezpečnostnú previerku AI je nebezpečné; Schválenie patrí autorizovanému inžinierovi.
Výkonná výzva:
Úloha: Ste konzultant funkčnej bezpečnosti a SOTIF. Úloha: Uveďte, aké otázky by som mal položiť a aké dôkazy by som mal zhromaždiť pri hodnotení bezpečnosti mojej funkcie automatického brzdenia. Kontext: detekcia založená na AI; kamera+radar; ASIL môže byť vysoký. Obmedzenie: 'Schváliť' systém; Poskytnite samostatné zoznamy otázok a dôkazov v zmysle ISO 26262 (chyba) a SOTIF (nedostatok); Zdôraznite, že konečné schválenie patrí autorizovanému bezpečnostnému technikovi.Výstup: Rámec | otázka | požadovaná dôkazová tabuľka.
Časté chyby
- Zamieňanie „žiadna porucha“ s „bezpečným“. Nedostatok SOTIF môže zabíjať bez poruchy.
- Získanie bezpečnostnej previerky AI. Schválenie a zodpovednosť nesie autorizovaný inžinier.
- Chybná presnosť modelu ako dôkaz bezpečnosti. Presnosť 99,9 % neznamená, že zostávajúce riziko bolo zvládnuté.
- Bez ochrany osobných údajov. VIN/miesto/jazdné správanie je v rozsahu KVKK/GDPR.
- Ignorovanie zaujatosti a prílišnej sebadôvery. Nevyvážené údaje a slepá dôvera v automatizáciu sú slabé miesta.
V súhrne
- ISO 26262 riadi riziko zlyhania (s ASIL), zatiaľ čo ISO 21448/SOTIF riadi riziko zlyhania bez zlyhania; Obidve sú kritické pri detekcii AI.
- kybernetická bezpečnosť ISO/SAE 21434; útočné útoky a útoky na otravu údajov sú hrozby špecifické pre AI.
- Minimalizácia údajov, obmedzenie účelu a anonymizácia sú povinné v rámci KVKK/GDPR; VIN/miesto je osobný údaj.
- Predsudky, prílišná sebadôvera a strata zodpovednosti sú hlavnými etickými rizikami.
- Výstup AI nenahrádza schválenie kvalifikovaného inžiniera; Bezpečnostne kritické rozhodnutie a podpis vždy patria osobe.
Aplikačná úloha
Vyberte funkciu súvisiacu s bezpečnosťou (napríklad udržiavanie v jazdnom pruhu). (1) Diskutujte, prečo môže byť úroveň ASIL tejto funkcie vysoká/nízka v dimenziách závažnosti/expozície/kontrolovateľnosti. (2) Vytvorte 5 „systémových solídnych, ale neadekvátnych“ scenárov pomocou Šablóny 2. (3) Audit dôvernosti relevantného súboru údajov pomocou Šablóny 3. (4) Vysvetlite, prečo tvrdenie „Model potvrdený“ nie je obranou.
kontrolný zoznam
- [ ] Vyhodnotil som SKUTOČNÉ rozmery funkcie (presné zadanie som nechal na úrad).
- [ ] Rozlišoval som medzi ISO 26262 (porucha) a SOTIF (nedostatočnosť).
- [ ] Vzal som do úvahy riziko kybernetickej bezpečnosti (nepriateľské/otravné).
- [ ] Osobné údaje som anonymizoval a minimalizoval.
- [ ] Skontroloval som riziko zaujatosti a prílišnej sebadôvery.
- [ ] Potvrdil som, že bezpečnostnú previerku má kvalifikovaný inžinier.