zisky:
- Schopnost vysvětlit funkční zabezpečení ISO 26262 a rámce ISO 21448 (SOTIF) a jejich účinky na systémy obsahující umělou inteligenci
- Schopnost spravovat soukromí dat, data řidičů, kybernetickou bezpečnost (ISO/SAE 21434) a etická rizika v automobilovém kontextu
- Schopnost zachovat lidskou odpovědnost za rozhodnutí kritická z hlediska bezpečnosti s pochopením, že výstup AI nenahrazuje schválení kompetentním inženýrem
Nacházíte se v nejkritičtější jednotce tohoto modulu. Doposud jsme umělou inteligenci vnímali jako akcelerátor od návrhu po výrobu, od testování po dodavatelský řetězec. Rozhodující otázka v automotive ale zní: poškodí tento systém někoho a kdo za to nese odpovědnost? Tato jednotka srozumitelným jazykem pokrývá rámce pro zodpovědné používání umělé inteligence v odvětví kritickém z hlediska bezpečnosti – funkční bezpečnost, SOTIF, kybernetická bezpečnost, soukromí a etika. Základní princip zůstává konstantní: výstup AI nikdy nenahrazuje schválení kompetentního inženýra; Bezpečnostní rozhodnutí a odpovědnost patří člověku.
ISO 26262: Funkční bezpečnost
ISO 26262 je norma funkční bezpečnosti pro elektrické/elektronické systémy silničních vozidel. Funkční bezpečnost; Zabývá se tím, že když systém selže (rozbije se senzor, selže software), nevede to k nebezpečné situaci.
Základem tohoto standardu je ASIL (Úroveň integrity automobilové bezpečnosti). Nebezpečí se hodnotí ve třech dimenzích:
- Závažnost: Jak špatné by bylo, kdyby se to stalo? (lehké zranění nebo smrt)
- Expozice: Jak často k tomu dochází?
- Ovladatelnost: Jak moc může řidič ovládat situaci?
Tyto tři kombinace vedou k úrovni od ASIL A (nejnižší) po ASIL D (nejvyšší, např. brzdění, řízení). S rostoucí úrovní se zpřísňují požadavky na vývoj, testování a dokumentaci.
HLAVNÍ
vzorový systém
Intenzita požadavku
A.
Porucha vnitřního osvětlení
nízká
B.
koncové světlo
střední
C.
Některé funkce ADAS
vysoká
D.
Brzda, řízení, airbag
nejvyšší
Tip: Znáte-li MAIN úroveň funkce, zjistíte, kolik pozornosti vyžaduje použití AI v dané funkci. ŽÁDNÉ rozhodnutí založené na výstupu AI ve funkci nelze přijmout bez nezávislého ověření zabezpečení.
ISO 21448 (SOTIF): bezpečnost zamýšlené funkce
Klasická funkční bezpečnost (ISO 26262) se zaměřuje na otázku "co se stane, když systém selže?" V systémech detekce umělé inteligence je ale nový problém: i když systém nikdy nepracuje správně, může být nedostatečný. Kamera funguje dobře, ale nedokáže rozpoznat zasněženou desku; Radar je pevný, ale ignoruje stojící vozidlo jako signál duchů. Nedochází zde k selhání hardwaru/softwaru; Problém je na hranici zamýšleného rozsahu funkce.
ISO 21448 – SOTIF (Safety Of The Intended Functionality) řeší přesně tuto mezeru: řízení rizik vyplývajících z nerozpoznaných scénářů, limitů detekce a nepředvídaných situací, i když systém funguje tak, jak byl navržen. V ADAS/autonomním řízení založeném na AI je SOTIF stejně důležitý jako ISO 26262.
Rám
Zaměřte se
příklad
ISO 26262
Riziko v důsledku selhání
Senzor se rozbije, signál zmizí
ISO 21448 (SOTIF)
Riziko nedostatečnosti/neuznání
Robustní kamera nerozpozná zasněženou desku
ISO/SAE 21434
kybernetické bezpečnosti
Systémový útok, manipulace s daty
Pozor: AI modely jsou statistické; Nemohou zaručit, že „každou situaci uvidí správně“. SOTIF si klade za cíl zúžit neznámé nebezpečné scénáře v těchto inherentně omezených systémech a snížit zbývající riziko na přijatelnou úroveň. „Model má 99,9% přesnost“ není důkazem bezpečnosti.
ISO/SAE 21434: kybernetická bezpečnost
Připojená a softwarově definovaná vozidla jsou zranitelná vůči kybernetickým útokům. Vzdálený útočník může změnit příkaz k brzdě, ukrást telemetrii nebo oklamat detekční model (útok protivníka: způsobí, že jej model špatně rozpozná umístěním malé nálepky na talíř). ISO/SAE 21434 je konstrukční rámec pro kybernetickou bezpečnost vozidel. V kontextu umělé inteligence vynikají dvě rizika: oklamání modelu (adversarial) a otrava tréninkových dat (data poisoning). Systémy umělé inteligence kritické pro zabezpečení by měly být testovány proti těmto útokům.
Soukromí a osobní údaje
Moderní vozidlo je „datové centrum na kolech“: umístění, jízdní chování, zvuk, dokonce i kabinová kamera. Většina z nich jsou osobní údaje a vztahuje se na ně KVKK (Türkiye) a GDPR (Evropa). VIN (číslo podvozku) dokáže identifikovat vozidlo a nepřímo jeho majitele. Základní principy:
- Minimalizace dat: Sbírejte pouze to, co je potřeba.
- Omezení účelu: Nepoužívejte údaje pro jiné účely, než pro které byly shromážděny.
- Anonymizace/pseudonymizace: Odstraňte nebo zakódujte osobní identifikační údaje.
- Výslovný souhlas a transparentnost: Řidič musí vědět, co se shromažďuje.
- Bezpečné ukládání a přenos.
Upozornění: Odeslání nezpracovaného VIN, historie polohy nebo chování při řízení do veřejného cloudového nástroje umělé inteligence může být jak porušením soukromí, tak smluvním rizikem. Při práci s těmito daty je anonymizujte a používejte institucionální prostředí chráněné daty.
Etika a odpovědnost inženýra
Umělá inteligence s sebou nese některá etická rizika:
- Zkreslení: Pokud tréninková data převládají za určitých podmínek (např. den, světlá kůže, určité regionální silnice), model může fungovat špatně v nedostatečně reprezentovaných podmínkách (noc, různé podmínky). Toto je zranitelnost.
- Přehnaná sebedůvěra (automatizační zaujatost): Lidé slepě důvěřují automatizaci a potlačují svůj vlastní úsudek. Pokud se testovací inženýr přestane dívat na nezpracovaná data jen proto, že AI řekne „prošlo“, je to nebezpečný trend.
- Ztráta odpovědnosti: „Model rozhodl“ není obrana. Za rozhodnutím by měl být vždy někdo podepsaný.
Mini případové studie
Případ 1 – limit SOTIF. Automatický systém nouzového brzdění prošel všemi laboratorními testy bez poruch. Na poli, na nízkém slunci, si bílý náklaďák splete svůj přívěs s oblohou a pozdě brzdí. Nejedná se o poruchu, ale o zranitelnost SOTIF: systém je neporušený, ale scénář je mimo detekční limit. Tým přidá tento scénář do testovací knihovny a posílí radarovou fúzi. Závěr: "Žádné selhání" není důkazem bezpečnosti; Rizikem je i nedostatečnost.
Případ 2 – Zkreslená data. Model detekce chodců byl trénován převážně s denními daty; Noční paměť je výrazně nižší. Tým vyrovnává a přeškoluje data v noci a za slabého osvětlení a samostatně hlásí noční scénáře. Závěr: Nevyvážená data vytvářejí za určitých okolností smrtelnou zranitelnost.
Případ 3 – Prevence narušení soukromí. Analytik se chystá vložit data flotily do veřejného nástroje AI, když si všimne, že data obsahují nezpracované VIN a GPS polohy. Funguje ve firemním prostředí tak, že anonymizuje data (vehicle_01..arac_50 místo VIN, kód regionu místo umístění). Výsledek: Chvilka pozornosti zabránila vážnému porušení KVKK.
šablony výzvy
Šablona 1 – PŘEDBĚŽNÉ/předběžné posouzení rizik (návrh):
Role: Jste konzultantem funkční bezpečnosti. Úkol: Připraví návrh na pomoc při analýze rizik a rizik pro funkci. Kontext: Funkce: automatické nouzové brzdění; městské a meziměstské. Omezení: přesné přiřazení ASIL; Uveďte seznam otázek a bodů, kterým je třeba věnovat pozornost, pokud jde o dimenze závažnosti/expozice/kontrolovatelnosti; uveďte, že konečné zadání spočívá na autorizovaném bezpečnostním technikovi.Výstup: Velikost | hodnotící otázka | tabulka upozornění na pozornost.
Šablona 2 – sken scénáře SOTIF:
Role: Jste odborník na SOTIF. Úkol: Vyjmenujte scénáře, kde by funkce detekce mohla být „neporušená, ale nedostatečná“. Kontext: Kamera + radar; nízké slunce, sníh, výjezd z tunelu, neobvyklé objekty.Výstup: Scénář | proč nedostatečnost | redukční doporučení.
Šablona 3 – Ochrana soukromí:
Role: Jste konzultant pro ochranu dat (KVKK/GDPR). Úkol: Před sdílením datové sady proveďte audit ochrany osobních údajů. Kontext: Telemetrie flotily; Sloupce obsahují VIN, GPS, jízdní skóre. Omezení: Která pole jsou osobní údaje, jak by měly být anonymizovány, co bych vůbec neměl sdílet; seřadit.Výstup: Pole | riziko | doporučený graf transakcí.
Šablona 4 – Kontrola zkreslení:
Role: Jste auditorem bezpečnosti a spravedlnosti ML. Úkol: Řekněte mi, jak hledat riziko zkreslení v detekčním modelu. Kontext: Detekce chodců; tréninková data vážená den/město.Výstup: Podmínka ke kontrole | měření | rizikové znamení.
Slabá výzva / Silná výzva
Slabá výzva:
Je tento systém autonomního brzdění bezpečný, potvrďte.
Pokoušet se získat bezpečnostní prověrku AI je nebezpečné; Schválení náleží autorizovanému inženýrovi.
Výkonná výzva:
Role: Jste konzultantem funkční bezpečnosti a SOTIF. Úkol: Uveďte, jaké otázky bych měl položit a jaké důkazy bych měl shromáždit při hodnocení bezpečnosti své funkce automatického brzdění. Kontext: detekce na základě AI; kamera+radar; ASIL může být vysoký. Omezení: 'Schválit' systém; Poskytněte samostatné seznamy otázek a důkazů ve smyslu ISO 26262 (závada) a SOTIF (nedostatek); Zdůrazněte, že konečné schválení má na starosti autorizovaný bezpečnostní technik.Výstup: Framework | otázka | požadovaná důkazní tabulka.
Časté chyby
- Záměna „žádná porucha“ s „bezpečným“. Nedostatek SOTIF může zabít, aniž by selhal.
- Získání bezpečnostní prověrky AI. Schválení a odpovědnost nese autorizovaný inženýr.
- Chybná přesnost modelu jako důkaz bezpečnosti. 99,9% přesnost neznamená, že zbývající riziko bylo zvládnuto.
- Nechrání osobní údaje. VIN/místo/jízdní chování spadá do působnosti KVKK/GDPR.
- Ignorování zaujatosti a přílišného sebevědomí. Nevyvážená data a slepá důvěra v automatizaci jsou zranitelností.
V souhrnu
- ISO 26262 řídí riziko selhání (s ASIL), zatímco ISO 21448/SOTIF řídí riziko selhání bez selhání; Oba jsou kritické pro detekci AI.
- kybernetická bezpečnost ISO/SAE 21434; útočné útoky a útoky na otravu dat jsou hrozby specifické pro umělou inteligenci.
- Minimalizace dat, omezení účelu a anonymizace jsou povinné v rámci KVKK/GDPR; VIN/místo je osobní údaj.
- Předsudky, přílišná sebedůvěra a ztráta odpovědnosti jsou hlavními etickými riziky.
- Výstup AI nenahrazuje schválení kvalifikovaného inženýra; Bezpečnostní rozhodnutí a podpis vždy patří osobě.
Aplikační úkol
Vyberte funkci související s bezpečností (např. udržování v jízdním pruhu). (1) Diskutujte, proč může být úroveň ASIL této funkce vysoká/nízká v dimenzích závažnosti/expozice/ovladatelnosti. (2) Vygenerujte 5 „systémově solidních, ale neadekvátních“ scénářů pomocí Šablony 2. (3) Proveďte audit důvěrnosti příslušné datové sady pomocí Šablony 3. (4) Vysvětlete, proč říkat „Model potvrzen“ není obrana.
kontrolní seznam
- [ ] Vyhodnotil jsem SKUTEČNÉ rozměry funkce (přesné zadání jsem nechal na úřadu).
- [ ] Rozlišoval jsem ISO 26262 (porucha) a SOTIF (nedostatek).
- [ ] Vzal jsem v úvahu riziko kybernetické bezpečnosti (nepříznivé/otrava).
- [ ] Osobní údaje jsem anonymizoval a minimalizoval.
- [ ] Zkontroloval jsem rizika předpojatosti a nadměrné sebedůvěry.
- [ ] Potvrdil jsem, že bezpečnostní prověrka je u kvalifikovaného inženýra.