Zyski:
- Umiejętność wyjaśnienia ram bezpieczeństwa funkcjonalnego ISO 26262 i ISO 21448 (SOTIF) oraz ich wpływu na systemy zawierające sztuczną inteligencję
- Umiejętność zarządzania prywatnością danych, danymi kierowców, cyberbezpieczeństwem (ISO/SAE 21434) i ryzykami etycznymi w kontekście motoryzacyjnym
- Zdolność do utrzymania ludzkiej odpowiedzialności za decyzje krytyczne dla bezpieczeństwa dzięki zrozumieniu, że wyniki sztucznej inteligencji nie zastępują zatwierdzenia przez kompetentnego inżyniera
Jesteś w najbardziej krytycznej jednostce tego modułu. Do tej pory postrzegaliśmy sztuczną inteligencję jako akcelerator od projektu po produkcję, od testowania po łańcuch dostaw. Jednak decydujące pytanie w motoryzacji brzmi: czy ten system komukolwiek zaszkodzi i kto jest za to odpowiedzialny? W tej części prostym językiem omówiono ramy odpowiedzialnego korzystania ze sztucznej inteligencji w branży o krytycznym znaczeniu dla bezpieczeństwa – bezpieczeństwo funkcjonalne, SOTIF, cyberbezpieczeństwo, prywatność i etyka. Podstawowa zasada pozostaje niezmienna: wyniki sztucznej inteligencji nigdy nie zastępują zgody kompetentnego inżyniera; Decyzje i odpowiedzialność mające kluczowe znaczenie dla bezpieczeństwa należą do człowieka.
ISO 26262: bezpieczeństwo funkcjonalne
ISO 26262 to norma bezpieczeństwa funkcjonalnego dotycząca układów elektrycznych/elektronicznych pojazdów drogowych. Bezpieczeństwo funkcjonalne; Chodzi o to, aby awaria systemu (awaria czujnika, awaria oprogramowania) nie doprowadziła do niebezpiecznej sytuacji.
Sercem tego standardu jest ASIL (poziom integralności bezpieczeństwa samochodowego). Zagrożenie ocenia się w trzech wymiarach:
- Dotkliwość: Jak źle by było, gdyby do tego doszło? (drobne obrażenia lub śmierć)
- Narażenie: Jak często to się zdarza?
- Kontrolowalność: w jakim stopniu kierowca może kontrolować sytuację?
Te trzy razem dają poziom od ASIL A (najniższy) do ASIL D (najwyższy, np. hamowanie, kierowanie). Wraz ze wzrostem poziomu wymagania dotyczące programowania, testowania i dokumentacji stają się coraz bardziej rygorystyczne.
GŁÓWNE
przykładowy układ
Intensywność wymagań
A.
Awaria oświetlenia wnętrza
niski
B.
światło tylne
średni
C.
Niektóre funkcje ADAS
wysoki
D.
Hamulec, układ kierowniczy, poduszka powietrzna
najwyższy
Wskazówka: znajomość poziomu GŁÓWNEGO funkcji informuje, ile uwagi wymaga użycie sztucznej inteligencji w tej funkcji. ŻADNA decyzja oparta na wynikach AI w funkcji nie może zostać zaakceptowana bez niezależnej weryfikacji bezpieczeństwa.
ISO 21448 (SOTIF): bezpieczeństwo zamierzonej funkcji
Klasyczne bezpieczeństwo funkcjonalne (ISO 26262) koncentruje się na pytaniu „co się stanie, jeśli system ulegnie awarii?” Jednak w systemach wykrywania sztucznej inteligencji pojawił się nowy problem: nawet jeśli system nigdy nie działa nieprawidłowo, może być niewystarczający. Kamera działa dobrze, ale nie rozpoznaje zaśnieżonej płyty; Radar działa solidnie, ale ignoruje nieruchomy pojazd jako sygnał widma. Nie ma tu żadnej awarii sprzętu/oprogramowania; Problem leży na granicy zamierzonego zakresu funkcji.
ISO 21448 – SOTIF (Safety Of The Intended Functionality) usuwa dokładnie tę lukę: zarządzanie ryzykiem wynikającym z nierozpoznanych scenariuszy, granic wykrywalności i nieprzewidzianych sytuacji, nawet jeśli system działa zgodnie z projektem. W przypadku ADAS/jazdy autonomicznej opartej na sztucznej inteligencji SOTIF jest tak samo ważny jak ISO 26262.
Rama
Skup się
przykład
ISO26262
Ryzyko z powodu awarii
Czujnik ulega awarii, sygnał zanika
ISO 21448 (SOTIF)
Ryzyko nieadekwatności/nieuznania
Wytrzymała kamera nie rozpoznaje zaśnieżonej płyty
ISO/SAE21434
bezpieczeństwo cybernetyczne
Atak na system, manipulacja danymi
Uwaga: modele AI mają charakter statystyczny; Nie mogą zagwarantować, że „poprawnie zobaczą każdą sytuację”. Celem SOTIF jest zawężenie nieznanych niebezpiecznych scenariuszy w tych z natury ograniczonych systemach i zmniejszenie pozostałego ryzyka do akceptowalnego poziomu. „Model jest dokładny w 99,9%” nie jest dowodem bezpieczeństwa.
ISO/SAE 21434: bezpieczeństwo cybernetyczne
Pojazdy połączone z siecią i definiowane programowo są podatne na cyberataki. Osoba atakująca zdalnie może zmienić polecenie hamowania, ukraść dane telemetryczne lub oszukać model detekcji (atak kontradyktoryjny: spowodowanie, że model błędnie go rozpozna poprzez umieszczenie małej naklejki na tabliczce). ISO/SAE 21434 to ramy inżynieryjne dotyczące cyberbezpieczeństwa pojazdów. W kontekście sztucznej inteligencji wyróżniają się dwa ryzyka: oszukanie modelu (kontradyktoryjne) i zatrucie danych uczących (data zatruwanie). Systemy sztucznej inteligencji o krytycznym znaczeniu dla bezpieczeństwa należy przetestować pod kątem tych ataków.
Prywatność i dane osobowe
Nowoczesny pojazd to „centrum danych na kołach”: lokalizacja, zachowanie podczas jazdy, dźwięk, a nawet kamera kabinowa. Większość z nich to dane osobowe objęte przepisami KVKK (Türkiye) i RODO (Europa). VIN (numer podwozia) pozwala na identyfikację pojazdu, a pośrednio także jego właściciela. Podstawowe zasady:
- Minimalizacja danych: Zbieraj tylko to, co jest potrzebne.
- Ograniczenie celu: Nie należy wykorzystywać danych do celów innych niż cel, dla którego zostały zebrane.
- Anonimizacja/pseudonimizacja: usuwanie lub kodowanie danych osobowych.
- Wyraźna zgoda i przejrzystość: Kierowca musi wiedzieć, co jest zbierane.
- Bezpieczne przechowywanie i przesyłanie.
Przestroga: wysyłanie nieprzetworzonego numeru VIN, historii lokalizacji lub zachowania kierowcy do narzędzia AI w chmurze publicznej może stanowić zarówno naruszenie prywatności, jak i ryzyko umowne. Pracując z tymi danymi, należy je zanonimizować i korzystać z instytucjonalnego środowiska chronionego danymi.
Etyka i odpowiedzialność inżyniera
Sztuczna inteligencja niesie ze sobą pewne zagrożenia etyczne:
- Odchylenie: jeśli dane szkoleniowe dominują w określonych warunkach (np. w ciągu dnia, jasna skóra, niektóre drogi regionalne), model może działać słabo w niedostatecznie reprezentowanych warunkach (noc, inne warunki). Jest to luka.
- Nadmierna pewność siebie (stronniczość automatyzacji): ludzie ślepo ufają automatyzacji i uchylają się od własnego osądu. Jeśli inżynier testowy przestanie patrzeć na surowe dane tylko dlatego, że sztuczna inteligencja powie „pasuje”, jest to niebezpieczny trend.
- Utrata odpowiedzialności: „Zdecydował model” nie jest obroną. Za decyzją zawsze powinna stać osoba podpisująca się.
Mini studia przypadków
Przypadek 1 – limit SOTIF. Automatyczny układ hamowania awaryjnego przeszedł wszystkie badania laboratoryjne i nie wykazał żadnych usterek. Na polu, w zachodzącym słońcu, biała ciężarówka myli swoją przyczepę z niebem i za późno hamuje. Nie jest to awaria, ale luka w zabezpieczeniach SOTIF: system jest nienaruszony, ale scenariusz wykracza poza granicę wykrywalności. Zespół dodaje ten scenariusz do biblioteki testowej i wzmacnia fuzję radarową. Wniosek: „Brak awarii” nie jest dowodem bezpieczeństwa; Niedobór to także ryzyko.
Przypadek 2 – stronnicze dane. Model wykrywania pieszych został przeszkolony głównie na podstawie danych dziennych; Przywołanie w nocy jest znacznie słabsze. Zespół równoważy i ponownie szkoli dane dotyczące nocy i słabego oświetlenia oraz osobno raportuje scenariusze nocne. Wniosek: niezrównoważone dane stwarzają w pewnych okolicznościach śmiertelną lukę w zabezpieczeniach.
Przypadek 3 – Zapobieganie naruszeniom prywatności. Analityk ma zamiar wkleić dane floty do publicznego narzędzia AI, gdy zauważa, że dane zawierają surowe lokalizacje VIN i GPS. Działa w środowisku korporacyjnym, anonimizując dane (pojazd_01..arac_50 zamiast VIN, kod regionu zamiast lokalizacji). Wynik: chwila uwagi zapobiegła poważnemu naruszeniu KVKK.
szablony podpowiedzi
Wzór 1 – PRIOR/wstępna ocena ryzyka (projekt):
Rola: Jesteś konsultantem ds. bezpieczeństwa funkcjonalnego. Zadanie: Przygotowuje wersję roboczą pomocną w analizie zagrożeń i ryzyka dla funkcji. Kontekst: Funkcja: automatyczne hamowanie awaryjne; miejskie i międzymiastowe. Ograniczenie: dokładne przypisanie ASIL; Podaj listę pytań i punktów, na które należy zwrócić uwagę, w odniesieniu do wymiarów dotkliwości/narażenia/kontrolowalności; wskazują, że ostateczne przypisanie należy do upoważnionego inżyniera bezpieczeństwa. Wynik: Rozmiar | pytanie oceniające | tabela uwag.
Szablon 2 – skanowanie scenariusza SOTIF:
Rola: Jesteś ekspertem SOTIF. Zadanie: Wymień scenariusze, w których funkcja wykrywania może być „systemem nienaruszonym, ale niewystarczającym”. Kontekst: kamera + radar; niskie słońce, śnieg, wyjście z tunelu, niezwykłe obiekty. Wynik: Scenariusz | dlaczego nieadekwatność | zalecenie redukcji.
Szablon 3 – Kontrola prywatności:
Rola: Jesteś konsultantem ds. ochrony danych (KVKK/RODO). Zadanie: Przed udostępnieniem zbioru danych przeprowadź audyt prywatności. Kontekst: Telemetria floty; Kolumny zawierają VIN, GPS, wynik jazdy. Ograniczenie: Które pola są danymi osobowymi, w jaki sposób należy je zanonimizować, czego w ogóle nie należy udostępniać; sort.Wyjście: Pole | ryzyko | zalecany wykres transakcji.
Szablon 4 – Kontrola odchylenia:
Rola: Jesteś audytorem bezpieczeństwa i uczciwości ML. Zadanie: Powiedz mi, jak szukać ryzyka błędu systematycznego w modelu wykrywania. Kontekst: wykrywanie pieszych; dane treningowe ważone dzień/miasto. Wynik: Warunek do sprawdzenia | pomiar | znak ryzyka.
Słaba zachęta/silna zachęta
Słaba zachęta:
Czy ten autonomiczny układ hamulcowy jest bezpieczny, potwierdź.
Próba uzyskania poświadczenia bezpieczeństwa AI jest niebezpieczna; Zatwierdzenie należy do upoważnionego inżyniera.
Potężny monit:
Rola: Jesteś konsultantem ds. bezpieczeństwa funkcjonalnego i SOTIF. Zadanie: Wypisz, jakie pytania powinienem zadać i jakie dowody powinienem zebrać w ocenie bezpieczeństwa mojej funkcji automatycznego hamowania. Kontekst: wykrywanie w oparciu o sztuczną inteligencję; kamera+radar; ASIL może być wysoki. Ograniczenie: „Zatwierdź” system; Dostarczyć oddzielne listy pytań i dowodów w zakresie ISO 26262 (wada) i SOTIF (niedobór); Podkreśl, że ostateczna akceptacja należy do upoważnionego inżyniera bezpieczeństwa. Wynik: Struktura | pytanie | wymagana tabela dowodowa.
Typowe błędy
- Mylenie „braku awarii” z „bezpiecznym”. Niedobór SOTIF może zabić bez nieprawidłowego działania.
- Uzyskanie poświadczenia bezpieczeństwa AI. Zatwierdzenie i odpowiedzialność spoczywa na autoryzowanym inżynierze.
- Mylenie dokładności modelu z dowodem bezpieczeństwa. Dokładność na poziomie 99,9% nie oznacza, że udało się zarządzać pozostałym ryzykiem.
- Brak ochrony danych osobowych. VIN/lokalizacja/zachowanie podczas jazdy wchodzą w zakres KVKK/RODO.
- Ignorowanie uprzedzeń i nadmiernej pewności siebie. Niezrównoważone dane i ślepe zaufanie do automatyzacji to słabe punkty.
Podsumowując
- ISO 26262 zarządza ryzykiem awarii (z ASIL), podczas gdy ISO 21448/SOTIF zarządza ryzykiem awarii bez awarii; Obydwa mają kluczowe znaczenie w wykrywaniu sztucznej inteligencji.
- Bezpieczeństwo cybernetyczne ISO/SAE 21434; Ataki kontradyktoryjne i zatruwanie danych to zagrożenia specyficzne dla sztucznej inteligencji.
- Minimalizacja danych, ograniczenie celu i anonimizacja są obowiązkowe w zakresie KVKK/RODO; VIN/lokalizacja to dane osobowe.
- Uprzedzenia, nadmierna pewność siebie i utrata odpowiedzialności to główne zagrożenia etyczne.
- Wyniki AI nie zastępują zgody wykwalifikowanego inżyniera; Decyzja i podpis o znaczeniu krytycznym dla bezpieczeństwa zawsze należą do danej osoby.
Zadanie aplikacji
Wybierz funkcję związaną z bezpieczeństwem (np. utrzymanie pasa ruchu). (1) Omów, dlaczego poziom ASIL tej funkcji może być wysoki/niski w wymiarach dotkliwości/narażenia/kontrolowalności. (2) Wygeneruj 5 scenariuszy „system solidnych, ale nieodpowiednich” za pomocą Szablonu 2. (3) Przeprowadź audyt poufności odpowiedniego zbioru danych za pomocą Szablonu 3. (4) Wyjaśnij, dlaczego stwierdzenie „Model potwierdzony” nie jest obroną.
lista kontrolna
- [ ] Oceniłem RZECZYWISTE wymiary funkcji (dokładne przypisanie pozostawiłem autorytetowi).
- [ ] Dokonałem rozróżnienia pomiędzy ISO 26262 (awaria) i SOTIF (niewystarczalność).
- [ ] Wziąłem pod uwagę ryzyko cyberbezpieczeństwa (kontradyktoryjne/zatrucie).
- [ ] Zanonimizowałem i zminimalizowałem dane osobowe.
- [ ] Sprawdziłem pod kątem ryzyka stronniczości i nadmiernej pewności siebie.
- [ ] Potwierdzam, że poświadczenie bezpieczeństwa posiada wykwalifikowany inżynier.