Enhet 10 / 11

Funktionell säkerhet, SOTIF, etik och integritet

Vinster:

  • Förmåga att förklara ISO 26262 funktionell säkerhet och ISO 21448 (SOTIF) ramverk och deras effekter på system som innehåller artificiell intelligens
  • Förmåga att hantera datasekretess, förardata, cybersäkerhet (ISO/SAE 21434) och etiska risker i fordonskontext
  • Förmåga att upprätthålla mänskligt ansvar för säkerhetskritiska beslut genom att förstå att AI-utdata inte ersätter behöriga ingenjörsgodkännanden

Du befinner dig i den mest kritiska enheten i denna modul. Hittills har vi sett AI som en accelerator från design till tillverkning, från testning till leveranskedja. Men den avgörande frågan inom bilindustrin är: kommer detta system att skada någon och vem är ansvarig? Denna enhet täcker i klartext ramarna för att använda AI på ett ansvarsfullt sätt i en säkerhetskritisk bransch – funktionell säkerhet, SOTIF, cybersäkerhet, integritet och etik. Kärnprincipen förblir konstant: AI-utdata ersätter aldrig kompetent ingenjörsgodkännande; Säkerhetskritiska beslut och ansvar tillhör människan.

ISO 26262: funktionell säkerhet

ISO 26262 är funktionssäkerhetsstandarden för elektriska/elektroniska system i vägfordon. Funktionell säkerhet; Det handlar om att säkerställa att när ett system går sönder (en sensor går sönder, en mjukvara går sönder) leder det inte till en farlig situation.

Kärnan i denna standard är ASIL (Automotive Safety Integrity Level). En fara utvärderas i tre dimensioner:

  • Allvarlighet: Hur illa skulle det vara om det hände? (lindrig skada eller dödsfall)
  • Exponering: Hur ofta inträffar detta?
  • Styrbarhet: Hur mycket kan föraren kontrollera situationen?

Dessa tre kombinerade resulterar i en nivå från ASIL A (lägst) till ASIL D (högst, t.ex. bromsning, styrning). I takt med att nivån ökar blir kraven på utveckling, testning och dokumentation hårdare.

HUVUDSAK

provsystem

Kravintensitet

A.

Fel på innerbelysningen

låg

B.

bakljus

medium

C.

Vissa ADAS-funktioner

hög

D.

Broms, styrning, krockkudde

högst

Tips: Att känna till HUVUDnivån för en funktion talar om för dig hur mycket uppmärksamhet det kräver att använda AI i den funktionen. INGET beslut baserat på AI-utdata i en funktion kan accepteras utan oberoende säkerhetsverifiering.

ISO 21448 (SOTIF): säkerhet för avsedd funktion

Klassisk funktionell säkerhet (ISO 26262) fokuserar på frågan "vad händer om systemet misslyckas?" Men det finns ett nytt problem i detekteringssystem för artificiell intelligens: även om systemet aldrig fungerar fel, kan det vara otillräckligt. Kameran fungerar bra men kan inte känna igen en snöig platta; Radarn är solid, men den ignorerar ett stillastående fordon som en spöksignal. Det finns inget hårdvaru-/mjukvarufel här; Problemet är på gränsen för den avsedda omfattningen av funktionen.

ISO 21448 - SOTIF (Safety Of The Intended Functionality) åtgärdar exakt denna lucka: hantera risker som uppstår från okända scenarier, detektionsgränser och oförutsedda situationer, även om systemet fungerar som det är designat. I AI-baserad ADAS/autonom körning är SOTIF lika kritisk som ISO 26262.

Ram

Fokusera

exempel

ISO 26262

Risk på grund av misslyckande

Sensorn går sönder, signalen försvinner

ISO 21448 (SOTIF)

Risk för otillräcklighet/icke-igenkänning

Robust kamera känner inte igen snöig platta

ISO/SAE 21434

cybersäkerhet

Systemattack, datamanipulation

Varning: AI-modeller är statistiska; De kan inte garantera att de kommer att "se varje situation korrekt". SOTIF strävar efter att begränsa okända riskscenarier i dessa i sig begränsade system och minska den kvarvarande risken till en acceptabel nivå. "Modellen är 99,9% korrekt" är inte ett bevis på säkerhet.

ISO/SAE 21434: cybersäkerhet

Uppkopplade och mjukvarudefinierade fordon är sårbara för cyberattacker. En fjärrangripare kan ändra bromskommandot, stjäla telemetri eller lura detekteringsmodellen (motståndsangrepp: få modellen att känna igen den felaktigt genom att placera en liten klistermärke på en skylt). ISO/SAE 21434 är det tekniska ramverket för fordonscybersäkerhet. I samband med artificiell intelligens utmärker sig två risker: att lura modellen (motstridig) och att förgifta träningsdata (dataförgiftning). Säkerhetskritiska AI-system bör testas mot dessa attacker.

Sekretess och personuppgifter

Det moderna fordonet är ett "datacenter på hjul": plats, körbeteende, ljud, till och med kabinkamera. Det mesta av detta är personuppgifter och omfattas av KVKK (Türkiye) och GDPR (Europa). VIN (chassinummer) kan identifiera ett fordon och indirekt dess ägare. Grundläggande principer:

  • Dataminimering: Samla bara det som behövs.
  • Syftesbegränsning: Använd inte data för andra ändamål än det för vilket de samlades in.
  • Anonymisering/pseudonymisering: Ta bort eller koda personligt identifierande information.
  • Uttryckligt samtycke och transparens: Föraren måste veta vad som samlas in.
  • Säker lagring och överföring.
Varning: Att skicka rå VIN, platshistorik eller körbeteende till ett offentligt AI-verktyg i molnet kan vara både en integritetsintrång och en kontraktsmässig risk. När du arbetar med denna data, anonymisera den och använd en institutionell, dataskyddad miljö.

Etik och ingenjörsansvar

Artificiell intelligens för med sig några etiska risker:

  • Bias: Om träningsdata dominerar vissa förhållanden (t.ex. dagtid, ljus hud, vissa regionala vägar), kan modellen prestera dåligt under underrepresenterade förhållanden (natt, olika förhållanden). Detta är en sårbarhet.
  • Övertro (automationsbias): Människor litar blint på automation och åsidosätter sitt eget omdöme. Om testingenjören slutar titta på rådata bara för att AI:n säger "godkänt" är detta en farlig trend.
  • Förlust av ansvar: "Modellen beslutade" är inget försvar. Det ska alltid stå en person som skriver under beslutet.

Mini fallstudier

Fall 1 - SOTIF-gräns. Ett automatiskt nödbromssystem klarar alla laboratorietester, utan fel. På fältet, i den låga solen, misstar en vit lastbil sin trailer för himlen och bromsar sent. Detta är inte ett fel, utan en SOTIF-sårbarhet: systemet är intakt men scenariot ligger utanför detektionsgränsen. Teamet lägger till detta scenario till testbiblioteket och stärker radarfusion. Slutsats: "Inget fel" är inte ett bevis på säkerhet; Otillräcklighet är också en risk.

Fall 2 - Partisk data. En modell för detektering av fotgängare tränades huvudsakligen med dagtidsdata; Nattminnet är betydligt lägre. Teamet balanserar och tränar om natt- och svagljusdata och rapporterar nattscenarier separat. Slutsats: Obalanserad data skapar en dödlig sårbarhet under vissa omständigheter.

Fall 3 - Förebyggande av integritetsintrång. En analytiker håller på att klistra in flottadata i ett offentligt AI-verktyg när han märker att data innehåller obearbetade VIN- och GPS-platser. Det fungerar i en företagsmiljö genom att anonymisera data (vehicle_01..arac_50 istället för VIN, regionkod istället för plats). Resultat: Ett ögonblick av uppmärksamhet förhindrade en allvarlig KVKK-överträdelse.

snabbmallar

Mall 1 - FÖREGÅENDE/risk preliminär bedömning (utkast):

Roll: Du är funktionssäkerhetskonsult. Uppgift: Förbereder ett utkast för att underlätta risk- och riskanalys för en funktion. Kontext: Funktion: automatisk nödbromsning; urban och intercity.Constraint: exakt tilldelning av ASIL; Ge en lista med frågor och uppmärksamhetspunkter om dimensionerna av svårighetsgrad/exponering/kontrollerbarhet; ange att det slutliga uppdraget ligger hos den auktoriserade säkerhetsingenjören. Utdata: Storlek | utvärderingsfråga | uppmärksamhet anteckningstabell.

Mall 2 - SOTIF scenario scan:

Roll: Du är en SOTIF-expert. Uppgift: Lista scenarier där en detekteringsfunktion kan vara "system intakt men otillräcklig". Sammanhang: Kamera + radar; låg sol, snö, tunnelutgång, ovanliga föremål.Output: Scenario | varför otillräcklighet | minskningsrekommendation.

Mall 3 - Sekretesskontroll:

Roll: Du är dataskyddskonsult (KVKK/GDPR). Uppgift: Genomför en sekretessgranskning innan du delar en datamängd. Sammanhang: Fleet telemetri; Kolumnerna innehåller VIN, GPS, körresultat. Begränsning: Vilka fält är personuppgifter, hur ska de anonymiseras, vad ska jag inte dela alls; sort.Output: Fält | risk | rekommenderat transaktionsdiagram.

Mall 4 - Bias check:

Roll: Du är ML säkerhets- och rättviserevisor. Uppgift: Berätta för mig hur man letar efter risk för bias i en detektionsmodell. Sammanhang: Detektering av fotgängare; träningsdata viktad dag/stad.Output: Villkor att kontrollera | mätning | risktecken.

Svag prompt / Stark prompt

Svag uppmaning:

Är detta autonoma bromssystem säkert, bekräfta.

Att försöka få AI-säkerhetsgodkännande är farligt; Godkännandet tillhör den auktoriserade ingenjören.

Kraftfull uppmaning:

Roll: Du är funktionssäkerhets- och SOTIF-konsult. Uppgift: Lista vilka frågor jag ska ställa och vilka bevis jag ska samla in i säkerhetsanalysen av min automatiska bromsfunktion. Sammanhang: AI-baserad detektion; kamera+radar; ASIL kan vara hög. Constraint: 'Godkänn' systemet; Tillhandahåll separata listor med frågor och bevis i termer av ISO 26262 (defekt) och SOTIF (brist); Betona att det slutliga godkännandet ligger hos den auktoriserade säkerhetsingenjören. Utdata: Framework | fråga | erforderlig bevistabell.

Vanliga misstag

  • Blandar ihop "ingen felfunktion" med "säker". SOTIF-brist kan döda utan att fungera fel.
  • Får AI-säkerhetsgodkännande. Godkännande och ansvar ligger hos den auktoriserade ingenjören.
  • Missförstå modellens noggrannhet som bevis på säkerhet. 99,9 % noggrannhet indikerar inte att den återstående risken har hanterats.
  • Skyddar inte personuppgifter. VIN/plats/körbeteende är inom ramen för KVKK/GDPR.
  • Ignorera partiskhet och övertro. Obalanserad data och blind tillit till automatisering är sårbarheter.

Sammanfattningsvis

  • ISO 26262 hanterar risken på grund av fel (med ASIL), medan ISO 21448/SOTIF hanterar risken för misslyckande utan fel; Båda är avgörande för AI-detektion.
  • ISO/SAE 21434 cybersäkerhet; motstridiga attacker och dataförgiftningsattacker är AI-specifika hot.
  • Dataminimering, ändamålsbegränsning och anonymisering är obligatoriska inom ramen för KVKK/GDPR; VIN/plats är personuppgifter.
  • Fördomar, övertro och förlust av ansvar är de främsta etiska riskerna.
  • AI-utgång är inte en ersättning för kvalificerad ingenjörsgodkännande; Det säkerhetskritiska beslutet och signaturen tillhör alltid personen.

Applikationsuppgift

Välj en säkerhetsrelaterad funktion (t.ex. körfältshållning). (1) Diskutera varför ASIL-nivån för denna funktion kan vara hög/låg längs dimensionerna för svårighetsgrad/exponering/kontrollerbarhet. (2) Skapa 5 "systemfasta men otillräckliga" scenarier med mall 2. (3) Sekretessgranska en relevant datauppsättning med mall 3. (4) Förklara varför att säga "Modellen bekräftad" inte är ett försvar.

checklista

  • [ ] Jag utvärderade funktionens FAKTA dimensioner (jag lämnade det exakta uppdraget till myndigheten).
  • [ ] Jag gjorde skillnad mellan ISO 26262 (fel) och SOTIF (otillräcklighet).
  • [ ] Jag har tagit hänsyn till cybersäkerhetsrisken (motstridig/förgiftning).
  • [ ] Jag anonymiserade och minimerade personuppgifter.
  • [ ] Jag kollade efter risker för partiskhet och övertro.
  • [ ] Jag har bekräftat att säkerhetsprövningen är hos den kvalificerade ingenjören.