Sicurezza Funzionale, SOTIF, Etica e Privacy — L'intelligenza artificiale nell'ingegneria automobilistica

Guadagni:

Capacità di spiegare i framework di sicurezza funzionale ISO 26262 e ISO 21448 (SOTIF) e i loro effetti sui sistemi contenenti intelligenza artificiale
Capacità di gestire la privacy dei dati, i dati del conducente, la sicurezza informatica (ISO/SAE 21434) e i rischi etici nel contesto automobilistico
Capacità di mantenere la responsabilità umana per le decisioni critiche per la sicurezza comprendendo che l'output dell'intelligenza artificiale non sostituisce l'approvazione di un tecnico competente

Ti trovi nell'unità più critica di questo modulo. Finora abbiamo visto l’intelligenza artificiale come un acceleratore dalla progettazione alla produzione, dai test alla catena di fornitura. Ma la domanda decisiva nel settore automobilistico è: questo sistema danneggerà qualcuno e chi ne sarà responsabile? Questa unità tratta in un linguaggio semplice le strutture per l'utilizzo responsabile dell'intelligenza artificiale in un settore critico per la sicurezza: sicurezza funzionale, SOTIF, sicurezza informatica, privacy ed etica. Il principio fondamentale rimane costante: i risultati dell’intelligenza artificiale non sostituiscono mai l’approvazione di un tecnico competente; Le decisioni e le responsabilità critiche per la sicurezza appartengono all’essere umano.

ISO 26262: sicurezza funzionale

ISO 26262 è lo standard di sicurezza funzionale per i sistemi elettrici/elettronici dei veicoli stradali. Sicurezza funzionale; Si preoccupa di garantire che quando un sistema si guasta (un sensore si rompe, un software si guasta) non si crei una situazione pericolosa.

Al centro di questo standard c’è ASIL (Automotive Safety Integrity Level). Un pericolo viene valutato in tre dimensioni:

Gravità: quanto sarebbe grave se accadesse? (lesioni lievi o morte)
Esposizione: quanto spesso si verifica?
Controllabilità: quanto può il conducente controllare la situazione?

Questi tre livelli combinati danno come risultato un livello da ASIL A (il più basso) ad ASIL D (il più alto, ad esempio frenata, sterzata). All'aumentare del livello, i requisiti di sviluppo, test e documentazione diventano più severi.

PRINCIPALE

sistema di campionamento

Intensità del requisito

Malfunzionamento dell'illuminazione interna

basso

fanale posteriore

medio

Alcune funzioni ADAS

alto

Freno, sterzo, airbag

più alto

Suggerimento: conoscere il livello PRINCIPALE di una funzione ti dice quanta attenzione richiede l'utilizzo dell'intelligenza artificiale in quella funzione. NESSUNA decisione basata sull'output dell'intelligenza artificiale in una funzione può essere accettata senza una verifica di sicurezza indipendente.

ISO 21448 (SOTIF): sicurezza della funzione prevista

La sicurezza funzionale classica (ISO 26262) si concentra sulla domanda "cosa succede se il sistema fallisce?" Ma c’è un nuovo problema nei sistemi di rilevamento dell’intelligenza artificiale: anche se il sistema non dovesse mai funzionare male, potrebbe essere inadeguato. La fotocamera funziona bene ma non riesce a riconoscere un lastrone innevato; Il radar è solido, ma ignora un veicolo fermo come segnale fantasma. Non vi è alcun guasto hardware/software in questo caso; Il problema è al limite dell'ambito previsto della funzione.

ISO 21448 - SOTIF (Safety Of The Intended Functionality) affronta esattamente questa lacuna: gestire i rischi derivanti da scenari non riconosciuti, limiti di rilevamento e situazioni impreviste, anche se il sistema funziona come previsto. Negli ADAS/guida autonoma basati sull'intelligenza artificiale, SOTIF è fondamentale quanto ISO 26262.

Cornice

Concentrarsi

esempio

ISO26262

Rischio dovuto al fallimento

Il sensore si rompe, il segnale scompare

ISO 21448 (SOTIF)

Rischio di inadeguatezza/non riconoscimento

La fotocamera robusta non riconosce la lastra innevata

ISO/SAE21434

sicurezza informatica

Attacco al sistema, manipolazione dei dati

Attenzione: i modelli AI sono statistici; Non possono garantire che "vedranno correttamente ogni situazione". SOTIF mira a restringere il campo degli scenari pericolosi sconosciuti in questi sistemi intrinsecamente limitati e a ridurre il rischio rimanente a un livello accettabile. "Il modello è accurato al 99,9%" non è una prova di sicurezza.

ISO/SAE 21434: sicurezza informatica

I veicoli connessi e definiti dal software sono vulnerabili agli attacchi informatici. Un aggressore remoto può alterare il comando del freno, rubare la telemetria o ingannare il modello di rilevamento (attacco avversario: fare in modo che il modello lo riconosca erroneamente posizionando un piccolo adesivo su una targa). ISO/SAE 21434 è il quadro ingegneristico per la sicurezza informatica dei veicoli. Nel contesto dell’intelligenza artificiale emergono due rischi: ingannare il modello (adversarial) e avvelenare i dati di addestramento (data Poising). I sistemi di intelligenza artificiale critici per la sicurezza dovrebbero essere testati contro questi attacchi.

Privacy e dati personali

Il veicolo moderno è un “data center su ruote”: posizione, comportamento di guida, audio e persino telecamera nell’abitacolo. La maggior parte di questi sono dati personali e sono coperti da KVKK (Türkiye) e GDPR (Europa). Il VIN (numero di telaio) può identificare un veicolo e indirettamente il suo proprietario. Principi di base:

Minimizzazione dei dati: raccogli solo ciò che è necessario.
Limitazione dello scopo: non utilizzare i dati per scopi diversi da quello per cui sono stati raccolti.
Anonimizzazione/pseudonimizzazione: rimuovere o codificare informazioni di identificazione personale.
Consenso esplicito e trasparenza: l'autista deve sapere cosa viene raccolto.
Archiviazione e trasferimento sicuri.

Attenzione: l'invio del VIN non elaborato, della cronologia delle posizioni o del comportamento di guida a uno strumento AI nel cloud pubblico può rappresentare sia una violazione della privacy che un rischio contrattuale. Quando lavori con questi dati, rendili anonimi e utilizza un ambiente istituzionale e protetto dai dati.

Etica e responsabilità dell'ingegnere

L’intelligenza artificiale porta con sé alcuni rischi etici:

Bias: se i dati di addestramento predominano in determinate condizioni (ad esempio diurno, pelle chiara, alcune strade regionali), il modello potrebbe funzionare in modo scarso in condizioni sottorappresentate (notte, condizioni diverse). Questa è una vulnerabilità.
Eccessiva fiducia (bias da automazione): le persone si fidano ciecamente dell’automazione e ignorano il proprio giudizio. Se l’ingegnere di test smette di guardare i dati grezzi solo perché l’intelligenza artificiale dice “superato”, questa è una tendenza pericolosa.
Perdita di responsabilità: “Il modello ha deciso” non è una difesa. Dovrebbe esserci sempre una persona che firma dietro la decisione.

Mini casi di studio

Caso 1 - Limite SOTIF. Un sistema di frenata automatica d'emergenza supera tutti i test di laboratorio, senza alcun malfunzionamento. Nel campo, sotto il sole basso, un camion bianco scambia il rimorchio per il cielo e frena tardi. Non si tratta di un malfunzionamento, ma di una vulnerabilità SOTIF: il sistema è intatto ma lo scenario è fuori dal limite di rilevamento. Il team aggiunge questo scenario alla libreria di test e rafforza la fusione radar. Conclusione: "Nessun guasto" non è una prova di sicurezza; Anche l’insufficienza è un rischio.

Caso 2 – Dati distorti. Un modello di rilevamento dei pedoni è stato addestrato prevalentemente con dati diurni; Il ricordo notturno è significativamente inferiore. Il team bilancia e riqualifica i dati notturni e di scarsa illuminazione e segnala separatamente gli scenari notturni. Conclusione: i dati sbilanciati creano una vulnerabilità mortale in determinate circostanze.

Caso 3 – Prevenzione della violazione della privacy. Un analista sta per incollare i dati della flotta in uno strumento pubblico di intelligenza artificiale quando nota che i dati contengono VIN e posizioni GPS grezze. Funziona in ambiente aziendale rendendo anonimi i dati (vehicle_01..arac_50 invece del VIN, codice regionale invece della località). Risultato: un attimo di attenzione ha impedito una grave violazione della KVKK.

modelli di prompt

Modello 1 - VALUTAZIONE PRELIMINARE PRIOR/RISCHIO (bozza):

Ruolo: sei un consulente di sicurezza funzionale. Compito: Prepara una bozza per facilitare l'analisi dei pericoli e dei rischi per una funzione. Contesto: Funzione: frenata automatica di emergenza; urbano ed interurbano.Vincolo: assegnazione esatta dell'ASIL; Fornire un elenco di domande e punti di attenzione sulle dimensioni di gravità/esposizione/controllabilità; indicare che l'incarico finale spetta all'ingegnere della sicurezza autorizzato.Risultato: Dimensioni | domanda di valutazione | tabella delle note di attenzione.

Modello 2 - Scansione dello scenario SOTIF:

Ruolo: sei un esperto SOTIF. Compito: Elencare gli scenari in cui una funzione di rilevamento potrebbe essere "sistema intatto ma inadeguato". Contesto: telecamera + radar; sole basso, neve, uscita dal tunnel, oggetti insoliti.Output: Scenario | perché inadeguatezza | raccomandazione di riduzione.

Modello 3 - Controllo della privacy:

Ruolo: sei un consulente in materia di protezione dei dati (KVKK/GDPR). Compito: condurre un controllo sulla privacy prima di condividere un set di dati. Contesto: telemetria della flotta; Le colonne contengono VIN, GPS, punteggio di guida. Vincolo: quali campi sono dati personali, come dovrebbero essere anonimizzati, cosa non dovrei condividere affatto; sort.Output: Campo | rischio | tabella delle transazioni consigliate.

Modello 4 - Controllo del bias:

Ruolo: sei un revisore dei conti relativo alla sicurezza e all'equità del riciclaggio. Compito: spiegami come cercare il rischio di distorsione in un modello di rilevamento. Contesto: Rilevamento pedoni; giorno/città ponderati dei dati di allenamento. Output: Condizione da verificare | misurazione | segno di rischio.

Prompt debole / Prompt forte

Suggerimento debole:

Questo sistema di frenatura autonomo è sicuro, conferma.

Cercare di ottenere l’autorizzazione di sicurezza dell’IA è pericoloso; L'approvazione appartiene all'ingegnere autorizzato.

Suggerimento potente:

Ruolo: sei un consulente di sicurezza funzionale e SOTIF. Compito: elencare quali domande dovrei porre e quali prove dovrei raccogliere nella valutazione della sicurezza della mia funzione di frenata automatica. Contesto: rilevamento basato sull'intelligenza artificiale; telecamera+radar; L'ASIL può essere elevato. Vincolo: 'Approva' il sistema; Fornire elenchi separati di domande e prove in termini di ISO 26262 (difetto) e SOTIF (carenza); Sottolinea che l'approvazione finale spetta all'ingegnere della sicurezza autorizzato. Risultato: Framework | domanda | tabella delle prove richieste.

Errori comuni

Confondere "nessun malfunzionamento" con "sicuro". La carenza di SOTIF può uccidere senza malfunzionare.
Ottenere l'autorizzazione di sicurezza dell'IA. L'approvazione e la responsabilità spettano al tecnico autorizzato.
Confondere l'accuratezza del modello con una prova di sicurezza. Una precisione del 99,9% non indica che il rischio rimanente è stato gestito.
Non proteggere i dati personali. VIN/posizione/comportamento di guida rientrano nell'ambito di KVKK/GDPR.
Ignorare pregiudizi ed eccessiva sicurezza. I dati sbilanciati e la fiducia cieca nell’automazione sono vulnerabilità.

In sintesi

La ISO 26262 gestisce il rischio dovuto a guasto (con ASIL), mentre la ISO 21448/SOTIF gestisce il rischio di guasto senza guasto; Entrambi sono fondamentali nel rilevamento dell’IA.
sicurezza informatica ISO/SAE 21434; gli attacchi contraddittori e di avvelenamento dei dati sono minacce specifiche dell’intelligenza artificiale.
La minimizzazione dei dati, la limitazione delle finalità e l'anonimizzazione sono obbligatori nell'ambito del KVKK/GDPR; VIN/posizione sono dati personali.
Pregiudizi, eccessiva fiducia e perdita di responsabilità sono i principali rischi etici.
L'output dell'intelligenza artificiale non sostituisce l'approvazione di un tecnico qualificato; La decisione critica per la sicurezza e la firma appartengono sempre alla persona.

Compito dell'applicazione

Selezionare una funzione relativa alla sicurezza (ad es. mantenimento della corsia). (1) Discutere perché il livello ASIL di questa funzione può essere alto/basso lungo le dimensioni di gravità/esposizione/controllabilità. (2) Genera 5 scenari di “sistema solido ma inadeguato” con il Modello 2. (3) Verifica la riservatezza di un set di dati rilevante con il Modello 3. (4) Spiega perché dire “Il modello confermato” non è una difesa.

lista di controllo

[ ] Ho valutato le dimensioni EFFETTIVE della funzione (ho lasciato l'esatta assegnazione all'ente).
[ ] Ho fatto la distinzione tra ISO 26262 (malfunzionamento) e SOTIF (insufficienza).
[ ] Ho preso in considerazione il rischio di sicurezza informatica (antagonista/avvelenamento).
[ ] Ho reso anonimi e minimizzati i dati personali.
[] Ho controllato i rischi di parzialità e di eccessiva sicurezza.
[ ] Ho confermato che il nulla osta di sicurezza è presso l'ingegnere qualificato.