Lista di controllo e governance per la sicurezza dell'intelligenza artificiale aziendale

Guadagni:

Capacità di combinare tutti i controlli a livello di policy, processi e applicazioni
Capacità di definire cancelli di sicurezza e proprietà (RACI) go/no-go per la transizione alla produzione
Capacità di stabilire un ciclo di miglioramento continuo con inventario centrale e revisione trimestrale

Nelle dieci unità precedenti abbiamo appreso i controlli individuali: difesa dall'iniezione, mascheramento PII, convalida dell'output, controllo degli accessi, registrazione, rischio del modello, valutazione del fornitore, hosting, monitoraggio e risposta agli incidenti. In quest’ultima unità, li combiniamo tutti all’interno di un unico quadro di governance. La governance determina chi, quando e come verranno implementati questi controlli; È la sovrastruttura che abbraccia le responsabilità e migliora continuamente. L’obiettivo è trasformare le buone intenzioni sparse in un sistema ripetibile.

Perché è necessaria la governance?

I controlli sono fragili se rimangono legati ai singoli individui: quando quella persona se ne va, l’informazione scompare. La governance integra la sicurezza nell'organizzazione, con politiche, controlli, proprietà e revisione regolare. Inoltre, l’aumento delle normative (KVKK, legge europea sull’intelligenza artificiale, norme settoriali) rendono un quadro di governance documentato non solo una buona pratica, ma spesso una necessità.

Attenzione: una checklist rimane solo cartacea a meno che non venga implementata e posseduta. Ogni elemento dovrebbe avere un proprietario (persona responsabile/ruolo) e una frequenza di revisione; Il controllo non rivendicato è il controllo che non esiste.

Modello di governance a tre livelli

Livello politico: "Cosa si dovrebbe fare". Principi, standard e linee rosse (ad esempio, “Le decisioni ad alto rischio non possono essere automatizzate senza l’approvazione umana”).
Livello di processo: "Come farlo". Cancelli, liste di controllo, rituali di revisione (ad esempio, cancello go/no-go per la produzione).
Livello di applicazione: "Chi lo fa quando". Proprietà, monitoraggio, controllo e miglioramento continuo.

Porte di sicurezza per la transizione alla produzione (Go/No-Go)

Una distribuzione AI deve passare attraverso una serie di porte prima di entrare in produzione. Se uno dei due è "no" non c'è transizione:

porta

controllo

Responsabile

Dati

Mascheramento PII + ZDR/DPA + residenza dei dati

protezione dei dati

Accesso

Privilegio minimo + gestione segreta + contesto utente

Sicurezza

difesa

Strati di iniezione + verifica utensile

Piattaforma

verifica

Schema/regola + controllo umano ad alto rischio

Prodotto + unità aziendale

Rischio

Classifica + squadra rossa (risultato critico 0)

Sicurezza

Monitoraggio

Scheda metrica + allarme + campionamento

operazione

incidente

Piano scritto + ruoli + processo di notifica

Sicurezza + legge

Passo dopo passo: stabilire la governance

Assegna la proprietà. Ogni area di controllo dovrebbe avere un proprietario (RACI: chi è responsabile, chi approva, chi viene consultato, chi è informato).
Scrivi la politica. Documentare le linee rosse e gli standard minimi.
Installa cancelli passa/non passa. Collega il passaggio alla produzione alle porte.
Conserva l'inventario. Mantenere un registro di tutti gli usi dell'IA (registro dei casi d'uso dell'AI); Evitare l'uso dell'ombra.
Rivedi regolarmente. Rivalutare periodicamente i controlli (ad esempio trimestralmente).
Migliorare costantemente. Reinserire nella politica gli insegnamenti tratti dagli eventi e dal monitoraggio.

Quattro modelli copiabili

Richiesta di controllo della porta di sicurezza di pre-produzione:

Supera il seguente utilizzo dell'IA attraverso i gate di pre-produzione: {{ utilizzo }} Scrivi "PASSA/NON PASSA/NON APPLICABILE" e le prove per ogni gate: Dati, Accesso, Difendi, Verifica, Rischio, Monitoraggio, Incidente. Se qualcuno di loro è "NON PASSARE" il risultato è: NO-GO + elenco elementi mancanti.

Record dell'inventario sull'utilizzo dell'IA:

Record per ciascun utilizzo dell'IA:- Nome, proprietario, unità aziendale- Livello di rischio (basso/medio/alto)- Classe di dati elaborati- Fornitore/modello utilizzato- Data dell'ultima revisione della sicurezza- Stato: pilota/produzione/ritirato

Regola di assegnazione RACI:

Per ogni area di controllo, assegnare: - Responsabile (R): svolgere il lavoro - Approvante (A): l'unica persona che prende la decisione - Consultato (C): opinione presa - Informato (I): informato Nessun controllo il cui proprietario (A) è vuoto può entrare in produzione.

Richiesta di revisione trimestrale:

Condurre una revisione della sicurezza per questo trimestre: - L'ultima revisione di ogni utilizzo ad alto rischio nell'inventario è aggiornata? - Quali eventi si sono verificati in questo trimestre e quali soluzioni permanenti sono state introdotte? - Quale controllo è diventato obsoleto/quale nuovo rischio è emerso? - Quali sono le 3 principali priorità di miglioramento per il prossimo trimestre?

Prompt debole / Prompt forte

approccio scadente

Approccio forte

I controlli dipendono da individui, privi di documenti

Incorporato nell'organizzazione con politica + processo + proprietà

Passare alla produzione “quando ci sentiremo pronti”

passaggio attraverso varchi passa/non passa

Non monitorare il loro utilizzo dell’intelligenza artificiale

Inventario centralizzato (impedisce l'utilizzo dell'ombra)

Impostalo una volta e dimenticalo

Revisione trimestrale + miglioramento continuo

Tre mini custodie

Caso 1: l’inventario ha rivelato l’uso dell’ombra. Quando un'organizzazione ha condotto un inventario sull'utilizzo dell'intelligenza artificiale, ha rilevato 7 diverse integrazioni "ombra" dell'intelligenza artificiale di cui il team di sicurezza non era a conoscenza; due stavano inviando le informazioni personali del cliente a un fornitore non approvato. Senza scorte, questi rischi rimarrebbero invisibili; Entrambi furono fatti passare attraverso i cancelli e raddrizzati.

Caso 2 — Il cancello passa/non passa ha interrotto l'uscita anticipata. Un team voleva mettere in produzione un assistente crediti ad alto rischio con la pressione di fine trimestre. Il cancello del rischio non ha soddisfatto la condizione "risultato critico squadra rossa = 0" (c'erano 2 risultati aperti). La porta dava NO-GO; C'è stato un ritardo di due settimane, ma non è stato rilasciato a causa di un chiaro rischio di discriminazione.

Caso 3 — Riesame trimestrale rinnovato controllo dell’invecchiamento. La difesa di un'azienda contro l'iniezione è stata scritta un anno fa; In una revisione trimestrale, è risultato vulnerabile a una nuova tecnica di jailbreak. Controllo aggiornato e nuovi scenari aggiunti al set della squadra rossa; Il divario è stato colmato senza alcun incidente reale.

Suggerimento: non trasformare la governance in una burocrazia gravosa. Scala in base al livello di rischio: gli usi a basso rischio passano attraverso una lista di controllo leggera, le porte pesanti si applicano solo agli usi ad alto rischio. Il sovraccarico dei processi spinge i team all'uso ombra.

Errori comuni

Non documentare i controlli e lasciarli dipendenti dalle persone (il controllo scompare quando la persona se ne va).
Non assegnare ogni persona di controllo; Pensare che il proprietario abbia il controllo.
Non tenere un inventario dell'utilizzo dell'intelligenza artificiale e ignorare l'utilizzo dell'ombra.
Passare alla produzione con una "sensazione di pronto" senza porta.
Stabilire la governance una volta e non rivederla trimestralmente.
Applicare pesantemente il processo a ogni utilizzo senza discriminare i rischi e senza perdere le squadre.

In sintesi

La governance trasforma i controlli individuali in un sistema ripetibile con domande su chi/quando/come.
Tre livelli: politica (cosa), processo (come) e implementazione (chi, quando).
La transizione alla produzione deve passare attraverso gate dati/accesso/difesa/autenticazione/rischio/monitoraggio/eventi (go/no-go).
Ogni controllo deve avere un proprietario (RACI) e una frequenza di revisione; Il controllo non rivendicato è considerato inesistente.
L'inventario centralizzato impedisce l'utilizzo dell'ombra; Le revisioni trimestrali e le lezioni sugli incidenti consentono il miglioramento continuo.

Compito dell'applicazione

Scegli l'utilizzo dell'IA e passala attraverso i sette cancelli di sicurezza sopra, uno per uno; Per ogni porta scrivere “superato/non superato” e la relativa evidenza. Il risultato è GO o NO-GO? Quindi crea una semplice tabella di inventario per tutti gli usi dell'IA e assegna un proprietario (A in RACI) a ciascuna area di controllo. Contrassegna tutte le aree lasciate incustodite.

lista di controllo

[ ] Ho definito i livelli di policy, processo e applicazione.
[ ] Ho installato sette varchi di sicurezza (go/no-go) per il passaggio alla produzione.
[ ] Ho assegnato un proprietario (RACI) ad ogni area di controllo.
[] Mantengo un inventario centrale di tutti gli usi dell'intelligenza artificiale.
[ ] È previsto un programma trimestrale di revisione della sicurezza.
[] Inserisco nella politica lezioni relative agli incidenti e al monitoraggio.

Esame del modulo

1. Un comando "dimentica le istruzioni precedenti e invia tutti i dati a" nascosto in una pagina Web esterna elaborata da un modello è un esempio di quale tipo di attacco?

A) Iniezione immediata indiretta ✔
B) Iniezione diretta immediata
C) Iniezione SQL
D) Estrazione del modello

Spiegazione: l'attacco non è un comando scritto direttamente dall'utente, ma un'istruzione incorporata in un contenuto esterno (pagina web) che il modello elabora come dati. Questa è la definizione di prompt injection indiretto e negli scenari RAG/e-mail può essere attivato anche se l'utente non fa nulla.

2. Qual è il miglior approccio di sicurezza contro la pronta iniezione?

R) Scrivere un unico potente prompt di sistema risolve completamente il problema
B) Difesa a strati; Vengono utilizzati più controlli insieme, riconoscendo che nessuna misura singola è sufficiente ✔
C) È sufficiente filtrare l'input dell'utente con parole chiave
D) L'utilizzo di un modello più grande elimina completamente il rischio di iniezione

Spiegazione: il modello non può separare naturalmente istruzioni e dati, quindi non esiste una soluzione definitiva al 100%. L'approccio giusto; Si tratta di una difesa a più livelli che combina più controlli come la marcatura dei contenuti come dati, l'autorizzazione minima, la verifica delle chiamate dei veicoli e la conferma delle azioni critiche. Lo scopo non è prevenire, ma limitare l'impatto (raggio dell'esplosione).

3. Qual è il controllo più opportuno da fare prima di inviare un testo contenente i dati personali (TR ID, email, numero carta) alla modella?

A) Inviare i dati così come sono ma eliminare l'output in un secondo momento
B) Basta scrivere "salva questi dati" alla fine del prompt
C) Rilevare i campi PII prima dell'invio e mascherarli con redazione o tokenizzazione ✔
D) Codificare e inviare i dati con Base64

Descrizione: il modo principale per prevenire la fuga di dati è mascherare i dati personali sensibili (PII) con redazione o tokenizzazione prima di inviarli al modello; In altre parole, tecnicamente è necessario garantire che il modello non veda mai questi dati grezzi. Inserire una nota nel prompt non fornisce protezione.

4. Cosa significa la garanzia "Zero Data Retention (ZDR)" in un fornitore di API aziendali?

R) La modella non ha mai accesso a Internet
B) L'utente non può inviare alcun dato
C) Utilizzo dei dati crittografati solo nell'istruzione
D) Le richieste e le risposte non vengono archiviate in modo permanente una volta completata la richiesta ✔

Spiegazione: ZDR significa che il fornitore non memorizza in modo permanente le richieste e le risposte inviate dopo che la richiesta è stata completata. Si tratta di una garanzia separata e distinta dalla garanzia sui "dati da non utilizzare a fini didattici"; Entrambi dovranno essere richiesti separatamente nel contratto.

5. Quale controllo è più appropriato quando si produce un output di intelligenza artificiale per una decisione ad alto impatto e difficile da revocare (ad esempio, l'approvazione di un pagamento di grandi dimensioni)?

A) Applicare l'interazione umana con la convalida di schemi/regole ✔
B) Applicare automaticamente l'output perché il modello è generalmente corretto
C) È sufficiente verificare che l'output sia conforme allo schema JSON
D) È sufficiente dire al modello "sii molto sicuro" nel prompt

Spiegazione: nelle decisioni irreversibili e ad alto impatto, i risultati non dovrebbero essere applicati direttamente; Dovrebbe essere richiesto il processo human-in-the-loop, in cui un essere umano esamina e approva, insieme alla convalida dello schema/della regola. Il revisore deve disporre del contesto, della fonte e dell'autorità per rifiutare.

6. Cosa significa il principio del 'privilegio minimo' nell'accesso al sistema di IA?

A) Dare a tutti la massima autorità e tenerne traccia con un log
B) Ogni componente dispone solo dei permessi minimi richiesti per il suo compito ✔
C) Solo gli amministratori possono accedere al sistema
D) Raccolta di tutte le chiavi API in un unico account

Spiegazione: Il principio del privilegio minimo afferma che ogni utente, servizio o componente dovrebbe avere solo le autorizzazioni minime necessarie per svolgere il proprio lavoro. In questo modo, anche se un’iniezione ha successo, il modello non può utilizzare un potere che non possiede (es. cancellazione).

7. Quale delle seguenti affermazioni è vera per quanto riguarda la gestione sicura delle chiavi API?

R) Dovrebbe essere scritto come costante nel codice sorgente e aggiunto al controllo della versione.
B) Dovrebbe essere conservato in un file condiviso con l'intero team per facilitarne la memorizzazione
C) Dovrebbe essere mantenuto nel sistema di gestione segreto, il suo ambito dovrebbe essere ristretto e dovrebbe essere soggetto a rotazione regolare ✔
D) Creato una volta e mai cambiato

Commento: le chiavi API non dovrebbero essere incorporate nel codice sorgente e trapelate nel controllo della versione; Dovrebbe essere conservato in un sistema di gestione segreto, il suo ambito dovrebbe essere ristretto e sottoposto a rotazione regolare (ad esempio ogni 90 giorni) e dovrebbe essere cancellato immediatamente in caso di sospetta fuga di informazioni.

8. Qual è l'applicazione di registrazione più utile per rispondere rapidamente alla domanda "cosa è successo esattamente quel giorno" quando un reclamo o un audit arriva in un sistema di intelligenza artificiale?

R) Non effettuare alcuna registrazione, questa è la soluzione più sicura per la privacy
B) Mantenere la richiesta e la risposta grezze così come sono senza mascherarle
C) Registrare solo i messaggi di errore, ignorando il resto
D) Assegnare un ID di correlazione (trace ID) a ciascuna richiesta e collegare i passaggi in modo mascherato e immodificabile ✔

Descrizione: Collegare tutti i passaggi di una richiesta (input, chiamata allo strumento, verifica, output, decisione) con un unico ID di correlazione (trace ID) consente di ricostruire l'evento in pochi minuti. La richiesta/risposta deve essere mascherata prima di essere registrata e i log critici devono essere mantenuti di sola aggiunta.

9. Qual è l’approccio più accurato nel classificare l’uso dell’intelligenza artificiale nella gestione del rischio modello?

A) Classificare in base all'effetto dell'errore e alla sua reversibilità, non al nome del suo utilizzo ✔
B) Considerare tutti gli usi a basso rischio e applicare lo stesso controllo
C) Considerando solo il numero di parametri del modello
D) Identificazione del rischio basandosi esclusivamente sul nome del sistema (es. "chatbot")

Spiegazione: la classificazione del rischio dovrebbe basarsi sull'effetto dell'uso, non sul nome: chi/cosa influenza l'errore, è reversibile, le persone possono intervenire? Se il cosiddetto sistema "solo un chatbot" può avviare pagamenti, il rischio è elevato e l'intensità del controllo aumenta di conseguenza.

10. Quale delle seguenti è una buona pratica quando si valuta un fornitore di intelligenza artificiale?

R) Se il fornitore è grande e noto, non è necessario condurre una revisione separata.
B) Verificare le garanzie con la documentazione, ottenere il DPA firmato e valutare la catena dei sub-responsabili ✔
C) Sono sufficienti le assicurazioni verbali, non è necessario cercare una clausola contrattuale.
D) Basta guardare il prezzo e scegliere l'offerta più economica

Spiegazione: Il titolare del trattamento dei dati è l'istituzione stessa; La selezione del fornitore è una decisione di sicurezza. Le garanzie (certificati SOC 2/ISO, ZDR, non utilizzo nella formazione) dovrebbero essere verificate tramite documenti e clausole contrattuali, la produzione non dovrebbe essere avviata senza un DPA firmato e dovrebbe essere valutata anche la catena dei sub-responsabili del trattamento. La dimensione del marchio non è una garanzia.

11. In quale delle seguenti situazioni ha più senso ospitare il proprio modello (openweight, on-prem/VPC)?

A) Se il team è piccolo ed è necessario un prototipo rapido
B) Quando l'utilizzo è molto basso e irregolare
C) Quando vi sono severi requisiti di sovranità dei dati o un volume di utilizzo molto elevato e prevedibile ✔
D) Sempre, perché il self hosting è automaticamente più sicuro

Descrizione: hosting locale/VPC; Ha senso quando esistono severi requisiti di sovranità dei dati in cui è vietato ai dati lasciare l’organizzazione/il paese o quando esiste un vantaggio in termini di costi unitari per volumi molto elevati e prevedibili. Con volumi bassi/irregolari e capacità operativa limitata, l'API gestita è generalmente più appropriata. "Il proprio hosting è sempre più sicuro" è un'idea sbagliata.

12. Quale delle seguenti affermazioni è vera riguardo al concetto di "deriva" nel monitoraggio continuo e al metodo per catturarlo?

A) La deriva è lo spostamento silenzioso della qualità dell'output nel tempo; Catturato tramite linea di base e campionamento ✔
B) La deriva si verifica solo quando il sistema collassa completamente
C) Non è necessaria alcuna linea di base per catturare Drift
D) La deriva non si verifica mai a meno che il modello non cambi

Descrizione: la deriva è lo spostamento impercettibile degli input del modello o della qualità dell'output nel tempo. Poiché avviene in modo silenzioso, viene catturato solo rispetto a un riferimento e mediante un campionamento regolare di persone; La qualità può diminuire senza generare errori di sistema.

13. Qual è la sequenza migliore da seguire per un'organizzazione matura quando si verifica un incidente di sicurezza dell'IA (ad esempio una fuga di dati)?

A) Prima trovare e punire la persona responsabile, poi spegnere il sistema
B) Ritardare il più possibile la notifica e non registrare l'incidente
C) Aspettare che l'evento passi da solo senza fare nulla
D) Individuazione, classificazione, controllo, salvataggio, denuncia nei termini di legge, post mortem senza accusa ✔

Spiegazione: ordine corretto; Lo scopo è quello di individuare e classificare l'evento, in primo luogo per arrestarne la diffusione (contenimento), per salvarlo, per notificarlo entro il termine legale e infine per apportare una correzione permanente con un'autopsia irreprensibile. È sbagliato dire prima “chi è colpevole” e ritardare la notifica.

14. Qual è la pratica più critica nella governance dell’IA aziendale che garantisce che i controlli non rimangano sulla carta?

A) Lasciare i controlli nella memoria delle persone senza documentarli
B) Assegnare un proprietario a ciascun controllo, installare cancelli passa/non passa e rivederlo regolarmente ✔
C) Scrivere una lista di controllo una tantum e non tornare mai indietro
D) Rilasciare tutti gli usi dell'IA senza inventariarli.

Descrizione: Ciascuna area di controllo deve avere un proprietario (approvatore/responsabile in RACI) e una frequenza di revisione; il controllo orfano viene ignorato. La transizione alla produzione dovrebbe essere trasferita in modalità go/no-go, con tutti gli usi dell’intelligenza artificiale mantenuti in un inventario centrale e continuamente migliorati attraverso una revisione trimestrale.