Giustizia, discriminazione e legislazione: SEDDK, KVKK e regolamenti sull'intelligenza artificiale

Guadagni:

• Capacità di riconoscere i rischi di discriminazione, parzialità e discriminazione indiretta nella determinazione dei prezzi e nella sottoscrizione e di testarli nei risultati dell'intelligenza artificiale
• Capacità di rispettare il diritto alla spiegabilità e all'obiezione nel quadro delle normative SEDDK, KVKK e dei principi decisionali automatici
• Capacità di applicare obblighi di controllo umano e giustificazione nelle decisioni automatizzate ad alto rischio

L'assicurazione è un'attività che raggruppa e prezza i rischi; ma questo raggruppamento deve essere giusto. Concedere un premio più alto o negare la copertura a una persona a causa di caratteristiche protette quali il sesso, l'etnia, le convinzioni personali o la regione di residenza costituisce una discriminazione ingiusta ed è vietata. L’intelligenza artificiale (un software che apprende dai dati storici e genera raccomandazioni su prezzi e decisioni) rappresenta un pericolo particolare in questo ambito: può apprendere modelli ingiusti nei dati storici e perpetuare inconsapevolmente o addirittura nascondere la discriminazione. Inoltre, può farlo non direttamente ma indirettamente (tramite una variabile proxy). In questa unità imparerai come riconoscere i rischi di parzialità e discriminazione nella determinazione dei prezzi e nella sottoscrizione, come testare l'equità dei risultati dell'intelligenza artificiale e come osservare il diritto alla spiegabilità e all'obiezione nel quadro del SEDDK (Agenzia per la regolamentazione e la supervisione delle assicurazioni e delle pensioni private), KVKK e i principi del processo decisionale automatico. Questa unità non è una consulenza legale; Spiega i principi generali, in ogni caso concreto, assicurati di consultare l'unità legale/conformità.

Da dove vengono i pregiudizi e le discriminazioni?

I bias dell’intelligenza artificiale derivano da tre fonti principali:

• Distorsione dei dati: il modello apprende l’iniquità dei dati storici. Se ad esempio in passato un determinato gruppo ha ricevuto sistematicamente premi elevati, il modello continua a considerarlo "normale".
• Variabile surrogata (proxy): anche se il modello non utilizza direttamente la caratteristica protetta (sesso, origine), discrimina indirettamente utilizzando una variabile ad essa fortemente correlata (quartiere, nome, modello di acquisto).
• Distorsione da campionamento: poiché alcuni gruppi sono sottorappresentati nei dati, il modello produce giudizi inaffidabili e ingiusti su di loro.

Esistono due tipi di discriminazione. Discriminazione diretta: uso palese di una caratteristica protetta. Discriminazione indiretta: quando un criterio apparentemente neutro colpisce in modo sproporzionato un particolare gruppo. Il secondo è più insidioso perché avviene senza intenzione ed è difficile da individuare.

Attenzione: la difesa secondo cui "il modello si basa su statistiche, quindi è oggettivo" è sbagliata. Le statistiche includono anche le ingiustizie passate; Il modello non lo legittima, lo perpetua. L’equità è qualcosa che deve essere testato attivamente.

Testare l'equità dell'output

Testare l'output dell'intelligenza artificiale (raccomandazione del prezzo, motivo del rifiuto, punteggio di rischio) con tre domande per verificarne l'equità:

1. Il motivo è legittimo? La decisione si basa su criteri che hanno una reale e giustificabile relazione con il rischio, oppure sul bene protetto o sulla sua delega?
2. Esiste una delega? Una delle variabili utilizzate (quartiere, nome, professione, stato civile) potrebbe essere fortemente associata a una caratteristica protetta?
3. Può essere spiegato? Potete spiegare la decisione al cliente e al revisore in modo chiaro e difendibile? “Lo ha detto il modello” non è un’affermazione.

Se una giustificazione non supera questi tre test, viene respinta e la decisione si basa su criteri legittimi.

Suggerimento: verifica la motivazione di un rifiuto o di un premio elevato con questa frase: "Sarò in imbarazzo se lo spiego al cliente e a un revisore dei conti?" Non deve essere utilizzata una giustificazione vergognosa o indifendibile (quartiere, nome, provenienza).

Quadro legislativo: SEDDK, KVKK, decisione automatica

L’utilizzo dell’intelligenza artificiale nel settore assicurativo è soggetto a diverse normative. Principi fondamentali:

• Principi SEDDK: le attività assicurative dovrebbero essere svolte in modo equo, trasparente e tutelante i consumatori; I prezzi devono essere giustificabili e non devono esserci discriminazioni ingiuste.
• KVKK: I dati personali devono essere trattati in conformità con la legge, limitatamente allo scopo e in modo sicuro. I dati speciali, come quelli sanitari, sono soggetti alla massima protezione.
• Principi del processo decisionale automatizzato: nelle decisioni che si basano esclusivamente sull'elaborazione automatica e influiscono in modo significativo sulla persona (ad esempio, un rifiuto effettuato dalla sola intelligenza artificiale), la persona; Vengono in primo piano i diritti di opporsi alla decisione, di richiedere l'intervento umano e di apprendere la logica della decisione.

Pertanto, la spiegabilità, il controllo umano e la giustificazione sono essenziali nelle decisioni ad alto impatto. La decisione ingiustificata di un modello di “scatola nera” è incontrollabile e in conflitto con questi diritti.

Passo dopo passo: decisione giusta e armoniosa

1. Identificare le proprietà protette. Sesso, origine, credo, salute, regione di residenza, ecc.
2. Esegui una scansione proxy. Mettere in discussione la relazione delle variabili utilizzate con le proprietà protette.
3. Metti la giustificazione alla prova della legittimità. Esiste un reale rapporto con il rischio? Può essere spiegato?
4. Aggiungi il controllo umano. Lascia che un essere umano riveda il risultato automatico in una decisione ad alto impatto.
5. Documentare la motivazione. Registrare su quali criteri legittimi si è basata la decisione.
6. Conosci il modo di presentare ricorso. Fornire al cliente il diritto di opposizione, revisione umana e giustificazione.

tre mini custodie

Caso 1 – Rigetto della delega. Un modello di tariffazione immobiliare suggeriva un premio sistematicamente elevato per un particolare codice postale. L'esperto ha esaminato: il codice postale coincideva con un'area con una certa concentrazione etnica; questa era una variabile proxy. Quando il rischio reale (età dell’edificio, tipo di struttura, storia dei danni) viene scomposto, la maggior parte dell’aumento non è più giustificato. Il prezzo è stato ristabilito sulla base di legittimi criteri di rischio.

Caso 2 – Gruppo sottorappresentato. Per un prodotto sanitario, il modello offriva un premio eccessivamente alto a una fascia di età ristretta. Motivo: questo gruppo era così sottorappresentato nei dati che alcuni danni elevati hanno fatto apparire l'intero gruppo "a rischio". L'esperto ha effettuato una correzione della credibilità (affidabilità statistica) e ha documentato che la raccomandazione era inaffidabile; Non è stato applicato l'aumento ingiusto.

Caso 3 — Diritto di opposizione. Una domanda è stata rifiutata automaticamente con un punteggio basato sull'intelligenza artificiale. Il cliente si è opposto. Nell'ambito del processo di adeguamento, la decisione è stata riesaminata da un esperto; Il punteggio sembrava essere basato su dati mancanti (danni passati non corrispondenti). La decisione è stata corretta. Senza il controllo umano e il diritto di opposizione, il rifiuto ingiusto sarebbe permanente.

Quattro istruzioni copiabili

1) Scansione proxy e discriminazione:

Controllare l'equità della seguente giustificazione del prezzo/della decisione: [giustificazione]Cercare: la caratteristica protetta (sesso, origine, convinzione, salute, regione di residenza) viene utilizzata direttamente o indirettamente (procura: quartiere, nome, professione, ecc.)? Per ogni variabile discutibile, spiega perché potrebbe essere un proxy e suggerisci un'alternativa legittima.

2) Test di legittimità della giustificazione:

Metti alla prova la seguente motivazione di rifiuto/bonus elevato con tre domande: [giustificazione]1. Esiste una relazione reale e giustificabile con il rischio?2. Si basa sulla proprietà protetta o su un suo proxy?3. È possibile spiegarlo al cliente e al revisore? Rispondi chiaramente a ciascuna domanda; Contrassegnare il motivo che non supera il test come "REJECT".

3) Bozza di motivazione spiegabile:

Redigere una motivazione articolata per il cliente per la decisione basata sui seguenti criteri di rischio legittimi VERIFICATI: [criteri legittimi] Tono: rispettoso, chiaro. Utilizzo di proprietà/proxy protetti. Dichiara il diritto del cliente di opporsi e richiedere la revisione umana. Questa è una bozza; conferma l'esperto.

4) Lista di controllo per l'ispezione umana:

Crea una lista di controllo di audit umano per una decisione automatizzata ad alto impatto: Tipo di decisione: [rifiuto/premio elevato/vincolo collaterale] Elenco: revisione di esperti qualificati, verifica dei dati, equità/controllo per procura, documento di giustificazione, avviso di ricorso del cliente, registro delle tracce.

Prompt debole / Prompt forte

Debole: "Determina il prezzo più redditizio con questi dati e scrivi la giustificazione".

Problema: Equità, delega e spiegabilità non sono rispettate; il modello può perpetuare e giustificare la discriminazione passata.

Forte: "Controlla questa giustificazione per proxy e discriminazione; segnala i punti che si basano su funzionalità protette o sul suo proxy e sostituiscili con un criterio di rischio legittimo. Descrivi una giustificazione spiegabile."

Perché è positivo: la discriminazione viene testata attivamente, la decisione si basa su criteri legittimi e spiegabili.

grafico di confronto

Oggetto

approccio rischioso

giusto approccio

Uscita del modello

"La statistica è oggettiva"

Metti alla prova attivamente la giustizia

Selezione variabile

Utilizza ogni dato

Estrai proxy

giustificazione

"Questo è quello che ha detto la modella"

Criterio legittimo e spiegabile

Decisione ad alto impatto

completamente automatico

La supervisione umana è obbligatoria

Il cliente ha ragione

Non segnalato

Obiezione + revisione umana + giustificazione

Errori comuni

• La difesa "la statistica è oggettiva". Giustificare le ingiustizie passate.
• Ignorando la delega. Discriminazione indiretta basata sul quartiere/nome/professione.
• Decisione inaffidabile per il gruppo sottorappresentato. Supponendo che il tasso ottenuto da un piccolo campione sia accurato.
• Decisione della scatola nera. Attuazione di una decisione automatica di cui non è possibile spiegare il motivo.
• Non riconoscere il diritto di opposizione. Non dare al cliente il diritto alla revisione e alla giustificazione umana.

In sintesi

L’intelligenza artificiale può apprendere la discriminazione nei dati storici e continuarla indirettamente (tramite proxy) nella determinazione dei prezzi e nella sottoscrizione. Testare attivamente l’equità: identificare proprietà e proxy protette, testare la giustificazione della legittimità e della spiegabilità. SEDDK, KVKK e principi decisionali automatici; Un prezzo equo richiede spiegabilità, revisione umana e diritto di opposizione. Il controllo umano è essenziale nelle decisioni ad alto impatto. Nel caso specifico consultare l'ufficio legale/compliance; La discriminazione è la linea rossa.

Compito dell'applicazione

Scrivi un elenco di 10 variabili utilizzate da un modello di prezzo (effettivo o di esempio). Per ciascuno rispondere alla domanda "potrebbe trattarsi di un proxy per una proprietà protetta"; Segnala quelli sospetti. Quindi inserisci un campione di giustificazione del rifiuto attraverso il test di legittimità n. 2: supera il test e, in caso contrario, come lo sostituisci con un criterio legittimo?

lista di controllo

• [ ] Ho specificato le proprietà protette.
• [] Ho scansionato le variabili per proxy.
• [] Metto la giustificazione alla prova di legittimità e spiegabilità.
• [ ] Ho condotto controlli di affidabilità per i gruppi sottorappresentati.
• [ ] Ho aggiunto il controllo umano nella decisione ad alto impatto.
• [ ] Ho documentato la logica e ho dato al cliente il diritto di opporsi/revisione umana.
• [ ] In caso di dubbio, ho consultato il dipartimento legale/conformità.