Pregiudizio, equità e discriminazione: i punti ciechi del modello

Guadagni:

• Comprendere come i pregiudizi nei modelli di intelligenza artificiale derivano dai dati e dalla progettazione e perché creano rischi legali ed etici nel settore bancario
• Capacità di riconoscere caratteristiche protette, variabili proxy e discriminazioni indirette e mettere in discussione le decisioni del modello in termini di equità
• Capacità di comprendere come i parametri di giustizia, i gruppi esclusi e il diritto di opposizione si intrecciano nel modello di governance e mantengono la linea rossa della discriminazione

Un modello di intelligenza artificiale non è neutrale; È uno specchio dei dati appresi. Se i dati portano con sé le disuguaglianze del passato, il modello le apprende e le trasporta nel futuro. Nel settore bancario, questo non è un dibattito etico astratto: se un modello di credito svantaggia sistematicamente un particolare gruppo, ciò è sia illegale (divieto di discriminazione) sia una violazione etica, che comporta rischi reputazionali e sanzionatori per la banca. Lo scopo di questa unità è mostrare come il modello diventa distorto, forme di discriminazione dirette e indirette, la trappola delle variabili proxy e modi per intrecciare l’equità nel modello di governance. Una linea rossa va detta fin dall'inizio: la discriminazione, per quanto "statistica" possa sembrare, è inaccettabile.

Da dove viene il pregiudizio?

• Distorsione dei dati: se le decisioni passate sono state ingiuste (ad esempio, a un particolare gruppo è stato concesso meno credito in passato), il modello presuppone che ciò sia “normale” e continua. Questo si chiama pregiudizio storico.
• Distorsione da campionamento: se alcuni gruppi sono sottorappresentati nei dati, il modello apprende su di loro in modo scarso e impreciso.
• Distorsione da etichetta: se la definizione stessa di “buon cliente” è distorta, il modello ottimizza per la distorsione.
• Bias di progettazione: anche le scelte umane su quali variabili utilizzare possono comportare pregiudizi.

Suggerimento: "Il modello si basa sui dati, quindi è oggettivo" è un malinteso. I dati sono un'istantanea del passato; Se il passato è stato ingiusto, il modello “oggettivo” giustifica l’ingiustizia con la matematica. L’obiettività non è una garanzia di imparzialità.

Discriminazione diretta e indiretta

• Discriminazione diretta: utilizzo diretto da parte del modello di una caratteristica protetta (sesso, etnia, religione, età). Ciò è espressamente vietato.
• Discriminazione indiretta (variabile surrogata/proxy): anche se il modello non utilizza direttamente la caratteristica protetta, produce lo stesso risultato utilizzando un'altra variabile ad essa fortemente correlata (codice postale, nome, categoria commerciale, quartiere lavorativo). Il codice postale è spesso un indicatore dell'etnia o del livello di reddito. Il modello dice “quartiere” ma il risultato è una discriminazione “d'origine”.

Variabile

apparentemente

può essere un proxy

Codice postale/distretto

geografia

Etnia, livello di reddito

Nome

ID

origine, genere

Categoria di acquisto

comportamento

stile di vita, fede

scuola di specializzazione

Istruzione

Origine socioeconomica

Ecco perché dovrebbe suonare l'allarme quando si vede in una giustificazione un'affermazione come "il quartiere è rischioso": può sembrare un criterio legittimo ma comporta una discriminazione indiretta.

Attenzione: la rimozione della funzionalità protetta dai dati non pone fine alla discriminazione. Le variabili surrogate possono restituirlo. La giustizia non si ottiene “ho cancellato la rubrica sensibile”; Ciò si ottiene testando i risultati delle decisioni modello tra i gruppi.

Intrecciare la giustizia con la governance

1. Metriche di equità. Confrontare i tassi di approvazione/rifiuto del modello e i tassi di errore tra i gruppi. Un gruppo sperimenta sistematicamente rifiuti più elevati?
2. Controllo per procura. Esaminare la relazione delle variabili utilizzate con le proprietà protette.
3. Spiegabilità. Per ogni decisione deve essere prodotta la motivazione; Una negazione della “scatola nera” è insostenibile.
4. Diritto di opposizione. Al cliente dovrebbe essere concesso il diritto di conoscere le motivazioni della decisione e di richiedere una revisione umana.
5. Gruppi esclusi. Occorre inoltre verificare che i gruppi sottorappresentati nei dati non siano maltrattati.

Quattro modelli copiabili

1) Controllo della discriminazione nella giustificazione:

Verificare la seguente motivazione della decisione di credito: esiste un riferimento diretto/indiretto a una caratteristica protetta (età, sesso, origine, religione) o una variabile proxy (codice postale, quartiere, nome, tipo di acquisto)? Contrassegnare le dichiarazioni rischiose e spiegare perché rappresentano un rischio di discriminazione. Motivo: [testo]

2) Controllo proxy dell'elenco variabili:

Esaminare questo elenco di variabili utilizzate in un modello di credito. Quali potrebbero rappresentare una caratteristica protetta e rappresentare un rischio di discriminazione indiretta? Scrivi la tua giustificazione per ogni variante rischiosa. Elenco: [variabili]

3) Sintesi della decisione in termini di equità (neutra, spiegabile):

Il tuo ruolo: assistente che redige una motivazione decisionale spiegabile. Fare affidamento solo su criteri legittimi e non discriminatori (rapporto debito/reddito, cronologia dei pagamenti, garanzie). NON fare riferimento a proprietà protetta e variabile surrogata. Scrivi la motivazione in un linguaggio semplice che il cliente capirà. Darò l'approvazione.

4) Bozza di risposta all'obiezione:

Un cliente ha presentato ricorso contro il rifiuto del credito e vuole una giustificazione. Elaborare una risposta rispettosa e descrittiva basata su criteri legittimi; Ricordare al cliente il suo diritto alla revisione e correzione umana. Non utilizzare implicazioni discriminatorie. Motivo del rifiuto verificato: [motivo]

Prompt debole / Prompt forte

Suggerimento debole:

Le applicazioni in questa regione sono molto rischiose, utilizziamo maggiormente le informazioni distrettuali nel modello in modo da poter aumentare la precisione.

Questo approccio rafforza la discriminazione indiretta basata sul distretto; Legittima un esito illegittimo in nome del “colpo”.

Suggerimento potente:

Il tuo ruolo: assistente al controllo della giustizia. Contrassegnare le variabili utilizzate che comportano il rischio di variabili surrogate. Suggerire quali parametri dovrei seguire per confrontare le decisioni tra gruppi in termini di tasso di approvazione/rifiuto. Non rinforzare mai un criterio discriminatorio; reindirizzare a criteri legittimi e spiegabili.

La volontà forte ricerca il rischio proxy, introduce parametri di equità e rifiuta la discriminazione.

tre mini custodie

Caso 1 – Pregiudizio storico. Un modello attribuisce a un particolare gruppo professionale un punteggio sistematicamente basso perché in passato gli è stato dato meno credito. Un controllo di equità mostra che il tasso di rifiuto per questo gruppo è superiore del 30% rispetto ad altri con livelli di reddito simili. Il modello viene riequilibrato con criteri di reddito e pagamento legittimi.

Caso 2 – Variabile surrogata. Il codice postale è una variabile potente in un modello. L’audit mostra che il codice postale si sovrappone ad alcuni quartieri etnicamente concentrati, producendo una discriminazione indiretta sull’origine. La variabile viene rimossa e sostituita da parametri finanziari legittimi; le prestazioni rimangono a un livello accettabile, la discriminazione viene eliminata.

Caso 3 — Diritto di opposizione. Un cliente rifiutato chiede giustificazione. La banca fornisce la giustificazione spiegabile (elevato rapporto debito/reddito) e accetta la richiesta di revisione umana. La revisione rivela una lettura errata di un documento; La decisione viene corretta. La spiegabilità e il diritto di opposizione compensano un errore con la giustizia.

Metriche di equità: cosa e come misuriamo

"Il modello è giusto?" Non esiste un'unica risposta alla domanda; Esistono molteplici definizioni di giustizia e talvolta sono in conflitto tra loro. Ecco alcuni approcci praticamente seguiti nel settore bancario:

• Confronto del tasso di approvazione/rifiuto: il tasso di approvazione è sistematicamente diverso tra diversi gruppi con profili finanziari simili (ad esempio gruppi di genere)? Una differenza ampia e inspiegabile è un segno di parzialità.
• Uguaglianza del tasso di errore: il tasso di falso rifiuto del modello (rifiuto di una domanda legittima) è bilanciato tra i gruppi? Se un gruppo viene rifiutato ingiustamente più spesso di un altro, c’è un problema.
• Calibrazione: i clienti che il modello definisce “ad alto rischio” vanno davvero in default con tassi simili in ciascun gruppo? Il significato del punteggio non dovrebbe spostarsi da gruppo a gruppo.

Talvolta questi parametri non possono essere forniti contemporaneamente; Quale definizione di giustizia dare priorità non è una decisione tecnica ma etica e legale e richiede una governance umana.

Suggerimento: misura la metrica di equità a intervalli regolari, non solo quando costruisci il modello. Un modello può essere implementato correttamente e diventare distorto nel tempo a causa della deriva dei dati. La giustizia non è una questione di “istituzione”, ma una questione di “monitoraggio”.

Errori comuni

• La fallacia dei “dati oggettivi”. Supponendo che il modello sia neutrale; i dati portano pregiudizi storici.
• Elimina semplicemente la colonna sensibile. Rimozione della proprietà protetta e trascuramento delle variabili proxy.
• Non tenere traccia dei parametri di equità. Non confrontare affatto il tasso di rifiuto/errore tra i gruppi.
• Difendere la decisione della scatola nera. Considerare legittima una decisione che non può essere giustificata.
• Eliminazione del diritto di opposizione. Disabilitare la revisione umana perché "rallenta il processo".

Attenzione: spesso la discriminazione non nasce dalla malizia ma dalla disattenzione. Una variabile aggiunta perché "aumenta la precisione" potrebbe escludere inconsapevolmente un gruppo. Pertanto la giustizia non si basa sulla buona fede ma su prove regolari.

In sintesi

I modelli di intelligenza artificiale portano con sé le distorsioni dei dati da cui apprendono e la discriminazione nel settore bancario è un rischio legale, etico e reputazionale. La discriminazione diretta utilizza una funzione protetta; La discriminazione indiretta, invece, sta producendo lo stesso risultato con variabili proxy (codice postale, nome). La giustizia non consiste nel cancellare la colonna sensibile; Garantito da parametri di equità, controllo proxy, spiegabilità e diritto di opposizione. In una frase: lo schema ripete il passato; È responsabilità dell'uomo sostenere la giustizia e respingere la discriminazione.

Compito dell'applicazione

Scrivi un elenco di 8-10 variabili per un modello di credito (alcune con rischio proxy intenzionale: codice postale, nome, categoria di acquisto). 2. Esegui un controllo proxy con il modello e contrassegna quelli rischiosi con le relative motivazioni. Quindi scrivi un testo di giustificazione discriminatorio e scansionalo con il modello 1. Infine, pianifica in un paragrafo quali metriche di equità traccerai per confrontare il tasso di rifiuto del modello tra i gruppi.

lista di controllo

• [ ] Ho verificato che il modello/logica non utilizzi proprietà protette.
• [ ] Ho anche esaminato il rischio delle variabili proxy.
• [ ] Avevo pianificato di confrontare il tasso di approvazione/rifiuto e il tasso di errore tra i gruppi.
• [ ] Mi sono assicurato che ogni decisione avesse una motivazione spiegabile.
• [ ] Ho concesso al cliente il diritto di opposizione e di revisione umana.
• [ ] Non ho nemmeno superato la linea rossa della discriminazione sulla base del "colpo".