Guadagni:
- Riconosce i dati, la progettazione e le fonti di utilizzo dei bias algoritmici e testa l'output su base di gruppo.
- Spiega come il ciclo di feedback e l'errore di rappresentazione amplificano la disuguaglianza e stabiliscono il controllo dell'impatto.
- Garantisce la responsabilità garantendo spiegabilità e appeal in ogni decisione automatizzata.
Il pubblico deve applicare il suo potere equamente a tutti: trattamento simile a due cittadini in situazioni simili, differenza proporzionata a situazioni diverse. Questo principio di uguaglianza è un obbligo costituzionale. L’intelligenza artificiale può sia migliorare che rivoluzionare silenziosamente questo campo. Può migliorare perché una regola applicata in modo coerente può ridurre l’arbitrarietà e i pregiudizi umani. Può essere dannoso perché i modelli di intelligenza artificiale imparano dai dati passati e i dati passati portano con sé la discriminazione del passato. Se un sistema viene addestrato su dati che storicamente hanno svantaggiato un particolare gruppo, trasporta tale svantaggio nel futuro – e in una forma ancora più difficile da rilevare, sotto le spoglie di un “algoritmo oggettivo”. In questa unità imparerai come riconoscere la distorsione algoritmica (distorsione sistematica dell'output del modello nei confronti di determinati gruppi) quando si utilizza l'intelligenza artificiale nel settore pubblico, come ridurla e, soprattutto, come garantire la responsabilità algoritmica (la logica per cui una decisione automatizzata è spiegabile, verificabile e contestabile).
Da dove viene il pregiudizio?
Esistono diverse fonti di bias algoritmico e tutte sono rischiose in pubblico:
- Distorsione storica: i dati sulla formazione contengono disuguaglianze passate. Ad esempio, se un’area ha avuto meno servizi in passato, i “dati sulla domanda” potrebbero mostrare che quell’area ha bassi bisogni – quando in realtà la domanda era bassa perché non c’era servizio.
- Bias di rappresentanza: alcuni gruppi sono sottorappresentati nei dati (quelli senza accesso digitale, gruppi linguistici minoritari) e il modello funziona male per loro.
- Proxy bias: anche se il modello non prende direttamente in considerazione un criterio proibito (etnia, religione), può produrre la stessa discriminazione guardando un proxy ad esso associato (quartiere, nome, codice postale).
- Bias di misurazione: ciò che misuriamo non è ciò che realmente vogliamo misurare. Il “numero di reclami” misura la capacità di lamentarsi piuttosto che il bisogno.
Attenzione: è fuorviante dire "ho rimosso i dati sensibili (sesso, etnia) dal modello, ora è giusto". La discriminazione attraverso variabili proxy potrebbe continuare. L’equità si ottiene non eliminando l’input, ma testando l’output tra i gruppi.
Verifica dell'equità: vedere l'output
Se un sistema è giusto o meno lo si capisce guardando i suoi risultati, non le sue intenzioni. Metodo di base: dividere la decisione in gruppi e confrontare. I risultati come il tasso di accettazione/rifiuto, il tasso di errore, il tempo di attesa differiscono in modo significativo tra i diversi gruppi (sesso, età, regione, reddito)? Se c'è una differenza, questa differenza si basa su un motivo legittimo o si tratta di una discriminazione? Poiché questa analisi può richiedere dati personali, deve essere aggregata ed eseguita in conformità con KVKK.
Suggerimento: prima di implementare un nuovo sistema decisionale basato sull’intelligenza artificiale, suddividere le decisioni per gruppi demografici e produrre un “rapporto sull’equità”. Se trovi una differenza, "è possibile spiegare questa differenza?" Porta la domanda a un comitato di persone.
Spiegabilità e appeal: il cuore della responsabilità
Nel settore pubblico nessun cittadino può essere privato dei suoi diritti con la risposta “il sistema ha deciso così”. Per ogni decisione automatizzata o assistita dall’intelligenza artificiale, devono essere garantite tre cose:
- Spiegabilità: su cosa si è basata la decisione e quali fattori sono stati efficaci, dovrebbe essere spiegato in un linguaggio semplice.
- Modalità di ricorso: i cittadini dovrebbero poter opporsi alla decisione e chiedere a un essere umano di esaminarla.
- Traccia di controllo: è necessario registrare quali dati, quale modello/versione e con quale persona responsabile è stata presa la decisione.
tre mini custodie
Caso 1: variante surrogata catturata. Un modello di definizione delle priorità degli aiuti non utilizzava dati sensibili ma esaminava il “codice postale”. Nel test di equità, si è scoperto che alcuni quartieri ricevono sistematicamente una priorità bassa, correlata al codice postale, al reddito e alla densità etnica. La variabile è stata rimossa e la priorità è stata legata direttamente agli indicatori di necessità.
Caso 2 – Divario di rappresentazione. Un chatbot aveva il 41% in più di probabilità di fuorviare le domande dei cittadini di madrelingua diversa dal turco; I dati di addestramento contenevano poco di questo gruppo. Quando sono stati aggiunti il supporto multilingue e la soglia di trasferimento umano, il divario si è colmato.
Caso 3 – Rifiuto inspiegato. Un'istituzione ha rifiutato automaticamente una domanda; cittadino "perché?" Interrogato, l'ufficiale non ha saputo spiegare perché il motivo del modello non era comprensibile. L’incidente ha dimostrato che modelli con scarsa spiegabilità non possono essere utilizzati per prendere decisioni che portino diritti; Il sistema è stato trasformato in un modello che genera giustificazione e richiede l’approvazione umana.
Quattro modelli copiabili
1) Fonte della scansione del bias:
Il tuo ruolo: esperto di equità algoritmica. Dai un'occhiata al processo decisionale basato sull'intelligenza artificiale di seguito. Elencare le possibili fonti di distorsione: (1) distorsione storica, (2) distorsione di rappresentazione (gruppo sottorappresentato), (3) variabili proxy (colonna associata al criterio proibito), (4) distorsione di misurazione. Fornisci un esempio concreto per ciascuno e dimmi come testarlo. PROCESSO: [processo decisionale e dati utilizzati]
2) Piano di test di equità:
Generare un piano di test di equità per il seguente output decisionale: quali gruppi (età, sesso, regione, reddito) dovrei suddividere, quali parametri (tasso di accettazione, tasso di errore, tempo di attesa) dovrei confrontare, come decido se la differenza è legittima o discriminatoria? Aggiungi avviso KVKK. DECISIONE: [quale decisione]
3) Dichiarazione di decisione (al cittadino):
Scrivere una bozza di spiegazione comprensibile ai cittadini per la seguente decisione: quali fattori sono stati influenti, in un linguaggio semplice. Aggiungi il diritto di ricorso alla fine e la possibilità di avere una revisione umana [con tempo da confermare]. Usando espressioni vaghe come "Il sistema ha deciso così". DECISIONE: [sintesi e fattori che influenzano]
4) Controllo di responsabilità prima della diffusione:
Produrre una lista di controllo della responsabilità prima di implementare il sistema decisionale basato sull'intelligenza artificiale: è spiegabile, c'è un modo per presentare ricorso, è mantenuta una traccia di controllo (dati/versione del modello/responsabile), sono stati eseguiti test di equità, dov'è il punto di approvazione umana. Contrassegna gli elementi mancanti come bandiere rosse.SISTEMA: [ricetta]
Prompt debole / Prompt forte
Debole: “Questo modello decisionale è giusto?”
Forte: "Il tuo ruolo è quello di esperto di equità algoritmica. Per questo modello di definizione delle priorità degli aiuti, cerca prima le fonti di bias (storico, rappresentazione, variabile surrogata, misurazione) e fornisci esempi concreti per ciascuno. Quindi elabora un piano di test di equità: suddivisione per gruppi, quali metriche, come decidere la legittimità della differenza; aggiungi l'avvertimento KVKK. Infine, prima di implementare il sistema, fornisci una lista di controllo per la spiegabilità, il percorso di ricorso e la pista di controllo, e segnala le carenze."
La differenza: un forte stimolo ricerca i pregiudizi alla fonte, fa testare i risultati ai gruppi e rende diffusa la responsabilità.
Dimensioni e controlli della giustizia
Dimensioni
Rischio
controllo
dati storici
Il passato porta con sé disuguaglianze
Testare l'output per gruppi
rappresentazione
Funziona male per alcuni gruppi
Tasso di errore basato sul gruppo
variabile surrogata
discriminazione nascosta
Relazione criterio-sensibile alle variabili
Spiegabilità
decisione ingiustificata
Genera una spiegazione semplice
obiezione
decadenza
Percorso di revisione umana
Ciclo di retroazione ed errore di rappresentazione
La forma più insidiosa di discriminazione algoritmica non si verifica in una singola decisione sbagliata ma in un ciclo di feedback che si rafforza nel tempo (l’output di un modello influenza i successivi dati di addestramento, rafforzando i pregiudizi esistenti). Ad esempio, se un modello di ispezione contrassegna un particolare quartiere come “a rischio”, più ispezioni vengono effettuate, più registrazioni vengono create, il modello vede quel quartiere come più rischioso, anche se la differenza è aumentata nella posizione esaminata, non nel rischio effettivo. Ciò che apre la strada a ciò è spesso un errore di rappresentazione (i dati di formazione riflettono alcuni gruppi in modo incompleto o distorto). Nel settore pubblico, questi cicli possono sottoporre i gruppi svantaggiati a sorveglianza e sanzioni sempre più severe. Il modo per proteggersi è monitorare l'impatto del modello, non solo i suoi risultati: monitorare regolarmente la distribuzione delle decisioni a livello di gruppo e non implementare ciecamente le raccomandazioni del modello.
Mini caso: dubbio autoesaltante. Un modello di rilevamento delle frodi previdenziali ha contrassegnato come ad alto rischio una regione che in passato era stata ispezionata più pesantemente. Quando il team ha estratto dai dati l’intensità dell’applicazione delle norme e misurato il “vero tasso di rilevamento relativo alla popolazione”, ha scoperto che le differenze tra le regioni erano in gran parte scomparse; Il modello scambiava la disuguaglianza per un rischio reale.
Modello di controllo dell'impatto basato sul gruppo:
Compito: Esaminare i seguenti dati decisionali per gruppi (nessun dato personale, riepilogo categoriale). Dati: [gruppo | decisione totale | tasso di decisione negativo | intensità dell'ispezione]Risultato: 1) Il tasso di decisione negativa mostra una differenza significativa tra i gruppi? 2) La differenza potrebbe essere dovuta al rischio effettivo o all'intensità del controllo/rappresentanza? 3) C'è qualche segno di un ciclo di feedback? 4) Raccomandazioni per il controllo umano. Regola: stabilire una pretesa di causalità; Elenca le possibili spiegazioni e i modi per testare.
Attenzione: l’argomentazione secondo cui “il modello è neutrale perché applica la stessa regola a tutti” è fuorviante. La stessa regola, se applicata a dati distorti, preserva e amplifica la disuguaglianza. La giustizia si misura dall’uguaglianza dei risultati, non dalla regola.
Errori comuni
- Cancellare dati sensibili e pensare "è giusto". Le variabili surrogate perpetuano la discriminazione; testare l'output.
- Misurare la giustizia in base alle intenzioni. Alla fine appare la giustizia; Ordina le decisioni in gruppi e confronta.
- Dimenticando il gruppo sottorappresentato. Il modello potrebbe funzionare discretamente male per un gruppo minoritario; Vedere errore basato sul gruppo.
- Utilizzare il modello inspiegabile nelle decisioni relative alla concessione dei diritti. Un sistema che non può produrre giustificazione non può prendere decisioni pubbliche.
- Non fornire alcun mezzo di opposizione. Ogni decisione automatizzata dovrebbe essere soggetta a revisione umana.
- Non tenere una traccia di controllo. Dovrebbe essere registrato con quale dato/modello/persona responsabile è stata presa la decisione.
In sintesi
Nel settore pubblico, l’intelligenza artificiale può aumentare la coerenza ma anche portare avanti silenziosamente la discriminazione del passato. I bias derivano da dati storici, divari di rappresentazione, variabili proxy e misurazioni imprecise; L'eliminazione dei dati sensibili non risolverà il problema. L’equità si ottiene testando i risultati tra i gruppi. E nessun cittadino può essere privato dei suoi diritti civili perché “lo ha detto il sistema”: ogni decisione deve essere spiegabile, contestabile e verificabile. È l’istituzione ad essere ritenuta responsabile, non l’algoritmo.
Compito dell'applicazione
Scegli un processo decisionale automatizzato o basato sull'intelligenza artificiale nella tua unità. Elenca i possibili bias e trova almeno una variabile di rischio surrogata con il modello “Source of bias scan”. Determinare quali suddivisioni di gruppo esaminare con il "piano di test di equità". Per una decisione di esempio, produci una spiegazione rivolta ai cittadini con il modello "Spiegazione della decisione".
lista di controllo
- [ ] Ho cercato le fonti di bias (storiche, rappresentative, proxy, di misurazione).
- [ ] Non ho cancellato solo i dati sensibili; Ho testato l'output per gruppi.
- [] Ho controllato il tasso di errore per i gruppi sottorappresentati.
- [ ] Ho fornito una giustificazione semplice e spiegabile per ogni decisione.
- [ ] Ho definito il percorso di obiezione e revisione umana.
- [ ] La traccia di controllo (dati/versione del modello/responsabile) viene mantenuta.