Preconceito, justiça e discriminação: os pontos cegos da modelo

Ganhos:

• Compreender como o preconceito nos modelos de inteligência artificial surge dos dados e do design e por que cria riscos legais e éticos no setor bancário
• Capacidade de reconhecer recursos protegidos, variáveis proxy e discriminação indireta e questionar as decisões do modelo em termos de justiça
• Capacidade de compreender como as métricas de justiça, os grupos excluídos e o direito de oposição estão integrados no modelo de governação e mantêm a linha vermelha da discriminação

Um modelo de IA não é neutro; É um espelho dos dados aprendidos. Se os dados carregam desigualdades do passado, o modelo aprende-as e transporta-as para o futuro. No setor bancário, este não é um debate ético abstrato: se um modelo de crédito prejudica sistematicamente um determinado grupo, isso é simultaneamente ilegal (proibição de discriminação) e uma violação ética, trazendo riscos de reputação e de sanções para o banco. O objectivo desta unidade é mostrar como o modelo se torna tendencioso, formas directas e indirectas de discriminação, a armadilha das variáveis ​​proxy e formas de integrar a justiça na governação do modelo. Uma linha vermelha deve ser dita desde o início: a discriminação, por mais “estatística” que possa parecer, é inaceitável.

De onde vem o preconceito?

• Viés de dados: se as decisões anteriores foram injustas (por exemplo, um determinado grupo recebeu menos crédito no passado), o modelo assume que isso é “normal” e continua. Isso é chamado de preconceito histórico.
• Viés de amostragem: se alguns grupos estiverem sub-representados nos dados, o modelo aprende de forma deficiente e imprecisa sobre eles.
• Viés de rótulo: se a própria definição de “bom cliente” for tendenciosa, o modelo otimiza para o viés.
• Viés de design: As escolhas humanas sobre quais variáveis ​​usar também podem conter preconceitos.

Dica: “O modelo é baseado em dados, portanto é objetivo” é um equívoco. Os dados são um instantâneo do passado; Se o passado foi injusto, o modelo “objetivo” justifica a injustiça com a matemática. Objetividade não é garantia de imparcialidade.

Discriminação direta e indireta

• Discriminação direta: O uso direto pelo modelo de uma característica protegida (gênero, etnia, religião, idade). Isto é expressamente proibido.
• Discriminação indireta (variável substituta/proxy): Mesmo que o modelo não utilize o recurso protegido diretamente, ele produz o mesmo resultado ao utilizar outra variável que está fortemente relacionada a ele (CEP, nome, categoria comercial, bairro de trabalho). O código postal costuma ser um proxy para etnia ou nível de renda. O modelo diz “bairro”, mas o resultado é discriminação de “origem”.

Variável

aparentemente

pode ser um proxy

Código postal / distrito

geografia

Etnia, nível de renda

Nome

ID

origem, gênero

Categoria de compras

comportamento

estilo de vida, crença

escola formada

Educação

Origem socioeconômica

É por isso que o alarme deve soar quando se vê uma afirmação como “a vizinhança é arriscada” numa justificação: pode parecer um critério legítimo, mas acarreta discriminação indirecta.

Cuidado: A remoção do recurso protegido dos dados não encerra a discriminação. Variáveis ​​substitutas podem retorná-lo. A justiça não é alcançada com “Excluí a coluna sensível”; Isto é conseguido testando os resultados das decisões do modelo entre grupos.

Tecendo justiça na governança

1. Métricas de justiça. Compare as taxas de aprovação/rejeição do modelo e as taxas de erro entre os grupos. Um grupo experimenta sistematicamente rejeições mais elevadas?
2. Controle de proxy. Examine o relacionamento das variáveis ​​usadas com as propriedades protegidas.
3. Explicabilidade. Deve ser apresentada justificativa para cada decisão; Uma negação da “caixa preta” é insustentável.
4. Direito de contestar. O cliente deve ter o direito de conhecer a justificativa da decisão e solicitar uma revisão humana.
5. Grupos excluídos. Deve-se também verificar se os grupos sub-representados nos dados não são maltratados.

Quatro modelos copiáveis

1) Triagem de discriminação na justificativa:

Verifique a seguinte lógica de decisão de crédito: existe referência direta/indireta a uma característica protegida (idade, sexo, origem, religião) ou a uma variável proxy (código postal, bairro, nome, tipo de compra)? Sinalize declarações arriscadas e explique por que representam um risco de discriminação. Motivo: [texto]

2) Controle de proxy de lista de variáveis:

Examine esta lista de variáveis usadas em um modelo de crédito. Quais poderiam ser um substituto para uma característica protegida e representar um risco de discriminação indireta? Escreva sua justificativa para cada variante de risco. Lista: [variáveis]

3) Resumo da decisão em termos de justiça (neutro, explicável):

Sua função: assistente que elabora uma justificativa de decisão explicável. Confie apenas em critérios legítimos e não discriminatórios (rácio dívida/rendimento, histórico de pagamentos, garantias). NÃO faça referência à propriedade protegida e à variável substituta. Escreva a justificativa em linguagem simples que o cliente entenda. Eu darei a aprovação.

4) Rascunho da resposta à objeção:

Um cliente recorreu da negação de crédito e quer justificativa. Elabore uma resposta respeitosa e descritiva baseada em critérios legítimos; Lembre o cliente de seu direito à revisão e correção humana. Não use quaisquer implicações discriminatórias. Motivo de rejeição verificado: [motivo]

Alerta fraco / Alerta forte

Alerta fraco:

As aplicações nesta região são muito arriscadas, vamos usar mais as informações distritais no modelo para que a precisão possa ser aumentada.

Esta abordagem reforça a discriminação indirecta com base no distrito; Legitima um resultado ilegal em nome do “acerto”.

Alerta poderoso:

Sua função: assistente de auditoria judicial. Sinalize as variáveis ​​usadas que representam o risco de variáveis ​​substitutas. Sugira quais métricas devo seguir para comparar decisões entre grupos em termos de taxa de aprovação/rejeição. Nunca reforce um critério discriminatório; redirecionar para critérios legítimos e explicáveis.

A vontade forte procura riscos por procuração, introduz métricas de justiça e rejeita a discriminação.

três mini cases

Caso 1 — Viés histórico. Um modelo atribui a um determinado grupo profissional uma pontuação sistematicamente baixa porque lhe foi atribuído menos crédito no passado. Uma auditoria de equidade mostra que a taxa de rejeição deste grupo é 30% superior à de outros com níveis de rendimento semelhantes. O modelo é reequilibrado com critérios legítimos de renda e pagamento.

Caso 2 — Variável substituta. O código postal é uma variável poderosa em um modelo. A auditoria mostra que o código postal se sobrepõe a determinados bairros etnicamente concentrados, produzindo discriminação indireta de origem. A variável é removida e substituída por benchmarks financeiros legítimos; o desempenho permanece num nível aceitável, a discriminação é eliminada.

Caso 3 — Direito de oposição. Um cliente rejeitado pede justificativa. O banco fornece a justificação explicável (elevado rácio dívida/rendimento) e aceita o pedido de revisão humana. A revisão revela uma leitura incorreta de um documento; A decisão foi corrigida. A explicabilidade e o direito de oposição compensam um erro com a justiça.

Métricas de justiça: o que e como medimos

“O modelo é justo?” Não há uma resposta única para a pergunta; Existem múltiplas definições de justiça e, por vezes, entram em conflito entre si. Aqui estão algumas abordagens que são praticamente seguidas no setor bancário:

• Comparação da taxa de aprovação/rejeição: A taxa de aprovação é sistematicamente diferente entre diferentes grupos com perfis financeiros semelhantes (por exemplo, grupos de género)? Uma diferença grande e inexplicável é um sinal de preconceito.
• Igualdade da taxa de erro: a taxa de falsa rejeição (rejeição de uma aplicação legítima) do modelo está equilibrada entre os grupos? Se um grupo for rejeitado injustamente com mais frequência do que outro, há um problema.
• Calibração: Os clientes que o modelo chama de “alto risco” realmente inadimplem com taxas semelhantes em cada grupo? O significado da pontuação não deve mudar de grupo para grupo.

Às vezes, essas métricas não podem ser fornecidas ao mesmo tempo; Qual definição de justiça priorizar não é uma decisão técnica, mas ética e legal e requer governança humana.

Dica: Meça a métrica de justiça em intervalos regulares, não apenas ao construir o modelo. Um modelo pode entrar em operação de maneira justa e tornar-se tendencioso ao longo do tempo devido ao desvio de dados. A justiça não é uma questão de “estabelecimento”, mas sim uma questão de “monitorização”.

Erros comuns

• A falácia dos “dados objetivos”. Supondo que o modelo seja neutro; os dados carregam preconceitos históricos.
• Basta excluir a coluna sensível. Removendo a propriedade protegida e ignorando variáveis ​​de proxy.
• Não monitorar métricas de justiça. Não comparar a taxa de rejeição/erro entre os grupos.
• Defendendo a decisão da caixa preta. Considerar uma decisão que não pode ser justificada como legítima.
• Removendo o direito de oposição. Desativar a revisão humana porque “retarda o processo”.

Atenção: A discriminação muitas vezes não surge da maldade, mas do descuido. Uma variável adicionada porque "aumenta a precisão" pode excluir um grupo inadvertidamente. Portanto, a justiça não se baseia na boa fé, mas em testes regulares.

Resumindo

Os modelos de IA carregam os preconceitos dos dados com os quais aprendem, e a discriminação no setor bancário é um risco legal, ético e de reputação. A discriminação direta consiste no uso de um recurso protegido; A discriminação indireta, por outro lado, está produzindo o mesmo resultado com variáveis ​​proxy (código postal, nome). Justiça não consiste em apagar a coluna sensível; Garantido por métricas de justiça, controle de procuração, explicabilidade e direito de objeção. Numa frase: O padrão repete o passado; É responsabilidade do homem defender a justiça e rejeitar a discriminação.

Tarefa de aplicativo

Escreva uma lista de 8 a 10 variáveis para um modelo de crédito (algumas com risco de proxy intencional: CEP, nome, categoria de compras). 2. Execute uma verificação de proxy com o modelo e marque os arriscados com seus motivos. Em seguida, escreva um texto de justificativa discriminatória e escaneie-o com o modelo 1. Por fim, planeje em um parágrafo quais métricas de justiça você acompanhará para comparar a taxa de rejeição do modelo entre os grupos.

lista de verificação

• [] Verifiquei se o modelo/justificativa não usa propriedades protegidas.
• [ ] Também examinei o risco de variáveis ​​proxy.
• [ ] Planejei comparar a aprovação/rejeição e a taxa de erro entre os grupos.
• [ ] Garanti que cada decisão tivesse uma justificativa explicável.
• [ ] Dei ao cliente o direito de objeção e revisão humana.
• [ ] Eu nem cruzei a linha vermelha da discriminação por “acerto”.