Justiça, discriminação e responsabilidade algorítmica

Ganhos:

• Ele reconhece fontes de dados, design e uso de viés algorítmico e testa a saída em grupo.
• Explica como o ciclo de feedback e o erro de representação ampliam a desigualdade e estabelecem o controle do impacto.
• Ele garante a responsabilidade, garantindo explicabilidade e apelo em cada decisão automatizada.

O público deve aplicar o seu poder igualmente a todos: tratamento semelhante a dois cidadãos em situações semelhantes, diferença proporcional a situações diferentes. Este princípio de igualdade é uma obrigação constitucional. A inteligência artificial pode melhorar e perturbar silenciosamente este campo. Pode melhorar porque uma regra aplicada de forma consistente pode reduzir a arbitrariedade e o preconceito humano. Pode ser prejudicial porque os modelos de IA aprendem com os dados passados, e os dados passados ​​carregam a discriminação do passado. Se um sistema for treinado com base em dados que historicamente prejudicaram um determinado grupo, ele carrega essa desvantagem para o futuro – e de uma forma que é ainda mais difícil de detectar, sob o disfarce de um “algoritmo objectivo”. Nesta unidade, você aprenderá como reconhecer o viés algorítmico (viés sistemático do resultado do modelo contra determinados grupos) ao usar IA no setor público, como reduzi-lo e, o mais importante, como garantir a responsabilidade algorítmica (sendo a justificativa para uma decisão automatizada explicável, auditável e contestável).

De onde vem o preconceito?

Existem várias fontes de viés algorítmico, e todas elas são arriscadas em público:

• Viés histórico: os dados de treinamento contêm desigualdades anteriores. Por exemplo, se uma área teve menos serviços no passado, os “dados da procura” podem mostrar que essa área tem necessidades baixas – quando na verdade a procura era baixa porque não havia serviço.
• Viés de representação: Alguns grupos estão sub-representados nos dados (aqueles sem acesso digital, grupos de línguas minoritárias) e o modelo funciona mal para eles.
• Viés de proxy: mesmo que o modelo não olhe diretamente para um critério proibido (etnia, religião), ele pode produzir a mesma discriminação olhando para um proxy associado a ele (bairro, nome, CEP).
• Viés de medição: o que medimos não é o que realmente queremos medir. O “número de reclamações” mede a capacidade de reclamar e não a necessidade.

Cuidado: É enganoso dizer “Removi dados sensíveis (gênero, etnia) do modelo, agora é justo”. A discriminação através de variáveis ​​proxy pode continuar. A justiça é alcançada não pela exclusão da entrada, mas pelo teste da saída entre grupos.

Testando a justiça: veja o resultado

Se um sistema é justo ou não, pode ser entendido olhando para os seus resultados e não para as suas intenções. Método básico: divida a decisão em grupos e compare. Os resultados como taxa de aceitação/rejeição, taxa de erro e tempo de espera diferem significativamente entre diferentes grupos (sexo, idade, região, renda)? Se houver uma diferença, esta diferença baseia-se numa razão legítima ou é discriminação? Uma vez que esta análise pode exigir dados pessoais, deve ser agregada e realizada de acordo com KVKK.

Dica: Antes de implementar um novo sistema de decisão baseado em IA, divida suas decisões por grupos demográficos e produza um “relatório de imparcialidade”. Se você encontrar uma diferença, "essa diferença pode ser explicada?" Leve a questão a um comitê de pessoas.

Explicabilidade e apelo: o cerne da responsabilização

No setor público, nenhum cidadão pode ser privado dos seus direitos com a resposta “o sistema assim decidiu”. Para cada decisão automatizada ou assistida por IA, três coisas devem ser garantidas:

1. Explicabilidade: Em que se baseou a decisão, quais fatores foram eficazes, devem ser explicados em linguagem simples.
2. Forma de recurso: Os cidadãos devem poder opor-se à decisão e pedir a um ser humano que a reveja.
3. Trilha de auditoria: Devem ser registrados quais dados, qual modelo/versão e com qual responsável a decisão foi tomada.

três mini cases

Caso 1 — Variante substituta capturada. Um modelo de priorização da ajuda não utilizou dados sensíveis, mas analisou o “código postal”. No teste de imparcialidade, descobriu-se que determinados bairros recebiam prioridade sistematicamente baixa – correlacionada com o código postal, o rendimento e a densidade étnica. A variável foi retirada e a prioridade foi vinculada diretamente aos indicadores de necessidade.

Caso 2 — Lacuna de representação. Um chatbot tinha 41% mais probabilidade de enganar perguntas de cidadãos com língua nativa não turca; Os dados de treinamento continham pouco deste grupo. Quando o suporte multilíngue e o limite de transferência humana foram adicionados, a lacuna foi reduzida.

Caso 3 — Rejeição inexplicada. Uma instituição rejeitou automaticamente um pedido; cidadão "por quê?" Quando questionado, o policial não soube explicar porque o motivo do modelo não era compreensível. O incidente mostrou que modelos com pouca explicabilidade não podem ser usados ​​para tomar decisões sobre direitos; O sistema foi transformado em um modelo que gera justificativa e requer aprovação humana.

Quatro modelos copiáveis

1) Fonte de varredura de polarização:

Sua função: especialista em justiça algorítmica. Confira abaixo o processo de decisão baseado em IA. Liste possíveis fontes de viés: (1) viés histórico, (2) viés de representação (grupo sub-representado), (3) variáveis ​​proxy (coluna associada ao critério proibido), (4) viés de medição. Dê um exemplo concreto para cada um e diga-me como testá-lo. PROCESSO: [processo de decisão e dados utilizados]

2) Plano de teste de justiça:

Gere um plano de teste de imparcialidade para o seguinte resultado de decisão: quais grupos (idade, sexo, região, renda) devo dividir, quais métricas (taxa de aceitação, taxa de erro, tempo de espera) devo comparar, como decido se a diferença é legítima ou discriminatória? Adicionar aviso KVKK. DECISÃO: [qual decisão]

3) Declaração de decisão (ao cidadão):

Escreva um rascunho de explicação compreensível para os cidadãos para a seguinte decisão: quais fatores foram influentes, em linguagem simples. Acrescentar o direito de recurso no final e a possibilidade de revisão humana [com tempo a confirmar]. Usando expressões vagas como “O sistema decidiu assim”. DECISÃO: [resumo e fatores de influência]

4) Verificação de prestação de contas antes da divulgação:

Produza uma lista de verificação de responsabilidade antes de implementar o sistema de decisão baseado em IA: é explicável, existe uma maneira de recorrer, é mantida uma trilha de auditoria (dados/versão do modelo/responsável), foram realizados testes de imparcialidade, onde está o ponto de aprovação humana. Sinalize itens ausentes como bandeiras vermelhas.SYSTEM: [receita]

Alerta fraco / Alerta forte

Fraco: “Este modelo de decisão é justo?”

Forte: "Seu papel é o de especialista em justiça algorítmica. Para este modelo de priorização de ajuda, primeiro procure fontes de preconceito (histórico, representação, variável substituta, medição) e dê exemplos concretos para cada uma. Em seguida, elabore um plano de teste de justiça: detalhamento por quais grupos, quais métricas, como decidir a legitimidade da diferença; adicione o aviso KVKK. Finalmente, antes de implementar o sistema, forneça uma lista de verificação para explicabilidade, caminho de apelação e trilha de auditoria, e sinalize as deficiências."

A diferença: uma orientação forte procura preconceitos na sua origem, faz com que os resultados sejam testados por grupos e generaliza a responsabilização.

Dimensões e controles da justiça

Tamanho

Risco

controle

dados históricos

O passado carrega desigualdade

Saída de teste por grupos

representação

Funciona mal para algum grupo

Taxa de erro baseada em grupo

variável substituta

discriminação encoberta

Relacionamento de critério sensível a variáveis

Explicabilidade

decisão injustificada

Gere uma explicação simples

objeção

confisco

Caminho de revisão humana

Loop de feedback e erro de representação

A forma mais insidiosa de discriminação algorítmica ocorre não numa única decisão errada, mas num ciclo de feedback que se reforça ao longo do tempo (o resultado de um modelo afecta os dados de treino subsequentes, reforçando o enviesamento existente). Por exemplo, se um modelo de inspeção sinaliza um bairro específico como “de risco”, quanto mais inspeções vão até lá, mais registros são criados e o modelo vê esse bairro como mais arriscado – mesmo que a diferença tenha aumentado no local analisado, e não no risco real. O que abre o caminho para isso é muitas vezes um erro de representação (dados de treinamento refletindo alguns grupos de forma incompleta ou distorcida). No sector público, estes ciclos podem colocar grupos desfavorecidos sob vigilância e sanções cada vez mais severas. A forma de se proteger é monitorizar o impacto do modelo, não apenas o seu resultado: monitorizar regularmente a distribuição das decisões com base no grupo e não implementar cegamente as recomendações do modelo.

Mini caso – dúvida auto-engrandecedora. Um modelo de detecção de fraudes sociais sinalizou uma região que tinha sido mais fortemente inspecionada no passado como de alto risco. Quando a equipa extraiu a intensidade da aplicação dos dados e mediu a “verdadeira taxa de deteção em relação à população”, descobriu que as diferenças entre as regiões desapareceram em grande parte; O modelo confundiu desigualdade com risco real.

Modelo de controle de impacto baseado em grupo:

Tarefa: Examine os seguintes dados de decisão por grupos (sem dados pessoais, resumo categórico).Dados: [grupo | decisão total | taxa de decisão negativa | intensidade da inspeção]Resultado: 1) A taxa de decisão negativa mostra uma diferença significativa entre os grupos? 2) A diferença poderia ser devida ao risco real ou à intensidade de controle/representação? 3) Existe algum sinal de ciclo de feedback? 4) Recomendações para controle humano.Regra: Estabelecer uma alegação de causalidade; Liste possíveis explicações e formas de testar.

Atenção: O argumento de que “o modelo é neutro porque aplica a mesma regra a todos” é enganoso. A mesma regra, quando aplicada a dados distorcidos, preserva e amplia a desigualdade. A justiça é medida pela igualdade do resultado, não pela regra.

Erros comuns

• Excluir dados confidenciais e pensar “é justo”. Variáveis ​​substitutas perpetuam a discriminação; teste a saída.
• Medindo a justiça pela intenção. A justiça aparece no final; Classifique as decisões em grupos e compare.
• Esquecendo o grupo sub-representado. O modelo pode funcionar silenciosamente mal para um grupo minoritário; Consulte erro baseado em grupo.
• Usando o modelo inexplicável nas decisões de concessão de direitos. Um sistema que não consegue produzir justificação não pode tomar decisões públicas.
• Não fornecendo nenhum meio de objeção. Toda decisão automatizada deve estar sujeita à revisão humana.
• Não manter uma trilha de auditoria. Deve ser registrado com qual dado/modelo/responsável a decisão foi tomada.

Em resumo

No sector público, a IA pode aumentar a consistência, mas também transferir silenciosamente a discriminação do passado. O preconceito vem de dados históricos, lacunas de representação, variáveis ​​proxy e medições imprecisas; Excluir dados confidenciais não resolverá o problema. A justiça é alcançada testando o resultado entre grupos. E nenhum cidadão pode ser privado de direitos pelo “sistema assim o disse”: cada decisão deve ser explicável, contestável e auditável. É a instituição que é responsabilizada, não o algoritmo.

Tarefa de aplicativo

Escolha um processo de decisão automatizado ou baseado em IA em sua unidade. Liste possíveis vieses e encontre pelo menos um risco variável substituto com o modelo “Fonte de verificação de viés”. Determine quais divisões de grupo analisar com o "plano de teste de imparcialidade". Para um exemplo de decisão, produza uma explicação voltada para o cidadão com o modelo "Explicação da decisão".

lista de verificação

• [ ] Procurei fontes de preconceito (histórico, representação, proxy, medição).
• [] Eu não excluí apenas dados confidenciais; Testei a saída por grupos.
• [] Eu controlei a taxa de erro para grupos sub-representados.
• [] Forneci uma justificativa simples e explicável para cada decisão.
• [] Eu defini objeção e caminho de revisão humana.
• [ ] A trilha de auditoria (dados/versão do modelo/responsável) é mantida.