Ganhos:
- Compreende que os dados são a principal fonte de preconceito da IA
- Reconhece os riscos que o preconceito pode criar no local de trabalho
- Implementa medidas que podem ser tomadas para reduzir o preconceito
A IA aparece como uma máquina neutra e objetiva; mas a verdade é muito mais complexa. Os sistemas de IA aprendem os preconceitos humanos nos dados em que são treinados e, por vezes, ampliam-nos e reproduzem-nos. O preconceito é a tendência de um sistema de favorecer ou excluir sistematicamente certas pessoas ou grupos. Nesta unidade, consideraremos de onde vem o preconceito, quais os riscos concretos que representa no local de trabalho e o que pode ser feito contra ele. Isto não é apenas uma questão de “ética”; É uma questão comercial prática que acarreta riscos jurídicos, comerciais e de reputação quando mal gerida.
De onde vem o preconceito?
A informação de um modelo de linguagem vem dos enormes textos que os humanos produzem. Estes textos contêm todo o conhecimento da sociedade humana, bem como todos os seus estereótipos, desequilíbrios e desigualdades históricas. O modelo não distingue entre padrões “bons” e “maus”; Ele aprende tudo o que está nos dados.
Exemplo: Se certas profissões foram predominantemente associadas a um género em textos anteriores (por exemplo, “enfermeira” com mulher, “engenheiro” com homem), o modelo aprende esta associação. Ela pode tender a escolher um pronome masculino ao completar a frase: "Um engenheiro entrou no escritório, ele..." O modelo não é malicioso; reflete apenas o desequilíbrio nos dados.
Portanto, o viés se deve principalmente ao fato de ser um espelho dos dados, e não um erro de programação consciente. Explicar o problema como "alguém escreveu código incorreto" é enganoso; O problema é que o desequilíbrio no mundo é transportado para os dados e daí para o modelo.
Riscos tangíveis no local de trabalho
área
Risco de preconceito
possível dano
recrutamento
Aprenda a tendência nos dados históricos e elimine determinados grupos
Caso legal, perda de capacidade
Comunicação com o cliente
Linguagem estereotipada ou excludente
Perda de reputação, fuga do cliente
crédito/risco
Perpetuando desigualdades do passado
Discriminação, sanções
Avaliação de desempenho
Levando preconceito nos dados para a decisão
Promoção/bônus injusto
Conteúdo/marketing
Tornar um grupo específico invisível
Danos à marca
Três Mini Estojos
Caso 1 — O anúncio estava restringindo o idioma. Uma empresa começou a imprimir ofertas de emprego com IA. Depois de um tempo, percebeu-se que as propagandas apelavam para determinado perfil com expressões como “jovem e dinâmico”, “alvo agressivo” e assim diminuíam a diversidade das aplicações. A equipe adicionou uma etapa que verifica cada postagem quanto à “linguagem inclusiva”; A diversidade de candidatos aumentou significativamente em poucos meses.
Caso 2 — Viés oculto no resumo. Um gerente fez com que a IA resumisse o feedback de 30 funcionários. A recapitulação pareceu concentrar os comentários negativos em uma equipe específica; enquanto nos dados brutos a situação era equilibrada. O modelo exagerou em várias declarações fortes. Quando o gerente voltou e verificou os dados brutos, ele evitou cometer equívocos.
Caso 3 — O mandato de inclusão funcionou. Uma equipe de marketing padronizou as instruções no texto da campanha para “usar linguagem inclusiva e não específica de gênero/idade/grupo e listar suas suposições no final”. As expressões estereotipadas nos textos produzidos diminuíram sensivelmente; a equipe não precisou corrigir manualmente cada saída repetidas vezes.
Por que o preconceito é difícil de reconhecer?
A coisa mais insidiosa sobre o preconceito é que muitas vezes ele é invisível. A saída parece suave, profissional e razoável; A tendência dentro dela só se torna aparente quando se olha cuidadosamente ou se mede o seu impacto em diferentes grupos. É enganoso dizer “não há preconceito aqui” olhando para um único exemplo; O preconceito manifesta-se muitas vezes não em exemplos individuais, mas na tendência geral do sistema.
Cuidado: A suposição de que “sou neutro, portanto a ferramenta que utilizo também é neutra” é perigosa. A neutralidade da ferramenta depende dos dados de treinamento e de como eles são inspecionados, não da sua intenção.
Alerta Fraco/Prompt Forte
Solicitação fraca: Descreva o candidato ideal para esta posição.
Resultado: O modelo pode se basear em estereótipos e apresentar um determinado perfil como “ideal”.
Solicitação forte: liste apenas competências mensuráveis para esta posição que sejam realmente relevantes para o trabalho. Não utilize características que não estejam relacionadas ao trabalho, como sexo, idade, estado civil, cidade natal. Por fim, escreva o que você deixou de fora sob o título “suposições que evito”.
Resultado: A avaliação é limitada a critérios relacionados com o trabalho, sendo excluídas características irrelevantes.
Modelos para reduzir preconceitos
Verifique o texto abaixo para linguagem inclusiva. Sinalize declarações que impliquem sexo, idade, etnia, deficiência ou um grupo específico e sugira uma alternativa neutra para cada uma.Texto: [cole aqui]
Faça esta avaliação apenas com base nestes critérios objetivos: [critérios]. Não leve em consideração nenhuma informação além destes critérios (nome, sexo, idade).
Liste, em um título separado, no final, quais suposições você fez no texto que produziu. Portanto, posso ver preconceitos ocultos.
Avalie este conteúdo através do olhar de três grupos diferentes de leitores e marque quaisquer afirmações que possam ofender/ofender algum deles. Conteúdo: [cole aqui]
Erros Comuns
Erros comuns
- Assumindo saída de IA "neutra". Mesmo que o resultado pareça neutro, ele pode carregar o viés nos dados; É necessária supervisão ativa.
- Olhando para um exemplo e dizendo “não há preconceito”. O preconceito está oculto na tendência geral do sistema.
- Deixar a tomada de decisões de alto impacto para a IA não supervisionada. A autoridade humana é essencial em decisões como recrutamento, promoção e crédito.
- Esquecendo de exigir inclusão. Se você não solicitar explicitamente no prompt, o modelo reverterá para os padrões padrão.
- Significa "A máquina disse isso". A pessoa que usa a decisão também é responsável pelas consequências.
Justiça é responsabilidade de todos
Combater o preconceito não é tarefa apenas da equipe técnica. Cada funcionário que utiliza resultados de IA tem a responsabilidade de questionar se esse resultado é justo. “A máquina me contou” não é uma desculpa; A pessoa que toma a decisão também é responsável pelas consequências.
Em resumo
- A principal fonte de preconceitos da IA não é a malevolência, mas sim os desequilíbrios e estereótipos existentes nos dados de treino.
- Preconceito; Cria riscos reais legais e de reputação em áreas como recrutamento, comunicação com clientes, finanças e avaliação.
- O preconceito é muitas vezes invisível e está incorporado na disposição geral do sistema; Olhar para um único exemplo é enganoso.
- Para reduzir: estar atento, limitar a decisão a critérios relacionados com o trabalho, pedir explicitamente a inclusão, colocar o controlo humano nas decisões de alto impacto.
- “A máquina me contou” não é uma desculpa; A justiça é responsabilidade de todos que utilizam os resultados.
Tarefa de aplicativo
Diga à IA “descreva um trabalhador ideal [qualquer ocupação]” e marque quais suposições (talvez desnecessárias) foram feitas no resultado. Em seguida, repita o modelo de “critérios relacionados ao trabalho” acima e compare os dois resultados quanto à justiça.
Lista de verificação
- [] Entendo que a principal fonte de preconceito são os dados de treinamento.
- [ ] Posso citar os riscos concretos que o preconceito no local de trabalho pode representar.
- [ ] Eu sei que o preconceito é muitas vezes invisível e que olhar para um único exemplo é enganoso.
- [ ] Posso pedir claramente critérios de inclusão e relacionados ao trabalho imediatamente.
- [ ] Exijo supervisão humana de decisões de alto impacto.