Ganhos:
- Reconhecer com exemplos como preconceitos culturais, de gênero e de diagnóstico em modelos de inteligência artificial causam danos no contexto da psicologia
- Capacidade de implementar uma verificação de parcialidade que testa resultados para diferentes grupos, idiomas e culturas
- Capacidade de desenvolver técnicas imediatas e de verificação que corrijam normas centradas no Ocidente e linguagem estigmatizante
A inteligência artificial (IA) não é neutra. Um modelo de IA aprende com uma enorme pilha de texto na Internet, e a “visão de mundo” do modelo é distorcida pela voz de quem contém mais e de quem contém menos. Essa distorção é chamada de viés. O preconceito em psicologia não é uma falha técnica comum; Pode afetar diretamente a avaliação, o diagnóstico e o tratamento de uma pessoa. Um sintoma pode ser lido como “normal” numa cultura e “patológico” em outra; um comportamento pode ser enquadrado como “assertividade” num género e “agressividade” no outro. A IA pode aprender e replicar esses preconceitos históricos. Nesta unidade você aprenderá a reconhecer preconceitos na IA no contexto da psicologia e a auditar os resultados para diferentes grupos, idiomas e culturas.
De onde vem o preconceito e como ele prejudica?
Existem três fontes principais de preconceito de IA:
- Desequilíbrio de dados de treinamento. Os modelos são treinados predominantemente com textos de um idioma, cultura e período específicos. A maior parte da literatura sobre psicologia vem de sociedades ocidentais, educadas e industrializadas; portanto, a suposição de “humano normal” da IA reflete esta amostra restrita.
- Inclusão de preconceito histórico. Textos que patologizaram e estigmatizaram determinados grupos no passado também estão incluídos nos dados; o modelo aprende esses padrões.
- Falta de representação. O modelo contém informações insuficientes ou estereotipadas sobre grupos sub-representados (diferentes etnias, línguas, orientações sexuais, deficiências).
O dano é tangível: a IA pode avaliar um sintoma como mais grave num grupo e mais suave do que noutro; pode erroneamente considerar uma expressão cultural (ritual de luto, experiência religiosa) como um sintoma; Pode produzir uma linguagem estigmatizante e clichê.
Cuidado: mesmo que um resultado da IA pareça ser “ciência objectiva”, pode conter os preconceitos que aprendeu. Especialmente quando se trata de diferentes culturas, géneros, orientações sexuais e grupos socioeconómicos, consideramos cada resultado como “isto é justo para todos os grupos?” Filtre com a pergunta.
Tipos de preconceito específicos da psicologia
Tipo de preconceito
Ver em psicologia
risco
preconceito cultural
Considerando as normas ocidentais como universais
Não confunda expressão cultural com patologia
preconceito de gênero
Interpretar o mesmo comportamento de forma diferente dependendo do gênero
disparidade diagnóstica
viés diagnóstico
Retratando certos grupos como “propensos” a certos diagnósticos
Sobre/subdiagnóstico
preconceito de linguagem
Mais “proficiente” na língua dominante, superficial na outra
Avaliação desigual
Estampagem
Linguagem que identifica a pessoa com seu diagnóstico
enquadramento degradante
Passo a passo: controle de viés
- Você pode alterar a saída para "para quem foi escrito?" pergunta. Quem é o sujeito padrão? Ele geralmente é um cara educado, ocidental e "comum".
- Teste com grupos diferentes. Repetir a mesma sugestão em diferentes contextos culturais, de género e de idade; Os comentários estão mudando?
- Digitalize a língua estigmática. Redação correta que identifica a pessoa com seu diagnóstico (“pessoa com esquizofrenia” em vez de “esquizofrênico”).
- Adicione contexto cultural. Informe à IA o contexto cultural/linguístico do cliente e “não considere como patologia expressões que possam ser normais neste contexto”.
- Olhos de especialistas e da comunidade. Se não tiver certeza sobre uma questão cultural, consulte um colega que conheça essa cultura.
- Deixe as pessoas decidirem. Mesmo a verificação de preconceitos não é deixada para a IA; O julgamento final da justiça é seu.
Dica: Uma forma prática de testar se um resultado é tendencioso: altere um único atributo (gênero, cultura, idade) no prompt e faça a mesma pergunta novamente. Se a interpretação mudar “injustamente” com esta mudança, há preconceito.
três mini cases
Caso 1 — Patologização da expressão cultural. Um profissional informa à IA que um cliente de uma cultura diferente está “conversando com o falecido” durante o processo de luto. A IA enquadra isso como “pode ser um sintoma psicótico”. No entanto, esta é uma expressão comum e normal de luto na cultura desse cliente. O especialista rejeita o resultado da IA porque conhece o contexto cultural. Alguém que não conhecesse o contexto poderia cometer um grave erro de julgamento.
Caso 2 — Teste de preconceito de género. Um investigador fornece o mesmo resumo do caso à IA duas vezes; apenas muda o gênero da pessoa. Na versão “feminina”, a IA enfatiza a “instabilidade emocional”, enquanto na versão “masculina”, enquadra o mesmo comportamento como uma “resposta ao estresse”. Isto mostra claramente o preconceito de género do modelo. O pesquisador documenta essa diferença e utiliza os resultados com essa consciência.
Caso 3 — Corrigindo linguagem estigmatizante. A IA é um “limite doentio”, afirma um rascunho de relatório. O especialista vê isso como uma linguagem estigmatizante que identifica a pessoa com seu diagnóstico e o traduz para uma linguagem focada na pessoa, como “um indivíduo com padrão de personalidade borderline definido”. Uma pequena mudança na linguagem faz uma grande diferença na proteção da dignidade do cliente.
Prompts e modelos copiáveis
Verifique se há preconceito no texto a seguir: marque declarações que indiquem preconceito cultural, de gênero, orientação sexual, idade ou socioeconômico. Mostre também os pressupostos que consideram as normas ocidentais universais. Sugira uma alternativa mais justa para cada um.Texto: [texto]
Ajude-me a avaliar a seguinte situação, mas o contexto cultural do cliente é [cultura/idioma]. Neste contexto, apresentar expressões que podem ser NORMAIS como patologia; Se não tiver certeza sobre um ponto cultural, diga “isso pode variar culturalmente, consulte um especialista”. Status: [status anônimo]
Traduza as expressões estigmatizantes deste texto que identificam a pessoa com seu diagnóstico (por exemplo, "esquizofrênico", "um borderline") para uma linguagem que centralize a pessoa e preserve sua dignidade. Não mude o conteúdo, apenas humanize a linguagem. Texto: [texto]
Avaliarei o seguinte resumo de caso duas vezes: uma vez o sujeito [característica A], a outra [característica B]. Existe uma diferença injusta entre as duas avaliações e, em caso afirmativo, é devido a preconceitos? Compare.Abstract: [resumo anônimo]
Alerta fraco / Alerta forte
Prompt fraco: "O comportamento deste cliente é normal ou anormal?"
Este prompt não pergunta para quem é "normal"; A IA assume um “normal” inculto e centrado no Ocidente e pode patologizar a expressão cultural.
Solicitação forte: "Este cliente está em [contexto cultural/linguístico]. Explique se esse comportamento pode ser uma expressão normal naquele contexto cultural ou um sinal que requer atenção, discutindo ambos separadamente. Não faça um julgamento definitivo; lembre-me de consultar um especialista que conheça o contexto cultural."
Esta sugestão coloca o contexto no centro, evita interpretações erradas culturais e deixa a decisão para o especialista.
Erros comuns
- Confundindo a saída da IA com “objetivo”. Esquecer que o modelo carrega preconceitos e aceitar o resultado como um fato científico.
- Considerando a norma ocidental como universal. Definir o “normal” de acordo com uma única cultura e patologizar diferentes expressões.
- Não percebendo a linguagem estigmatizante. Confundir a linguagem que identifica a pessoa com seu diagnóstico como “linguagem técnica”.
- Não testando preconceitos. Não tentar o mesmo prompt com grupos diferentes e verificar a consistência.
- Tomar decisões sozinho em uma cultura que você não conhece. Fazer um julgamento sem consultar um colega que conheça essa cultura.
Em resumo
A IA é tendenciosa porque aprende com os textos de um mundo tendencioso; Na psicologia, esse preconceito se traduz em danos tangíveis na forma de aspectos culturais, de gênero, de diagnóstico, de linguagem e de estigma. Compare cada resultado com a pergunta “isto é justo para todos os grupos?” coar; teste o mesmo prompt com grupos diferentes; adicione contexto cultural ao seu prompt; mudar a linguagem estigmatizante para uma linguagem centrada na pessoa; Procure olhares de especialistas/comunidade sobre uma cultura com a qual você não está familiarizado. O julgamento da justiça, incluindo o controle do preconceito, emana do ser humano.
Tarefa de aplicativo
Prepare um resumo do caso (anônimo). Entregue para a IA duas vezes; mudar apenas uma característica (gênero, cultura ou idade). Coloque as duas impressões lado a lado e verifique se há diferenças injustas. Faça também com que a IA traduza frases estigmatizantes em um parágrafo de relatório para uma linguagem centrada na pessoa e observe a diferença.
lista de verificação
- [] Altere a saída para "isso é justo para todos os grupos?" Eu fiz a pergunta.
- [] Testei o mesmo prompt com diferentes grupos/culturas.
- [ ] Adicionei o contexto cultural ao prompt; Eu não patologizei a expressão cultural.
- [ ] Mudei a linguagem estigmatizante para uma linguagem centrada na pessoa.
- [ ] Procurei o conselho de um especialista/colega sobre uma questão cultural com a qual não estava familiarizado.
- [] Deixei a decisão final de justiça para meu próprio julgamento, não para a IA.