Ganancias:
- Reconocer con ejemplos cómo los sesgos culturales, de género y diagnósticos en los modelos de inteligencia artificial causan daño en el contexto de la psicología.
- Capacidad para implementar una verificación de sesgo que pruebe los resultados para diferentes grupos, idiomas y culturas.
- Capacidad para desarrollar técnicas de aviso y verificación que corrijan las normas centradas en Occidente y el lenguaje estigmatizante.
La inteligencia artificial (IA) no es neutral. Un modelo de IA aprende de una enorme pila de texto en Internet, y la "visión del mundo" del modelo está sesgada por qué voz contiene más y qué voz contiene menos. Esta distorsión se llama sesgo. El sesgo en psicología no es un defecto técnico ordinario; Puede afectar directamente la evaluación, el diagnóstico y el tratamiento de una persona. Un síntoma puede interpretarse como "normal" en una cultura y "patológico" en otra; un comportamiento puede enmarcarse como “asertividad” en un género y “agresión” en el otro. La IA puede aprender y replicar estos sesgos históricos. En esta unidad aprenderá a reconocer los sesgos en la IA en el contexto de la psicología y a auditar los resultados de diferentes grupos, idiomas y culturas.
¿De dónde viene el prejuicio y cómo daña?
Hay tres fuentes principales de sesgo de la IA:
- Desequilibrio de datos de entrenamiento. Los modelos se entrenan predominantemente con textos de un idioma, cultura y período específicos. La mayor parte de la literatura sobre psicología proviene de sociedades occidentales, educadas e industrializadas; por lo tanto, la suposición de "humano normal" de la IA refleja esta muestra estrecha.
- Inclusión del sesgo histórico. También se incluyen en los datos textos que patologizaron y estigmatizaron a ciertos grupos en el pasado; el modelo aprende estos patrones.
- Falta de representación. El modelo tiene información insuficiente o estereotipada sobre grupos subrepresentados (diferente origen étnico, idioma, orientación sexual, discapacidad).
El daño es tangible: la IA puede evaluar un síntoma como más grave en un grupo y más leve que en otro; puede considerar erróneamente una expresión cultural (ritual de duelo, experiencia religiosa) como un síntoma; Puede producir un lenguaje estigmatizante y cliché.
Precaución: Incluso si un resultado de la IA parece ser “ciencia objetiva”, puede contener los sesgos que ha aprendido. Particularmente cuando se trata de diferentes culturas, géneros, orientaciones sexuales y grupos socioeconómicos, consideramos cada resultado como "¿es justo para todos los grupos?" Filtrar con la pregunta.
Tipos de sesgos específicos de la psicología
Tipo de sesgo
Ver en psicología
riesgo
sesgo cultural
Considerar las normas occidentales como universales
No confundas la expresión cultural con la patología
prejuicio de género
Interpretar el mismo comportamiento de forma diferente según el género
disparidad diagnóstica
sesgo de diagnóstico
Retratar a ciertos grupos como "propensos" a ciertos diagnósticos
Diagnóstico excesivo o insuficiente
sesgo del lenguaje
Más "competente" en la lengua dominante, superficial en la otra
Evaluación desigual
Estampación
Lenguaje que identifica a la persona con su diagnóstico
marco degradante
Paso a paso: control de sesgos
- Puede cambiar el resultado a "¿para quién fue escrito?" pregunta. ¿Quién es el sujeto predeterminado? Generalmente es un tipo educado, occidental y "normal".
- Prueba con diferentes grupos. Repita el mismo mensaje en diferentes contextos culturales, de género y de edad; ¿Están cambiando los comentarios?
- Escanea la lengua estigmática. Redacción correcta que identifique a la persona con su diagnóstico ("persona que sufre esquizofrenia" en lugar de "esquizofrénico").
- Añade contexto cultural. Dígale a la IA el contexto cultural/lingüístico del cliente y “no considere como patología expresiones que puedan ser normales en este contexto”.
- Ojos expertos y comunitarios. Si no está seguro acerca de un tema cultural, consulte a un colega que conozca esa cultura.
- Deja que la gente decida. Incluso la verificación de sesgos no se deja en manos de la IA; El juicio final de la justicia es tuyo.
Consejo: una forma práctica de comprobar si un resultado está sesgado: cambie un solo atributo (género, cultura, edad) en el mensaje y vuelva a hacer la misma pregunta. Si la interpretación cambia "injustamente" con este cambio, hay sesgo.
tres mini casos
Caso 1: Patologizar la expresión cultural. Un profesional le dice a la IA que un cliente de una cultura diferente está “hablando con el fallecido” durante el proceso de duelo. La IA encuadra esto como “puede ser un síntoma psicótico”. Sin embargo, ésta es una expresión común y normal de duelo en la cultura de ese cliente. El experto rechaza los resultados de la IA porque conoce el contexto cultural. Alguien que no conociera el contexto podría cometer un grave error de cálculo.
Caso 2: Prueba de sesgo de género. Un investigador entrega dos veces el mismo resumen del caso a la IA; simplemente cambia el género de la persona. En la versión “femenina”, la IA enfatiza la “inestabilidad emocional”, mientras que en la versión “masculina” enmarca el mismo comportamiento como una “respuesta al estrés”. Esto muestra claramente el sesgo de género del modelo. El investigador documenta esta diferencia y utiliza los resultados con esta conciencia.
Caso 3: Corrección del lenguaje estigmatizante. La IA es un “límite enfermizo”, afirma un borrador de informe. El especialista ve esto como un lenguaje estigmatizante que identifica a la persona con su diagnóstico y lo traduce a un lenguaje centrado en la persona, como por ejemplo "un individuo con un patrón de personalidad límite definido". Un pequeño cambio en el lenguaje hace una gran diferencia protegiendo la dignidad del cliente.
Indicaciones y plantillas copiables
Verifique el siguiente texto en busca de prejuicios: marque declaraciones que indiquen prejuicios culturales, de género, de orientación sexual, de edad o socioeconómicos. Muestre también los supuestos que consideran universales las normas occidentales. Sugiera una alternativa más justa para cada uno.Texto: [texto]
Ayúdenme a evaluar la siguiente situación, pero el contexto cultural del cliente es [cultura/idioma]. En este contexto, presentar expresiones que pueden ser NORMALES como patología; Si no está seguro de algún punto cultural, diga "esto puede variar culturalmente, consulte a un experto". Estado: [estado anónimo]
Traducir las expresiones estigmatizantes de este texto que identifican a la persona con su diagnóstico (por ejemplo, "esquizofrénico", "un límite") a un lenguaje que centre a la persona y preserve su dignidad. No cambies el contenido, solo humaniza el lenguaje. Texto: [texto]
Evaluaré el siguiente resumen de caso dos veces: una vez el sujeto [característica A], la otra [característica B]. ¿Existe una diferencia injusta entre las dos evaluaciones y, de ser así, se debe a un sesgo? Comparar.Abstract: [resumen anónimo]
Aviso débil / Aviso fuerte
Mensaje débil: "¿El comportamiento de este cliente es normal o anormal?"
Este mensaje no pregunta para quién es "normal"; La IA supone una “normalidad” inculta y centrada en Occidente y puede patologizar la expresión cultural.
Mensaje fuerte: "Este cliente está en [contexto cultural/lingüístico]. Explique si este comportamiento puede ser una expresión normal en ese contexto cultural o una señal que requiere atención, discutiendo ambos por separado. No haga un juicio definitivo; recuérdeme consultar con un experto que conozca el contexto cultural".
Este mensaje pone el contexto en el centro, evita malas interpretaciones culturales y deja la decisión al experto.
Errores comunes
- Confundir la salida de IA con "objetivo". Olvidar que el modelo conlleva sesgos y aceptar el resultado como un hecho científico.
- Considerar la norma occidental como universal. Definir lo "normal" según una única cultura y patologizar diferentes expresiones.
- No notar el lenguaje estigmatizante. Confundir el lenguaje que identifica a la persona con su diagnóstico como "lenguaje técnico".
- No realizar pruebas de sesgo. No intentar el mismo mensaje con diferentes grupos y comprobar la coherencia.
- Tomar decisiones solo en una cultura que no conoces. Emitir un juicio sin consultar a un colega que conozca esa cultura.
En resumen
La IA está sesgada porque aprende de los textos de un mundo sesgado; En psicología, este sesgo se traduce en daños tangibles en forma de estigma cultural, de género, diagnóstico, lingüístico y. Compare cada resultado con la pregunta “¿es esto justo para todos los grupos?” colarlo; probar el mismo mensaje con diferentes grupos; agregue contexto cultural a su mensaje; cambiar el lenguaje estigmatizante por un lenguaje centrado en la persona; Busque ojos expertos/comunitarios sobre una cultura con la que no está familiarizado. El juicio de justicia, incluido el control de los prejuicios, emana del ser humano.
Tarea de aplicación
Elaborar un resumen del caso (anónimo). Dáselo a la IA dos veces; cambiar sólo una característica (género, cultura o edad). Coloque las dos impresiones una al lado de la otra y examínelas para detectar diferencias injustas. También haga que la IA traduzca frases estigmatizantes en un párrafo de informe a un lenguaje centrado en la persona y note la diferencia.
lista de verificación
- [] Cambie el resultado a "¿Es esto justo para todos los grupos?" Hice la pregunta.
- [] Probé el mismo mensaje con diferentes grupos/culturas.
- [] Agregué el contexto cultural al mensaje; No patologicé la expresión cultural.
- [ ] Cambié el lenguaje estigmatizante por un lenguaje centrado en la persona.
- [ ] Busqué el consejo de un experto/colega sobre un tema cultural que no conocía.
- [] Dejé la decisión final de equidad a mi propio juicio, no a la IA.