Ganancias:
- Entiende que los datos son la principal fuente de sesgo de la IA.
- Reconoce los riesgos que los prejuicios pueden crear en el lugar de trabajo
- Implementa medidas que se pueden tomar para reducir los prejuicios.
La IA aparece como una máquina neutral y objetiva; pero la verdad es mucho más compleja. Los sistemas de inteligencia artificial aprenden los sesgos humanos en los datos con los que se entrenan y, a veces, los magnifican y reproducen. El prejuicio es la tendencia de un sistema a favorecer o excluir sistemáticamente a determinadas personas o grupos. En esta unidad, consideraremos de dónde provienen los prejuicios, qué riesgos concretos plantea en el lugar de trabajo y qué se puede hacer contra ellos. No se trata sólo de una cuestión de "ética"; Es un asunto comercial práctico que conlleva riesgos legales, comerciales y de reputación cuando se gestiona mal.
¿De dónde viene el prejuicio?
La información de un modelo de lenguaje proviene de los enormes textos que producimos los humanos. Estos textos contienen todo el conocimiento de la sociedad humana, así como todos sus estereotipos, desequilibrios y desigualdades históricas. El modelo no distingue entre patrones "buenos" y "malos"; Aprende todo lo que hay en los datos.
Ejemplo: si ciertas profesiones se asociaban predominantemente con un género en textos anteriores (por ejemplo, "enfermera" con mujer, "ingeniero" con hombre), el modelo aprende esta asociación. Es posible que tienda a elegir un pronombre masculino al completar la frase: "Un ingeniero entró en la oficina, él..." El modelo no es malicioso; simplemente refleja el desequilibrio en los datos.
Entonces, el sesgo se debe principalmente a que es un espejo de los datos, no un error de programación consciente. Explicar el problema como "alguien escribió un código incorrecto" es engañoso; El problema es que el desequilibrio en el mundo se traslada a los datos y de ahí al modelo.
Riesgos tangibles en el lugar de trabajo
área
Riesgo de sesgo
posible daño
reclutamiento
Conozca la tendencia en los datos históricos y elimine ciertos grupos
Caso legal, pérdida de capacidad.
Comunicación con el cliente
Lenguaje estereotipado o excluyente
Pérdida de reputación, fuga de clientes
crédito/riesgo
Perpetuar las desigualdades pasadas
Discriminación, sanciones
Evaluación de desempeño
Llevar el sesgo de los datos a la decisión
Promoción/bonificación injusta
Contenido/mercadeo
Hacer invisible un grupo específico
Daño de marca
Tres mini estuches
Caso 1: el anuncio estaba restringiendo el idioma. Una empresa empezó a imprimir ofertas de trabajo con IA. Después de un tiempo, se observó que los anuncios se dirigían a un determinado perfil con expresiones como "joven y dinámico", "objetivo agresivo" y, por tanto, reducían la diversidad de las aplicaciones. El equipo agregó un paso que verifica cada publicación en busca de “lenguaje inclusivo”; La diversidad de solicitantes ha aumentado significativamente en unos pocos meses.
Caso 2: Sesgo oculto en el resumen. Un gerente hizo que la IA resumiera los comentarios de 30 empleados. El resumen pareció concentrar los comentarios negativos en un equipo en particular; mientras que en los datos brutos la situación estaba equilibrada. La modelo exageró varias declaraciones contundentes. Cuando el gerente volvió y comprobó los datos sin procesar, evitó cometer un error.
Caso 3: El mandato de inclusión funcionó. Un equipo de marketing estandarizó las instrucciones en el texto de la campaña para "utilizar un lenguaje inclusivo y no específico de género/edad/grupo y enumerar sus suposiciones al final". Las expresiones formulaicas en los textos producidos han disminuido notablemente; el equipo no tuvo que corregir manualmente cada resultado una y otra vez.
¿Por qué es difícil reconocer el sesgo?
Lo más insidioso del prejuicio es que a menudo es invisible. El resultado parece fluido, profesional y razonable; La tendencia interna se hace evidente sólo cuando uno mira cuidadosamente o mide su impacto en diferentes grupos. Es engañoso decir "no hay sesgo aquí" mirando un solo ejemplo; El sesgo a menudo se manifiesta no en ejemplos individuales sino en la tendencia general del sistema.
Precaución: La suposición de que "soy neutral, por lo tanto la herramienta que uso también es neutral" es peligrosa. La neutralidad de la herramienta depende de los datos de entrenamiento y de cómo se inspeccionan, no de su intención.
Aviso débil / Aviso fuerte
Mensaje débil: describa el candidato ideal para este puesto.
Resultado: El modelo puede basarse en estereotipos y presentar un perfil particular como "ideal".
Sugerencia fuerte: enumere solo las competencias mensurables para este puesto que sean verdaderamente relevantes para el trabajo. No utilice ninguna característica que no esté relacionada con el trabajo, como género, edad, estado civil, ciudad de origen. Finalmente, escribe lo que omitiste bajo el título "suposiciones que evito".
Resultado: La evaluación se limita a criterios relacionados con el puesto y se excluyen las características irrelevantes.
Plantillas para reducir el sesgo
Consulte el texto a continuación para ver el lenguaje inclusivo. Marque las declaraciones que impliquen género, edad, origen étnico, discapacidad o un grupo específico y sugiera una alternativa neutral para cada una. Texto: [pegar aquí]
Haga esta evaluación únicamente en base a estos criterios objetivos: [criterios]. No tenga en cuenta ninguna información distinta de estos criterios (nombre, sexo, edad).
Enumere bajo un título separado al final qué suposiciones hizo en el texto que produjo. Entonces puedo ver prejuicios ocultos.
Evalúe este contenido a través de los ojos de tres grupos diferentes de lectores y marque cualquier declaración que pueda ofender/ofender a alguno de ellos. Contenido: [pegar aquí]
Errores comunes
Errores comunes
- Suponiendo una salida de IA "neutral". Aunque el resultado parezca neutral, puede contener sesgo en los datos; Se requiere supervisión activa.
- Mirar un ejemplo y decir "no hay prejuicios". El prejuicio está oculto en la tendencia general del sistema.
- Dejar la toma de decisiones de alto impacto a la IA no supervisada. La autoridad humana es esencial en decisiones como la contratación, la promoción y el crédito.
- Olvidarnos de exigir inclusión. Si no lo solicita explícitamente en el mensaje, el modelo vuelve a los patrones predeterminados.
- Significa "La máquina lo dijo". La persona que utiliza la decisión también es responsable de las consecuencias.
La justicia es responsabilidad de todos
Combatir los prejuicios no es sólo tarea del equipo técnico. Cada empleado que utiliza resultados de IA tiene la responsabilidad de cuestionar si esos resultados son justos. “La máquina me dijo” no es una excusa; Quien toma la decisión también es responsable de las consecuencias.
En resumen
- La principal fuente de sesgo de la IA no es la malevolencia, sino los desequilibrios y estereotipos existentes en los datos de entrenamiento.
- Prejuicio; Crea un riesgo legal y reputacional real en áreas como la contratación, las comunicaciones con los clientes, las finanzas y la evaluación.
- El sesgo es a menudo invisible y está arraigado en la disposición general del sistema; Mirar un solo ejemplo es engañoso.
- Para reducir: ser consciente, limitar la decisión a criterios relacionados con el trabajo, pedir explícitamente inclusión, poner control humano sobre las decisiones de alto impacto.
- “La máquina me dijo” no es una excusa; La equidad es responsabilidad de todos los que utilizan el resultado.
Tarea de aplicación
Dígale a la IA que "describa un trabajador ideal [de cualquier ocupación]" y marque qué suposiciones (quizás innecesarias) se hicieron en el resultado. Luego repita con la plantilla de “criterios relacionados con el trabajo” anterior y compare los dos resultados para garantizar la equidad.
Lista de verificación
- [] Entiendo que la principal fuente de sesgo son los datos de entrenamiento.
- [ ] Puedo nombrar los riesgos concretos que pueden plantear los prejuicios en el lugar de trabajo.
- [ ] Sé que el sesgo es a menudo invisible y que mirar un solo ejemplo es engañoso.
- [ ] Puedo pedir claramente criterios de inclusión y relacionados con el trabajo en el mensaje.
- [ ] Necesito supervisión humana de las decisiones de alto impacto.