Ganancias:
- Capacidad para detectar discriminación oculta al comprender que el sesgo proviene de datos (históricos, representacionales, de medición, agregación) y evaluar el modelo sobre la base de subgrupos.
- Capacidad para brindar explicabilidad, supervisión humana y rendición de cuentas en decisiones de alto impacto y transparencia documental con una tarjeta modelo.
- Capacidad para gestionar los costos financieros y ambientales sin comprometer la calidad con el modelo adecuado más pequeño, acortamiento rápido, caché y lotes.
Un modelo puede funcionar técnicamente perfectamente pero aun así ser incorrecto: si es injusto para algunas personas, inexplicable o produce costos insostenibles. En esta unidad, cubrimos tres dimensiones "invisibles" pero decisivas de la ingeniería de ML: sesgo y equidad, ética y transparencia, costo y sostenibilidad. No se trata de adornos añadidos posteriormente, sino de partes integrales de la calidad de la ingeniería.
¿De dónde viene el prejuicio?
El sesgo del modelo (el tratamiento sistemático que el modelo da a ciertos grupos de manera diferente o injusta) generalmente proviene de los datos, no del modelo. Fuentes:
- Sesgo histórico: los datos reflejan injusticias pasadas. Si a un grupo en particular se le ha dado menos crédito en el pasado, el modelo entrenado con esos datos aprenderá y perpetuará esta discriminación.
- Sesgo de representación: algunos grupos están subrepresentados en los datos; el modelo funciona mal para ellos (por ejemplo, baja precisión en una muestra demográfica pequeña).
- Sesgo de medición: las etiquetas en sí mismas están sesgadas (por ejemplo, si la definición de “buen empleado” se basa en decisiones de promoción pasadas).
- Sesgo de agregación: debido a que los datos provienen de un canal específico, no son representativos del universo.
El modelo no sólo aprende estos sesgos; se amplía automatizándolo. La decisión sesgada de una persona afecta a otra; El veredicto de un modelo sesgado es de millones.
Precaución: no caiga en el error de decir "el modelo es neutral porque es solo matemática". El modelo aprende y automatiza el sesgo humano en los datos. La neutralidad no es un defecto, sino un resultado que debe medirse y garantizarse.
medir la justicia
Para gestionar la justicia es necesario medirla primero. Para hacer esto, evalúe el modelo por subgrupos: ¿son iguales métricas como precisión, recuerdo y tasa de falsos positivos en diferentes grupos demográficos? Algunos conceptos de justicia:
- Equidad grupal: ¿El modelo trata a diferentes grupos correcta o incorrectamente en proporciones similares?
- Igualdad de oportunidades: ¿Capta el modelo las oportunidades verdaderamente positivas por igual en todos los grupos (igual recuerdo)?
Dato importante: es posible que no se cumplan diferentes definiciones de justicia al mismo tiempo (esto es una consecuencia matemática). La definición de justicia que tenga prioridad en este contexto es una decisión ética y empresarial, no técnica, y se toma en conjunto con las partes interesadas.
Enfoque débil / Enfoque fuerte
Deficiente: "La precisión general del modelo es del 88%, lo cual es regular".
Güçlü: "La precisión general fue del 88%, pero cuando la dividimos en subgrupos, el retiro fue del 91% en un grupo y del 67% en otro grupo; al modelo faltaba sistemáticamente ese grupo. Documentamos el motivo (falta de representación), recopilamos datos para ese grupo y los reevaluamos con el objetivo de un retiro equitativo. Decidimos con las partes interesadas qué definición de justicia priorizaríamos".
La diferencia: el enfoque fuerte no se esconde detrás de la métrica general, separa subgrupos y trata la equidad como una decisión abierta.
Ética y transparencia
Los principios básicos de una IA responsable son:
- Explicabilidad: ¿Se puede explicar por qué el modelo tomó esta decisión? En las decisiones de alto impacto (crédito, contratación, atención sanitaria) uno tiene derecho a una explicación. El modelo inexplicado no debe utilizarse en estas áreas o debe estar respaldado por un método explicable.
- Supervisión humana: las decisiones de alto impacto no deben tomarse automáticamente; El modelo sugiere, el humano confirma.
- Responsabilidad: debe quedar claro quién es el responsable cuando el modelo comete un error. “El modelo decidió” no es una excusa.
- Transparencia: El usuario debe saber que está interactuando con una IA y cómo se utilizan sus datos.
En muchos países y sectores, estos principios también están incorporados en la legislación (transparencia, auditoría y obligaciones de supervisión humana para sistemas de IA de alto riesgo). El ingeniero es responsable de conocer la normativa de su campo.
Consejo: mantenga una "tarjeta de modelo" para cada modelo de alto impacto: qué hace el modelo, con qué datos se entrenó, qué tan bien o mal funciona en qué grupos, cuáles son sus límites conocidos. Este documento es a la vez una herramienta de transparencia y rendición de cuentas.
Costo y sostenibilidad
La IA no es barata. El coste se gestiona en dos dimensiones:
Costo financiero:
- Costo del token (LLM): cada solicitud y respuesta cuesta tokens; A medida que crece el volumen, crece la factura. Las indicaciones innecesariamente largas, la selección de modelos excesivamente grande y los bucles de agentes incontrolados (unidad 5) inflan el costo.
- Capacitación y alojamiento: el ajuste y la presentación del modelo generan costos de hardware.
- Optimización: no utilice un modelo grande si un modelo pequeño es suficiente; caché de preguntas frecuentes; acortar el mensaje; Lote de lo que se puede procesar.
Costo ambiental: el entrenamiento y la inferencia de modelos grandes consumen una cantidad significativa de energía. La sostenibilidad hace que evitar cálculos innecesarios (modelo de tamaño correcto, arquitectura eficiente) sea una responsabilidad profesional.
Consejo: La primera regla de optimización de costes: "¿Cuál es el modelo más pequeño adecuado para este trabajo?" Colocar el modelo más potente en todas partes es como clavar un clavo con un mazo: caro e innecesario.
tres mini casos
Caso 1 - Discriminación oculta. Un modelo de selección de reclutamiento parecía bueno en general. El análisis de subgrupos encontró que el modelo destacaba sistemáticamente a las candidatas porque los datos históricos estaban dominados por los hombres: había aprendido el sesgo histórico. Se detuvo el modelo, se equilibraron los datos y se monitorearon las métricas de equidad. La justicia general encubrió la discriminación oculta.
Caso 2 - Rechazo inexplicable. Un modelo de crédito rechazaba solicitudes, pero nadie sabía explicar por qué. Cuando un cliente solicitó una aclaración legal, el equipo no pudo responder. El modelo se retiró del uso en decisiones de alto impacto hasta que se agregó un método explicable y se presentó una justificación para cada rechazo. Lección: la explicabilidad es esencial en la toma de decisiones de alto impacto.
Caso 3 - Bill shock. Un equipo estaba utilizando el LLM más grande y mensajes muy largos para cada solicitud. La factura mensual ha aumentado inesperadamente. Análisis posterior: la mayoría de las solicitudes se podían resolver con un modelo pequeño, la mitad de las indicaciones eran redundantes y las preguntas frecuentes se podían almacenar en caché. Estas tres optimizaciones redujeron significativamente el costo, sin comprometer la calidad. Lección: el modelo más potente no es necesario en todas partes.
Plantillas copiables
Ayúdame a evaluar este modelo en busca de sesgo/imparcialidad. ¿Qué subgrupos (demográficos/segmentos) debo dividir y medir? ¿Qué métricas (precisión, recuperación, tasa de falsos positivos por grupo) debo comparar? ¿Pueden entrar en conflicto diferentes definiciones de equidad? ¿A cuál debo priorizar en este contexto y por qué? Modelo/contexto de decisión: [explicación]
Produzca un borrador de tarjeta modelo para este modelo de alto impacto. Debe incluir: propósito, datos y fecha de entrenamiento, desempeño en subgrupos, límites conocidos, uso apropiado/inapropiado, estado de explicabilidad, punto de supervisión humana. Modelo: [descripción]
Ayúdeme a reducir el costo de esta implementación de LLM, sin comprometer la calidad. Disponible: tamaño del modelo, longitud promedio del mensaje, volumen de solicitudes, ¿hay caché? Evaluar: 1) ¿Es suficiente el modelo más pequeño (para qué tareas)? 2) ¿Se puede acortar el mensaje? 3) ¿Se pueden almacenar en caché las solicitudes frecuentes? 4) ¿Hay trabajo disponible para lotes? Escriba el impacto estimado de cada sugerencia.
Producir una lista de verificación de ética/responsabilidad para este sistema de decisiones de alto impacto.- Explicabilidad: ¿se puede producir la justificación de la decisión?- Supervisión humana: ¿la decisión de alto impacto está sujeta a aprobación?- Responsabilidad: ¿quién es responsable en caso de error?- Transparencia: ¿sabe el usuario que se está utilizando IA?- Regulación: ¿cuáles son las obligaciones legales involucradas?Sistema: [descripción]
Tabla de fuentes de sesgo
Fuente
síntoma
precaución
sesgo histórico
La discriminación del pasado continúa
Auditoría de datos + métrica de equidad
sesgo de representación
Baja precisión en un grupo de muestra pequeño
Análisis de subgrupos + balanceo
sesgo de medición
etiquetas sesgadas
Revisión del proceso de etiquetas
Sesgo de agregación
El universo no está representado.
Diversificación de recursos
Errores comunes
- Confiando en la métrica general. La discriminación oculta no puede verse sin un análisis de subgrupos.
- Suponiendo "modelo neutral". El modelo aprende y amplifica el sesgo en los datos.
- Dejar la decisión de alto impacto al modelo inexplicable. Riesgo legal y ético.
- Sin pasar por la supervisión humana. "El modelo decidió" no es excusa.
- Poniendo el modelo más grande en todas partes. Costo y energía innecesarios.
- Sin costo de seguimiento. El billete se hincha silenciosamente.
En resumen
Un modelo técnicamente correcto sigue siendo un fracaso si no es justo, explicable y sostenible. El sesgo proviene principalmente de los datos y el modelo lo magnifica a escala; Medir la equidad por subgrupos y acordar con las partes interesadas qué definición de equidad priorizar. La explicabilidad, la supervisión humana y la rendición de cuentas son esenciales en las decisiones de alto impacto; Transparencia del documento con tarjeta modelo. Administre costos y energía: elija el modelo más pequeño adecuado, acorte el mensaje, use caché y lotes. Estas dimensiones son partes integrales de la calidad de la ingeniería, no adornos añadidos posteriormente.
Tarea de aplicación
Divida un modelo en al menos dos subgrupos y compare la tasa de recuperación y de falsos positivos por grupo; Si hay una diferencia significativa, escriba el motivo y una precaución. Redacte una breve tarjeta modelo para un modelo de alto impacto (propósito, datos, desempeño del subgrupo, límites, explicabilidad). Identifique al menos dos optimizaciones concretas (mínimo/truncamiento rápido/caché/lote) para reducir el costo de implementar un LLM y anotar su impacto estimado.
lista de verificación
- [ ] Evalué el modelo en base a subgrupos, no me basé en la métrica general.
- [ ] Decidí con las partes interesadas qué definición de justicia priorizaría.
- [] La decisión de alto impacto es explicable y está sujeta a la aprobación humana.
- [] Documenté la transparencia y los límites con la tarjeta de patrón.
- [ ] Elegí el modelo más pequeño adecuado; Optimicé el aviso/caché/lote.
- [ ] Superviso el coste y el impacto energético.