Unidad 6 / 11

Análisis de datos de prueba y validación

Ganancias:

  • Capacidad para reconocer tipos de datos de pruebas como dinamómetro, pruebas en carretera, resistencia y DVP&R y su lugar en el proceso de verificación.
  • Capacidad de utilizar inteligencia artificial para resumir, señalar anomalías y redactar informes en grandes conjuntos de datos de prueba.
  • Capacidad para realizar una validación cruzada de la interpretación de las pruebas de IA con criterios de incertidumbre, repetibilidad y aceptación de la medición.

La respuesta a la pregunta "¿cumple los requisitos" antes de que un vehículo o componente entre en producción está oculta en los datos de prueba y verificación? Las pruebas en el sector del automóvil se extienden desde el laboratorio (dinamómetro, cámara climática, mesa vibratoria) hasta la carretera (pruebas en carretera, pista de resistencia) y el laboratorio de accidentes. Estas pruebas generan datos masivos: una sola prueba de resistencia puede contener millones de filas de registros de sensores. En esta unidad veremos los tipos de estos datos, su lugar en el proceso de verificación y cómo la inteligencia artificial ayuda en el análisis (pero cómo la decisión queda en manos del ingeniero).

¿Qué son la verificación y la validación?

A menudo se confunden ambos términos:

  • Verificación: "¿Construimos el producto correctamente?" Mide el cumplimiento del requisito. Ejemplo: "La distancia de frenado especificada dice 38 metros; nosotros la medimos, 36,5 metros. Adecuado".
  • Validación: "¿Hicimos el producto correcto?" ¿Satisface las necesidades en uso real? Ejemplo: "¿Los conductores consideran seguro este freno?"

En automoción, este proceso suele gestionarse con el documento DVP&R (Design Verification Plan and Report): es una tabla que enumera qué requisito se probará con qué prueba, con qué criterios de aceptación y el resultado.

Tipos de datos de prueba típicos

Tipo de prueba

que medidas

datos de muestra

Dinamómetro (dyno)

Potencia del motor, par, emisiones.

Curva RPM-par, consumo de combustible

prueba de carretera

Comportamiento de la condición real

GPS, aceleración, señales de conducción.

durabilidad

fatiga de por vida

Vibración, tensión, número de ciclos.

clima/medio ambiente

Resistencia a la humedad frío-calor

temperatura, estado de trabajo

NVH

Ruido/vibración

Presión sonora, espectro de aceleración.

Colisión (choque)

Seguridad

Vídeo de alta velocidad, sensores ficticios

Cada prueba tiene un criterio de aceptación (requisito). El análisis sirve para demostrar si los datos cumplen este criterio.

¿Qué hace la inteligencia artificial en el análisis de pruebas?

La IA es un poderoso asistente en el análisis de datos de prueba para:

  1. Resumen: resumen estadístico, valores máximos, distribución de millones de filas.
  2. Marca de anomalía: "Hay una caída de par inesperada a los 214 segundos en esta grabación".
  3. Comparación de patrones: comparar dos recorridos de prueba o vehículos diferentes y encontrar diferencias.
  4. Borrador de informe: Redacción del texto del resultado DVP&R y explicaciones gráficas.
  5. Ayuda de código: Generación de script de análisis (Python).

Pero ojo: todo esto son bocetos y sugerencias. Es el ingeniero de pruebas quien decide si la prueba pasa o no y si una anomalía es real o un error de medición.

Pista: Pregúntele a la IA "¿pasó esta prueba?" En lugar de preguntar: "¿Qué regiones de estos datos muestran riesgo según los criterios de aceptación, qué comprobaciones adicionales debo hacer?" preguntar. El primero requiere decisiones (no el trabajo de la IA), el segundo requiere pistas (el trabajo de la IA).

Incertidumbre y repetibilidad de la medición.

Ninguna medida es perfecta. Dos conceptos son críticos:

  • Incertidumbre de medición: El margen natural de error de un dispositivo de medición. Si la distancia de frenado es "36,5 m" y la incertidumbre es ±0,8 m, el valor real está entre 35,7 y 37,3 m. Si la especificación es 38 m, estás a salvo; pero si la especificación fuera 37 m, la incertidumbre estaría muy cerca del límite.
  • Repetibilidad: ¿Obtienes resultados similares cuando vuelves a realizar la misma prueba? Es posible que una sola carrera haya pasado por casualidad. En la automoción, las pruebas críticas se repiten varias veces, en diferentes vehículos/condiciones.

La "anomalía" detectada por una IA puede ser en realidad ruido de medición. La incertidumbre y la doble verificación son esenciales antes de tomar una decisión.

Precaución: La IA que dice "criterios de aceptación aprobados" es engañosa si no tiene en cuenta la incertidumbre y la duplicación de las mediciones. En resultados cercanos al límite, el margen de incertidumbre puede cambiar el resultado de la prueba.

Mini estudios de casos

Caso 1 - ¿Anomalía o ruido? En una prueba de resistencia, la IA marca tres saltos bruscos en la señal de tensión. El ingeniero de pruebas observa los datos brutos: los saltos corresponden a los momentos exactos en que se reinicia el registrador de datos; Entonces no es un evento estructural real, es una interrupción del registro. Las anomalías están documentadas como artefactos. Resultado: la IA proporcionó una pista, el ingeniero aisló la causa raíz; El sello automático de "fallo" sería incorrecto.

Caso 2: resultado casi límite. La distancia media en una prueba de frenado es de 37,4 m, la especificación es de 38 m. La IA dice "aprobado". El ingeniero se da cuenta de la incertidumbre de la medición (±0,9 m) y que solo se han realizado 2 corridas; El límite superior supera la especificación de 38,3 m. La prueba se aumenta a 6 carreras y se varían las condiciones (freno caliente, vehículo cargado); El resultado se confirma seguro. Conclusión: Decir "aprobado" sin ambigüedades y repeticiones es arriesgado.

Caso 3: El poder del resumen rápido. Una prueba NVH tiene 40 GB de datos de 12 instrumentos. La IA genera una tabla y una comparación que resume las frecuencias y amplitudes máximas de cada herramienta; El ingeniero dirige su atención a 2 vehículos problemáticos en 20 minutos en lugar de 2 horas. Luego examina el espectro bruto de esos dos vehículos con sus propias manos. Resultado: la IA hizo la eliminación, el ingeniero hizo el análisis profundo.

plantillas de mensajes

Plantilla 1 - Resumen de la prueba:

Rol: usted es el analista de datos de prueba. Tarea: Resuma el registro del dinamómetro a continuación. Contexto: datos de RPM, 1000-6000 rpm; Criterio de aceptación: par máximo de al menos 320 Nm, sin colapso en la curva de potencia. Restricción: toma de decisiones de 'aprobar/reprobar'; Enumerar zonas de riesgo y recomendaciones de control adicionales según criterios. Salida: Resumen de estadísticas + zona de riesgo + control recomendado.

Plantilla 2: análisis de anomalías:

Rol: Eres un experto en medición e instrumentación. Tarea: Guíame para distinguir si las anomalías marcadas son eventos reales o artefactos de medición. Contexto: 3 saltos repentinos en la señal de tensión; La grabadora se reinicia de forma intermitente. Salida: Posible explicación + verificación discriminante para cada anomalía.

Plantilla 3 - Evaluación de la incertidumbre:

Rol: Usted es un consultor de metrología (ciencia de la medición). Tarea: Evaluar la seguridad del resultado de acuerdo con los criterios de aceptación. Contexto: Valor medido 37,4 m, incertidumbre ±0,9 m, especificación 38 m, número de corridas 2. Restricción: Asegúrese de tener en cuenta la incertidumbre y el número de repeticiones; enfatizar la cercanía al límite. Resultado: Evaluación + recomendación de pruebas adicionales + riesgo restante.

Plantilla 4: borrador del informe DVP&R:

Rol: usted es el ingeniero de verificación. Tarea: Escriba un borrador del texto del resultado de DVP&R para los siguientes resultados de prueba. Contexto: Se cumplen los requisitos, el método de prueba, el criterio de aceptación y el valor medido (anónimo). Restricción: Borrador solamente; No utilice la declaración estricta de "aprobado", deje un espacio para la aprobación del ingeniero. Salida: Requisito | prueba | criterio | resultado | estado (borrador).

Aviso débil / Aviso fuerte

Aviso débil:

Mire los datos de esta prueba, ¿pasó?

Ausencia de criterios de aceptación, ambigüedad y repetición; La IA dice un “aprobado/no aprobado” a ciegas, lo cual es peligroso.

Potente mensaje:

Función: usted es un analista de datos de pruebas automotrices. Tarea: Analizar los datos de prueba de frenos adjuntos frente a los criterios de aceptación y aconsejar qué evidencia adicional se necesita para la decisión. Contexto: Criterio 38 m; incertidumbre de medición ±0,9 m; Hay 2 condiciones; carga del vehículo probada en una condición. Restricción: Declarar "Aprobado"; Enumere los riesgos y las condiciones adicionales propuestas en términos de incertidumbre y duplicación. Resultado: Riesgo | justificación | tabla de pruebas adicional recomendada.

Errores comunes

  • Hacer que la IA tome una decisión de ir/fallar. La decisión la toma el ingeniero; La IA da pistas.
  • Ignorar la incertidumbre de la medición. En resultados cercanos al límite, la incertidumbre cambia el resultado.
  • Confiando en una sola carrera. Sin repetibilidad el resultado es frágil.
  • Considere inmediatamente la anomalía como un "mal funcionamiento". Puede haber artefactos/ruido en la grabación; Volver a los datos sin procesar.
  • Copia ciega del informe. El borrador de IA no puede convertirse en un documento oficial sin la aprobación y corrección del ingeniero.

En resumen

  • La verificación mide el cumplimiento del requisito, la validación mide el cumplimiento de la necesidad real; DVP&R gestiona este proceso.
  • Es un poderoso asistente para resumir, marcar anomalías, comparar y redactar informes sobre datos de pruebas de IA.
  • La decisión (aprobar/reprobar) depende del ingeniero; La IA da pistas, no señales.
  • Sin incertidumbre y repetibilidad de la medición, el resultado no se puede interpretar; Los resultados cercanos al límite requieren una atención especial.
  • Las anomalías deben separarse con datos sin procesar para determinar si son eventos reales o artefactos de medición.

Tarea de aplicación

Seleccione una prueba (p. ej. arranque en frío en la cámara climática). (1) Escriba el requisito, el método de prueba y los criterios de aceptación. (2) Solicitar un resumen y análisis de zonas de riesgo con la Plantilla 1 (sin solicitar una decisión). (3) Evalúe un resultado imaginario cerca del límite de incertidumbre con la Plantilla 3. (4) Produzca un borrador de DVP&R usando la Plantilla 4, indicando qué áreas está dejando para la aprobación del ingeniero.

lista de verificación

  • [ ] He escrito claramente los requisitos y criterios de aceptación.
  • [] Le pedí a la IA un riesgo/pista, no una decisión.
  • [ ] Incluí la incertidumbre de la medición en el resultado.
  • [] Evalué la competencia en repetibilidad (número de ejecuciones).
  • [] Examiné las anomalías con datos sin procesar haciendo una distinción entre hecho y artefacto.
  • [] Marqué el borrador del informe para la aprobación del ingeniero.