Intégration de bout en bout, MLOps et responsabilité de l'ingénieur

Gains :

• Capacité à concevoir un projet automobile basé sur l'IA, du concept à la production, et à le maintenir avec un cycle de suivi
• Capacité à évaluer la gestion des versions de modèles, la dérive des données et les besoins de recyclage
• Capacité à faire évoluer l'IA en toute sécurité tout en maintenant la responsabilité, la traçabilité et la documentation tout au long du projet

Dans la dernière unité de ce module, nous rassemblons toutes les pièces. Nous avons vu comment l’intelligence artificielle est utilisée dans les unités individuelles, de la conception à la production, des tests à la chaîne d’approvisionnement. Mais dans un projet réel, il ne s'agit pas d'étapes isolées, mais d'un cycle de vie : les données sont collectées, le modèle est construit, il est mis en production, il est surveillé, et lorsqu'il vieillit, il est renouvelé. La discipline de maintien de ce cycle est appelée MLOps (Machine Learning Operations). Cette unité couvre la mise en place, la maintenance et le maintien de la responsabilité d'un projet automobile alimenté par l'IA de bout en bout.

Cycle de vie d'un projet d'IA

Un flux de bout en bout typique dans un contexte automobile :

1. Définition du problème et de la valeur : quel problème commercial résolvons-nous ? Comment le succès est-il mesuré ? Est-ce une fonction critique pour la sécurité ?
2. Collecte et étiquetage des données : Sources (CAN, tests, production, télématique), qualité, confidentialité.
3. Développement du modèle : Attribut, modèle, vérification (contrôle des fuites, cohérence unitaire).
4. Vérification et évaluation de la sécurité : tests indépendants si ISO 26262/SOTIF requis.
5. Déploiement : déploiement du modèle sur l'appliance, en ligne ou dans le cloud.
6. Surveillance : performances, dérive des données, précision des alarmes.
7. Recyclage : mise à jour du modèle lorsqu'il devient ancien.
8. Documentation et traçabilité : enregistrement de chaque étape ; qui, quand, pourquoi.

Ce cycle ne se termine pas une fois pour toutes ; tourne constamment. En automobile, il est dangereux de « régler et oublier » un modèle.

Astuce : Au démarrage du projet, "qui surveillera ce modèle une fois qu'il sera sur le terrain, avec quelle métrique et à quelle fréquence ?" Si vous ne pouvez pas répondre à la question, le modèle n'est pas encore prêt pour la production.

Gestion des versions et traçabilité des modèles

La traçabilité dans le secteur automobile n'est pas un luxe, mais souvent une obligation légale. Lorsqu'un problème survient, vous devriez être en mesure de répondre à la question « quelle version du modèle, avec quelles données a-t-il été formé, qui l'a approuvé ? » Bonnes pratiques :

• Versionnement du modèle : le numéro de chaque modèle, les données d'entraînement et la date sont enregistrés.
• Versionnement des données : les données sur lesquelles elles ont été formées sont gelées.
• Journal de décision : l'approbation a été donnée par qui et avec quelles preuves.
• Plan de restauration : si le nouveau modèle s'avère mauvais, vous pouvez revenir à l'ancien.

article

Pourquoi est-il nécessaire

Risque en cas de disparition

Version du modèle

Quelle version est sur le terrain ?

Le problème ne peut pas être retracé

Version des données

Avec quoi a-t-il été entraîné ?

non reproductible

Dossier d'approbation

Qui est responsable ?

ne peut être tenu responsable

annuler

Retour d'une mauvaise version

Longs temps d'arrêt sur le terrain

Dérive des données et dégradation du modèle

Un modèle est un instantané du monde dans lequel il est formé. Mais le monde change : un nouveau fournisseur de pièces détachées apporte une tolérance de capteur différente, un nouveau modèle de véhicule sort, les saisons changent, les habitudes de conduite changent. Les performances du modèle diminuent silencieusement à mesure que la distribution des données d'entrée s'éloigne du temps de formation. Cette dérive des données et la diminution des performances qui en résulte sont appelées dégradation du modèle.

Le danger est que ce déclin reste silencieux : le modèle ne s’effondre pas, ne fait pas d’erreurs, il se trompe de plus en plus. Par conséquent :

• Surveiller la distribution des entrées (détection de dérive).
• Surveillez les mesures de performance avec des résultats réels (les alarmes étaient-elles exactes ?).
• Déclencher une reconversion lorsque le seuil est dépassé.

Attention : L'hypothèse selon laquelle « une fois le modèle entraîné, il donne pour toujours les mêmes performances » est fausse et risquée dans le domaine automobile. Un modèle mis en production sans surveillance de la dérive peut, sans le savoir, devenir peu fiable.

Exemple de scénario de bout en bout : flotte de maintenance prédictive

Rendons cela concret. Vous installez un système d'alerte précoce en cas de panne de turbo pour une flotte cargo :

1. Valeur : Réduisez les temps d’arrêt et les coûts de remorquage ; succès = équilibre défaut/fausse alarme capturé.
2. Données : signaux CAN de 40 véhicules, enregistrements de défauts historiques ; Le VIN est anonymisé.
3. Modèle : Anomalie + RUL ; fuite de séries chronologiques évitée ; La plage d'incertitude est présentée.
4. Vérification : Backtesting sur les défauts passés ; Le coût des fausses alarmes a été évalué.
5. Production : Score quotidien dans le cloud ; panneau au technicien.
6. Surveillance : Contrôle de la dérive lorsqu'un nouveau modèle de véhicule est ajouté ; précision de l'alarme chaque semaine.
7. Recyclage : mise à jour trimestrielle avec un nouveau type de véhicule et de nouveaux exemples de pannes.
8. Documentation : version du modèle, version des données, ingénieur certificateur enregistré.

Aucune étape de ce flux ne dit « L'IA a décidé, c'est fait » ; Une personne est responsable de chaque étape.

Mini-études de cas

Cas 1 – Décroissance silencieuse. Un modèle de contrôle qualité fonctionne bien pendant un an, puis le taux de fuite augmente lentement. Cause première : lorsque le fournisseur a changé, la texture de la surface de la pièce est devenue légèrement différente (dérive) et le modèle a commencé à penser que c'était "normal". La surveillance de la dérive est établie et le modèle est recyclé. Résultat : sans surveillance, la vulnérabilité serait passée inaperçue pendant des mois.

Cas 2 - Traçabilité sauvegardée. Une fausse plainte d'alarme arrive du terrain. À partir du journal de décision, l’équipe découvre quelle version du modèle fonctionne avec quelles données ; Il détecte que le problème provient du paramètre de seuil dans une version particulière et annule cette version. Résultat : s'il n'y avait pas de version ni d'enregistrement de décision, le problème n'a pas pu être retracé.

Cas 3 - Discipline de reconversion. Lorsqu’un nouveau modèle électrique rejoint la flotte, le modèle de maintenance prédictive existant déclenche de nombreuses fausses alertes sur ce véhicule (un groupe motopropulseur qu’il n’a jamais vu). Avant de mettre en service le nouveau modèle, l'équipe capture l'avertissement de dérive et étend le modèle avec de nouvelles données sur le véhicule. Résultat : la surveillance de la dérive a détecté très tôt la dégradation associée au nouveau produit.

modèles d'invite

Modèle 1 – Ébauche du plan de projet :

Rôle : Chef de projet IA (automobile).Tâche : M'aider à planifier de bout en bout un projet alimenté par l'IA.Contexte : Maintenance prédictive ; Flotte de 40 véhicules ; Le VIN est anonyme.Contrainte : considérer séparément les étapes de définition de la valeur, de données, de modèle, de vérification, de production, de suivi, de recyclage et de documentation ; indiquez qui est responsable de chaque étape. Résultat : Étape | sortie | responsable | tableau des risques.

Modèle 2 – Plan de surveillance :

Rôle : Vous êtes un ingénieur MLOps. Tâche : Recommander un plan de surveillance pour un modèle en cours de mise en service. Contexte : La répartition des intrants peut évoluer dans le temps (nouveau fournisseur, nouvel outil) ; les performances peuvent être mesurées par des résultats réels. Sortie : métrique à suivre | seuil | action à déclencher.

Modèle 3 – Évaluation de la dérive :

Rôle : Data scientist. Tâche : Expliquez comment détecter la dérive des données et quand un recyclage est nécessaire. Contexte : Modèle d'inspection visuelle de la chaîne de production ; Il peut y avoir un changement de fournisseur. Sortie : Signal | mesure | déclencheur de reconversion.

Modèle 4 – Liste de contrôle de traçabilité :

Rôle : Vous êtes auditeur qualité/conformité. Tâche : Créer une liste de contrôle de traçabilité pour un modèle. Contexte : Automobile ; Lorsqu'un problème survient, il faut répondre à la question « quelle version, quelles données, qui l'a approuvé ». Sortie : élément | pourquoi est-ce nécessaire | comment enregistrer le graphique.

Invite faible/Invite forte

Invite faible :

Mettez le modèle en production.

Pas de suivi, pas de versionnage, pas de responsabilité et pas de restauration ; Une décadence silencieuse et des problèmes introuvables sont inévitables.

Invite puissante :

Rôle : Vous êtes consultant MLOps et qualité automobile. Tâche : Créer la liste de contrôle dont j'ai besoin pour mettre un modèle en production de manière responsable. Contexte : Flotte de maintenance prédictive ; De nouveaux types de véhicules sont ajoutés au fil du temps ; VIN anonyme.Contrainte : inclure la surveillance, la détection de dérive, l'enregistrement des versions/données, la confirmation et le plan de restauration ; Indiquer qui est responsable de chaque élément ; proposition « réglez-le et oubliez-le ». Sortie : étape | nécessité | responsable | tableau des risques.

Erreurs courantes

• Approche « Réglez-le et oubliez-le ». Sans surveillance, le modèle se désintègre tranquillement.
• Ne pas conserver les enregistrements de version/données. Le problème ne peut pas être retracé ou reproduit.
• Pas de plan de retour en arrière. Si la récupération après une mauvaise version prend beaucoup de temps, il y aura un long échec sur le terrain.
• Je n’attends pas Drift. Un nouveau fournisseur/outil/saison perturbe le modèle ; la surveillance est essentielle.
• Laissant la responsabilité floue. La réponse à la question « qui est responsable » doit être claire à chaque étape.

En résumé

• Un projet automobile alimenté par l’IA n’est pas un cycle de vie ponctuel mais évolutif (MLOps).
• La gestion des versions des modèles et des données, la journalisation des décisions et la planification du retour en arrière sont essentielles à la traçabilité.
• La dérive des données réfute silencieusement le modèle ; la contribution et les performances doivent être surveillées et recyclées si nécessaire.
• Dans l'exemple de bout en bout, chaque étape a un responsable humain ; Il n’y a pas de « l’IA a décidé, c’est fini ».
• « Réglez-le et oubliez-le » est risqué dans le secteur automobile ; le suivi, la documentation et la responsabilité sont maintenus tout au long du projet.

Tâche de candidature

Combinez ce que vous avez appris dans ce module en un seul projet (par exemple, inspection visuelle d'une ligne de production ou maintenance prédictive). (1) Rédiger un plan de projet de bout en bout avec le modèle 1 ; Notez la personne responsable de chaque étape. (2) Définissez un plan de surveillance et des déclencheurs de dérive avec le modèle 2. (3) Préparez une liste de contrôle de traçabilité avec le modèle 4. (4) Résumez dans un paragraphe comment vous avez appliqué les trois disciplines d'ancrage depuis le début du module à ce projet.

liste de contrôle

• [ ] J'ai planifié le projet comme un cycle de vie de bout en bout.
• [ ] J'ai défini l'enregistrement de décision avec le versionnage du modèle et des données.
• [ ] J'ai défini un plan de surveillance et des déclencheurs de dérive.
• [ ] J'ai préparé un plan de restauration.
• [ ] J'ai précisé qui est responsable de chaque étape.
• [ ] J'ai maintenu les trois disciplines de validation d'ancrage et la validation critique pour la sécurité humaine.

Examen de module

1. Quel est le rôle des résultats de l'IA dans une décision critique pour la sécurité automobile (par exemple, vérification du logiciel de freinage) ?

• A) Accélère l'analyse, mais l'approbation finale et la responsabilité restent du ressort de l'ingénieur compétent ✔
• B) S'il y a suffisamment de données, elles peuvent être mises en production sans l'approbation de l'ingénieur
• C) L'IA ne peut être utilisée à aucun moment dans des systèmes critiques tels que les freins
• D) Si la précision du modèle dépasse 99 %, la vérification humaine n'est pas nécessaire

Description : L'intelligence artificielle accélère l'analyse, génère des solutions candidates et des résumés ; Toutefois, la décision critique pour la sécurité et l'approbation finale relèvent de la responsabilité de l'ingénieur compétent. L’IA ne remplace pas la validation des ingénieurs.

2. Quels sont les trois contrôles indépendants utilisés pour tester les résultats d'une IA dans les trois disciplines de validation d'ancrage ?

• A) Longueur, langue et format de l'invite
• B) Preuve de l'ordre de grandeur, du caractère raisonnable de l'ingénierie et des tests/mesures indépendants ✔
• C) Taille du modèle, temps de formation et nombre de GPU
• D) Marque du fournisseur, prix et délai de livraison

Description : Trois ancres ; ordre de grandeur (vérification de l'ordre), plausibilité technique (physique/expérience) et validation croisée avec des preuves de tests/mesures indépendantes. Ces trois éléments donnent confiance aux preuves, et non à l’IA.

3. Quelle est la vérification la plus critique pour le résultat d'un « modèle de substitution » qui accélère la simulation CFD ou FEA ?

• A) Le modèle de substitution est toujours plus précis que le véritable solveur
• B) Il suffit de rendre le rendu esthétique.
• C) Comparaison avec la solution de référence et acceptation du manque de fiabilité lors des déplacements hors de l'espace de formation ✔
• D) Il n'est pas nécessaire d'examiner l'indépendance du réseau si une seule exécution converge

Description : le modèle de substitution produit des prédictions rapides au lieu du véritable solveur ; mais il n'est pas fiable en dehors de l'espace de conception dans lequel il a été formé. Le résultat doit être vérifié en marquant la région d’extrapolation avec une simulation haute fidélité de référence et des conditions aux limites physiques.

4. Quelle est l'expression correcte pour le niveau 2 (automatisation partielle) dans les niveaux d'automatisation SAE ?

• A) Le véhicule peut rouler sans chauffeur dans toutes les conditions
• B) Le système n'effectue aucune tâche de conduite, donne uniquement des avertissements
• C) Ce n'est pas grave s'il n'est pas assis sur le siège du conducteur
• D) Le système prend en charge la direction et la vitesse, mais le conducteur conserve une surveillance et une responsabilité constantes ✔

Description : Au niveau 2, le système prend en charge simultanément la direction et la vitesse/distance, mais le conducteur conserve une surveillance constante et est prêt à prendre le relais à tout moment ; La responsabilité incombe au conducteur. Au niveau 3 et au-dessus, le système prend en charge les tâches de conduite dans certaines conditions.

5. Pourquoi le « taux d'échappement » est-il une mesure essentielle dans la détection visuelle des défauts sur la ligne de production ?

• A) Approuver la pièce défectueuse et l'envoyer sur le terrain présente un risque de sécurité et de rappel ✔
• B) C'est important uniquement parce que cela ralentit la vitesse de la ligne
• C) Le taux de fuite est valable uniquement pour les défauts de peinture
• D) Le taux de fuite mesure le temps de formation du modèle

Description : Illégal ; Une pièce défectueuse est considérée comme parfaite et passe par la ligne (faux négatif). Pour une pièce de sécurité automobile, une fuite est bien plus coûteuse qu'un faux rejet car elle peut entraîner une panne ou un rappel sur le terrain ; Le seuil est ajusté en conséquence.

6. Quelle est l'utilisation la plus précise de l'estimation de la « durée de vie utile restante » (RUL) dans la maintenance prédictive ?

• A) RUL est calculé pour l'huile moteur uniquement
• B) Il doit être présenté avec une plage d'incertitude et interprété en fonction de la fenêtre de maintenance et de la marge de sécurité ✔
• C) Il doit être considéré comme une valeur journalière unique et précise et aucun contrôle ne doit être effectué avant ce jour.
• D) Les capteurs peuvent être éteints si RUL est élevé

Description : RUL est la durée de fonctionnement restante estimée d'un composant jusqu'à sa panne ; Il doit être présenté avec la plage d'incertitude et interprété en fonction du plan de maintenance et de la marge de sécurité. Plutôt que de se fier aveuglément à une estimation ponctuelle, l’intervalle de confiance et le coût des fausses alarmes sont pris en compte.

7. Que doit faire un ingénieur lorsque l'IA signale une anomalie dans un enregistrement d'essai routier lors de l'analyse des données d'essai ?

• A) Lorsque vous constatez l'anomalie, le test doit automatiquement être considéré comme un échec.
• B) L'IA ne devrait pas du tout examiner les données si elle ne les a pas marquées
• C) Vérifier l'anomalie avec les données brutes, l'incertitude de mesure et la répétabilité ✔
• D) Supprimer les anomalies et effacer le rapport

Explication : L’anomalie signalée par l’IA est un indice, pas une conclusion. L'ingénieur doit vérifier l'incertitude des mesures, la possibilité de défaillance du capteur et la répétabilité et vérifier l'anomalie avec des données brutes et des critères d'acceptation. L'acceptation ou le rejet automatique n'est pas approprié.

8. Quelle vérification est obligatoire pour un changement important suggéré par l’IA dans une étude d’allègement ?

• A) Il faut juste qu'il soit plus léger
• B) Une seule ligne dans la base de données de matériaux peut être considérée comme preuve
• C) Le comportement en cas de collision n'est pas important dans les matériaux légers
• D) Les exigences mécaniques, de fatigue, de crash, de fabricabilité et de coût doivent être testées ensemble ✔

Remarque : Les recommandations de matériaux ne peuvent être acceptées sur la seule base du rapport densité/résistance ; les propriétés mécaniques, la fatigue, le comportement en cas de choc, la fabricabilité, la corrosion, le coût et les exigences de sécurité doivent être vérifiés ensemble et confirmés par des essais physiques.

9. Pourquoi le « risque de source unique » dans la chaîne d'approvisionnement automobile nécessite-t-il une attention particulière dans les recommandations en matière d'IA ?

• A) Une perturbation chez un seul fournisseur peut arrêter toute la production ; La deuxième source et le tampon doivent être évalués ✔
• B) Une source unique est toujours l’option la plus sûre
• C) L'analyse des risques n'est pas nécessaire si l'IA le suggère
• D) Le risque de source unique s'applique uniquement au pneu

Explication : Si une pièce provient d'un seul fournisseur, la production s'arrête lorsqu'il y a un problème avec ce fournisseur. L'IA peut recommander une source unique d'optimisation des coûts ; L'ingénieur/planificateur doit équilibrer cela avec des ressources secondaires, un stock tampon et une analyse de scénarios. Le coût n'est pas le seul critère.

10. Que signifie « fuite de données » lors de l'analyse de télémétrie avec Python et pourquoi est-ce dangereux ?

• A) Les données sont divulguées du disque et supprimées
• B) Le modèle voit dans l'entraînement des informations qui ne peuvent pas être connues au moment de la prédiction ; Gonfle le score, s'effondre sur le terrain ✔
• C) Mélange de couleurs graphiques
• D) Se produit uniquement dans les données d'image

Description : Fuite de données ; C'est à ce moment-là que le modèle voit dans l'entraînement des informations qui ne peuvent pas réellement être connues au moment de la prédiction (par exemple, une valeur future ou un attribut lié à l'objectif). Cela augmente artificiellement le score du test mais fait chuter les performances sur le terrain. La distinction passé/futur doit être méticuleusement maintenue dans les séries chronologiques.

11. Que détermine la classification ASIL dans le cadre de la sécurité fonctionnelle ISO 26262 ?

• A) Vitesse maximale du véhicule
• B) Taille de l'ensemble de données d'entraînement du modèle
• C) ✔ Le niveau de sécurité requis en fonction de la gravité, de l'exposition et de la contrôlabilité du danger.
• D) Cote de crédit du fournisseur

Description : ASIL (Automotive Safety Integrity Level) détermine le niveau de précautions de sécurité (de A à D, D est le plus élevé) qu'un danger nécessite en fonction de son évaluation de la gravité, de l'exposition et de la contrôlabilité. Un ASIL élevé nécessite un développement, une vérification et une documentation plus rigoureux.

12. En quoi la norme ISO 21448 (SOTIF) diffère-t-elle de la sécurité fonctionnelle classique (ISO 26262) ?

• A) Gère uniquement les pannes matérielles
• B) Réglemente uniquement les licences de logiciels
• C) SOTIF est l'ancien nom de l'ISO 26262
• D) Gère les risques résultant d'une fonctionnalité inadéquate et de scénarios non reconnus, même en l'absence de panne ✔

Description : Alors que la norme ISO 26262 traite des risques résultant de dysfonctionnements/erreurs matérielles-logicielles, la SOTIF (Safety of the Intended Functionality) traite des risques résultant d'une détection inadéquate, de scénarios non reconnus et de limites fonctionnelles, même si le système ne présente aucun dysfonctionnement ; est particulièrement critique dans la détection basée sur l’IA.

13. Quelle est la meilleure approche en termes de confidentialité lorsque l’on travaille avec les données télémétriques des conducteurs et des véhicules ?

• A) Conformité KVKK/GDPR avec anonymisation, minimisation des données et limitation de la finalité ✔
• B) Envoi de toutes les données brutes au modèle public avec le VIN
• C) La confidentialité s'applique uniquement aux données marketing
• D) Les données de localisation ne sont jamais considérées comme des données personnelles

Description : Des données telles que l'emplacement, le comportement de conduite et le numéro de châssis (VIN) peuvent identifier une personne. L'approche la plus correcte ; anonymisation/pseudonymisation des données, collecte uniquement de ce qui est nécessaire (minimisation des données), limitation de la finalité et conformité KVKK/GDPR. L'envoi d'un VIN brut ou d'un emplacement à des outils tiers est risqué.

14. Pourquoi est-il nécessaire de surveiller la « dérive des données » dans un modèle d'IA mis en production ?

• A) Une fois le modèle entraîné, il donne les mêmes performances indéfiniment.
• B) Les performances diminuent silencieusement à mesure que la distribution des entrées change au fil du temps ; la reconversion doit être déclenchée ✔
• C) La dérive n'est qu'une vibration physique du matériel
• D) La surveillance n'est pas nécessaire car le modèle se met à jour automatiquement

Explication : Le monde réel change (nouveau fournisseur de pièces, saison, nouveau modèle de véhicule) ; Les performances du modèle diminuent silencieusement à mesure que la distribution des entrées s'éloigne du temps de formation. Le recyclage est déclenché par la surveillance de la dérive et les mesures de performance. L'approche « réglez-le et oubliez-le » est risquée dans le secteur automobile.