Fondation MLOps, éthique, confidentialité et analyse responsable — Intelligence artificielle dans la science des données et l'analyse

Gains :

Capacité à comprendre les phases MLOps (version, déploiement, surveillance, recyclage, restauration) et la dérive du modèle et planifier un déploiement surveillé
Capacité à appliquer les principes d'équité, de transparence et de responsabilité des modèles et à distinguer l'exactitude statistique de l'acceptabilité éthique
Capacité à protéger les données personnelles avec les principes KVKK/GDPR et à attribuer la responsabilité finale à un humain dans les décisions à fort impact

Former un modèle et obtenir un score élevé n'est pas la fin, mais le milieu. La vraie valeur apparaît lorsque le modèle est mis en production et fonctionne de manière fiable, est surveillé dans le temps sans détérioration et que l'ensemble du processus est effectué dans le respect des limites éthiques et juridiques. Cette unité de clôture combine trois thèmes : MLOps (la discipline de mise en ligne, de surveillance et de maintenance des modèles), l'éthique (équité, transparence, non-malfaisance) et la vie privée (protection des données personnelles). L'IA produit du code, des listes de contrôle et des plans dans ces domaines ; Mais ce sont les humains qui décident si un modèle sera mis en ligne, qui sera affecté et quelles données peuvent être utilisées. Ces décisions ne sont pas des décisions techniques, mais des décisions de responsabilité.

MLOps : le modèle vit comme un produit

MLOps (Machine Learning Operations - la pratique consistant à exécuter, surveiller et mettre à jour des modèles d'apprentissage automatique en production) est l'adaptation du DevOps dans le développement de logiciels à la science des données. L'idée de base : un modèle n'est pas un fichier formé une seule fois et oublié, mais un produit vivant qui nécessite une maintenance constante. Grandes étapes :

1. Versionnement : le code (Git), les données et le modèle sont versionnés ensemble ; Il est enregistré quel modèle a été produit avec quelles données et quel code.

2. Déploiement : le modèle est mis en ligne sous forme d'API ou de travail par lots. Il est généralement donné d'abord à un petit public (distribution ombre/canari).

3. Surveillance : les performances du modèle et les données d'entrée sont surveillées en permanence.

4. Recyclage : lorsque les performances diminuent, le modèle est recyclé avec des données mises à jour.

Changement de modèle : distorsion silencieuse

Le plus grand danger en production est la dérive du modèle (dérive du modèle / dérive des données). Le monde change ; Les conditions sur lesquelles vous avez formé votre modèle (comportement client, prix, saison, législation) évoluent avec le temps et le modèle commence à devenir obsolète. Par exemple, un modèle de demande formé avant la pandémie est complètement erroné pendant la pandémie. La dérive se produit sous deux formes : la dérive des données (la distribution des modifications des données d'entrée) et la dérive des concepts (la relation entre les modifications de l'entrée et de la cible). La façon de les capturer est la surveillance : suivez en permanence la distribution des entrées, la distribution des prédictions et (si possible) les performances par rapport au résultat réel.

Attention : Un modèle mis en production se détériorera tout seul ; Ce n’est pas une question de « si » mais de « quand ». Déployer des modèles sans mettre en place de surveillance, c'est comme conduire une voiture sans jamais contrôler son moteur ; Un jour, il reste tranquillement là et vous ne le remarquez pas.

Élément MLOps

Objectif

Si négligé

Gestion des versions

Savoir ce qui est produit

Non reproductible, non traçable

Surveillance

Voir le feuilleton tôt

Le modèle tombe en panne silencieusement

reconversion

restez à jour

Les prédictions vieillissent

Restauration

retour au mauvais modèle

Le modèle défectueux reste actif

Documentation

transparence, chiffre d'affaires

Les informations restent bloquées chez une seule personne

Éthique : les décisions modèles affectent les gens

Les modèles de données sont de plus en plus utilisés dans les décisions qui affectent la vie des gens : crédit, embauche, assurance, justice. Ce pouvoir s’accompagne de responsabilités. Risques éthiques majeurs :

Biais et discrimination : le modèle peut apprendre et perpétuer les injustices dans les données historiques. Si un certain groupe a reçu moins de crédit dans le passé, le modèle suppose qu'il s'agit d'une « règle » et automatise la discrimination. C'est pourquoi une analyse d'équité – vérifier si le modèle fonctionne de la même manière pour différents groupes (sexe, âge, région) – est essentielle.

Transparence et explicabilité : vous devriez être capable d'expliquer pourquoi un modèle a rejeté une personne. « La boîte noire l’a dit » est éthiquement et souvent juridiquement inacceptable. C'est pourquoi les outils d'explicabilité (importance des fonctionnalités, valeurs SHAP) sont précieux.

Responsabilité : qui est responsable si le modèle prend la mauvaise décision ? La réponse est toujours une personne/institution, pas un modèle. La surveillance humaine (humain dans le circuit – un humain approuvant la décision finale) doit être préservée dans les décisions à fort impact.

Attention : Un modèle peut être statistiquement « correct » mais éthiquement inacceptable. Un modèle très précis qui désavantage systématiquement un groupe n’est pas un bon modèle. L'honnêteté ne remplace pas la justice.

Confidentialité : les données personnelles sont soigneusement protégées

La matière première de la science des données sont souvent les données personnelles, et ces données sont protégées par la loi : KVKK en Turquie, RGPD en Europe. Les principes de base sont : la limitation des finalités (les données ne sont pas utilisées à des fins autres que celles pour lesquelles elles ont été collectées), la minimisation des données (pas plus de données ne sont collectées/conservées que nécessaire), l'anonymisation (les informations d'identification sont supprimées) et la sécurité (les données sont conservées cryptées et leur accès est restreint). Règle essentielle lorsque vous travaillez avec des outils d'IA : ne collez jamais de véritables données personnelles dans un outil d'IA public. La plupart du temps, un schéma et un échantillon anonyme/synthétique suffisent pour l’analyse.

Un accent supplémentaire dans le contexte de la sécurité de l'information : utilisez les outils et techniques de science des données uniquement sur les données et les systèmes pour lesquels vous avez autorité, à des fins d'analyse défensives et légitimes. L'accès non autorisé aux données d'autrui, la réidentification d'individus (extraction de l'identité à partir de données anonymes) ou le profilage non autorisé sont à la fois illégaux et contraires à l'éthique.

trois mini-cases

Cas 1 – Effondrement non suivi. Une entreprise de commerce électronique a mis en ligne son modèle de recommandation et n'a pas mis en place de suivi. Après 4 mois, le catalogue de produits a beaucoup changé ; le modèle a continué à recommander des produits obsolètes et le taux de conversion a discrètement chuté de 30 %. Personne ne l'a remarqué pendant des mois. Leçon : le déploiement sans surveillance devient aveugle.

Cas 2 — Discrimination cachée. Un modèle de sélection à l’embauche a révélé le déséquilibre entre les sexes dans les données historiques et a systématiquement sous-estimé les candidates féminines. Cela n’a pas été remarqué parce qu’il n’y a pas eu d’analyse d’équité ; Cela a été révélé lors d’un audit et l’institution a été confrontée à de graves risques de réputation et juridiques. Leçon : le contrôle de l'équité basé sur le groupe est essentiel dans les modèles à fort impact.

Cas 3 — Violation de la confidentialité. Un analyste a chargé un fichier contenant de vrais e-mails de clients et l'historique des achats dans un outil public d'IA et a déclaré : « résumer les segments ». Les données personnelles ont quitté l'institution ; Le processus KVKK a commencé. La bonne méthode consistait à supprimer les champs d’identité et à partager uniquement les propriétés anonymes. Leçon : les vraies données personnelles n’entrent pas dans l’outil ouvert.

Quatre modèles copiables

1) Liste de contrôle préalable au déploiement :

Votre rôle : Consultant MLOps. Listez les éléments que je dois vérifier avant de mettre un modèle en production : versionnage, métriques de surveillance, plan de restauration, seuil de performances, alerte de dérive des données, personne responsable. Ajoutez une explication en une phrase « pourquoi c'est important » pour chaque élément. Je déciderai.

2) Conception du suivi des changements de modèle :

Suggérer un plan de surveillance des dérives pour un modèle de classification en production : (1) quelles distributions d'entrée dois-je surveiller, (2) quelle alarme pour la distribution de prédiction, (3) comment comparer les performances lorsque le résultat réel arrive, (4) à quel seuil le recyclage doit être déclenché. Fournissez également un squelette de code.

3) Contrôle de l'équité :

Écrivez du code qui compare les performances de mon modèle pour différents groupes (par exemple, tranche d'âge, région) : rappel/précision et taux de décision positive pour chaque groupe. Avertir s’il existe une différence significative entre les groupes. Faire des interprétations causales/politiques ; Montrez-moi simplement les différences et je réfléchirai à la décision.

4) Pré-vérification de la confidentialité :

Avant de fournir des données à un outil d'IA, vérifiez : y a-t-il des données personnelles/d'identité (nom, email, identifiant, téléphone, adresse, IP) dans la liste des colonnes ci-dessous ? Si tel est le cas, indiquez ceux qui doivent être supprimés ou anonymisés. Colonnes : [liste]. Objectif : partager uniquement un schéma anonyme.

Invite faible/Invite forte

Invite faible :

Mon modèle est prêt, lancez-vous.

Le déploiement n'est pas une simple étape ; La mise en ligne sans surveillance, restauration, équité et contrôle de la confidentialité est une invitation silencieuse au désastre.

Invite puissante :

Votre rôle : consultant MLOps responsable. Mon modèle a été formé, je souhaite une préparation complète avant la mise en ligne. Générez : (1) une liste de contrôle préalable au déploiement, (2) un plan de surveillance de la dérive, (3) un code de contrôle d'équité basé sur le groupe, (4) un contrôle de confidentialité (y a-t-il des données personnelles). Suggérez également comment protéger le consentement humain dans les décisions à fort impact. Les décisions finales m'appartiennent.

Ici, la distribution, la surveillance, l’équité et la confidentialité sont traitées comme un seul processus responsable.

Erreurs courantes

Déployer un modèle sans configurer de surveillance. Le modèle glisse et se déforme silencieusement ; Cela peut prendre des mois pour s’en rendre compte.
Contourner le contrôle de la justice. Un modèle haute fidélité peut systématiquement désavantager un groupe.
Prendre une décision inexpliquée en forme de boîte noire. Les décisions à fort impact doivent être explicables ; "Le modèle l'a dit" ne suffit pas.
Donner de vraies données personnelles pour ouvrir l’outil d’IA. Violation du KVKK/RGPD ; Le diagramme et l’exemple anonyme suffisent.
Déléguer la décision au modèle. La responsabilité incombe toujours à une personne ; Une surveillance humaine à fort impact est maintenue.

Astuce : avant de mettre en ligne chaque modèle, posez une question à voix haute : « Si ce modèle se brise discrètement demain ou pénalise injustement un groupe, comment vais-je le remarquer et le faire revenir ? » Si vous n’avez pas de réponse claire à cette question, le modèle n’est pas encore prêt pour la production.

En résumé

Le travail d'un mannequin ne se termine pas par un score élevé, mais par un travail de production fiable et responsable. MLOps est la discipline consistant à mettre en ligne, à surveiller la dérive, à recycler et à restaurer le modèle ; Le déploiement sans suivi est un effondrement silencieux. L'éthique exige l'équité, la transparence et la responsabilité du modèle ; l’exactitude statistique ne remplace pas l’acceptabilité éthique. La confidentialité signifie protéger les données personnelles selon les principes KVKK/GDPR et garder les données réelles à l'écart des outils ouverts. Toutes ces décisions ne sont pas des décisions techniques mais des décisions de responsabilité et appartiennent toujours à un humain.

Tâche de candidature

Pensez-y comme si vous alliez mettre en production un modèle que vous avez construit (ou hypothétique) et remplissez quatre listes : (1) liste de contrôle préalable au déploiement, (2) mesures de dérive que vous suivrez, (3) plan de contrôle de l'équité basé sur le groupe, (4) contrôle de la confidentialité. Écrivez ensuite une réponse concrète à la question « Comment vais-je remarquer s'il se brise silencieusement demain et le récupérer ? »

liste de contrôle

[ ] Est-ce que je déploie le modèle avec un plan de surveillance (alerte de glissement) et de restauration ?
[ ] Ai-je vérifié l’écart d’équité/performance pour différents groupes ?
[ ] Ai-je été tenu au courant des décisions à fort impact ?
[ ] Ai-je protégé les données personnelles selon les principes KVKK/GDPR et les ai-je éloignées des outils ouverts ?
[ ] Ai-je placé la responsabilité ultime sur un humain, pas sur le modèle ?

Examen de module

1. Un data scientist demande à l'intelligence artificielle : « Quelle est la précision de la forêt aléatoire sur ces données ? sans entraîner du tout le modèle, et met directement la réponse "89%" dans la présentation. Quelle est l’erreur fondamentale de cette approche ?

A) Attendre des métriques sans fournir de données et de modèles à l'intelligence artificielle ; Ignorant que le nombre qu'il produit est faux et que la véritable métrique ne peut être trouvée que par la formation et les tests ✔
B) Doit utiliser la régression logistique au lieu de la forêt aléatoire
C) Le taux de précision doit toujours être supérieur à 90 %.
D) Il est strictement interdit d'inclure des métriques dans la présentation

Explication : L'intelligence artificielle ne peut pas produire une métrique sans accéder au modèle et aux données ; Le numéro qu'il donne est une hallucination (fabriquée). La métrique est obtenue par le propre calcul du data scientist uniquement après que le modèle a été réellement formé et testé. Une sortie non vérifiée est comme un rapport non signé.

2. La colonne « raison de la fermeture du compte » est incluse lors de la collecte de données pour une prévision de désabonnement ; Cette colonne n'est remplie qu'après le départ du client. Le modèle donne 97% sur l'ensemble de test, mais ne fonctionne pas en production. Quel est le nom et la cause de cette condition ?

A) Surapprentissage ; Le modèle est trop complexe
B) Fuite de données ; ✔ Utiliser des informations qui ne seront pas disponibles au moment de la prédiction, mais qui sont le résultat de la cible, en tant que fonctionnalité
C) Apprentissage insuffisant ; Le modèle est trop simple
D) Biais de sélection ; petite taille d'échantillon

Explication : Il s'agit d'une fuite de données classique : le « motif de clôture » est un résultat de la cible et est encore vide au moment de la prédiction. Le modèle fait l'affaire avec ces connaissances futures, il a fière allure sur l'ensemble de test mais plante en production car cette colonne est vide. La question « est-ce que je l'ai au moment de la prédiction » doit être posée dans chaque colonne.

3. Un analyste remplit les valeurs manquantes dans la colonne des revenus avec la moyenne ; mais les personnes disparues appartiennent en réalité à la tranche des revenus modestes qui n’a jamais déclaré de revenus (disparitions systématiques). Pourquoi ce remplissage est-il incorrect ?

A) La moyenne est toujours supérieure à la médiane, elle est donc incorrecte
B) Les valeurs manquantes ne doivent jamais être renseignées, elles doivent toujours être supprimées
C) Combler l'écart systématique avec la moyenne fausse les données en représentant artificiellement ce groupe ; Le remplissage s'est fait sans se poser la question « pourquoi est-il vide ? ✔
D) Le calcul de la moyenne crée un problème de performances car il est trop lent

Explication : La cause du défaut détermine la solution. Lorsque l'écart systématique (écart concentré dans un certain groupe) est comblé par la moyenne, ce groupe devient artificiellement un « revenu moyen » et les données sont faussées. Avant de le remplir, il faut se poser la question « pourquoi est-il vide » ; une moyenne manquante systématique/significative ne doit pas être comblée.

4. Une équipe trouve une corrélation de 0,78 entre les « dépenses publicitaires » et les « ventes » et double le budget ; Cependant, ce qui déclenche réellement les deux, ce sont les campagnes saisonnières. Quel principe en statistique explique cette erreur ?

A) La corrélation n’est pas la causalité ; Une troisième variable cachée peut affecter les deux variables ✔
B) Puisque la corrélation de 0,78 est trop faible, la relation doit être ignorée
C) La corrélation prouve toujours la causalité, l'équipe a bien compris
D) La corrélation entre la publicité et les ventes ne peut pas être calculée mathématiquement.

Explication : La corrélation n’est pas la causalité. Les deux variables peuvent agir ensemble car une troisième variable cachée (ici les campagnes saisonnières) les affecte toutes les deux. La conclusion selon laquelle l’un est la cause de l’autre ne peut être établie que par l’expérience et la connaissance du terrain ; Le nombre de corrélations à lui seul ne constitue pas une preuve de causalité.

5. Un modèle de détection de fraude affiche une précision de 99,2 % et l'équipe se réjouit ; Cependant, le taux de fausses transactions dans les données n'est que de 0,8 % et le rappel du modèle est de 6 %. Que montre ce tableau ?

A) Le modèle est parfait car la précision est supérieure à 99 %
B) La précision est trompeuse avec des données déséquilibrées ; Le modèle manque presque toutes les contrefaçons (faible rappel), la métrique appropriée doit être examinée ✔
C) Il n'y a pas de problème puisque le rappel du modèle est élevé
D) Il n'était pas nécessaire de construire un modèle car le taux de faux était faible

Explication : « Précision » est trompeuse dans le cas de données déséquilibrées. Lorsque le modèle qualifie presque chaque transaction de « propre », il obtient une grande précision car les contrefaçons sont très peu nombreuses, mais il ne parvient pas à détecter les contrefaçons, ce qui est son objectif principal (rappel 6 %). Par conséquent, dans les problèmes déséquilibrés, l’accent n’est pas mis sur l’exactitude, mais sur la matrice de confusion et les mesures adaptées à l’objectif du travail, telles que le rappel/précision.

6. Dans un projet de prévision de la demande, les données dépendant du temps sont réparties de manière aléatoire en formation/test. Le modèle donne une précision de 93 % mais plante en production. Quelle devrait être la bonne approche de division ?

A) Agrandir l'ensemble de test, par ex. partage 50%/50%
B) Utiliser un modèle plus complexe
C) Supprimez complètement la partition et entraînez-vous avec toutes les données
D) Fractionnement chronologique : entraînement avec l'ancienne période et test avec la nouvelle période, empêchant ainsi le modèle de voir l'avenir ✔

Explication : Si une division aléatoire est effectuée dans les données de séries chronologiques, le modèle voit l'avenir et prédit le passé lors de la formation ; c'est une fuite et produit un succès qui n'existe pas réellement. L'approche correcte est le découpage chronologique : s'entraîner avec l'ancienne période et tester avec la nouvelle période, en imitant la situation réelle de la production (prédire du passé vers le futur).

7. À partir de quelles données les paramètres de mise à l'échelle (StandardScaler) doivent-ils être calculés dans l'ingénierie des fonctionnalités et comment doivent-ils être appliqués ?

A) Il doit être calculé à partir de toutes les données (entraînement + tests ensemble) afin qu'il soit plus précis
B) Il doit être calculé séparément pour chaque ligne, à partir de la propre valeur de cette ligne
C) Doit être calculé à partir des données de test uniquement
D) Il doit être calculé uniquement à partir des données d'entraînement, puis les mêmes paramètres doivent être appliqués aux données de test ; sinon ça fuira ✔

Explication : Les paramètres de toutes les transformations (moyenne, écart type, etc.) tels que la mise à l'échelle, l'encodage et le remplissage doivent être appris uniquement à partir des données d'entraînement, puis la même chose doit être appliquée aux données de test. La prise en compte des données de test entraîne également une interférence des informations de test avec la formation, c'est-à-dire des fuites, et donne au modèle une meilleure apparence qu'il ne l'est. L’utilisation de Pipeline garantit cela.

8. Un modèle donne une précision de 98 % sur l'ensemble d'entraînement et une précision de 72 % sur l'ensemble de test. Qu'indique ce symptôme et que faut-il faire ?

A) Apprentissage insuffisant ; le modèle devrait être rendu plus complexe
B) Fuite de données ; l'ensemble de test doit être changé
C) Surapprentissage ; le modèle doit être simplifié, la régularisation et la validation croisée doivent être appliquées ✔
D) Une situation normale ; De toute façon, le score d’éducation est toujours plus élevé, les précautions ne sont pas nécessaires

Explication : Un score très élevé à l'entraînement et un score significativement faible aux tests est un symptôme classique de surapprentissage : le modèle a mémorisé le bruit des données d'entraînement plutôt que le modèle réel. Les solutions incluent la simplification du modèle, davantage de données, la régularisation et la vérification de l'état avec validation croisée. Se fier uniquement au score d’éducation masque cet écueil.

9. Dans une présentation de direction, l'axe y d'un graphique à barres dans lequel les ventes augmentent de 1 000 à 1 020 commence à 980 pour faire apparaître l'augmentation énorme. L'augmentation réelle est de 2 %. Pourquoi est-ce une question éthique ?

A) Un axe Y tronqué exagère visuellement une petite différence et induit le spectateur en erreur ; Par souci d'équité, l'axe des barres de comparaison doit commencer à 0 ✔
B) Les graphiques à barres ne peuvent jamais être utilisés pour les données de ventes
C) Il n'y a pas de problème ; C'est toujours bien de rendre le graphique impressionnant
D) L'axe Y doit toujours commencer par la plus grande valeur des données

Explication : Dans les graphiques à barres à des fins de comparaison, l'axe y doit généralement commencer à 0. Couper l'axe et commencer à 980 donne l'impression qu'une petite différence de 2 % est visuellement énorme et induit le spectateur en erreur. La responsabilité éthique du professionnel des données est de dessiner des graphiques honnêtes qui ne surestiment ni ne sous-estiment les données.

10. Un analyste trouve le chiffre d'affaires total 3 fois après avoir JOINT les commandes avec la table des produits ; Le nombre de lignes est passé de 240 000 à 690 000. Qu'aurait-on dû faire pour éviter cette erreur silencieuse ?

A) Divisez le chiffre d'affaires total par 3
B) Utilisez toujours des requêtes distinctes au lieu de JOIN
C) Supprimer complètement la table des produits
D) Vérifier le nombre de lignes après la fusion/JOIN et vérifier qu'elles sont jointes via la bonne clé ; Réplication précoce ✔

Explication : Lorsqu'il y a plusieurs lignes pour chaque produit (couleur différente, par exemple) dans la table des produits, JOIN via la mauvaise clé dupliquera chaque commande et gonflera les totaux. Le code s'exécute sans erreur mais le résultat est faux. La façon d'éviter cela est de vérifier le nombre de lignes après chaque fusion/JOIN et de fusionner avec la bonne clé.

11. Un modèle de sélection à l’embauche découvre le déséquilibre entre les sexes dans les données historiques et sous-estime systématiquement les candidates, mais sa précision globale est élevée. Qu'est-ce que cela signifie?

A) Il n'y a pas de problème car le modèle a une grande précision
B) L’exactitude statistique ne remplace pas l’acceptabilité éthique ; le modèle a pris connaissance de la discrimination passée, une vérification de l’équité au niveau du groupe est requise ✔
C) Augmenter encore la précision du modèle résout le problème
D) L'équité n'entre pas dans le cadre de la science des données

Explication : Même si un modèle est statistiquement correct, il peut être éthiquement inacceptable. Le modèle apprend l'injustice des données passées et automatise la discrimination. Une grande intégrité ne remplace pas la justice ; Dans les modèles à fort impact, le contrôle de l’équité, qui mesure la différence de performance/décision pour différents groupes, est essentiel et la responsabilité ultime incombe à l’humain.

12. Un employé télécharge un fichier contenant les e-mails de vrais clients et l'historique des achats dans un outil public d'IA et dit « résumer les segments ». Pourquoi est-ce une grave erreur et quelle est la bonne méthode ?

A) Il n’y a aucun problème ; Les outils d'IA ne stockent jamais de données
B) L'erreur est que le fichier est trop volumineux ; aurait dû être réduit
C) La fourniture de données personnelles réelles à un outil ouvert constitue une violation du KVKK/GDPR ; les champs d'identité auraient dû être supprimés et seuls les schémas/propriétés anonymes auraient dû être partagés ✔
D) CSV aurait dû être utilisé au lieu de simplement Excel

Explication : Lorsque des données personnelles réelles (telles que l'e-mail, le nom, etc.) sont transmises à un outil d'intelligence artificielle accessible au public, il y aura une violation de la vie privée dans le cadre du KVKK/RGPD ; les données quittent l’organisation. La plupart du temps, un schéma et un échantillon anonyme/synthétique suffisent pour l’analyse. La bonne méthode consiste à supprimer les champs d’identité et à partager uniquement les propriétés anonymes.

13. Un modèle de recommandation est mis en production mais le suivi n'est pas établi ; Lorsque le catalogue de produits change au bout de 4 mois, le modèle continue de recommander d'anciens produits et le taux de conversion baisse silencieusement de 30 %. Quel est le nom de ce phénomène ?

A) Surapprentissage ; Le modèle mémorise l'ensemble d'entraînement
B) Dérive du modèle ; À mesure que le monde évolue, le modèle devient obsolète en silence, inaperçu car aucune surveillance n'est établie ✔
C) Biais de sélection ; biais d'échantillonnage
D) Violation de la minimisation des données

Explication : Il s'agit de la dérive du modèle (dérive du modèle/des données) : lorsque le monde change (catalogue, comportement, saison), les conditions dans lesquelles le modèle a été formé changent et le modèle s'effondre silencieusement. Un modèle mis en production se détériore tout seul ; C'est une question de « quand ». Un déploiement sans surveillance (suivi des entrées et des performances) rend impossible la détection des dégradations.

14. Un modèle qui obtient une précision de 88 % dans une seule division formation/test a des scores de validation croisée multipliés par 5 de 88 %, 71 %, 83 %, 64 %, 79 %. Qu’est-ce que cela indique et pourquoi la validation croisée est-elle importante ?

A) Le modèle est stable ; 88 % est une performance réelle
B) La validation croisée n'est pas nécessaire ; Un compartiment suffit
C) Une grande volatilité des scores indique que le modèle est instable ; la validation croisée base les performances sur la moyenne et la distribution de plusieurs bacs, et non sur un seul bac chanceux ✔
D) Il est préférable de rapporter le score le plus élevé (88 %)

Explication : Un seul compartiment peut porter chance ou malchance ; 88 % n’était que le résultat de cette division facile. La validation croisée divise les données plusieurs fois, en basant les performances sur la moyenne (ici ~ 77 %) et en montrant la volatilité des scores. Une volatilité élevée suggère ici que le modèle est instable ; S’appuyer sur un seul compartiment est trompeur.