Gains :
- Capacité à sélectionner et interpréter des métriques de classification et de régression (matrice de confusion, précision/rappel/F1, MAE/RMSE/R²) en fonction de l'objectif du poste
- Capacité à détecter le surapprentissage en comparant les résultats de l'entraînement et des tests et à obtenir des performances fiables avec validation croisée
- Capacité à évaluer si chaque modèle ajoute une valeur réelle en le comparant à une référence
Il est facile de créer un modèle ; Il est difficile de mesurer honnêtement si cela fonctionne réellement. Le sujet de cette unité est la compétence la plus critique d'un data scientist : évaluer le modèle avec les bonnes métriques, obtenir des performances prédictives fiables et détecter le piège le plus insidieux : le surapprentissage (mémorisation). L'IA calcule, interprète et compare les métriques ; mais c'est à l'humain de décider quelle mesure convient à votre entreprise et si un modèle est « assez bon ». Une équipe qui examine la mauvaise mesure peut confondre un mauvais modèle pendant des mois avec un « succès ».
Pourquoi la précision ne suffit pas : matrice de confusion
La première mesure qui vient à l’esprit en matière de classification est l’exactitude (exactitude – le rapport total des prédictions correctes). Mais comme nous l’avons vu dans l’unité 6, l’exactitude est trompeuse en cas de données déséquilibrées. Un meilleur début est la matrice de confusion, un tableau qui divise les prédictions en quatre catégories :
- Vrai positif (TP) : Nous appelons faux ce qui est vraiment faux. (Bien)
- Vrai négatif (TN) : On a dit vraiment propre. (Bien)
- Faux positif (FP) : Nous avons dit à tort que le propre était un faux. (Fausse alarme)
- Faux négatif (FN) : nous avons raté le faux et l'avons qualifié de propre. (Menace manquée)
Deux indicateurs clés découlent de ces quatre cases. Précision : « Dans quelle mesure ce que j’appelle faux est-il en réalité faux ? » — important si les coûts des fausses alarmes sont élevés. Sensibilité (rappel en anglais) : "Combien de vrais faux ai-je attrapé ?" – important lorsque rater une menace coûte cher. Les deux sont souvent en contradiction : si vous abaissez le seuil et dites davantage « faux », le rappel augmente mais la précision diminue. Le score F1 est la moyenne équilibrée (moyenne harmonique) de ces deux.
Attention : La réponse à la question « Quelle métrique est importante » est une décision commerciale et non technique. Manquer un cas (faible rappel) lors du dépistage du cancer est désastreux ; Il est ennuyeux d'envoyer un email important dans le spam (faible précision) dans le filtre anti-spam. Le coût détermine la métrique.
Métriques de régression
Si le résultat est constitué de chiffres, différentes métriques sont utilisées. MAE (Mean Absolute Error) : dans quelle mesure les estimations s'écartent de la moyenne réelle, dans la même unité (par exemple "nous nous trompons de 4 200 TL en moyenne"). RMSE (Root Mean Squared Error) : pénalise plus sévèrement les erreurs majeures et est sensible aux valeurs aberrantes. R² (R-carré — coefficient de détermination) : quelle part de la variabilité de la cible explique le modèle (proche de 1 est bon, 0 est aussi mauvais que prédire la moyenne, négatif est encore pire).
Le piège le plus insidieux : le surapprentissage
Le surajustement – où le modèle mémorise les données d’entraînement mais échoue sur les nouvelles données – est l’erreur la plus courante en science des données. Le symptôme est clair : le modèle est excellent sur l'ensemble d'entraînement (98 %), mauvais sur l'ensemble de test (72 %). Le modèle a mémorisé le bruit de cet échantillon particulier, et non le modèle réel des données. Il existe également le contraire : le sous-ajustement : le modèle est mauvais à la fois dans la formation et dans les tests, car il est trop simple de capturer le modèle.
Moyens de lutter contre le surapprentissage : simplification du modèle, plus de données, régularisation – le frein mathématique qui empêche le modèle de devenir trop complexe – et surtout, validation croisée.
Validation croisée : ne vous fiez pas au volet unique
Un seul module d’entraînement/test peut être chanceux ou malchanceux ; Vous pouvez obtenir des notes élevées pour l’ensemble de tests simplement parce que cet échantillon est facile. La validation croisée (CV en abrégé) résout ce problème. La forme la plus courante est le CV k fois : les données sont divisées en k parties (par exemple 5) ; À chaque tour, une partie est consacrée aux tests et le reste est à l'entraînement ; cela lance 5 fois et les 5 scores sont moyennés. Vous verrez donc que les performances sont basées sur la moyenne de plusieurs partages, et non sur un seul partage chanceux. La répartition des scores est également informative : des scores très volatils (85 % à un étage, 62 % à l’autre) indiquent que le modèle est instable.
Le pli k normal n'est pas utilisé dans les séries chronologiques (fuite dans le futur) ; Au lieu de cela, vous effectuez un « chaînage avant » (séparation de séries chronologiques) : toujours vous entraîner avec le passé et tester le futur.
métrique
Type de problème
Quand est-ce important ?
Précision
Classement
Si les classes sont équilibrées
Précision
Classement
Les fausses alertes coûtent cher
Sensibilité (rappel)
Classement
Si ça coûte cher de rater
F1
Classement
Si un équilibre est nécessaire
MAE
régression
Erreur interprétable
RMSE
régression
Si les grosses erreurs sont critiques
R²
régression
pouvoir explicatif
trois mini-cases
Cas 1 — L'illusion d'une grande précision. Un modèle de fraude a montré une précision de 99,2 % et l'équipe s'est réjouie. En regardant la matrice de confusion, le taux de vrais et faux dans les données était de 0,8 % ; le modèle n'a détecté presque aucune contrefaçon, disant simplement "tout est clair". Le rappel était de 6 %. Leçon : regardez les mesures, pas la précision.
Cas 2 — Surapprentissage latent. Une équipe a livré et amélioré XGBoost à 97 % sur l'ensemble de formation. L'ensemble de tests était de 69 %, mais personne n'avait regardé. Le modèle s'est effondré en production. Si une validation croisée avait été effectuée, la grande différence entre les plis (surapprentissage) aurait été visible dès le début. Leçon : faites confiance au CV et aux résultats des tests, pas aux résultats scolaires.
Cas 3 – Partage de chance. Un analyste était ravi d’obtenir 88 % en une seule division. Lorsque son collègue a fait un CV en 5, les scores étaient de 88 %, 71 %, 83 %, 64 %, 79 % — la moyenne est de 77 %, mais elle est très volatile. Le modèle était instable ; Le compartiment unique était trompeur. Leçon : regardez la moyenne et la distribution du CV, pas le bac individuel.
Quatre modèles copiables
1) Rapport de classement complet :
J'ai formé un modèle et un ensemble de test. Générer : matrice de confusion, précision, rappel, F1 (pour chaque classe) et décomptes de support. J'en déduis, mais c'est à moi de décider : je vais vous dire quelle métrique est importante. Notez que la précision peut être trompeuse avec des données déséquilibrées.
2) Contrôle du surapprentissage :
Imprimez côte à côte les scores de mon modèle dans les ensembles TRAINING et TEST. Calculez la différence entre eux et prévenez car une grande différence est un signe de surapprentissage. Si la différence est importante, proposez une régularisation ou une simplification.
3) Validation croisée :
Effectuez une validation croisée 5 fois (pour la classification stratifiée). Imprimez le score, la moyenne et l’écart type de chaque pli. Si les scores sont très volatils (std élevé), indiquez que le modèle est instable. Utilisez des pipelines pour que les transformations soient apprises uniquement à partir de l'élément de formation à chaque couche.
4) Comparaison de base :
Mettez la métrique de mon modèle côte à côte avec une ligne de base DummyClassifier. Le modèle dépasse-t-il considérablement la référence ? Si cela échoue, indiquez clairement que le modèle n’ajoute aucune valeur réelle.
Invite faible/Invite forte
Invite faible :
Mon modèle est-il bon ?
« Bon » n'est pas défini ; On ne sait pas clairement quelle mesure, quel seuil, quelle référence. L’IA peut donner un seul chiffre de précision et induire en erreur.
Invite puissante :
Votre rôle : assistant d'évaluation. Classement, données déséquilibrées (12% positifs). Priorité : rappel (ne pas manquer le positif). Tâche : (1) matrice de confusion, (2) précision/rappel/F1, (3) moyenne CV stratifiée 5 fois et standard, (4) comparaison de base de DummyClassifier. Concentrez-vous sur le rappel et la différence de base, pas sur la précision. Commentez, mais je prends la décision finale.
Ici, la priorité métrique, le CV et la condition de base sont clairs.
Erreurs courantes
- Faire confiance à l’exactitude des données déséquilibrées. Une précision de 99 % peut ne pas refléter du tout la classe minoritaire ; Regardez la matrice de confusion.
- Il suffit de regarder votre score scolaire. Un niveau d'éducation élevé et un faible score aux tests constituent un surapprentissage ; Comparez toujours deux scores.
- S'appuyer sur un seul compartiment. La division heureuse est trompeuse ; Regardez la moyenne et la distribution avec validation croisée.
- Ne pas comparer avec la ligne de base. Vous ne pouvez pas dire « bien » sans savoir si le modèle bat un prédicteur stupide.
- Utilisation d'un pli K normal sur des séries chronologiques. Cela laisse filtrer l’avenir ; le fractionnement des séries chronologiques est requis.
Astuce : Écrivez trois nombres à côté de chaque modèle : score d'entraînement, moyenne de validation croisée et score de référence. Ce trio révèle d'un seul coup d'oeil le surapprentissage (formation >> CV) et la sous-évaluation (CV ≈ baseline).
En résumé
Construire un modèle est facile, mais l’évaluer honnêtement est difficile. En classification, la matrice de confusion, la précision et le rappel sont beaucoup plus informatifs que l'exactitude ; Le coût du travail détermine lequel est important. MAE, RMSE et R² sont utilisés en régression. Le piège le plus insidieux est le surapprentissage : comparez toujours l’entraînement et les résultats des tests. Fiez-vous à la moyenne et à la distribution de la validation croisée, et non à une seule division ; Comparez tout à une référence. L'IA calcule tout cela, mais c'est à l'humain de décider quelle métrique utiliser.
Tâche de candidature
Extraire la matrice de confusion, la précision, le rappel et F1 pour un modèle de classification ; Ensuite, effectuez une validation croisée 5 fois et examinez la répartition des scores entre les plis. Enfin, notez côte à côte le score de formation, la moyenne du CV et un score de référence. Commentez en une phrase si votre modèle surapprend et dépasse la ligne de base.
liste de contrôle
- [ ] Ai-je regardé la métrique réelle du travail (précision/rappel/F1 etc.) au lieu de l'exactitude ?
- [ ] Ai-je examiné la matrice de confusion ?
- [ ] Ai-je comparé l'entraînement et les résultats des tests et vérifié le surapprentissage ?
- [ ] Ai-je regardé la moyenne et la distribution avec validation croisée ?
- [ ] Ai-je comparé le modèle à une référence ?