Gains :
- Capacité à choisir la métrique appropriée au type de problème et au contexte métier (PR-AUC/rappel dans les données déséquilibrées, MAE/RMSE en régression) et à reconnaître le sur/sous-apprentissage
- Capacité à interpréter chaque métrique par rapport à une ligne de base, à mesurer l'écart et à séparer le bruit des progrès avec une validation croisée
- Possibilité de rapporter des résultats non optimistes en ajustant les hyperparamètres avec l'ensemble de validation et en utilisant l'ensemble de test uniquement à la fin
La formation de modèles (formation : le processus d'apprentissage de modèles à partir de données) est l'étape la plus visible mais la plus trompeuse de l'ingénierie ML. Cela apparaît parce qu'il produit un nombre satisfaisant comme "précision 95%". Trompeur car ce chiffre est souvent la bonne réponse à la mauvaise question. Dans cette unité, la formation et l'évaluation sont abordées avec la discipline du génie ; Nous utilisons l’intelligence artificielle comme partenaire dans la conception expérimentale et basons la décision sur la mesure.
Logique du cycle de formation
Un modèle apprend le modèle dans les données en minimisant une fonction de perte : une fonction qui mesure numériquement l'erreur du modèle. L'algorithme d'optimisation (par exemple descente de gradient) réduit la perte en ajustant les paramètres étape par étape. Le but n’est pas de mémoriser les données d’entraînement, mais de les généraliser à des données inédites.
Deux dangers principaux :
- Surajustement : le modèle mémorise les données d'entraînement et échoue sur les nouvelles données. Le succès de la formation est élevé, le succès de la vérification est faible.
- Sous-ajustement : le modèle ne peut pas capturer le modèle ; Le succès de la formation et de la validation est faible.
Trouver l’équilibre est l’art de l’éducation. L'ensemble de validation est là pour surveiller cet équilibre : si le succès de la validation commence à diminuer tandis que le succès de la formation augmente, le surapprentissage a commencé.
Astuce : tracez ensemble la perte de formation et de validation à chaque étape. Le point auquel les deux courbes commencent à diverger est celui où commence le surapprentissage et constitue le bon moment pour « s’arrêter plus tôt ».
Sélection des métriques : la décision la plus critique
Une mauvaise métrique donne une mauvaise apparence à un bon modèle et à un mauvais modèle, une bonne apparence. Le problème détermine la métrique :
- Classification déséquilibrée (une classe est très rare, par exemple la fraude) : l'exactitude est trompeuse. Un modèle qui dit « appelez tout normal » obtiendra une précision de 99 % mais ne détectera pas une seule fraude. Au lieu de cela, la précision (quelle quantité de ce que j'ai capturé est réellement positive), le rappel (quelle quantité de ce que j'ai capturé est vraiment positive) et leur équilibre F1 ou PR-AUC sont utilisés.
- Classification équilibrée : la précision et le ROC-AUC peuvent être appropriés.
- Régression (estimation du nombre) : MAE (erreur absolue moyenne), RMSE (pénalise les grosses erreurs), MAPE (pourcentage d'erreur).
- Classement/recommandation : NDCG, MRR, Recall@K.
L’importance de la précision ou du rappel dépend du contexte commercial. Le rappel (ne manquer aucun patient) est une priorité dans le dépistage du cancer ; La précision du filtre anti-spam (ne pas envoyer d'e-mails importants au spam) est importante. Il s’agit d’une décision commerciale et non technique, prise conjointement par l’ingénieur et le propriétaire.
Invite faible/Invite forte
Invite faible : "Évaluer les performances de mon modèle, précision 0,97."
Invite puissante : "J'ai un modèle de détection de fraude ; le taux de classe positive est de 1,5 %. La précision est de 0,97. Expliquez pourquoi cette métrique peut être trompeuse, dites-moi quelles métriques (précision, rappel, PR-AUC) je devrais préférer et pourquoi. Calculez également la précision qu'un modèle de base « appeler tout négatif » obtiendrait sur ces données, afin que je puisse voir la réelle valeur ajoutée. "
Différence : une invite puissante donne le ratio de classe et le contexte commercial ; il demande également une comparaison du modèle de référence – c'est le point d'ancrage le plus important pour savoir si une métrique est significative.
Base de référence : la métrique sans comparaison n'a aucun sens
Une métrique n’est ni bonne ni mauvaise en soi ; C'est bon ou mauvais selon un modèle de base. Le modèle de base est la solution la plus simple qui vient à l'esprit : "toujours le dire à la classe majoritaire", "répéter la valeur de la semaine dernière", "deviner la moyenne". Si votre modèle ne peut pas clairement passer cette solution simple, toute la complexité ne sert à rien.
Attention : La phrase « Mon modèle est précis à 85 % » en elle-même ne dit rien. Si le modèle de base obtient déjà 84 %, votre modèle ne vaut presque rien ; Si le modèle de base obtient 50 %, votre modèle est parfait. Parlez toujours en termes de modèle de base.
Validation croisée et confiance
Une seule répartition formation/test peut être due au hasard. Validation croisée : diviser les données en k parties et tester chaque partie séquentiellement montre la stabilité des performances. En validation croisée 5 fois, vous obtenez cinq scores différents ; Leur moyenne et leur écart type sont importants. Si la moyenne est de 80 % mais que l'écart est de ±12 %, votre modèle est instable : il peut se comporter très différemment dans le prochain lot de données.
Ceci est également crucial pour la « comparaison de deux modèles ». Si le modèle A a obtenu 81 % et le modèle B 82 %, B est-il vraiment meilleur ? Si l'écart est de ±3 %, cette différence peut être du bruit. Déterminez si la différence est significative avant de prendre une décision.
Réglage des hyperparamètres : avec validation, pas de test
Les hyperparamètres (paramètres déterminés manuellement avant la formation : taux d'apprentissage, profondeur de l'arbre, etc.) sont définis avec l'ensemble de validation. L'ensemble de test n'est utilisé qu'à la fin, une seule fois. Si vous sélectionnez des hyperparamètres en examinant l'ensemble de test, l'ensemble de test sera contaminé et les performances que vous rapportez seront optimistes, ce qui n'est pas le cas dans la réalité.
L'intelligence artificielle est une bonne aide pour concevoir l'espace de recherche d'hyperparamètres et écrire le code de recherche (recherche par grille, recherche aléatoire, optimisation bayésienne). Mais vous décidez toujours « quelle métrique allons-nous optimiser ? »
trois mini-cases
Cas 1 – Piège de précision. Une équipe médicale était fière d'un modèle qui détectait une maladie rare : une précision de 98 %. Lorsque la comparaison du modèle de base a été effectuée, la vérité est apparue : puisque le taux de maladie était de 2 %, le modèle qui disait « appeler tout le monde en bonne santé » a également reçu 98 %. Le rappel du modèle n'était que de 11 %, ce qui manquait à la plupart des patients. Une fois la métrique convertie en PR-AUC, les performances réelles ont été mesurées et le modèle a été repensé.
Cas 2 – Confondre le bruit avec le progrès. Une équipe a passé des mois à améliorer le modèle de 86,2 % à 86,9 %. La validation croisée a montré que le biais était de ± 1,4 % – donc « l’amélioration » de 0,7 point était du bruit statistique. L'équipe avait perdu trois semaines avec des gains irréels. Leçon : ne pas crier victoire sans vérifier que l'amélioration est supérieure à l'écart.
Cas 3 - Contamination de l'ensemble de test. Un ingénieur a examiné à plusieurs reprises l’ensemble de test pour choisir les meilleurs hyperparamètres. Les 91 % déclarés sont tombés à 83 % en production. Pourquoi : il avait sans le savoir sélectionné le modèle en conséquence en regardant encore et encore l'ensemble de test (surapprentissage sur l'ensemble de test). Les performances déclarées et réelles se chevauchaient lorsqu'un ensemble de validation distinct était utilisé.
Modèles copiables
Aidez-moi à choisir la bonne métrique pour ce problème de classification. Problème : [ce qui est prédit] Répartition des classes : [taux positif
Évaluez la comparaison des deux modèles suivants. Validation croisée du modèle A : [liste des scores] Validation croisée du modèle B : [liste des scores] Calculez la moyenne et l'écart type. La différence est-elle statistiquement significative ou s'agit-il simplement de bruit dans l'écart ? Lequel me recommanderiez-vous de choisir et pourquoi ?
Vérifiez ce code de formation pour les éléments suivants :1) Les hyperparamètres sont-ils sélectionnés avec l'ensemble de test ou l'ensemble de validation ?2) L'arrêt anticipé est-il surveillé avec l'ensemble correct ?3) Y a-t-il des signes de surapprentissage (différence de perte d'entraînement/validation) ?Code : [code]
Lequel des MAE, RMSE et MAPE dois-je signaler pour ce problème de régression ?Échelle de la variable cible : [plage]Les erreurs importantes sont-elles disproportionnellement mauvaises (RMSE), ou sont-elles toutes égales (MAE) ?Y a-t-il des valeurs proches de zéro (est-ce qu'elles déforment MAPE) ?Suggérer avec une brève justification.
Tableau de sélection des mesures
Type de problème
Métrique appropriée
A éviter
Pourquoi
Classement déséquilibré
PR-AUC, F1, rappel
Précision
La classe majoritaire gonfle la métrique
Classement équilibré
Précision, ROC-AUC
—
Fiable dans les données équilibrées
Régression (valeur aberrante significative)
RMSE
MAPE (si zéro)
Punit les erreurs majeures
Régression (poids égal)
MAE
—
Facile à interpréter
Classement/recommandation
NDCG, Rappel@K
Précision
L'ordre est important
Erreurs courantes
- Utiliser la précision sur des données déséquilibrées. L'erreur métrique la plus courante.
- Ne pas faire de comparaisons de modèles de base. Cela fait perdre à la métrique son sens.
- En regardant l'ensemble de tests pour les hyperparamètres. Résultat optimiste et irréaliste.
- S'appuyer sur un seul compartiment. Sans validation croisée, vous ne verrez pas de biais.
- Confondre le bruit avec le progrès. Les petites « améliorations » résultant d’une déviation sont principalement dues à la chance.
- Ignorer le contexte commercial. La balance précision/rappel est une décision commerciale.
En résumé
La véritable compétence dans la formation de modèles n’est pas de produire un nombre élevé, mais de savoir ce que ce nombre signifie. Le problème et le contexte commercial déterminent la bonne mesure ; interpréter chaque métrique selon un modèle de référence ; mesurez les biais grâce à la validation croisée et ne confondez pas le bruit avec le progrès ; Utilisez l'ensemble de test uniquement à la fin, une seule fois. L’IA est votre partenaire dans la conception d’expériences, mais la décision « assez bien » dépend de vous et des vôtres.
Tâche de candidature
Pour un modèle de classification : (1) écrivez la distribution des classes, (2) construisez un modèle de base approprié et mesurez son score, (3) évaluez votre modèle avec une validation croisée 5 fois et signalez la moyenne et l'écart type, (4) calculez la métrique appropriée au problème (par exemple PR-AUC) au lieu de la précision. Notez si votre modèle bat largement le modèle de référence, sans biais.
liste de contrôle
- [ ] J'ai choisi la métrique en fonction du type de problème et du contexte commercial.
- [ ] J'ai construit un modèle de base et je l'ai comparé.
- [ ] J'ai rapporté la moyenne et l'écart avec validation croisée.
- [ ] J'ai confirmé que l'amélioration est supérieure à l'écart.
- [ ] J'ai sélectionné les hyperparamètres avec l'ensemble de validation.
- [ ] Je n'ai utilisé l'ensemble de test qu'une seule fois, à la toute fin.