Gains :
- Capacité à explorer la distribution, le centre, la répartition et les anomalies des variables avec des graphiques appropriés (histogramme, box plot, scatter plot).
- Capacité à interpréter correctement la corrélation et à la lire avec le nuage de points, sans la confondre avec la causalité
- Capacité à comprendre que les statistiques récapitulatives peuvent être trompeuses (leçon d'Anscombe) et à développer des hypothèses qui déterminent l'orientation de la modélisation.
Avant de construire un modèle, il est nécessaire de connaître les données. Tout comme un médecin ne prescrit pas de médicament sans examiner le patient, un data scientist ne construit pas un modèle sans « examiner » les données. Cet examen est appelé analyse exploratoire des données (EDA en abrégé) : c'est la phase de découverte visuelle et graphique de la distribution, des relations, des surprises et des pièges des données. Le but de l'EDA est de générer des hypothèses, de détecter les erreurs et de déterminer l'orientation de la modélisation. L'intelligence artificielle est un assistant très puissant à cette étape : elle suggère quel graphique convient, écrit son code, interprète une distribution. Mais une personne décide, avec sa connaissance du terrain, si le modèle qu'elle voit est réel ou une coïncidence.
Que recherche l’EDA ?
EDA cherche des réponses à quatre questions. Distribution : Comment chaque variable est-elle distribuée : est-elle symétrique, asymétrique ou à deux sommets ? Tendance centrale et propagation : quelles sont la moyenne, la médiane et l'écart type ? Relations : Comment les variables sont-elles liées les unes aux autres ? Anomalies : Y a-t-il des valeurs, des lacunes, des regroupements inattendus ? Ces quatre questions déterminent quelle fonctionnalité fonctionnera et quel modèle est approprié.
Définissons quelques concepts de base. Un histogramme est un graphique qui divise les valeurs d'une variable numérique en intervalles et montre combien d'observations se trouvent dans chaque intervalle ; C'est le moyen le plus rapide de voir la distribution. L'asymétrie est le déplacement de la distribution dans une direction ; Les variables telles que le revenu sont asymétriques vers la droite (majorité faible, quelques-unes très élevées). Un diagramme en boîte montre d'un seul coup d'œil la médiane, les quartiles et les valeurs aberrantes. Un nuage de points montre la relation entre deux variables numériques avec un nuage de points.
Corrélation : il y a une relation mais attention
Corrélation — une mesure de la façon dont deux variables évoluent ensemble ; un nombre compris entre -1 et +1 — est l'outil le plus utilisé et le plus mal compris de l'EDA. +1 signifie une co-augmentation parfaite, -1 signifie une relation inverse parfaite, 0 signifie aucune relation linéaire. Il y a deux gros pièges. Tout d’abord, la fameuse règle : la corrélation n’est pas la causalité. Les cas d'étouffement augmentent avec les ventes de glaces ; non pas parce que l’un mène à l’autre, mais parce que l’été (la troisième variable cachée) déclenche les deux. Deuxièmement, la corrélation ne mesure que la relation linéaire ; Cela peut indiquer une relation forte mais curviligne proche de 0. Ainsi, lorsque vous examinez la corrélation, assurez-vous également de regarder le nuage de points.
Attention : lorsque l'IA donne un numéro de corrélation, elle peut glisser dans un langage causal comme « A augmente B ». C'est dangereux. La corrélation indique seulement un mouvement ensemble ; Seules l’expérience, la connaissance du domaine et une déduction minutieuse en établissent la raison.
Quatuor d'Anscombe : pourquoi ne pas simplement regarder le chiffre
Il existe un exemple célèbre en statistique : le quatuor d’Anscombe. Quatre ensembles de données différents ont presque la même moyenne, la même variance et la même corrélation (0,82) ; Mais une fois représentés graphiquement, ils semblent complètement différents : une ligne droite, une courbe, une nuage tiré par une seule valeur aberrante. La leçon est claire : les statistiques récapitulatives sont trompeuses, il est indispensable de regarder le graphique. L’IA peut vous donner des moyennes et des corrélations, mais faire confiance à ces chiffres sans voir le graphique revient à tomber dans le piège d’Anscombe.
Le tableau ci-dessous résume quel graphique correspond à quelle question :
Question
graphique approprié
Ce qui montre
Distribution d'une seule variable
Histogramme / KDE
Forme, asymétrie, nombre de sommets
Centre et valeurs aberrantes
Boîte à moustaches
Médiane, quartiles, valeurs aberrantes
Relation de deux nombres
diagramme de dispersion
Direction, force, courbure
Comparaison des catégories
graphique à barres
Différence entre les groupes
changer avec le temps
graphique linéaire
Tendance, saisonnalité
Relation multivariée
Carte thermique de corrélation
Matrice de relation générale
Le paradoxe de Simpson : les données agrégées peuvent mentir
Un piège sournois dont il faut être conscient dans l'EDA est le paradoxe de Simpson : un modèle peut montrer une direction lorsque toutes les données sont examinées ensemble, mais une direction inverse lorsque les données sont divisées en sous-groupes significatifs. Exemple classique : le taux d'acceptation global des candidatures féminines dans une université semble être inférieur à celui des candidats masculins ; Mais lorsqu’on l’examine département par département, le taux d’acceptation des femmes est plus élevé que celui des hommes dans la plupart des départements. D'où ? Les femmes ont postulé à des départements plus compétitifs (taux d'acceptation inférieurs) ; Le nombre combiné stocke cette variable cachée. La leçon est claire : lorsque vous examinez un total ou une moyenne, assurez-vous de vérifier si ce chiffre raconte la même histoire lorsqu'il est décomposé en sous-groupes significatifs (segment, période, canal). Lorsque l’IA vous donne un tarif combiné, demander « est-il toujours valable lorsque vous le segmentez » permettra d’obtenir très tôt les résultats les plus trompeurs.
trois mini-cases
Cas 1 — Deux collines cachées. Un analyste a constaté que l'âge moyen des clients était de 41 ans et l'a qualifié de « public d'âge moyen ». Mais l’histogramme a montré deux pics : les tranches d’âge 22-28 ans et 55-62 ans. La moyenne de 41 ne représentait en réalité personne. Leçon : tracez la distribution avant de faire confiance à la moyenne.
Cas 2 — Corrélation parasite. Une équipe a trouvé une corrélation de 0,78 entre les « dépenses publicitaires » et les « ventes » et a doublé le budget. Cependant, ce qui a déclenché les deux, ce sont les campagnes saisonnières ; pendant la période hors campagne, la relation est tombée à 0,10. 340 000 TL de publicité supplémentaire n'ont pas donné le retour escompté. Leçon : confondre corrélation et causalité coûte cher.
Cas 3 — La ligne tracée par le seul à contre-courant. Une analyse immobilière a montré une forte relation entre la superficie en pieds carrés et le prix (r=0,80). Lorsque le nuage de points a été dessiné, presque toute la relation était créée par une seule villa de luxe de 12 millions de TL ; Lorsque ce point a été supprimé, la corrélation est tombée à 0,31. Leçon : lisez toujours la corrélation avec le nuage de points.
Quatre modèles copiables
1) Résumé EDA automatique :
J'ai des pandas df. Écrivez du code qui produit : (1) df.info() et df.describe(), (2) un histogramme pour chaque colonne numérique, (3) un nombre pour chaque colonne catégorielle. Ne commentez pas, générez simplement le code de découverte ; J'interprète les motifs.
2) Corrélation + visuel (avec la réserve de causalité) :
Écrivez du code qui dessine une matrice de corrélation et une carte thermique pour les colonnes numériques. Dessinez également un nuage de points des 3 paires les plus corrélées. Ajoutez une ligne de commentaire au résultat pour vous rappeler que la corrélation n'implique pas de causalité. Ne faites pas d’allégations causales.
3) Diagnostic de répartition :
Pour la colonne « revenue_tl » : écrivez le code qui produit un histogramme, une boîte à moustaches, une valeur d'asymétrie et une comparaison médiane/moyenne. J'interpréterai si la distribution est asymétrique ou non ; donne juste le code.
4) Comparaison des segments :
Comparez les clients par « canal » (web/mobile) : écrivez du code qui produit un diagramme en boîte du montant moyen, du montant médian, du nombre de commandes et de la répartition des montants pour chaque canal. Suggérez quel test est approprié pour la signification statistique de la différence entre les deux canaux, mais la décision m'appartient.
Invite faible/Invite forte
Invite faible :
Trouvez quelque chose d'intéressant dans ces données.
« Intéressant » n'est pas défini ; L’IA ne voit pas les données, donc elle les invente ou fait des déclarations générales. Il n’y a aucune direction, aucune variable, aucun but.
Invite puissante :
Votre rôle : Assistant EDA. Colonnes df : âge (int), revenue_tl (float), ville (catégorie), canal (web/mobile), montant (float). Objectif : découvrir les facteurs affectant le « montant ». Tâche : (1) code traçant la répartition du montant, (2) graphiques de répartition entre le montant, l'âge et le revenu_tl, (3) boîte à moustaches du montant dans la répartition des canaux. Établir une allégation causale ; Générez simplement le code de découverte et j'interpréterai le modèle.
Ici, le but, les variables et les limites de « l’affirmation d’une causalité » sont clairs.
Erreurs courantes
- S'appuyant uniquement sur des statistiques récapitulatives. Comme le montre le quatuor d'Anscombe, une même moyenne cache des distributions très différentes ; voir tableau.
- Confondre corrélation et causalité. La co-action n’indique pas que l’un mène à l’autre ; Méfiez-vous des variables cachées.
- Regarder la corrélation sans nuage de points. Une seule valeur aberrante ou curvilinéarité induit le chiffre en erreur.
- Résumer une distribution à deux pics/asymétrique avec la moyenne. La moyenne ne représente peut-être personne.
- Ignorer EDA et passer directement au modèle. Des données non reconnues signifient un modèle aveugle.
Astuce : avec chaque nouvel ensemble de données, consacrez les 30 premières minutes à dessiner des graphiques : histogramme de chaque valeur numérique, nuage de points des paires significatives, diagramme à barres des catégories. Ces 30 minutes évitent de futures erreurs de modélisation pour les jours à venir.
En résumé
EDA est la phase de connaissance des données avant de construire un modèle et cherche des réponses à quatre questions : distribution, center-spread, relations et anomalies. Les statistiques récapitulatives peuvent être trompeuses ; il est indispensable de regarder le graphique (conférence Anscombe). La corrélation est un outil puissant, mais la causalité ne l’est pas et doit absolument être lue en conjonction avec un nuage de points. L'IA est un excellent accélérateur pour suggérer des graphiques et écrire du code ; Mais les gens interprètent, grâce à leurs connaissances du terrain, si le modèle qu’ils voient est réel ou s’il s’agit d’une coïncidence.
Tâche de candidature
Choisissez un ensemble de données et effectuez simplement l'EDA : extrayez un histogramme d'au moins trois variables numériques, un nuage de points de deux paires de variables et une carte thermique de corrélation. Trouvez au moins une « surprise » (comme une distribution avec deux pics, un candidat à une fausse corrélation, une relation attirée par une seule valeur aberrante) et expliquez-la en une phrase. Écrivez sans faire de réclamations causales.
liste de contrôle
- [ ] Ai-je représenté graphiquement la distribution de chaque variable numérique ?
- [ ] Ai-je regardé les corrélations avec le nuage de points ?
- [ ] Ai-je séparé la causalité et la corrélation ?
- [ ] N'ai-je pas remarqué des distributions asymétriques ou à deux sommets et n'ai-je pas fait aveuglément confiance à la moyenne ?
- [ ] Ai-je dérivé au moins un aspect/une hypothèse de modélisation à partir des résultats de mon EDA ?