Análise Exploratória de Dados (EDA): Distribuições, Relacionamentos e Insights Iniciais

Ganhos:

• Capacidade de explorar a distribuição, centro, dispersão e anomalias de variáveis com gráficos apropriados (histograma, box plot, scatter plot).
• Capacidade de interpretar corretamente a correlação e lê-la juntamente com o gráfico de dispersão, sem confundi-la com causalidade
• Capacidade de compreender que as estatísticas resumidas podem ser enganosas (lição de Anscombe) e desenvolver hipóteses que determinam a direção da modelagem.

Antes de construir um modelo é necessário conhecer os dados. Assim como um médico não prescreve medicamentos sem examinar o paciente, um cientista de dados não constrói um modelo sem “examinar” os dados. Este exame é chamado de análise exploratória de dados (EDA, abreviadamente): é a fase de descobrir a distribuição, relacionamentos, surpresas e armadilhas dos dados visual e graficamente. O objetivo do EDA é gerar hipóteses, detectar erros e determinar a direção da modelagem. A inteligência artificial é um assistente muito poderoso nesta fase: sugere qual gráfico é adequado, escreve seu código, interpreta uma distribuição. Mas uma pessoa decide, com seu conhecimento de campo, se o padrão que vê é real ou uma coincidência.

O que a EDA procura?

A EDA procura respostas para quatro perguntas. Distribuição: como cada variável é distribuída – é simétrica, distorcida ou com dois picos? Tendência central e spread: Quais são a média, mediana e desvio padrão? Relacionamentos: Como as variáveis ​​estão relacionadas entre si? Anomalias: Existem valores, lacunas, agrupamentos inesperados? Estas quatro perguntas determinam qual recurso funcionará e qual modelo é apropriado.

Vamos definir alguns conceitos básicos. Um histograma é um gráfico que divide os valores de uma variável numérica em intervalos e mostra quantas observações existem em cada intervalo; É a maneira mais rápida de ver a distribuição. A assimetria é a mudança da distribuição em uma direção; Variáveis ​​como o rendimento estão distorcidas para a direita (a maioria baixa, poucas muito elevadas). Um gráfico de caixa mostra rapidamente a mediana, os quartis e os valores discrepantes. Um gráfico de dispersão mostra a relação de duas variáveis ​​numéricas com uma nuvem de pontos.

Correlação: existe uma relação, mas tenha cuidado

Correlação — uma medida de como duas variáveis ​​se movem juntas; um número entre -1 e +1 — é a ferramenta de EDA mais usada e mais incompreendida. +1 significa co-aumento perfeito, -1 significa relação inversa perfeita, 0 significa nenhuma relação linear. Existem duas grandes armadilhas. Primeiro, a famosa regra: correlação não é causalidade. Casos de engasgos aumentam com vendas de sorvetes; não porque um leva ao outro, mas porque o verão (a terceira variável oculta) desencadeia ambos. Em segundo lugar, a correlação mede apenas a relação linear; Pode indicar uma relação forte, mas curvilínea, próxima de 0. Portanto, ao observar a correlação, certifique-se de observar também o gráfico de dispersão.

Cuidado: quando a IA fornece um número de correlação, ele pode escorregar para uma linguagem causal como “A aumenta B”. Isto é perigoso. A correlação indica apenas movimento conjunto; Somente a experiência, o conhecimento do domínio e a inferência cuidadosa estabelecem a razão.

Quarteto Anscombe: porque não olhar apenas para o número

Há um exemplo famoso em estatística: o quarteto Anscombe. Quatro conjuntos de dados diferentes têm quase a mesma média, a mesma variância e a mesma correlação (0,82); Mas quando representados graficamente, eles parecem completamente diferentes – uma linha reta, uma curva, uma nuvem puxada por um único valor discrepante. A lição é clara: as estatísticas resumidas são enganosas, olhar para o gráfico é obrigatório. A IA pode fornecer médias e correlações, mas confiar nesses números sem ver o gráfico é cair na armadilha de Anscombe.

A tabela abaixo resume qual gráfico se enquadra em qual pergunta:

Pergunta

gráfico adequado

O que mostra

Distribuição de uma única variável

Histograma / KDE

Forma, assimetria, número de vértices

Centro e outliers

Gráfico de caixa

Mediana, quartis, outliers

Relação de dois números

gráfico de dispersão

Direção, força, curvatura

Comparação de categorias

gráfico de barras

Diferença entre grupos

mudar ao longo do tempo

gráfico de linhas

Tendência, sazonalidade

Relacionamento multivariado

Mapa de calor de correlação

Matriz geral de relacionamento

Paradoxo de Simpson: dados agregados podem mentir

Uma armadilha sorrateira na EDA a ter em conta é o paradoxo de Simpson: um padrão pode mostrar uma direcção quando todos os dados são examinados em conjunto, mas inverter quando os dados são divididos em subgrupos significativos. Exemplo clássico: a taxa global de aceitação de candidatas do sexo feminino numa universidade parece ser inferior à dos candidatos do sexo masculino; Mas quando analisada departamento por departamento, a taxa de aceitação das mulheres é maior do que a dos homens na maioria dos departamentos. De onde? As mulheres candidataram-se a departamentos mais competitivos (taxas de aceitação mais baixas); O número combinado armazena esta variável oculta. A lição é clara: ao analisar um total ou uma média, certifique-se de verificar se esse número conta a mesma história quando dividido em subgrupos significativos (segmento, período, canal). Quando a IA fornece uma taxa combinada, perguntar “ela ainda é válida quando você a segmenta” irá capturar a maioria dos resultados enganosos logo no início.

três mini cases

Caso 1 — Duas colinas escondidas. Um analista descobriu que a idade média dos clientes é de 41 anos e relatou-a como uma “multidão de meia-idade”. Mas o histograma mostrou dois picos: as faixas etárias de 22 a 28 anos e de 55 a 62 anos. A média de 41 não representava realmente ninguém. Lição: trace a distribuição antes de confiar na média.

Caso 2 — Correlação espúria. Uma equipe encontrou uma correlação de 0,78 entre “gastos com publicidade” e “vendas” e dobrou o orçamento. No entanto, o que desencadeou ambas foram as campanhas sazonais; no período fora da campanha, a relação caiu para 0,10. A publicidade adicional de 340 mil TL não rendeu o retorno esperado. Lição: confundir correlação com causalidade é caro.

Caso 3 – A linha traçada pelo único contrário. Uma análise imobiliária mostrou uma forte relação entre metragem quadrada e preço (r=0,80). Quando o gráfico de dispersão foi desenhado, quase todo o relacionamento foi criado por uma única villa de luxo de 12 milhões de TL; Quando esse ponto foi removido, a correlação caiu para 0,31. Lição: sempre leia a correlação junto com o gráfico de dispersão.

Quatro modelos copiáveis

1) Resumo automático de EDA:

Eu tenho pandas df. Escreva o código que produza: (1) df.info() e df.describe(), (2) histograma para cada coluna numérica, (3) contagem para cada coluna categórica. Não comente, apenas gere o código de descoberta; Eu interpreto os padrões.

2) Correlação + visual (com a ressalva de causalidade):

Escreva um código que desenhe uma matriz de correlação e um mapa de calor para as colunas numéricas. Desenhe também um gráfico de dispersão dos 3 pares mais correlacionados. Adicione uma linha de comentário à saída lembrando que correlação não implica causalidade. Não faça alegações causais.

3) Diagnóstico de distribuição:

Para a coluna "income_tl": escreva o código que produz histograma, box plot, valor de assimetria e comparação mediana/média. Interpretarei se a distribuição está distorcida ou não; basta fornecer o código.

4) Comparação de segmentos:

Compare clientes por “canal” (web/mobile): escreva um código que produza um boxplot do valor médio, valor mediano, número de pedidos e distribuição de valor para cada canal. Sugira qual teste é apropriado para a significância estatística da diferença entre os dois canais, mas a decisão cabe a mim.

Alerta fraco / Alerta forte

Alerta fraco:

Encontre algo interessante nesses dados.

“Interessante” é indefinido; A IA não vê os dados, então ela os inventa ou faz declarações gerais. Não há direção, nem variáveis, nem propósito.

Alerta poderoso:

Sua função: assistente de EDA. Colunas df: idade (int), income_tl (float), cidade (categoria), canal (web/mobile), quantidade (float). Objetivo: descobrir os fatores que afetam a “quantidade”. Tarefa: (1) código traçando a distribuição do valor, (2) gráficos de distribuição entre valor e idade e renda_tl, (3) box plot do valor na divisão do canal. Estabelecer uma alegação causal; Basta gerar o código de descoberta e eu interpretarei o padrão.

Aqui ficam claros o propósito, as variáveis ​​e o limite da “alegação de causalidade”.

Erros comuns

• Baseando-se apenas em estatísticas resumidas. Como mostra o quarteto de Anscombe, a mesma média esconde distribuições muito diferentes; veja gráfico.
• Confundindo correlação com causalidade. A co-ação não indica que uma leva à outra; Cuidado com variáveis ​​ocultas.
• Olhando para a correlação sem um gráfico de dispersão. Um único valor discrepante ou curvilinearidade engana o número.
• Resumindo uma distribuição de dois picos/inclinada com a média. A média pode não representar ninguém.
• Ignorando o EDA e indo direto para o modelo. Dados não reconhecidos significam modelo cego.

Dica: A cada novo conjunto de dados, gaste os primeiros 30 minutos apenas desenhando gráficos: histograma de cada número, gráfico de dispersão de pares significativos, gráfico de barras de categorias. Esses 30 minutos evitam erros de modelagem futuros nos próximos dias.

Em resumo

EDA é a fase de conhecer os dados antes de construir um modelo e busca respostas para quatro questões: distribuição, center-spread, relacionamentos e anomalias. As estatísticas resumidas podem ser enganosas; olhar para o gráfico é obrigatório (palestra Anscombe). A correlação é uma ferramenta poderosa, mas a causalidade não é e definitivamente deve ser lida em conjunto com um gráfico de dispersão. A IA é um ótimo acelerador para sugerir gráficos e escrever código; Mas as pessoas interpretam com o seu conhecimento de campo se o padrão que vêem é real ou uma coincidência.

Tarefa de aplicativo

Escolha um conjunto de dados e faça apenas EDA: extraia um histograma de pelo menos três variáveis ​​numéricas, um gráfico de dispersão de dois pares de variáveis ​​e um mapa de calor de correlação. Encontre pelo menos uma “surpresa” (como uma distribuição com dois picos, uma candidata a correlação espúria, uma relação atraída por um único outlier) e explique-a em uma frase. Escreva sem fazer quaisquer afirmações causais.

lista de verificação

• [] Fiz um gráfico da distribuição de cada variável numérica?
• [] Eu olhei as correlações com o gráfico de dispersão?
• [] Mantive causalidade e correlação separadas?
• [] Não notei distribuições distorcidas ou com dois picos e confiei cegamente na média?
• [ ] Deduzi pelo menos um aspecto/hipótese de modelagem das minhas descobertas de EDA?