Ganhos:
- Capacidade de produzir estatísticas descritivas e gráficos de distribuição/relacionamento com suporte de inteligência artificial e escolher o tipo de gráfico certo de acordo com os dados e a pergunta
- Capacidade de reconhecer escolhas enganosas (eixo tracejado, escala inadequada, suavização excessiva) em imagens produzidas por inteligência artificial e aplicar princípios de visualização honestos
- Ser capaz de distinguir que a análise exploratória serve para gerar hipóteses e a armadilha de fazer descoberta e confirmação com os mesmos dados (o que abre a porta para o p-hacking).
Após a limpeza dos dados, a primeira tarefa do pesquisador empírico é conhecê-los. Essa etapa é chamada de análise exploratória de dados (EDA – Exploratory Data Analysis): é o processo de examinar os dados com gráficos e estatísticas resumidas e ver sua estrutura, padrões e surpresas. O objetivo ainda não é testar uma hipótese, mas sim conhecer os dados, gerar dúvidas e lançar as bases para o modelo que você construirá no futuro. Nesta unidade, veremos como a inteligência artificial (IA) acelera o EDA e a visualização, mas por que os gráficos que ela produz devem ser auditados cuidadosamente.
Vamos primeiro fazer duas distinções básicas. Primeiro, a estatística descritiva (números que resumem dados como média, mediana, desvio padrão, quartis) e a visualização (que mostra graficamente a mesma informação) se complementam; Juntos, eles descrevem os dados. Em segundo lugar, e mais crítico: a descoberta e a confirmação devem ser distinguidas. A análise exploratória serve para gerar hipóteses; Explorar a hipótese com os mesmos dados e dizer “Eu testei e achei significativo” abre a porta para o p-hacking, que veremos na próxima unidade. É livre observar os dados e ver um padrão; Mas declarar esse padrão como uma “descoberta comprovada” nos mesmos dados é enganoso.
Análise exploratória passo a passo
1. Visão univariada. Examine cada variável individualmente: a sua distribuição é simétrica ou distorcida; quantas colinas existem; Onde estão os outliers? Para variáveis numéricas, histograma (gráfico que mostra a frequência dividindo os valores em intervalos) e boxplot (boxplot — gráfico que mostra valores medianos, quartis e extremos); Para variáveis categóricas, use tabelas de frequência e gráficos de barras.
2. Visão bivariada. Veja a relação entre duas variáveis: gráfico de dispersão para duas variáveis numéricas (mostra cada observação como um ponto no plano x-y), gráfico de caixa agrupado para numérico-categórico, tabela cruzada para duas categóricas. Antes de olhar para o coeficiente de correlação, não se esqueça de olhar para o gráfico de dispersão: a mesma correlação pode mostrar padrões muito diferentes (o famoso quarteto de Anscombe demonstra isto; quatro conjuntos de dados têm estatísticas quase idênticas, mas quando plotados revelam-se completamente diferentes).
3. Escolha o tipo de gráfico correto. O tipo de gráfico depende da sua pergunta e do tipo de dados. Histograma para distribuição; dispersão para relacionamento; gráfico de linhas para mudanças ao longo do tempo; gráfico de barras para comparação de categorias; Barra empilhada (cuidadosamente) para a proporção das partes em relação ao todo. A IA gera código rapidamente para você, mas a decisão de “qual gráfico para qual pergunta” é sua.
4. Observe o padrão, não declare resultados. Registre qualquer padrão interessante que você vê como uma “nota de descoberta”, mas não considere isso uma descoberta confirmada. A confirmação é feita em etapa separada, preferencialmente com dados separados ou cronograma pré-determinado.
Princípios honestos de visualização
O gráfico convence; Portanto, seu poder enganoso também é elevado. A IA pode fazer escolhas estéticas, mas às vezes enganosas. Verifique estas políticas:
- Nos gráficos de barras, o eixo y deve começar em zero. O eixo tracejado mostra diferenças pequenas e grandes.
- A escala deve ser consistente. Se dois gráficos estiverem sendo comparados, use o mesmo intervalo de eixos.
- A suavização excessiva pode ocultar o verdadeiro padrão. Uma linha de tendência parece boa, mas se "suavizar" demais os dados, pode ser enganosa.
- A cor e a decoração 3D distorcem a atenção, não os dados. Escolha a simplicidade.
- Os dados faltantes e o tamanho da amostra devem estar visíveis. "n=12" e "n=12.000" não devem ser iguais.
Atenção: Só porque os gráficos produzidos pela IA são bonitos, eles não são verdadeiros. O erro mais comum que ele comete é não iniciar o eixo do zero no gráfico de barras e exagerar na diferença entre os dois grupos. Verifique sempre o eixo.
Gráfico de comparação: pergunta → gráfico
Pergunte
gráfico correto
Erro comum
Como essa variável é distribuída?
Histograma/gráfico de caixa
usar gráfico de pizza
Duas variáveis numéricas estão relacionadas?
Gráfico de dispersão
Apenas olhando para o número de correlações
Como isso mudou ao longo do tempo?
gráfico de linhas
Contando uma tendência com um gráfico de barras
Qual é a diferença entre os grupos?
Caixa/barra agrupada (do zero)
Haste de eixo truncada
Proporção parte para todo?
Barra empilhada (com cautela)
Gráfico de pizza com várias fatias
Quatro prompts copiáveis
1. Código de descoberta automática:
Sua função: assistente de EDA. Não compartilho os dados, quero o código R (ggplot2). Existem variáveis numéricas (renda, idade, despesas) e categóricas (região, educação) no data.frame de 'dados'. Tarefa: escrever um código que produza um histograma para cada valor numérico, um gráfico de barras para cada categoria e um gráfico de dispersão para renda/idade. Nos gráficos de barras, deixe o eixo y começar em ZERO. Adicione linha de comentário.
2. Revisão de correlação (correlação + visual juntos):
Escreva um código que calcule a correlação de Pearson para receitas e gastos e trace um gráfico de dispersão + tendência linear. Adicione uma linha de comentário lembrando-me de examinar o gráfico antes de CONFIAR na contagem de correlação (aviso Anscombe). Não suavize demais a linha de tendência.
3. Auditoria de integridade:
Verifique o seguinte código ggplot para uma visualização honesta:[código]. Verifique e corrija o seguinte: o eixo y começa em zero, a escala é consistente, o tamanho da amostra é visível, há suavização excessiva? Explique a justificativa para cada correção que você fez.
4. Produzindo uma nota de descoberta (não uma descoberta):
Com base nos gráficos que produzo, liste as OBSERVAÇÕES como uma 'nota de descoberta'; escreva cada item na linguagem de “hipótese a ser testada” e não de “descoberta conclusiva”. Exemplo: 'O rendimento no ensino superior PARECE mais disperso; deve ser testado com dados separados.' Evite declarações causais e definitivas.
Alerta fraco / Alerta forte
Alerta fraco:
Faça bons gráficos do rendimento e me diga o que eles significam.
Esta sugestão convida a resultados enganosos: “belo” concentra-se na estética, enquanto “o que significa” leva a IA a saltar da descoberta para a conclusão definitiva. Seguem-se comentários causais e exagerados.
Alerta poderoso:
Sua função: assistente EDA honesto. Tarefa: (1) escolher o tipo de gráfico que se adapta à minha pergunta e escrever a justificativa, (2) iniciar o eixo do zero em gráficos de barras, (3) interpretar a saída na linguagem DISCOVERY NOTE: nenhuma afirmação definitiva/causal sugere hipótese na linguagem "deve ser testada", (4) avisar-me se a amostra for pequena (n<30).Vou executar o gráfico em meu próprio ambiente e verificá-lo.
Diferença: a força de vontade justifica o tipo de gráfico, impõe regras de honestidade e não confunde descoberta com confirmação.
três mini cases
Caso 1 — Exagero do eixo discreto. Um analista mostrou os índices de satisfação de duas agências (7,8 e 8,0; em 10) em um gráfico de barras. Ao iniciar o eixo YZ a partir de 7,5, o segundo ramo apareceu quase duas vezes mais alto que o primeiro; enquanto a diferença foi de apenas 2,5%. A administração estava prestes a recompensar uma filial com a impressão errada. Quando comecei o eixo do zero a diferença era quase invisível. Lição: a escolha do eixo por si só muda a percepção.
Caso 2 — Confiando na correlação e pulando o gráfico. Um pesquisador viu r = 0,81 entre duas variáveis e escreveu “forte relação linear”. Quando seu consultor solicitou o gráfico de dispersão, constatou-se que a relação se devia, na verdade, a uma única observação extrema e, quando esse ponto foi removido, a correlação caiu para 0,12. Lição: a contagem de correlações não substitui um gráfico; sempre olhe para a dispersão.
Caso 3 — Confundir descoberta com confirmação. Um aluno analisou todas as correlações entre pares em um conjunto de dados de 40 variáveis, selecionou a mais alta (r = 0,52) e escreveu: “encontramos uma relação significativa entre educação e poupança (p = 0,004)”. Contudo, havia centenas de pares em 40 variáveis; escolher o mais alto foi uma descoberta falsa devido ao acaso. Lição: o padrão descoberto não pode ser “testado e declarado significativo” nos mesmos dados; É necessária uma confirmação separada.
Erros comuns
- Não iniciar o eixo do zero no gráfico de barras. Exagera a pequena diferença; A mentira visual mais comum. Verifique sempre.
- Olhando para a correlação e pulando o gráfico. A mesma correlação vem de padrões muito diferentes; pode se ajustar a um relacionamento discrepante. Primeiro, dispersão.
- Considerando o padrão encontrado na descoberta como “evidência” nos mesmos dados. Esta é a porta de entrada para o p-hacking; A confirmação é feita separadamente.
- Tipo de gráfico incorreto. Correspondências como barra para tendência e pizza para distribuição são enganosas. Escolha um gênero com base na pergunta.
- Escondendo o tamanho da amostra. n=8 e n=8.000 não devem parecer iguais no mesmo gráfico; a incerteza deve ser mostrada.
Dica: Antes de publicar um gráfico, pergunte-se: “A história mudaria se eu mudasse o eixo?” Se a resposta for sim, você provavelmente iniciou o pivô de uma forma desonesta.
Resumindo
A análise exploratória de dados é a fase de encontro dos dados, visualização de padrões e geração de hipóteses; Não é uma confirmação. A IA gera rapidamente estatísticas descritivas e código gráfico, mas você escolhe o tipo de gráfico com base na sua pergunta e controla os princípios de justiça (eixo zero, escala consistente, incerteza aparente). Observe a dispersão antes de confiar no número de correlação; Não declare o padrão encontrado na descoberta como “evidência” nos mesmos dados. Um belo gráfico de IA não significa um gráfico correto.
Tarefa de aplicativo
Selecione pelo menos três variáveis em um conjunto de dados. Peça à IA e execute o código que produz gráficos exploratórios (histograma, dispersão, caixa) com um prompt que impõe regras de honestidade. Para cada gráfico: verifique (1) a adequação do tipo de gráfico à questão, (2) a honestidade do eixo, (3) a visibilidade do tamanho da amostra. Escreva pelo menos uma “nota de descoberta” em linguagem de hipótese (“…parece ter sido testada separadamente”). Examine uma correlação com a contagem e a dispersão e relate se há uma discrepância entre eles.
lista de verificação
- [] Escolhi o tipo de gráfico com base na minha pergunta e no tipo de dados.
- [] Em gráficos de barras, inicio o eixo y do zero; Verifiquei a honestidade do eixo.
- [] Observei o gráfico de dispersão antes de confiar na correlação.
- [] Reflitai o tamanho da amostra e a incerteza no gráfico.
- [] Escrevi os padrões que encontrei na exploração como "hipóteses a serem testadas" em vez de "evidências".
- [ ] Observei que não usaria os mesmos dados para confirmação e que era necessária uma etapa separada.