Ganhos:
- Capacidade de definir corretamente a hipótese nula, valor p, intervalo de confiança e poder estatístico e utilizar inteligência artificial na seleção e interpretação dos testes.
- Capacidade de distinguir o que é e o que não é um valor p (não o tamanho do efeito, nem a probabilidade de precisão) e entender por que a correção de comparações múltiplas é necessária
- Capacidade de reconhecer comentários feitos por inteligência artificial que confundem significância com materialidade e reportá-los com tamanho de efeito e incerteza
A ferramenta estatística mais usada e mais incompreendida é o teste de hipóteses. A ideia básica é simples: temos uma afirmação (por exemplo, “a média destes dois grupos é diferente”) e o seu oposto, uma hipótese nula (H0 – “na verdade não há diferença”). O teste mede quão bem os dados concordam com a hipótese nula. Nesta unidade veremos como a inteligência artificial (IA) está facilitando a seleção e a interpretação dos testes, mas também por que as armadilhas em torno do valor p são tão comuns e perigosas. Vamos começar do início: a IA sabe qual sintaxe de teste escrever; mas é sua função interpretar se a suposição do teste foi satisfeita e o que o resultado realmente significa.
Qual é realmente o valor p?
O valor p é a probabilidade de que o resultado que você observa, ou um resultado mais extremo, ocorra por acaso quando a hipótese nula for verdadeira (ou seja, na verdade não há efeito). Um valor p pequeno (0,05 é o limite tradicional) significa que “seria surpreendente ver tais dados se realmente não houvesse efeito”; Isso é considerado evidência contra a hipótese nula.
Agora vamos esclarecer o que não é o valor p - o que a IA costuma confundir:
- O valor p não é a probabilidade de que a hipótese nula seja verdadeira. p = 0,03 não significa “há 3% de probabilidade de nenhum efeito”.
- O valor p não indica o tamanho do efeito. Um efeito muito pequeno pode produzir um valor p minúsculo em uma amostra grande.
- O valor p não prova que o achado seja significativo ou real. “Significativo” é um termo estatístico, “significativo” é um julgamento.
- p>0,05 não significa “nenhum efeito”; Significa “não conseguimos mostrar o efeito com estes dados”. Ausência de evidência não é evidência de ausência.
Cuidado: O erro mais comum de interpretação da IA é apresentar a palavra “significativo” como “impacto significativo/forte/grande”. A significância estatística e a significância prática são duas coisas diferentes; Sempre relate os dois separadamente.
Intervalo de confiança e tamanho do efeito: informações mais ricas
Em vez de um único valor p, um intervalo de confiança é muito mais informativo: fornece a faixa plausível de valores para sua estimativa. A frase "Efeito 1.200, intervalo de confiança de 95% [300, 2.100]" mostra direção, magnitude e incerteza; "p<0,05" diz apenas "longe de zero". A prática estatística moderna não utiliza o valor p sozinho; recomenda reportar com o trio tamanho do efeito + intervalo de confiança + valor p.
Poder estatístico e amostra
O poder estatístico é a probabilidade de detectar um efeito que realmente existe (1 menos a probabilidade de erro tipo II, ou seja, "perder o efeito real"). Um estudo com pouco poder é suscetível a dois riscos: (1) perde os efeitos verdadeiros (falso negativo); (2) os poucos resultados que se revelam significativos carregam magnitudes inflacionadas – a chamada maldição do vencedor, porque apenas previsões inflacionadas podem ultrapassar o limiar. Portanto, é uma boa prática calcular o poder/amostra antes da análise. AI gera o código para esta conta; Você determina o tamanho do efeito alvo com a teoria.
Problema de comparação múltipla
Ao fazer um teste, um limite de 0,05 significa “5% de risco de falsos positivos”. Mas se você fizer 20 testes, em média seria esperado que um deles desse p<0,05 por acaso, mesmo quando todos eles são realmente ineficazes. Isso é chamado de problema de comparação múltipla. A probabilidade de falsos positivos aumenta rapidamente quando um grande número de variáveis, subgrupos ou variáveis de resultados são testados. A solução é corrigir o limite: métodos de Bonferroni (dividindo o limite pelo número de testes - rigoroso), Holm ou Benjamini-Hochberg que controlam a taxa de falsa descoberta (FDR). Esse risco se torna ainda maior na era da IA, já que a IA pode produzir dezenas de testes em segundos — esse é o assunto direto da próxima unidade (p-hacking).
Tabela comparativa: o que o valor p diz e o que não diz
expressão
É verdade?
Descrição
"p = 0,02, a probabilidade de nenhum efeito é de 2%"
errado
p não é a probabilidade de H0
"p<0,05, o efeito é grande"
errado
p não indica tamanho
"p=0,20, sem efeito"
errado
Não poder mostrar não é ausência
"p<0,05, há evidências contra H0"
Verdadeiro
Cauteloso e direto
"Efeito 1,200 [300;2,100], p=0,01"
melhor
Tamanho + incerteza + evidência
Quatro prompts copiáveis
1. Escolhendo o teste certo:
Sua função: assistente de testes estatísticos. Quero comparar a média de dois grupos independentes (variável contínua). Dê-me: qual teste é apropriado (com suas suposições: normalidade, igualdade de variância), a alternativa se a suposição não for atendida (por exemplo, Welch, Mann-Whitney) e o código R. Vou executar o resultado e verificar as suposições.
2. Relatando o valor p corretamente:
Relate o resultado do teste abaixo, mas REGRAS: - NÃO apresente o valor p como "probabilidade de H0" ou "tamanho do efeito", - certifique-se de incluir o tamanho do efeito e o intervalo de confiança de 95%, - escreva "significativo" e "significativo" separadamente, - se p>0,05, NÃO diga "sem efeito", diga "não pudemos mostrar". Saída: [colar]
3. Cálculo de potência/amostra:
Estou planejando um experimento: dois grupos, tamanho do efeito esperado (d de Cohen) ~0,4, potência 0,80, alfa 0,05. Escreva o código R que calcula o tamanho da amostra necessário (pacote pwr) e explique os riscos de um estudo de baixo poder (maldição do vencedor).
4. Correção de comparação múltipla:
Fiz 15 testes de hipóteses separados e tenho valores de p. Escreva o código R que aplica as correções de Bonferroni e Benjamin-Hochberg (FDR), explique a diferença entre os dois métodos e resuma em uma frase por que não devo confiar no p<0,05.
Alerta fraco / Alerta forte
Alerta fraco:
O resultado deste teste é significativo? Comente o resultado.
Esta afirmação prende a IA no binário “significativo/não significativo”; provavelmente produz uma frase que confunde magnitude com significado, como "sim, é significativo, o efeito é forte".
Alerta poderoso:
Seu papel: assistente estatístico atento. Interprete o resultado, mas: (1) forneça o tamanho do efeito + intervalo de confiança de 95% + valor p juntos, (2) separe a significância da significância, (3) p>0,05 em "não foi possível mostrar", (4) pergunte quantos testes eu fiz; Se houver mais de um, sugerir correção de comparações múltiplas, (5) lembrar que os pressupostos do teste devem ser verificados.
Diferença: o prompt forte impõe relatórios avançados e protege contra armadilhas de valor p.
três mini cases
Caso 1 — “Significância” não significativa em amostra grande. Um analista considerou a diferença média entre os dois grupos “altamente significativa” em p<0,001 em dados com 500.000 observações. Mas a diferença foi de apenas 0,3 pontos (em 100) e praticamente sem sentido. A enorme amostra tornou até mesmo a pequena diferença “significativa”. Quando o tamanho do efeito foi relatado, o achado foi considerado insignificante. Lição: significância não é magnitude; Se n for grande, toda diferença é significativa.
Caso 2 — Ilusão de testes múltiplos. Uma equipe testou 22 variáveis de resultados; Um deles apresentou p=0,04 e foi anunciado como “encontramos o efeito”. Com a correção de Bonferroni, o limiar diminuiu para 0,05/22 = 0,0023; 0,04 não ultrapassou esse limite. O único resultado “significativo” teria sido o acaso em 22 tentativas. Lição: quando se testa muito é preciso correção.
Caso 3 — Underpower e a maldição do vencedor. Um pequeno estudo piloto (n=15 por grupo) encontrou um efeito muito grande (d=0,9) e significativo. Um grande estudo de replicação reduziu o efeito para d = 0,2. A pequena amostra apenas permitiu que uma superestimação ultrapassasse o limite. Lição: Tamanhos de efeitos significativos em baixa potência não são confiáveis.
Erros comuns
- Confundir significância com importância/magnitude. O efeito não é grande só porque p é pequeno; Relate o tamanho do efeito separadamente.
- Confundindo o valor p com a probabilidade de H0. p não é a “probabilidade de nenhum efeito”; é conceitualmente diferente.
- Lendo p>0,05 como “sem efeito”. A falta de comparência não constitui prova de ausência; Indique a incerteza.
- Não corrigindo para multitestes. Muitos testes produzem falsos positivos; Aplicar Bonferroni/FDR.
- Ignorando o poder. O efeito significativo na pequena amostra é exagerado; Calcule a potência antes da análise.
Dica: Antes de classificar um resultado como “significativo”, faça duas perguntas: “O efeito é praticamente significativo (magnitude)?” e “Quantos testes eu fiz antes de encontrar este resultado?” A segunda questão é o teste decisivo da honestidade.
Resumindo
O teste de hipóteses e o valor p são ferramentas poderosas, mas mal compreendidas. O valor p é a probabilidade de ver os dados quando a hipótese nula for verdadeira; A probabilidade de H0 não é a magnitude do efeito ou a significância da descoberta. Sempre relate a significância juntamente com o tamanho do efeito e o intervalo de confiança; Não leia p>0,05 como “sem efeito”; aplique correção de comparação múltipla se você tiver feito muitos testes; Esteja ciente do risco de efeitos exagerados de estudos de baixa potência. A IA produz código de teste e modelo; É sua responsabilidade distinguir entre significância e materialidade e verificar suposições.
Tarefa de aplicativo
Faça uma comparação de médias entre dois grupos em um conjunto de dados. Peça à IA o teste apropriado (com suas suposições) e o código, execute-o e verifique as suposições. Relate o resultado com três componentes: tamanho do efeito, intervalo de confiança de 95%, valor p. Depois pense em quantas comparações diferentes você pode fazer com os mesmos dados; Se você executou vários testes, aplique a correção de Bonferroni ou FDR e informe se o resultado ainda é válido. Finalmente, escreva uma avaliação aproximada do poder para sua análise.
lista de verificação
- [ ] Selecionei o teste com suas suposições e verifiquei as suposições.
- [] Relatei o resultado como tamanho do efeito + intervalo de confiança + valor p.
- [ ] Mantive “significativo” e “importante” separados; Não achei que p fosse a probabilidade de H0.
- [] Escrevi p>0,05 como "não pudemos mostrar" em vez de "nenhum efeito".
- [] Apliquei correção de comparação múltipla se executei vários testes.
- [ ] avaliei o poder amostral; Fui cauteloso quanto ao tamanho do efeito em baixa potência.