Ganhos:
- Entenda que p-hacking, HARKing, relatórios seletivos e o jardim de caminhos bifurcados produzem descobertas falsas e veja como a inteligência artificial pode acelerar essas armadilhas
- Capacidade de estabelecer defesas como pré-cadastro, plano de análise, disciplina de comparação múltipla e análise de sensibilidade com suporte de inteligência artificial
- Ser capaz de internalizar o design de solicitação honesta que permitirá à inteligência artificial rejeitar solicitações do tipo 'encontrar o resultado significativo' e que a responsabilidade final seja do pesquisador.
Na unidade anterior vimos o que é valor p e o que não é. Nesta unidade examinaremos um tópico mais obscuro: as armadilhas sistemáticas que ameaçam a integridade estatística. A maioria delas não é trapaça intencional; Esses são mecanismos insidiosos nos quais até pesquisadores bem-intencionados caem sem perceber. E a inteligência artificial (IA) torna essas armadilhas mais fáceis e rápidas, pois permite executar dezenas de análises em segundos. O objetivo desta unidade é estabelecer a disciplina que transformará a IA de uma “máquina de encontrar resultados significativos” em um assistente honesto.
Armadilhas básicas
p-hacking (caça ao valor de p): É tentar novamente a análise de diferentes maneiras até obter um resultado significativo (p<0,05). Adicionar e remover variáveis, selecionar subamostras, alterar a definição de outliers, tentar diferentes transformações, usar diferentes variáveis de resultado, interromper a coleta de dados quando esta se tornar significativa... Cada tentativa dá uma nova “chance”; Se você se esforçar o suficiente, um deles acabará sendo significativo, mesmo que na verdade não tenha efeito. O resultado: descobertas espúrias que foram publicadas, mas não reproduzíveis.
HARKing (Hypothesizing After the Results are Known): Fazer uma hipótese depois de ver os resultados e apresentá-la como “Eu previ assim desde o início”. Você olha os dados e encontra a relação mais marcante, depois escreve o artigo como se fosse projetado para testar essa hipótese. Isso engana o leitor, fazendo com que a descoberta pareça uma confirmação.
Relatórios seletivos (escolha seletiva): relatar apenas os “bons” de dezenas de análises e enterrar silenciosamente o resto. Isto também é conhecido como “problema da gaveta de arquivos”: resultados sem sentido permanecem na gaveta, tornando a literatura sistematicamente tendenciosa.
Jardim de caminhos que se bifurcam: termo de Andrew Gelman. Mesmo sem um único p-hacking intencional, o pesquisador faz muitas escolhas razoáveis com base nos dados (qual variável, qual limite, qual subgrupo, qual transformação). Esses graus de liberdade investigativa são tão numerosos que você está efetivamente escolhendo aquele que é significativo entre uma infinidade de análises – mesmo sem qualquer má intenção. O resultado é novamente uma taxa crescente de falsos positivos.
Cuidado: a maioria dessas armadilhas não são truques deliberados. A soma de etapas aparentemente inocentes, como "Acabei de experimentar mais alguns modelos", "estava mais limpo quando removi o valor discrepante", "o efeito é mais claro neste subgrupo" pode produzir uma descoberta espúria. A honestidade é uma questão de método, não de intenção.
Por que a IA amplia essas armadilhas?
Experimentar 3 modelos manualmente leva tempo; YZ produz 50 variantes de modelo, 10 conversões diferentes, 8 subgrupos em minutos. Este poder é desastroso sem um plano honesto: um pedido como “encontrar uma relação significativa nestes dados” ou “construir um modelo que suporte esta hipótese” transforma a IA diretamente num motor de p-hacking. A IA também quer ser útil; tende a encontrar um resultado "significativo" que irá satisfazê-lo. É por isso que seu design imediato é a primeira linha de defesa da honestidade.
Defesas: curso justo dos negócios
1. Pré-registro: Significa registrar suas hipóteses, variáveis, modelo e testes por escrito (possivelmente em uma plataforma com carimbo de data e hora) antes de realizar a análise. Assim, a descoberta é separada da confirmação; qualquer coisa que você alterar posteriormente será marcada como "explorador".
2. Plano de análise: mesmo que você não consiga pré-registrar, escreva um plano de análise antes de mergulhar nos dados: hipótese primária, variável de resultado primário, modelo principal. Estabeleça a distinção entre “análise principal” e “análise adicional/exploratória” desde o início e mantenha-a no relatório.
3. Relate tudo: Não esconda os modelos que você experimentou. Na seção “análise de sensibilidade” (verificação de robustez), mostre como diferentes especificações alteram o resultado. A conclusão só é forte se for sustentada por muitas escolhas plausíveis.
4. Disciplina de comparações múltiplas: Se você fez muitos testes, corrija-os (unidade 6). Responda à pergunta "Quantos testes eu fiz?" honestamente.
5. Análise de sensibilidade: Repita sua descoberta principal com uma amostra diferente, um conjunto de controle diferente e uma transformação diferente. Se o resultado mudar, não esconda, denuncie.
Gráfico de comparação: honesto vs. armadilha
Aplicação
forma de armadilha
Equivalente honesto
Seleção de modelo
Tentando até fazer sentido (p-hacking)
Modelo mestre pré-planejado
hipótese
Adaptação após o fato (HARKing)
Pré-gravado, antes dos dados
Relatórios
Não mostre apenas os lindos
Todas as especificações + sensibilidade
subgrupo
Escolhendo o mais marcante
Predefinido, corrigível
coleta de dados
Pare quando fizer sentido
amostra predeterminada
Quatro prompts copiáveis
1. Estrutura de reivindicação honesta:
Sua função: assistente de estatísticas honesto. Meu objetivo NÃO é encontrar um resultado significativo, mas encontrar o resultado certo. REGRAS: - NÃO me dê sugestões do tipo "tentar modelos até que faça sentido", - diga-me se você sugerir várias especificações, todas elas precisam ser relatadas, - avise-me sobre quaisquer etapas que possam levar ao p-hacking. Ajude-me primeiro a esclarecer meu modelo principal, separando a descoberta da confirmação.
2. Rascunho do plano de análise:
Ajude-me a elaborar um plano de análise preliminar para um estudo: hipótese primária, variável de resultado primário, especificação do modelo principal, subgrupos predefinidos, estratégia de comparação múltipla. Coloque as análises “exploratórias” e “confirmatórias” em títulos separados. Lembre-me de preencher SEM OLHAR os dados.
3. Análise de sensibilidade:
Minha principal descoberta é escrever código de análise de sensibilidade (R). Meu objetivo é VER quão sólido é o resultado, NÃO escolher o melhor; mostrar todos os resultados.
4. Automonitoramento:
Explicarei meu processo de análise; Dê-me uma lista de verificação para p-hacking / HARKing / relatórios seletivos e marque quais das minhas etapas são arriscadas. Pergunte-me quantos modelos/testes eu tentei e quais pretendo relatar.
Alerta fraco / Alerta forte
Alerta fraco:
Quais variáveis mostram relações significativas nestes dados, encontre o melhor modelo.
Este prompt é uma instrução direta de p-hacking: a IA tenta dezenas de combinações e apresenta aquela que “faz mais sentido”. O resultado é quase certamente uma descoberta espúria que não pode ser replicada.
Alerta poderoso:
Seu papel: assistente honesto. O modelo PRINCIPAL que eu predeterminei é: Y ~ X + controles. Escreva um código que preveja esse modelo. NÃO procure outro modelo “mais significativo”. Sugiro também uma análise de sensibilidade para que eu possa ver a robustez do resultado, mas saiba que irei reportar TODOS os resultados, e não escolher o melhor. Não me deixe descartar quaisquer descobertas exploratórias como “confirmadas”.
Diferença: a vontade forte fixa o modelo principal, proíbe a pesquisa e exige que todos os resultados sejam relatados.
três mini cases
Caso 1 — Caça de subgrupos. Um pesquisador não encontrou nenhum efeito na amostra geral; Ele perguntou à IA “em qual subgrupo isso é significativo?” YZ analisou as combinações de idade, sexo e região e encontrou “p = 0,03 em mulheres urbanas de 35 a 44 anos”. O artigo foi baseado neste subgrupo. Sua replicação não encontrou nenhum efeito: isso foi resultado do acaso de dezenas de subgrupos. Lição: subgrupo selecionado após os dados serem HARKing, não confirmando.
Caso 2 — Caça à conversão. O relacionamento que acaba não tendo sentido no nível de estudante; tentei nas formas log, raiz quadrada, quadrada e lag; Ele encontrou p = 0,048 na forma log-log e relatou apenas isso. Felizmente, uma das 5 formas tentadas ultrapassou o limite. A forma correta foi: pré-selecionar a forma com teoria e mostrar o resultado de todas as formas na tabela de sensibilidade. Lição: reportagens seletivas produzem significado falso.
Caso 3 — Como funciona o enquadramento honesto. Uma equipe pré-cadastrada antes da análise: única hipótese primária, único modelo principal, dois subgrupos predefinidos, correção de Bonferroni. O efeito principal não foi significativo, mas a equipe relatou-o honestamente; O indivíduo exploratório sinalizou uma descoberta como “que precisa ser testada no futuro”. O estudo foi reprodutível e confiável. Lição: o planejamento honesto faz com que até o resultado do “fracasso” valha a pena.
Erros comuns
- Dizendo à IA para “encontrar resultados significativos”. Isso é p-hacking direto; Coloque a IA em uma estrutura honesta, pedindo precisão, não resultados.
- Apresentando a descoberta como confirmação (HARKing). É enganoso escrever a hipótese estabelecida após os dados como “eu previ isso desde o início”; Rotule a descoberta exploratória.
- Apenas relatando bons resultados. Mostrar todas as especificações testadas; Ocultar a análise de sentimento compromete a integridade.
- Triagem de subgrupo/conversão. Escolher o mais significativo entre dezenas de subgrupos ou transformações produz resultados espúrios; identificar e corrigir com antecedência.
- Esquecendo quantos testes você fez. Acompanhe o número total de tentativas; Nenhum valor p pode ser interpretado honestamente sem conhecer esse número.
Dica: antes de anotar uma descoberta, pergunte-se: "Quantas maneiras tentei silenciosamente até encontrar esse resultado e estou relatando todas elas?" Se algumas redações ficarem na gaveta, seu relatório parecerá mais forte do que é.
Em resumo
p-hacking, HARKing, relatórios seletivos e o jardim de bifurcações; Muitas são armadilhas que funcionam involuntariamente, mas produzem resultados falsos e irreproduzíveis. A IA acelera essas armadilhas porque pode testar dezenas de análises instantaneamente; Solicitações do tipo “encontre resultados significativos” transformam a IA em um mecanismo de p-hacking. Defesa; separar a descoberta da confirmação com um plano de pré-registro e análise, relatar todas as especificações e análises de sensibilidade, corrigir múltiplas comparações e colocar a IA em uma estrutura honesta que exige o “resultado correto”. A responsabilidade final é sempre do pesquisador.
Tarefa de aplicativo
Escolha uma questão de pesquisa e escreva um breve plano de análise antes de examinar os dados: hipótese primária, modelo principal, variável de resultado primário, subgrupos predefinidos, estratégia de comparação múltipla. Em seguida, estime o modelo principal. Em seguida, faça uma análise de sensibilidade (controles diferentes, outlier incluído/excluído, forma de função diferente) e mostre todos os resultados em uma única tabela. Em um parágrafo, avalie quais etapas representam um risco de p-hacking e como sua estrutura honesta as limita.
lista de verificação
- [] Escrevi o plano de análise/modelo mestre antes de mergulhar nos dados.
- [ ] rotulei as análises exploratórias e confirmatórias separadamente; Eu não estava HARKing.
- [ ] Relatei todas as especificações que experimentei; Eu não escolhi apenas o bonito.
- [] Defini os subgrupos e transformações de antemão, não os digitalizei depois dos dados.
- [ ] Acompanhei quantos testes fiz e apliquei a correção necessária.
- [] Usei IA no contexto de “encontrar a verdade” em vez de “achá-la significativa”; Eu assumi a responsabilidade.