Ganhos:
- Capacidade de tornar a pesquisa rastreável, registrando decisões metodológicas, instruções e informações de modelo
- Capacidade de separar dados brutos de dados processados e documentar todas as etapas de conversão
- Ser capaz de declarar de forma transparente o papel da inteligência artificial na seção de métodos e aplicar o teste 'pode ser reproduzível'
A característica mais fundamental da ciência é que uma descoberta não se baseia na palavra de uma única pessoa, mas num processo que pode ser verificado por outros. Reprodutibilidade é a capacidade de outro pesquisador, tomando os dados e o método de um estudo, chegar ao mesmo resultado seguindo os mesmos passos. Um conceito semelhante é a transparência: o pesquisador documenta claramente o que fez e por que tomou determinada decisão. Na era da IA, estes dois conceitos tornaram-se mais fáceis e mais críticos. Fácil, porque a IA ajuda a documentar processos; crítico, porque se você não deixar rastros das decisões da IA, ninguém – nem mesmo você – poderá reproduzir seu trabalho. Nesta unidade você aprenderá como tornar sua pesquisa reproduzível e transparente.
O cerne do problema é este: quando você trabalha com IA, você toma muitas pequenas decisões – qual prompt usar, qual modelo, quais configurações, qual resultado você aceitou e qual rejeitou. Se essas decisões não forem documentadas, você poderá obter uma saída diferente ao executar o mesmo prompt em um dia diferente (os modelos de linguagem não fornecem exatamente a mesma resposta todas as vezes). Quando um revisor ou colega pergunta “como você chegou a essa análise temática”, “a IA disse isso” não é uma resposta científica. A transparência consiste justamente em abrir essa “caixa preta” e tornar o processo rastreável.
Passo a passo: estabelecendo uma pesquisa rastreável
1. Mantenha um diário de decisões. Anote todas as decisões metodológicas importantes – por que esta amostra, por que este código, por que você aceitou esta proposta de IA – em um diário datado. A IA ajuda a organizar esse registro.
2. Salve avisos e informações do modelo. Mantenha um registro de cada prompt usado, em qual modelo de IA você executou e em que data. Esta é a “lista de materiais” para o seu trabalho.
3. Separe os dados brutos dos dados processados. Mantenha os dados originais inalterados; faça todas as conversões (limpeza, codificação) separadamente com etapas documentadas. Para que todos possam assistir desde o início.
4. Escreva claramente o papel da IA. Na seção de métodos, indique honestamente em quais tarefas e como você usou a IA. A maioria dos periódicos e instituições agora exige isso.
5. Compartilhe dados e código, se possível. Quando a ética e a privacidade permitem, o compartilhamento de dados anônimos e códigos analíticos em repositórios abertos é o auge da transparência.
Dica: Um teste simples: “Posso fazer essa pesquisa novamente em 6 meses?” Se você não documentou suas instruções, decisões e etapas, a resposta provavelmente será “não”. Torne-o produzível para você mesmo; Então isso acontece com outra pessoa também.
três mini cases
Caso 1 — A análise Traceless foi recolhida. Um pesquisador realizou uma análise temática com IA, mas não registrou qual prompt utilizou. Quando o árbitro perguntou “como você chegou a esses temas?” ele não pôde mostrar o processo; Ele teve que repetir a análise novamente, desta vez mantendo um diário. Ele perdeu duas semanas.
Caso 2 — O registro de decisões encerra a discussão. Surgiu um desentendimento entre uma equipe que perguntava “por que combinamos esses códigos?” Mas o registo de decisões continha a data e a justificação de cada decisão de fusão. A discussão foi resolvida em poucos minutos, quando a IA resumiu o log e o exibiu cronologicamente.
Caso 3 — A divulgação transparente gerou confiança. Em um artigo, os autores escreveram explicitamente que usamos IA “para edição de transcrições e sugestão inicial de código, com dois pesquisadores verificando manualmente todos os códigos”. Os revisores consideraram esta transparência positiva; Descobriu-se que é muito mais confiável do que usar uma IA camuflada.
Quatro modelos copiáveis
1) Modelo de registro de decisão:
Crie uma tabela de registro de decisão metodológica. Colunas: data, decisão, justificativa, alternativas, papel da IA (se houver), quem a aprovou. Insira minhas notas de decisão abaixo nesta tabela e marque quaisquer justificativas faltantes como “devem ser concluídas”. Notas: [aqui]
2) Rascunho da declaração de uso de IA:
Elabore um parágrafo que explique de forma transparente meu uso da IA para colocar na seção de métodos. Usei-o nestas tarefas: [lista]. NÃO usei nas seguintes tarefas: [lista]. Verifiquei todas as saídas manualmente. Modelo e data: [x]. Use uma linguagem acadêmica honesta e discreta.
3) Inspeção de reprodutibilidade:
Descrevo meu processo de pesquisa: [resumo]. Outro pesquisador pode reproduzir isso? Liste etapas não documentadas, pouco claras ou não rastreáveis: quais dados, qual transformação, qual solicitação, qual decisão está faltando? Diga-me o que registrar para cada espaço.
4) Mapa de proveniência dos dados:
Liste todas as etapas de transformação dos dados brutos até minha descoberta final como um fluxo: dados brutos → limpeza → codificação → análise → descoberta. Mostre o que foi feito em cada etapa, com qual ferramenta e com qual decisão. Marque a etapa não rastreável. Processo: [aqui]
Alerta fraco / Alerta forte
Alerta fraco:
Escreva o método desta análise em um parágrafo.
A IA produz um parágrafo de método genérico sem documentar o processo; Ainda não está claro como a decisão foi tomada e onde a IA foi usada. Isso não é fabricável.
Alerta poderoso:
Escreva uma descrição produzível para a seção de método. Use as seguintes informações: fonte de dados [x], amostra [y], etapas de análise [z], o modelo de IA que usei e sua data [t], a função exata da IA [r], o processo de verificação humana [d]. Escreva de forma concreta o suficiente para que outra pessoa possa seguir essas etapas e reproduzi-las. Peça-me qualquer informação que deixei de fora.
A diferença: a segunda abordagem torna o processo concreto, rastreável e verdadeiramente reproduzível.
Camadas de transparência
camada
O que está documentado
Por que isso é importante?
diário de decisão
Decisões metodológicas + justificativa
defende o judiciário
Registro imediato
Prompt usado, modelo, data
Torna a IA tratável
Origem dos dados
Conversões brutas → processadas
abre etapas
Declaração de IA
O papel e o limite da IA
honestidade
compartilhando
Dados anônimos + código
Transparência final
Erros comuns
- Não salvando prompts. Se você não mantiver as instruções que usou, não poderá demonstrar o processo.
- Significa "A IA disse isso". A justificação científica é processo e julgamento, não a palavra do modelo.
- Substituindo os dados brutos. Mantenha o original; Faça as conversões separadas e documentadas.
- Escondendo o uso de IA. Declaração transparente gera confiança; Esconder-se causa perda de reputação.
- Deixando-o improdutível até para você mesmo. Um trabalho que você não pode fazer novamente depois de 6 meses não é ciência.
Em resumo
A reprodutibilidade e a transparência transformam um estudo da palavra de uma pessoa em uma ciência que qualquer um pode testar. Isto é ainda mais crítico quando se trabalha com IA, pois se as decisões do modelo não forem seguidas, o processo se torna uma caixa preta. Mantenha um registro de decisões, registre avisos e informações de modelo, separe os dados brutos dos processados, declare honestamente o papel da IA e compartilhe dados e códigos quando a ética permitir. Um estudo que passa no teste “Posso me reproduzir após 6 meses” também é confiável para outros.
Tarefa de aplicativo
Para uma pequena análise que você está fazendo ou planejando, registre pelo menos 5 decisões metodológicas com justificativas no “modelo de diário de decisões”. Mantenha os prompts que você usa, modelo e data em um arquivo separado. Em seguida, use o modelo de “auditoria de reprodutibilidade” para que a IA encontre lacunas não documentadas em seu processo e feche cada lacuna. Por fim, escreva um esboço da “declaração de uso de IA” e um parágrafo transparente para ser colocado na seção de métodos.
lista de verificação
- [ ] Escrevi as razões de cada decisão metodológica importante na revista.
- [ ] Gravei os prompts que usei, o modelo e a data.
- [] Mantive os dados brutos inalterados e documentei as transformações.
- [] Declarei honestamente o papel da IA na seção de métodos.
- [ ] Apliquei o teste “Posso reproduzir após 6 meses”.