Unidade 3 / 12

Revisão da Literatura e Acesso a Informações Baseadas em Evidências

Ganhos:

  • Capacidade de usar inteligência artificial no mapeamento de literatura, digitalização de conceitos e priorização de leitura para gerenciar o risco de fontes fabricadas (alucinações)
  • Capacidade de estabelecer um fluxo de verificação que confirme cada citação, descoberta e reivindicação de tamanho de efeito da fonte primária
  • Capacidade de distinguir o nível de evidência (meta-análise, ECR, caso) e pesar o resumo da IA em relação à hierarquia de evidências

A psicologia é uma profissão baseada em evidências: as evidências da investigação dizem-nos se uma intervenção funciona, e não “apenas me parece que sim”. Quando um especialista quer se manter atualizado, escrever uma tese ou escolher a abordagem certa para um caso, ele recorre à literatura. Mas a literatura é enorme; Dezenas de milhares de artigos são publicados todos os anos. A inteligência artificial (IA) é um tremendo acelerador aqui: ela define um conceito, mapeia o campo, sugere qual artigo você deve ler primeiro, simplifica um texto complexo. Mas é aqui que reside a característica mais perigosa da IA ​​na literatura: ela fabrica fontes inexistentes. Nesta unidade você aprenderá como fazer da IA ​​um acelerador no ramo da literatura, como trabalhar sem cair na armadilha das fontes fabricadas (alucinações).

O que a IA faz na literatura, o que ela constitui?

Tarefas de literatura onde a IA é forte: explicar um conceito em linguagem simples; resumir os principais debates em um campo; tornar um texto legível; sugerir palavras-chave e estratégia de busca; resumir um artigo (quando você fornece o texto); comparando diferentes visões. Nestes, a IA reduz horas de leitura para minutos.

Coisas que a IA inventa: citações (fontes que parecem perfeitas, mas não existem, incluindo autor, ano, periódico, número DOI); estatísticas (números reais, como tamanho do efeito, tamanho da amostra, valor p); resultados (um estudo afirma ter “descoberto isso” quando na verdade não o fez). Isso ocorre porque a IA não é um mecanismo de busca, mas um “adivinhador de palavras prováveis”: ela gera o formato de citação com aparência mais provável, sem verificar sua precisão.

Atenção: Qualquer citação feita pela AI não é válida sem que você a verifique na fonte primária (o próprio artigo). Mesmo um DOI aparentemente perfeito pode ser falso. É sempre melhor dizer “Não consegui encontrar” do que “Coloquei a fonte errada”.

Hierarquia de evidências: nem todas as descobertas são iguais

Quando a IA resume uma descoberta, ela não informa sua força probatória. No entanto, existe uma hierarquia de evidências. Ao avaliar uma afirmação, é essencial saber em que tipo de prova ela se baseia.

Nível de evidência

O que você quer dizer?

poder

Metanálise/revisão sistemática

Combinação estatística de vários estudos

mais alto

Ensaio controlado randomizado (ECR)

Experimento em que os participantes são divididos em grupos aleatórios

alto

Estudo longitudinal/transversal

Observacional, não experimental

médio

Série de casos/relato de caso

Descrição de um ou vários casos

baixo

Opinião de especialistas/redação teórica

Mais interpretação do que evidência

mais baixo

Quando a IA lhe diz “a pesquisa mostra…”, sua primeira pergunta deveria ser: Que tipo de pesquisa? A descoberta de uma meta-análise não tem o mesmo peso que a descoberta de um único relato de caso.

Passo a passo: fluxo seguro de literatura baseado em IA

  1. Peça à IA que explique o conceito. Para ir direto ao ponto rapidamente, peça à IA um resumo simples e conceitos-chave. (Este é um ponto de partida, não uma fonte.)
  2. Configure a estratégia de pesquisa. Peça à IA para sugerir palavras-chave, sinônimos e sequência de pesquisa; use-o em bases de dados reais (mecanismos de busca acadêmicos, arquivos de periódicos).
  3. Encontre você mesmo fontes reais. Obtenha artigos de bases de dados revisadas por pares. Use títulos sugeridos por IA como pistas de pesquisa, não como citações.
  4. Resuma o texto para IA. Forneça à IA o texto do artigo que você encontrou e peça um resumo/comparação. A IA não inventa mais coisas, porque possui texto real.
  5. Confirme cada número e descoberta. A IA compara o tamanho do efeito no resumo com o valor real no texto.
  6. Rotule o nível de evidência. Escreva o tipo de evidência ao lado de cada descoberta.
Dica: Use IA na literatura de dois modos diferentes: “sugestivo sem fonte” (exposição do conceito, ideia de pesquisa) e “resumidor de origem” (quando você fornece o texto). Este último é seguro porque a IA funciona a partir do texto que você fornece, e não da sua própria memória.

três mini cases

Caso 1 — A epidemia de atribuição falsa. Um estudante de pós-graduação solicita citação de IA para um capítulo de 15 fontes sobre transtornos de ansiedade. AI oferece tudo no formato APA. Quando o aluno verifica, ele vê que 6 das 15 fontes não existem de fato (40%) e 3 estão atribuídas ao periódico errado. Portanto, metade da lista é inutilizável. Lição: a atribuição vem do banco de dados real, não da IA.

Caso 2 — Uso correto. Um médico fornece o texto em PDF de 4 meta-análises reais para IA, uma por uma, e diz "tabele o número da amostra, o tamanho do efeito principal e a limitação de cada uma". A IA reduz 4 artigos de 30 páginas em uma tabela comparativa em 10 minutos. O médico confirma cada número por texto; Todos eles se revelaram corretos porque a IA funcionou a partir do texto fornecido, e não da sua própria memória.

Caso 3 — Armadilha do nível de evidência. Um especialista pergunta à IA: “A terapia X funciona?” ele pergunta. A IA diz “sim, estudos apoiam” e conta quatro “estudos”. Quando o especialista examina, ele vê que três deles são um relato de caso único e um é uma postagem de blog; Não existe sequer um único ECR. Embora a afirmação possa parecer formalmente “provada”, o seu poder probatório é muito fraco.

Prompts e modelos copiáveis

Estou apenas começando neste tópico. SEM ME CRIAR FONTES, apenas me dê uma introdução conceitual: conceitos básicos, principais discussões da área e uma lista de palavras-chave + sinônimos que posso usar na pesquisa. Atribuição; Se a atribuição for necessária, diga "encontre você mesmo a fonte". Assunto: [assunto]

Estou colando o texto de um artigo real abaixo. Trabalhe apenas a partir deste texto, não acrescente informações externas. Extraia o seguinte: questão de pesquisa, método, amostra (n), principal achado e tamanho do efeito, limitações, nível de evidência. Texto: [texto do artigo]

Abaixo está o texto de 3 artigos. Coloque-os em uma tabela comparativa com as seguintes colunas: autor-ano, amostra, método, achado principal, nível de evidência, limitação. Trabalhe apenas a partir dos textos fornecidos, não adicione fontes. Textos: [textos]

Liste cada afirmação numérica (n, p, tamanho do efeito, porcentagem) neste texto em uma linha separada para que eu possa confirmá-la com o artigo original. Não adicione números que você não possa verificar sozinho.Texto: [resumo]

Alerta fraco / Alerta forte

Solicitação fraca: "Forneça 10 fontes acadêmicas sobre a eficácia da terapia cognitivo-comportamental na depressão."

Este prompt convida a IA a criar atribuições de memória; Uma parte significativa da produção será espúria.

Prompt poderoso: "Sugira palavras-chave, sinônimos e strings de pesquisa para pesquisar no banco de dados sobre terapia cognitivo-comportamental e depressão. Não forneça fontes/citações; encontrarei os artigos no banco de dados real e, em seguida, fornecerei seus textos."

Este prompt coloca a IA na função segura (estrategista de pesquisa); As referências vêm da fonte real.

Erros comuns

  • Usando diretamente a atribuição dada pela IA. Fontes aparentemente perfeitas são frequentemente fabricadas; Nunca é usado sem confirmação.
  • Confiar cegamente no DOI/link. A IA também pode produzir DOI realista, mas inexistente; Não será considerado válido até que você o abra e verifique.
  • Ignorando o nível de evidência. Não estou perguntando se existe um blog ou uma meta-análise por trás da frase “os estudos dizem”.
  • Substituindo o resumo da IA ​​pelo artigo. É um mapa resumido; Basear uma decisão crítica apenas no resumo significa fazer um julgamento sem ler o texto.
  • Usando no modo único. Sempre utilizando IA em modo “recurso da memória”; enquanto o seguro é o modo "resumir a partir do texto fornecido".

Em resumo

No ramo de literatura, a IA é um acelerador poderoso para esclarecimento de conceitos, estratégia de pesquisa e resumo (quando você fornece o texto). Mas ele fabrica referências, estatísticas e descobertas a partir de sua própria memória (alucinação). Verifique cada citação e número da fonte primária; Considere a fonte que você não consegue considerar inválida. Rotule o nível de evidência (da meta-análise ao relato de caso) para cada descoberta. Use IA em dois modos distintos: “sugestivo sem fontes” e “resumidor com fontes”, com preferência pelo último.

Tarefa de aplicativo

Escolha um tópico. Primeiro peça à IA 5 citações sobre esse tópico (modo de origem). Em seguida, pesquise essas 5 citações uma por uma em um mecanismo de busca acadêmico real e observe quantas realmente existem. Em seguida, encontre 2 artigos reais sobre o mesmo assunto, alimente seus textos à IA e faça com que ela produza uma tabela comparativa. Compare duas experiências: qual delas deu resultados confiáveis?

lista de verificação

  • [ ] Não utilizei nenhuma das referências fornecidas pela AI sem confirmá-las.
  • [] Obtive os artigos de um banco de dados real revisado por pares.
  • [] Para o resumo, dei à IA o texto real do artigo (não de memória).
  • [] Comparei cada afirmação numérica com o texto original.
  • [] Eu rotulei o nível de evidência para cada descoberta.
  • [ ] Invalidei a fonte que não consegui encontrar.