Unidade 7 / 11

Revisão da literatura, verificação da fonte e combate à alucinação

Ganhos:

  • Capacidade de usar inteligência artificial para resumir e comparar fontes reais, eliminando a base para atribuição fabricada com a restrição 'apenas com base na fonte fornecida'
  • Capacidade de aplicar a disciplina de verificar cada citação no catálogo real, verificar cada resumo até a fonte e capturar alucinações de DOI/impressão
  • Ser capaz de compreender como a atualidade, o multilinguismo e a literatura cinzenta determinam os limites do conhecimento da inteligência artificial e porque é necessária uma escrita original.

A arqueologia e o património cultural são uma ciência cumulativa: cada novo estudo baseia-se em publicações anteriores que abrangem séculos. Fazer uma varredura na literatura (totalidade de artigos, livros, relatórios e teses publicados sobre aquele assunto) de uma região, de um tipo de achado ou de um período é o primeiro e mais cansativo passo de qualquer estudo científico. Nesta unidade, veremos em profundidade como a IA acelera a revisão da literatura, mas por que a verificação da fonte é fundamental neste campo e como combater o erro mais perigoso da IA: a alucinação (fontes, citações e informações fabricadas).

Princípio básico: a IA ajuda a resumir, comparar e organizar a literatura; Mas nenhuma citação pode ser usada sem confirmação num catálogo real, e nenhum resumo pode transformar-se numa afirmação científica sem a leitura da própria fonte. Nas humanidades, uma fonte falsa destrói a credibilidade de todo o trabalho.

Por que a alucinação é tão crítica neste campo?

O erro mais comum das ferramentas de chat público é produzir recursos acadêmicos que não existem, mas que parecem muito realistas. A IA pode criar uma citação de aparência “perfeita” combinando o nome de um autor real, o nome de um periódico real e um título plausível. De onde?

  • A IA produz a “próxima palavra mais provável”; ele não analisa um banco de dados real (a menos que uma ferramenta especial esteja conectada).
  • Como as citações acadêmicas são padronizadas, a IA é muito “boa” em criar uma citação que se encaixe no padrão, mas cujo conteúdo seja fabricado.
  • Nas humanidades, o leitor muitas vezes não verifica imediatamente a fonte; Isso permite que a atribuição falsa passe despercebida.

Conclusão: para um arqueólogo, cada trigêmeo autor-ano-título na saída da IA ​​deve ser considerado suspeito até prova em contrário.

Dica: Use a IA não como um “localizador de recursos”, mas como um assistente que “processa os recursos reais que você possui”. Encontre você mesmo os artigos reais, entregue os PDFs à IA e diga "apenas confie nesses textos que lhe dei". Assim, a base para a alucinação é largamente eliminada.

Etapas da revisão da literatura

  1. Escopo e pergunta. O que você está procurando? Esclareça o tópico, o período, a região e os limites do idioma.
  2. Coleta de recursos reais. Encontre publicações autênticas em catálogos de bibliotecas, bancos de dados institucionais e diretórios confiáveis. É arriscado “encontrar” recursos para a IA nesta etapa.
  3. Resumindo e mapeando. Entregue os textos reais que você coletou à IA para resumir e mapear temas e discussões.
  4. Comparação e análise de lacunas. Compare as opiniões de diferentes autores, encontre contradições e lacunas inexploradas.
  5. Ortografia e atribuição. Escreva seu próprio argumento com citações verificadas. AI dá rascunho; você reescreve com sua análise e citações reais.

Disciplina de verificação de origem

Para cada citação, verifique:

  • Existe? O autor, ano, título, periódico/editora estão localizados em catálogo real (biblioteca, DOI, índice)?
  • Ele diz o que diz? A fonte está realmente dizendo o que a IA afirma? Abra a fonte e leia a seção relevante.
  • O contexto está correto? A citação foi retirada da intenção do autor? A visão contrária é atribuída ao autor?
  • Está atualizado e confiável? A publicação é revisada por pares, é atual ou reflete uma visão desatualizada?
Cuidado: Só porque um DOI ou número de inventário fornecido pela AI aparece no “formato correto” não indica que esse registro exista. Procure o número no sistema real. Um DOI inexistente é um dos sinais mais comuns de alucinações.

três mini cases

Caso 1 — Resumo economizou tempo. Um estudante de doutorado entregou 60 artigos reais (todos encontrados e baixados) para IA e criou um mapa temático; Ele elaborou uma tabela comparando as opiniões de diferentes autores sobre um tipo de descoberta em dois dias, em vez de semanas. Cada resumo foi obtido e verificado.

Caso 2 — Desastre de soldagem falsa evitado. Um estudante de pós-graduação pediu à IA para “sugerir fontes sobre este tópico” e obteve uma lista bacana de 15 citações. Quando ele verificou na biblioteca, descobriu que nove itens da lista nunca existiram – autores reais, títulos inventados. Se esta lista fosse incluída na bibliografia da tese, a credibilidade da defesa entraria em colapso e poderia até ser considerada má conduta científica.

Caso 3 — Atribuição incorreta corrigida. Uma equipe relataria que a IA disse a um escritor “ele datou aquele site do período romano”; Quando recorremos à fonte, verificamos que o autor afirmava o contrário, que o sítio era pré-romano. A IA inverteu a visão. A leitura da fonte evitou um erro grave.

Quatro modelos copiáveis

1) Baseando-se apenas na fonte fornecida:

Sua função: assistente de resumo de literatura. Confie SOMENTE nos textos que irei colar abaixo. NÃO ADICIONE quaisquer informações, fontes ou referências externas a estes textos. Escreva cada uma de suas afirmações, indicando em que parte do texto que lhe dei se baseia. Se lhe perguntarem sobre algo que não está no texto, diga “não está nas fontes fornecidas”.

2) Mapa temático e comparação:

Fornecerei resumos de [N] fontes abaixo. Agrupe-os por temas e crie um quadro comparativo: para cada tema, quais autores dizem o quê, onde concordam, onde contradizem. Use apenas as opiniões dos textos que forneci; adicionando comentários.

3) Lista de verificação de verificação de citação:

Ao VERIFICAR a lista de citações abaixo, execute as etapas que preciso verificar para cada uma (pesquisa no catálogo, confirmação DOI, leitura da página relevante, verificação de contexto). Você NÃO confirma a exatidão das atribuições; diga-me o que devo verificar. Fabricação de fontes.

4) Análise de lacunas:

Com base nos resumos da literatura que forneci, liste questões/lacunas que parecem ser pouco pesquisadas neste tópico. Para cada lacuna, mostre qual fonte a deixou aberta. Confie apenas nos textos que lhe dei; Não especule.

Alerta fraco / Alerta forte

Alerta fraco:

Dê as 15 fontes acadêmicas mais importantes sobre este tema e seus resumos.

A IA produz uma lista realista, mas provavelmente parcialmente fabricada, sem olhar para um banco de dados real; Esta é a própria armadilha da falsa atribuição.

Alerta poderoso:

Abaixo estou colando as citações completas e resumos dos 12 artigos reais que encontrei. Com base APENAS neles, surge um mapa temático e uma tabela de comparação. ADICIONE novo recurso. Indique de qual artigo vem cada linha. Marque os tópicos ausentes como "não abordados neste conjunto de recursos".

A diferença: o primeiro está repleto de riscos de fontes fabricadas; o último lida com recursos reais de forma confiável.

Atualidade, linguagem e literatura cinzenta

Três características da literatura arqueológica tornam o uso da IA ​​particularmente arriscado. A primeira é a atualidade: o conhecimento de um modelo fica congelado em uma determinada data, e nele estão ausentes escavações, novas datações e correções após essa data. A IA pode apresentar uma visão substituída como ainda válida; É por isso que você deve digitalizar as publicações atuais. Em segundo lugar, o multilinguismo: a arqueologia é escrita em alemão, francês, italiano, turco e em muitas línguas locais além do inglês. Um importante relatório de escavação pode ter sido publicado em apenas um idioma; Depender apenas de fontes em língua inglesa significa perder grande parte da literatura. A IA ajuda a digitalizar essas fontes em idiomas estrangeiros, mas, novamente, você deve ter a fonte real em mãos.

Terceiro, literatura cinzenta: a grande maioria do conhecimento arqueológico reside em documentos que não aparecem em periódicos oficiais, como relatórios de escavações comerciais, arquivos institucionais e teses não publicadas. A literatura cinzenta (relatórios produzidos em canais comerciais ou corporativos que não estão prontamente disponíveis em diretórios de publicações tradicionais) está ausente ou é escassa nos dados de treinamento em IA; Portanto, a IA ou não conhece essa informação ou a inventa. A verdadeira história arqueológica de uma região está muitas vezes nesta literatura cinzenta, e só se pode alcançá-la com a mão real dos arquivos institucionais.

Dica: Dizer “A IA não conseguiu encontrar nada” ou “há poucos recursos” sobre um assunto não significa que haja pouco trabalho sobre esse assunto; Freqüentemente, a fonte está na literatura cinzenta, em um idioma estrangeiro ou após a seção de informações do modelo. Pergunte ao arquivo real sobre a falta de recursos, não à IA.

Tabela de tarefas de literatura

Missão

Papel da IA

decisão humana

verificação

fornecimento

Fraco/em risco

Seleção do catálogo real

Confirmação de catálogo

resumindo

Forte (para determinado texto)

precisão, escolha

Leia a fonte

Comparação

Mapa de tema/contradição

Comentário, peso

contexto de origem

Redação de citações

esboço do formato

conteúdo, precisão

Existe/diz

Análise de lacunas

Perguntas do candidato

Valor de pesquisa

Conhecimento de domínio

Erros comuns

  • Fazendo com que a IA “encontre” recursos. Produz atribuição falsa; Encontre você mesmo os recursos.
  • Baseando-se no formato DOI/impressão. Embora o formato pareça correto, o registro pode ser fabricado; Pesquise no sistema.
  • Usando o resumo sem ler a fonte. A IA pode reverter a visão do autor.
  • Publicar o texto da IA ​​​​como está. Originalidade e risco de plágio; Escreva com sua própria análise.
  • Não colocar a restrição “somente recurso determinado”. Sem restrições, a IA adiciona informações fabricadas externamente.

Em resumo

Na revisão da literatura, a IA economiza muito tempo ao resumir, comparar e analisar fontes factuais. Mas nas ciências humanas, a verificação das fontes não é negociável: encontre você mesmo as fontes, verifique cada citação no catálogo real, verifique cada resumo, imponha a restrição “somente fonte citada” e escreva o texto final com sua própria análise original. Uma fonte falsa destruirá seu trabalho.

Tarefa de aplicativo

Escolha um tópico, encontre de 8 a 10 publicações reais na biblioteca/índice e colete suas citações. Faça um gráfico comparativo com os modelos “Baseado apenas na fonte” e “Mapa temático”. Em um experimento separado, diga à IA para “sugerir uma fonte” (sem quaisquer restrições) e verifique as citações sugeridas uma por uma no catálogo e observe quantas são reais.

lista de verificação

  • [] Eu mesmo encontrei as fontes em catálogos reais.
  • [] Coloquei a restrição "confiar apenas na fonte fornecida" na IA.
  • [ ] Confirmei cada citação com o catálogo/DOI.
  • [] Eu verifiquei cada resumo voltando à fonte.
  • [ ] Escrevi o texto final com minha própria análise original e referências confirmadas.