Confirmação, alucinação e integridade científica

Ganhos:

• Capacidade de compreender que a alucinação é inerente ao modelo de linguagem e escolher o método de verificação adequado para cada tipo de saída.
• Verifique valores críticos de duas maneiras independentes com triangulação e não confunda fluência com precisão
• Capacidade de aplicar transparência, rastreabilidade, integridade de dados e responsabilidade humana como base da integridade científica

Uma única frase foi repetida repetidamente ao longo deste módulo: “A IA produz, os humanos verificam”. Nesta unidade, transformamos essa frase em um sistema. O objetivo é reconhecer a alucinação (produção de informação falsa/fabricada com uma linguagem confiável), que é o comportamento mais perigoso da IA, estabelecer um método de verificação concreto para cada tipo de resultado e colocar tudo isto no quadro da integridade científica (honestidade, transparência, rastreabilidade). Um resultado de IA não verificado em química não é apenas um erro; Pode ser a explosão de um experimento, uma pessoa sendo envenenada ou um papel sendo retraído.

Por que a alucinação é inevitável?

O modelo de linguagem grande produz a “próxima palavra mais provável”; Visa o que é possível, não o que é verdade. Assim, ele pode preencher um peso molecular, um DOI ou um ponto de ebulição com um valor que “parece razoável” – sem verificar se é real. A alucinação não é um mau funcionamento, mas uma consequência da natureza desta tecnologia. A solução não é "tentar consertar" o modelo, mas construir um shell de validação em torno de cada saída.

O aspecto mais insidioso da alucinação é a sua linguagem confiante. Um peso molecular incorreto é apresentado exatamente com a mesma confiança que um peso molecular correto. Portanto, “parece confiante” nunca significa “correto”.

Atenção: O quão fluente e confiante a IA fala sobre um assunto não está relacionado à precisão dessa informação. A fluência convence; Somente a fonte independente determina a precisão.

Validação por tipo de saída em química

Cada tipo de saída possui seu próprio método de verificação. Em vez de memorizar uma única regra, use a ferramenta apropriada para o resultado:

Tipo de saída

Método de verificação

veículo

Peso molecular, fórmula

Recalcular a partir da fórmula

RDKit/manualmente

SORRISOS/estrutura

Analisar + canonizar

Kit RDK

Citação/DOI

Resolver no banco de dados

doi.org, Crossref

Constante física (kn, pKa)

Banco de dados de referência

PubChem, manual

cálculo numérico

Escrever + executar código

Pitão

reação/condição

Confirmação de literatura

Reaxys, artigo

reivindicação de segurança

FDS/GHS

FDS oficial

Atribuição de espectro

Multitécnico + humano

Espectro experimental

Esta tabela é na verdade um resumo deste módulo: cada unidade é uma linha.

Triangulação: três caminhos independentes

A técnica de verificação mais poderosa é a “triangulação”: chegar à mesma conclusão de três maneiras independentes. Por exemplo, para um peso molecular: (1) o que YZ diz, (2) cálculo do RDKit, (3) cálculo manual a partir da fórmula. Se os três se sobrepõem, a confiança é alta; Se alguém estiver se desviando, pare e investigue. Nunca confie em uma única fonte de química; Procure pelo menos dois caminhos independentes.

Passo a passo: fluxo de trabalho de verificação

1. Classifique a saída: é um número, estrutura, atribuição, afirmação de segurança?
2. Selecione a ferramenta apropriada: Obtenha o caminho de verificação apropriado para o tipo de saída na tabela acima.
3. Calcular/pesquisar de forma independente: Execute o veículo independentemente da IA; compare o resultado.
4. Se houver desvio, pare: Se os valores não coincidirem, não prossiga sem investigar qual deles está correto.
5. Deixe sua marca: registre o que você verificou e como (integridade científica).
6. Especifique a incerteza: marque algo que não pode ser verificado como “não confirmado”, não oculte.

Quatro modelos copiáveis

1) Autoverificação:

Você acabou de fornecer a seguinte saída: [OUTPUT]. Tarefa: Liste cada afirmação numérica/factual desta saída em uma linha separada. Para cada afirmação: "como verificá-la de forma independente?" método de gravação (qual ferramenta/banco de dados). NÃO Afirme que a afirmação é verdadeira; apenas dê uma maneira de verificar isso.

2) Controle de triangulação:

Quero verificar o peso da seguinte molécula de três maneiras: [SMILES].Tarefa: 1) Derivar a fórmula molecular.2) Mostrar o cálculo do peso molecular átomo por átomo (contribuição de cada elemento).Nota: também irei calculá-lo no RDKit e em terceiro lugar compará-lo com o que você deu. Se os três não se sobrepuserem, avise.

3) Marcação de ambigüidade:

Existem várias afirmações factuais no texto a seguir:[TEXTO]Tarefa: Coloque um rótulo de nível de confiança ao lado de cada afirmação:[VERIFICADO] / [VERIFICADO] / [INCERTO].Não marque nada como [VERIFICADO] se não tiver certeza.

4) Consulta cruzada de consistência:

Farei a mesma pergunta de duas maneiras diferentes; Veja se suas respostas são consistentes. Pergunta A: Qual é a fórmula molecular do composto

Alerta fraco / Alerta forte

Fraco:

Anote tudo o que você sabe sobre este composto.

A IA mistura indiscriminadamente informações verificáveis ​​e fabricadas; Não está claro qual deles é real.

Forte:

Forneça informações sobre este composto, mas rotule cada afirmação como:[DETERMINÍSTICO - verificado por instrumento], por exemplo. fórmula molecular,[EXPERIMENTAL - carece de fontes] por ex. ponto de fusão,[INCERTO - não tenho certeza].Não escreva nenhuma afirmação sem rótulo.

Diferença: Forçamos a IA a marcar sua própria incerteza; Tornamos o trabalho de verificação planejável.

Integridade científica: honestidade e rastreabilidade

A verificação não é apenas uma etapa técnica, é uma questão ética. A integridade científica requer:

• Transparência: não esconda que está usando IA; Especifique de acordo com sua política de publicação/relatório.
• Rastreabilidade: registre qual saída veio da IA ​​e como ela foi verificada.
• Integridade dos dados: “Embelezar” resultados com IA, descartando valores discrepantes sem justificativa é fraude.
• Responsabilidade: Você é responsável pelo resultado final; “A IA disse isso” não é uma desculpa.

Dica: Aceite desde o início que você nunca poderá usar a frase “A IA disse isso” em uma denúncia ou defesa. Essa aceitação traz automaticamente o hábito de verificar cada saída.

mini-casos

Caso 1 — A triangulação detectou um erro. Um aluno verificou o peso molecular de três maneiras: YZ disse 178,2, cálculo manual deu 180,16, RDKit deu 180,16. Dois caminhos independentes se sobrepuseram e eliminaram a IA. Lição: duas verificações independentes derrotam silenciosamente uma saída falsa.

Caso 2 — Linguagem segura, informação errada. AI escreveu com muita confiança que uma reação “ocorre espontaneamente à temperatura ambiente”. A literatura mostrou que isso exigia aquecimento e catalisador. O aluno confiou na fonte, não na linguagem segura. Lição: fluência não é precisão.

Caso 3 — Transparência obtida. Na seção de método de seu artigo, um pesquisador declarou claramente em quais etapas usou IA (edição de texto, elaboração de código) e escreveu que verificou de forma independente todos os resultados numéricos. O processo de arbitragem correu bem. Lição: a transparência gera confiança, a ocultação cria riscos.

Erros comuns

• Confiando na linguagem segura. O tom confiante da IA ​​não é uma indicação de precisão.
• Contando com uma única fonte. Aceitar uma única saída sem triangulação.
• Não separando o tipo de saída. Pensando nisso, "verifiquei" o número, a atribuição e a afirmação de segurança com o mesmo método.
• Escondendo a incerteza. Relatar algo que não pode ser verificado como se fosse certo.
• Escondendo o uso de IA. A falta de transparência mina a integridade científica.
• Delegar responsabilidades. A desculpa "AI disse isso" é inválida; A responsabilidade é da pessoa.

Em resumo

• A alucinação é inerente ao modelo de linguagem; A solução é construir um shell de validação em torno de cada saída.
• Cada tipo de saída possui seu próprio método de verificação; classifique a saída e use a ferramenta apropriada.
• A triangulação (dois caminhos independentes) é o controle mais forte; Não confie em uma única fonte.
• Fluência e linguagem confiante não estão relacionadas à precisão.
• A integridade científica requer transparência, rastreabilidade, integridade de dados e responsabilidade humana.

Tarefa de aplicativo

Produza intencionalmente uma variedade de resultados em uma sessão de IA: um peso molecular, uma referência, uma constante física, uma reivindicação de segurança, um cálculo numérico. Verifique cada um independentemente com o método correto (ver tabela). Tente pegar pelo menos uma alucinação. Em seguida, prepare uma "matriz de validação": saídas de linhas, colunas (valor AI/valor independente/se sobrepôs/como verifiquei). Como você relataria esta sessão em termos de integridade científica?

lista de verificação

• [ ] Eu entendo porque a alucinação é inevitável.
• [] Classifico cada saída de acordo com seu tipo e verifico com o método apropriado.
• [] Faço triangulação (dois caminhos independentes) em valores críticos.
• [ ] Confio na fonte, não na linguagem segura.
• [ ] Marco o que não pode ser confirmado como “incerto”.
• [] Sou transparente no uso da IA ​​e me responsabilizo pelo resultado.