Gains :
- Capacité à comprendre que l’hallucination est inhérente au modèle de langage et à choisir la méthode de vérification appropriée pour chaque type de résultat.
- Vérifiez les valeurs critiques de deux manières indépendantes grâce à la triangulation et ne confondez pas fluidité et précision.
- Capacité à appliquer la transparence, la traçabilité, l'intégrité des données et la responsabilité humaine comme base de l'intégrité scientifique
Une seule phrase revient sans cesse tout au long de ce module : « L’IA produit, les humains vérifient ». Dans cette unité, nous transformons cette phrase en système. L’objectif est de reconnaître l’hallucination (produire des informations fausses/fabriquées avec un langage sûr), qui est le comportement le plus dangereux de l’IA, d’établir une méthode concrète de vérification pour chaque type de production, et de placer l’ensemble dans le cadre de l’intégrité scientifique (honnêteté, transparence, traçabilité). Un résultat non vérifié de l’IA en chimie n’est pas seulement une erreur ; Il peut s'agir d'une expérience qui explose, d'une personne empoisonnée ou d'un papier rétracté.
Pourquoi les hallucinations sont-elles inévitables ?
Le grand modèle de langage produit le « prochain mot le plus probable » ; Il vise ce qui est possible et non ce qui est vrai. Il peut ainsi renseigner un poids moléculaire, un DOI ou un point d’ébullition avec une valeur qui « semble raisonnable » – sans vérifier si elle est réelle. L’hallucination n’est pas un dysfonctionnement, mais une conséquence de la nature de cette technologie. La solution n'est pas « d'essayer de réparer » le modèle, mais de construire un shell de validation autour de chaque sortie.
L’aspect le plus insidieux de l’hallucination est son langage assuré. Un poids moléculaire incorrect est présenté avec exactement la même confiance qu’un poids moléculaire correct. Ainsi, « semble confiant » ne signifie jamais « correct ».
Attention : la fluidité et la confiance avec lesquelles l'IA parle d'un sujet n'est pas liée à l'exactitude de ces informations. La maîtrise convainc ; Seule la source indépendante détermine l’exactitude.
Validation par type de résultat en chimie
Chaque type de sortie possède sa propre méthode de vérification. Au lieu de mémoriser une seule règle, utilisez l'outil approprié pour le résultat :
Type de sortie
Méthode de vérification
véhicule
Poids moléculaire, formule
Recalculer à partir de la formule
RDKit / manuellement
SOURIRES/structure
Analyser + canoniser
KitRD
Citation/DOI
Résoudre dans la base de données
doi.org, Crossref
Constante physique (kn, pKa)
Base de données de référence
PubChem, manuel
calcul numérique
Écrire et exécuter du code
Python
réaction/état
Confirmation de la littérature
Reaxys, article
réclamation de sécurité
FDS/SGH
FDS officielle
Attribution du spectre
Multi-technique + humain
Spectre expérimental
Ce tableau est en fait un résumé de ce module : chaque unité correspond à une ligne.
Triangulation : trois chemins indépendants
La technique de vérification la plus puissante est la « triangulation » : arriver à la même conclusion de trois manières indépendantes. Par exemple, pour un poids moléculaire : (1) ce que dit YZ, (2) le calcul de RDKit, (3) le calcul manuel à partir de la formule. Si les trois se chevauchent, la confiance est élevée ; Si quelqu'un s'égare, arrêtez-vous et enquêtez. Ne comptez jamais sur une seule source en chimie ; Recherchez au moins deux chemins indépendants.
Étape par étape : workflow de vérification
- Classez le résultat : s'agit-il d'un numéro, d'une structure, d'une attribution, d'une assertion de sécurité ?
- Sélectionnez l'outil approprié : obtenez le chemin de vérification approprié pour le type de sortie dans le tableau ci-dessus.
- Calculer/rechercher indépendamment : faites fonctionner le véhicule indépendamment de l'IA ; comparer le résultat.
- S'il y a un écart, arrêtez : Si les valeurs ne correspondent pas, ne continuez pas sans rechercher laquelle est correcte.
- Laissez votre marque : enregistrez ce que vous avez vérifié et comment (intégrité scientifique).
- Spécifiez l'incertitude : marquez quelque chose qui ne peut pas être vérifié comme "non confirmé", ne le cachez pas.
Quatre modèles copiables
1) Auto-vérification :
Vous venez de donner le résultat suivant : [OUTPUT]. Tâche : Répertoriez chaque affirmation numérique/factuelle de ce résultat sur une ligne distincte. Pour chaque assertion : « comment la vérifier de manière indépendante ? méthode d'écriture (quel outil/base de données). NE RÉCLAMEZ PAS que cette affirmation est vraie ; donnez simplement un moyen de le vérifier.
2) Contrôle triangulaire :
Je souhaite vérifier le poids de la molécule suivante de trois manières : [SMILES].Tâche : 1) Dériver la formule moléculaire.2) Montrer le calcul du poids moléculaire atome par atome (contribution de chaque élément).Remarque : je vais également le calculer dans RDKit et troisièmement le comparer avec celui que vous avez donné. Si les trois ne se chevauchent pas, prévenez.
3) Marquage d'ambiguïté :
Il y a plusieurs affirmations factuelles dans le texte suivant :[TEXTE]Tâche : Mettez une étiquette de niveau de confiance à côté de chaque affirmation :[VERIFIÉ] / [VERIFIÉ] / [INCERTAIN].Ne marquez rien [VÉRIFIÉ] si vous n'êtes pas sûr.
4) Requête croisée de cohérence :
Je poserai la même question de deux manières différentes ; Voyez si vos réponses sont cohérentes. Question A : Quelle est la formule moléculaire du composé
Invite faible/Invite forte
Faible :
Notez tout ce que vous savez sur ce composé.
L’IA mélange sans discernement des informations vérifiables et fabriquées ; On ne sait pas lequel est réel.
Fort :
Fournissez des informations sur ce composé, mais étiquetez chaque allégation comme : [DÉTERMINISTE - vérifié par instrument] par ex. formule moléculaire, [EXPERIMENTAL - citation nécessaire] par ex. point de fusion, [INCERTAIN - pas sûr]. N'écrivez aucune allégation sans étiquette.
Différence : Nous avons forcé l’IA à marquer sa propre incertitude ; Nous avons rendu le travail de vérification planifiable.
Intégrité scientifique : honnêteté et traçabilité
La vérification n’est pas seulement une étape technique, c’est une question éthique. L’intégrité scientifique exige :
- Transparence : ne cachez pas que vous utilisez l'IA ; Précisez en fonction de votre politique de publication/rapport.
- Traçabilité : enregistrez les résultats provenant de l'IA et comment ils ont été vérifiés.
- Intégrité des données : "embellir" les résultats avec l'IA, éliminer les valeurs aberrantes sans justification est une fraude.
- Responsabilité : Vous êtes responsable du résultat final ; "L'IA l'a dit" n'est pas une excuse.
Astuce : Acceptez d’emblée que vous ne puissiez jamais utiliser l’expression « L’IA l’a dit » dans un rapport ou une défense. Cette acceptation amène automatiquement l’habitude de vérifier chaque sortie.
mini-cas
Cas 1 — La triangulation a détecté une erreur. Un étudiant a vérifié un poids moléculaire de trois manières : YZ a indiqué 178,2, le calcul manuel a donné 180,16, RDKit a donné 180,16. Deux chemins indépendants se chevauchaient et éliminaient l’IA. Leçon : deux vérifications indépendantes neutralisent silencieusement une fausse sortie.
Cas 2 — Langage sûr, informations erronées. AI a écrit avec beaucoup d'assurance qu'une réaction "se déroule spontanément à température ambiante". La littérature a montré que cela nécessitait un chauffage et un catalyseur. L’élève a fait confiance à la source et non au langage sûr. Leçon : la maîtrise n'est pas la précision.
Cas 3 – Gain de transparence. Dans la section méthode de son article, un chercheur a clairement indiqué dans quelles étapes il avait utilisé l’IA (édition de texte, rédaction de code) et a écrit qu’il avait vérifié de manière indépendante tous les résultats numériques. Le processus d’arbitrage s’est déroulé sans problème. Leçon : la transparence renforce la confiance, la dissimulation crée le risque.
Erreurs courantes
- Faire confiance au langage sûr. Le ton confiant de l’IA n’est pas une indication de sa précision.
- S'appuyer sur une seule source. Accepter une seule sortie sans triangulation.
- Ne pas séparer le type de sortie. Pensant que j'ai "vérifié" le numéro, l'attribution et l'assertion de sécurité avec la même méthode.
- Cacher l'incertitude. Signaler quelque chose qui ne peut être vérifié comme s'il était certain.
- Cacher l’utilisation de l’IA. Le manque de transparence porte atteinte à l’intégrité scientifique.
- Déléguer des responsabilités. L’excuse « IA l’a dit » n’est pas valide ; La responsabilité incombe à la personne.
En résumé
- L'hallucination est inhérente au modèle de langage ; La solution consiste à créer un shell de validation autour de chaque sortie.
- Chaque type de sortie possède sa propre méthode de vérification ; classer la sortie et utiliser l’outil approprié.
- La triangulation (deux chemins indépendants) est le contrôle le plus puissant ; Ne faites pas confiance à une seule source.
- La maîtrise d’un langage et un langage sûr ne sont pas liés à l’exactitude.
- L’intégrité scientifique nécessite transparence, traçabilité, intégrité des données et responsabilité humaine.
Tâche de candidature
Produisez intentionnellement une variété de résultats dans une session d'IA : un poids moléculaire, une référence, une constante physique, une allégation de sécurité, un calcul numérique. Vérifiez chacun indépendamment avec la méthode correcte (voir tableau). Essayez d'attraper au moins une hallucination. Préparez ensuite une "matrice de validation" : lignes sorties, colonnes (valeur AI / valeur indépendante / est-ce que cela s'est chevauché / comment l'ai-je vérifié). Comment comptez-vous rendre compte de cette session en termes d’intégrité scientifique ?
liste de contrôle
- [ ] Je comprends pourquoi les hallucinations sont inévitables.
- [ ] Je classe chaque sortie selon son type et la vérifie avec la méthode appropriée.
- [ ] Je fais de la triangulation (deux chemins indépendants) sur des valeurs critiques.
- [ ] Je fais confiance à la source, pas au langage sûr.
- [ ] Je marque ce qui ne peut être confirmé comme "incertain".
- [ ] Je suis transparent dans mon utilisation de l’IA et je me tiens responsable du résultat.