Unité 7 / 11

Revue de la littérature, vérification des sources et lutte contre les hallucinations

Gains :

  • Capacité à utiliser l'intelligence artificielle pour résumer et comparer des sources réelles, éliminant ainsi la base d'une attribution fabriquée avec la contrainte « uniquement basé sur la source donnée »
  • Capacité à appliquer la discipline consistant à vérifier chaque citation dans le catalogue réel, à vérifier chaque résumé jusqu'à la source et à détecter les hallucinations DOI/empreinte
  • Être capable de comprendre comment l'actualité, le multilinguisme et la littérature grise déterminent les limites des connaissances de l'intelligence artificielle et pourquoi une écriture originale est nécessaire.

L'archéologie et le patrimoine culturel sont une science cumulative : chaque nouvelle étude s'appuie sur des publications antérieures s'étalant sur des siècles. Parcourir la littérature (l'ensemble des articles, livres, rapports et thèses publiés sur ce sujet) sur une région, un type de découverte ou une période est la première et la plus fatigante étape de toute étude scientifique. Dans cette unité, nous verrons en profondeur comment l'IA accélère l'analyse de la littérature, mais pourquoi la vérification des sources est primordiale dans ce domaine et comment combattre l'erreur la plus dangereuse de l'IA : l'hallucination (sources, citations et informations fabriquées de toutes pièces).

Principe de base : l'IA permet de résumer, de comparer et d'organiser la littérature ; Mais aucune citation ne peut être utilisée sans confirmation dans un véritable catalogue, et aucun résumé ne peut se transformer en affirmation scientifique sans lire la source elle-même. En sciences humaines, une fausse source détruit la crédibilité de l’ensemble de l’ouvrage.

Pourquoi les hallucinations sont-elles si critiques dans ce domaine ?

L’erreur la plus courante des outils de chat public est de produire des ressources académiques qui n’existent pas mais qui semblent très réalistes. L’IA peut constituer une citation « parfaite » en combinant le nom d’un véritable auteur, le nom d’une vraie revue et un titre plausible. D'où ?

  • L’IA produit le « prochain mot le plus probable » ; il ne regarde pas une base de données réelle (sauf si un outil spécial est connecté).
  • Parce que les citations académiques sont structurées, l’IA est très « efficace » pour créer une citation qui correspond au modèle mais dont le contenu est fabriqué.
  • En sciences humaines, il arrive souvent que le lecteur ne vérifie pas immédiatement la source ; Cela permet à la fausse attribution de passer inaperçue.

Conclusion : pour un archéologue, chaque triplet auteur-année-titre dans la sortie de l'IA doit être considéré comme suspect jusqu'à preuve du contraire.

Astuce : utilisez l’IA non pas comme un « chercheur de ressources », mais comme un assistant qui « traite les ressources réelles dont vous disposez ». Trouvez vous-même les articles réels, donnez les PDF à l'IA, puis dites « fiez-vous simplement à ces textes que je vous ai donnés ». Ainsi, la base de l’hallucination est largement éliminée.

Étapes de la revue de la littérature

  1. Portée et question. Qu'est-ce que tu cherches? Clarifiez les limites du sujet, de la période, de la région et de la langue.
  2. Collection de ressources réelles. Trouvez des publications authentiques dans les catalogues de bibliothèques, les bases de données institutionnelles et les annuaires fiables. Il est risqué de « trouver » des ressources pour l’IA à cette étape.
  3. Résumer et cartographier. Donnez les textes que vous avez collectés à l'IA pour résumer et cartographier les thèmes et les discussions.
  4. Comparaison et analyse des écarts. Comparez les points de vue de différents auteurs, trouvez des contradictions et des lacunes inexplorées.
  5. Orthographe et attribution. Écrivez votre propre argument avec des citations vérifiées. L'IA donne du brouillon ; vous réécrivez avec votre analyse et vos citations réelles.

Discipline de vérification à la source

Pour chaque citation, cochez :

  • Y a-t-il ? L'auteur, l'année, le titre, la revue/l'éditeur se trouvent-ils dans un véritable catalogue (bibliothèque, DOI, index) ?
  • Est-ce qu'il dit ce qu'il dit ? La source dit-elle vraiment ce que prétend l’IA ? Ouvrez la source et lisez la section correspondante.
  • Le contexte est-il correct ? La citation est-elle tirée de l'intention de l'auteur ? Le point de vue opposé est-il attribué à l’auteur ?
  • Est-il à jour et fiable ? La publication est-elle évaluée par des pairs, actuelle ou reflète-t-elle une vision obsolète ?
Attention : Ce n'est pas parce qu'un DOI ou un numéro d'inventaire fourni par AI apparaît dans le « format correct » que cet enregistrement existe. Recherchez le numéro dans le système réel. Un DOI inexistant est l’un des signes d’hallucinations les plus courants.

trois mini-cases

Cas 1 — Résumé du temps gagné. Un doctorant a soumis 60 articles réels (qu’il a tous trouvés et téléchargés) à l’IA et a créé une carte thématique ; Il a rédigé un tableau comparant les points de vue de différents auteurs sur un type de découverte en deux jours au lieu de semaines. Chaque résumé a été sourcé et vérifié.

Cas 2 — Un faux désastre de soudage évité. Un étudiant diplômé a demandé à AI de « suggérer des sources sur ce sujet » et a obtenu une liste astucieuse de 15 citations. Lorsqu’il l’a vérifié à la bibliothèque, il a découvert que 9 des listes n’avaient jamais existé – de vrais auteurs, des titres inventés. Si cette liste était incluse dans la bibliographie de la thèse, la crédibilité de la défense s’effondrerait et cela pourrait même être considéré comme une faute scientifique.

Cas 3 — Attribution incorrecte corrigée. Une équipe rapporterait que l'IA a dit à un écrivain « qu'il datait ce site de la période romaine » ; Lorsque nous nous sommes tournés vers la source, nous avons constaté que l'auteur affirmait le contraire, à savoir que le site était préromain. AI avait inversé la vision. La lecture de la source a évité une grave erreur.

Quatre modèles copiables

1) S'appuyer uniquement sur la source indiquée :

Votre rôle : assistant de synthèse de littérature. Comptez UNIQUEMENT sur les textes que je collerai ci-dessous. N’AJOUTEZ AUCUNE information, source ou référence extérieure à ces textes. Notez chacune de vos affirmations en indiquant sur quelle partie du texte que je vous ai donné se base. Si on vous pose une question sur quelque chose qui ne figure pas dans le texte, dites « cela ne figure pas dans les sources indiquées ».

2) Carte thématique et comparaison :

Je fournirai ci-dessous des résumés de [N] sources. Regroupez-les par thèmes et créez un tableau comparatif : pour chaque thème, quels auteurs disent quoi, où ils sont d'accord, où ils contredisent. Utilisez uniquement les points de vue exprimés dans les textes que j'ai donnés ; ajouter des commentaires.

3) Liste de contrôle de vérification des citations :

Lors de la VÉRIFICATION de la liste de citations ci-dessous, suivez les étapes que je dois vérifier pour chacune (recherche dans le catalogue, confirmation du DOI, lecture de la page concernée, vérification du contexte). Vous NE confirmez PAS l’exactitude des attributions ; dis-moi ce que je dois vérifier. Fabrication des sources.

4) Analyse des écarts :

Sur la base des résumés de la littérature que j'ai fournis, énumérez les questions/lacunes qui semblent faire l'objet de recherches insuffisantes sur ce sujet. Pour chaque lacune, montrez quelle source l’a laissée ouverte. Comptez uniquement sur les textes que je vous ai donnés ; Ne spéculez pas.

Invite faible/Invite forte

Invite faible :

Donnez les 15 sources académiques les plus importantes sur ce sujet et leurs résumés.

L'IA produit une liste réaliste mais probablement partiellement fabriquée sans consulter une véritable base de données ; C’est le piège des fausses attributions lui-même.

Invite puissante :

Ci-dessous, je colle les citations complètes et les résumés des 12 vrais articles que j'ai trouvés. Sur la base UNIQUEMENT de ceux-ci, une carte thématique et un tableau comparatif émergent. AJOUTER une nouvelle ressource. Indiquez de quel article provient chaque ligne. Marquez les sujets manquants comme « non traités dans cet ensemble de ressources ».

La différence : la première comporte le risque de sources fabriquées ; ce dernier gère les ressources réelles de manière fiable.

Actualité, langue et littérature grise

Trois caractéristiques de la littérature archéologique rendent l’utilisation de l’IA particulièrement risquée. La première est l'actualité : la connaissance d'un modèle est figée à une certaine date, et les fouilles, les nouvelles datations et les corrections après cette date en sont absentes. L’IA peut présenter une vision dépassée comme étant toujours valable ; C'est pourquoi vous devriez scanner les publications actuelles. Deuxièmement, le multilinguisme : l'archéologie est écrite en allemand, français, italien, turc et dans de nombreuses langues locales autres que l'anglais. Un rapport de fouille important peut avoir été publié dans une seule langue ; S’appuyer uniquement sur des sources de langue anglaise signifie passer à côté d’une grande partie de la littérature. L’IA aide à analyser ces sources en langues étrangères, mais encore une fois, vous devez avoir la source réelle à portée de main.

Troisièmement, la littérature grise : la grande majorité des connaissances archéologiques réside dans des documents qui ne paraissent pas dans les journaux officiels, comme les rapports de fouilles commerciales, les archives institutionnelles et les thèses inédites. La littérature grise (rapports produits par des canaux commerciaux ou d'entreprise qui ne sont pas facilement disponibles dans les répertoires de publications traditionnels) est soit absente, soit rare dans les données de formation à l'IA ; Par conséquent, soit l’IA ne connaît pas cette information, soit elle l’invente. La véritable histoire archéologique d’une région se trouve souvent dans cette littérature grise, et on ne peut y accéder qu’avec la vraie main des archives institutionnelles.

Astuce : Dire « L'IA n'a rien trouvé » ou « il y a peu de ressources » sur un sujet ne veut pas dire qu'il y a peu de travaux sur ce sujet ; Souvent, la source se trouve dans la littérature grise, dans une langue étrangère ou après la section d'information du modèle. Interrogez les vraies archives sur le manque de ressources, pas l'IA.

Tableau des tâches de littérature

Quête

Rôle de l'IA

décision humaine

vérification

approvisionnement

Faible/à risque

Sélection à partir d'un vrai catalogue

Confirmation du catalogue

résumer

Fort (au texte donné)

précision, choix

Lire la source

Comparaison

Carte thème/contradiction

Commentaire, poids

contexte source

Rédaction de citations

aperçu du format

contenu, exactitude

Y a-t-il/est-ce que ça dit

Analyse des écarts

Questions des candidats

Valeur de la recherche

Connaissance du domaine

Erreurs courantes

  • Faire en sorte que l'IA « trouve » des ressources. Produit une fausse attribution ; Trouvez les ressources vous-même.
  • S'appuyer sur le format DOI/imprint. Bien que le format semble correct, le document peut être fabriqué ; Rechercher dans le système.
  • Utiliser le résumé sans lire la source. L'IA peut renverser le point de vue de l'auteur.
  • Publier le texte de l'IA tel quel. Originalité et risque de plagiat ; Écrivez avec votre propre analyse.
  • Ne pas placer la contrainte "ressource donnée uniquement". Sans contraintes, l’IA ajoute des informations fabriquées en externe.

En résumé

En revue de littérature, l’IA permet de gagner beaucoup de temps dans la synthèse, la comparaison et l’analyse des sources factuelles. Mais en sciences humaines, la vérification des sources n'est pas négociable : trouvez les sources vous-même, vérifiez chaque citation dans le catalogue réel, vérifiez chaque résumé, imposez la contrainte "source citée uniquement" et rédigez le texte final avec votre propre analyse originale. Une fausse source détruira votre travail.

Tâche de candidature

Choisissez un sujet, trouvez 8 à 10 publications réelles dans la bibliothèque/index et collectez leurs citations. Créez un tableau de comparaison avec les modèles « Basé sur la source uniquement » et « Carte thématique ». Dans une expérience distincte, dites à l'IA de « suggérer une source » (sans aucune restriction) et vérifiez les citations qu'elle suggère une par une dans le catalogue et notez combien sont réelles.

liste de contrôle

  • [ ] J'ai trouvé moi-même les sources à partir de vrais catalogues.
  • [ ] J'ai mis la contrainte "s'appuyer uniquement sur la source donnée" sur l'IA.
  • [ ] J'ai confirmé chaque citation avec le catalogue/DOI.
  • [ ] J'ai vérifié chaque résumé en remontant à la source.
  • [ ] J'ai écrit le texte final avec ma propre analyse originale et des références confirmées.