Gains :
- Capacité à rendre la recherche traçable en enregistrant les décisions méthodologiques, les invites et les informations sur le modèle
- Possibilité de séparer les données brutes des données traitées et de documenter toutes les étapes de conversion
- Être capable de déclarer de manière transparente le rôle de l'intelligence artificielle dans la section méthode et d'appliquer le test « est-ce que cela peut être reproductible »
La caractéristique la plus fondamentale de la science est qu’une découverte ne repose pas sur la parole d’une seule personne, mais sur un processus qui peut être vérifié par d’autres. La reproductibilité est la capacité d'un autre chercheur, prenant les données et la méthode d'une étude, à parvenir au même résultat en suivant les mêmes étapes. Un concept similaire est celui de la transparence : le chercheur documente clairement ce qu'il a fait et pourquoi il a pris telle décision. À l’ère de l’IA, ces deux concepts sont devenus à la fois plus simples et plus critiques. Facile, car l’IA aide à documenter les processus ; critique, car si vous ne laissez aucune trace des décisions de l’IA, personne – pas même vous – ne pourra reproduire votre travail. Dans cette unité, vous apprendrez comment rendre votre recherche reproductible et transparente.
Le cœur du problème est le suivant : lorsque vous travaillez avec l’IA, vous prenez de nombreuses petites décisions : quelle invite vous avez utilisée, quel modèle, quels paramètres, quelle sortie vous avez acceptée et laquelle vous avez rejetée. Si ces décisions ne sont pas documentées, vous pouvez obtenir un résultat différent lorsque vous exécutez la même invite un jour différent (les modèles de langage ne donnent pas exactement la même réponse à chaque fois). Lorsqu'un critique ou un collègue demande « comment êtes-vous arrivé à cette analyse thématique », « l'IA l'a dit » n'est pas une réponse scientifique. La transparence consiste précisément à ouvrir cette « boîte noire » et à rendre le processus traçable.
Pas à pas : établir une recherche traçable
1. Tenez un journal des décisions. Notez chaque décision méthodologique importante (pourquoi cet échantillon, pourquoi ce code, pourquoi vous avez accepté cette proposition d'IA) dans un journal daté. L'IA aide à organiser ce journal.
2. Enregistrez les invites et les informations sur le modèle. Gardez une trace de chaque invite que vous avez utilisée, sur quel modèle d'IA vous l'avez exécuté et à quelle date. Il s'agit de la « liste des matériaux » pour votre travail.
3. Séparez les données brutes des données traitées. Conservez les données originales inchangées ; effectuez toutes les conversions (nettoyage, encodage) séparément avec des étapes documentées. Ainsi, tout le monde peut regarder depuis le début.
4. Écrivez clairement le rôle de l’IA. Dans la section méthode, indiquez honnêtement dans quelles tâches et comment vous avez utilisé l’IA. La plupart des revues et institutions l’exigent désormais.
5. Partagez les données et le code si possible. Lorsque l’éthique et la confidentialité le permettent, le partage de données anonymisées et de codes d’analyse dans des référentiels ouverts constitue le summum de la transparence.
Astuce : Un test simple : « Puis-je refaire cette recherche moi-même dans 6 mois ? Si vous n'avez pas documenté vos invites, vos décisions et vos étapes, la réponse est probablement « non ». Rendez-le réalisable pour vous-même ; Et puis cela arrive aussi à quelqu’un d’autre.
trois mini-cases
Cas 1 — L’analyse sans trace s’est effondrée. Un chercheur a effectué une analyse thématique avec l’IA mais n’a pas enregistré l’invite qu’il a utilisée. Lorsque l'arbitre a demandé « Comment en êtes-vous arrivé à ces thèmes ? » il ne pouvait pas montrer le processus ; Il dut répéter l’analyse, cette fois en tenant un journal. Il a perdu deux semaines.
Cas 2 — Le journal de décision met fin à la discussion. Un désaccord est survenu au sein d'une équipe se demandant « pourquoi avons-nous combiné ces codes ? » Mais le journal des décisions contenait la date et la justification de chaque décision de fusion. L'argument a été résolu en quelques minutes lorsque l'IA a résumé le journal et l'a affiché chronologiquement.
Cas 3 — La divulgation transparente a renforcé la confiance. Dans un article, les auteurs ont explicitement écrit que nous utilisions l’IA « pour l’édition des transcriptions et la suggestion initiale du code, avec deux chercheurs vérifiant manuellement tous les codes ». Les évaluateurs ont trouvé cette transparence positive ; Il s’est avéré beaucoup plus fiable que l’utilisation d’une IA masquée.
Quatre modèles copiables
1) Modèle de journal de décision :
Créez un tableau de journal de décision méthodologique. Colonnes : date, décision, justification, alternatives, rôle de l'IA (le cas échéant), qui l'a approuvée. Insérez mes notes de décision ci-dessous dans ce tableau et marquez toutes les justifications manquantes comme « doivent être complétées ». Remarques : [ici]
2) Projet de déclaration d'utilisation de l'IA :
Rédigez un paragraphe qui explique de manière transparente mon utilisation de l'IA à mettre dans la section méthodes. Je l'ai utilisé dans ces tâches : [liste]. Je ne l'ai PAS utilisé dans les tâches suivantes : [liste]. J'ai vérifié toutes les sorties manuellement. Modèle et date : [x]. Utilisez un langage honnête, discret et académique.
3) Contrôle de reproductibilité :
Je décris mon processus de recherche : [résumé]. Un autre chercheur peut-il reproduire cela ? Lister les étapes non documentées, peu claires ou introuvables : quelles données, quelle transformation, quelle invite, quelle décision manquent ? Dites-moi quoi enregistrer pour chaque espace.
4) Carte de provenance des données :
Répertoriez toutes les étapes de transformation depuis les données brutes jusqu'à ma découverte finale sous forme de flux : données brutes → nettoyage → codage → analyse → découverte. Montrez ce qui a été fait à chaque étape, avec quel outil et avec quelle décision. Marquez l’étape impossible à suivre. Processus : [ici]
Invite faible/Invite forte
Invite faible :
Écrivez la méthode de cette analyse en un seul paragraphe.
AI produit un paragraphe de méthode générique sans documenter le processus ; La manière dont la décision a été prise et où l’IA a été utilisée reste floue. Ce n’est pas fabriquable.
Invite puissante :
Rédigez une description réalisable pour la section méthode. Utilisez les informations suivantes : source de données [x], échantillon [y], étapes d'analyse [z], le modèle d'IA que j'ai utilisé et sa date [t], le rôle exact de l'IA [r], le processus de vérification humaine [d]. Écrivez de manière suffisamment concrète pour que quelqu'un d'autre puisse suivre ces étapes et les reproduire. Demandez-moi toute information que j'ai oubliée.
La différence : la seconde approche rend le processus concret, traçable et véritablement reproductible.
Couches de transparence
couche
Ce qui est documenté
Pourquoi est-ce important ?
journal de décision
Décisions méthodologiques + justification
défend le pouvoir judiciaire
Inscription rapide
Invite utilisée, modèle, date
Rend l’IA maniable
Origine des données
Conversions brutes → traitées
ouvre les étapes
Déclaration de l'IA
Le rôle et les limites de l’IA
honnêteté
partage
Données anonymes + code
Transparence ultime
Erreurs courantes
- Ne pas enregistrer les invites. Si vous ne conservez pas les instructions que vous avez utilisées, vous ne pouvez pas démontrer le processus.
- Cela signifie "L'IA l'a dit". La justification scientifique est un processus et un jugement, et non la parole du modèle.
- Écrasement des données brutes. Conservez l'original; Effectuez les conversions séparées et documentées.
- Cacher l’utilisation de l’IA. Une déclaration transparente renforce la confiance ; Se cacher entraîne une perte de réputation.
- Le laissant improductif, même pour vous-même. Un travail qu’on ne peut plus refaire après 6 mois n’est pas de la science.
En résumé
La reproductibilité et la transparence transforment une étude de la parole d'une seule personne en une science que tout le monde peut tester. Ceci est encore plus critique lorsque l’on travaille avec l’IA, car si les décisions du modèle ne sont pas suivies, le processus devient une boîte noire. Tenez un journal de décision, enregistrez les invites et les informations sur le modèle, séparez les données brutes des données traitées, déclarez honnêtement le rôle de l'IA et partagez les données et le code lorsque l'éthique le permet. Une étude qui réussit le test « Puis-je me reproduire après 6 mois » est également fiable pour les autres.
Tâche de candidature
Pour une petite analyse que vous effectuez ou planifiez, enregistrez au moins 5 décisions méthodologiques accompagnées de justifications avec le « modèle de journal de décision ». Conservez les invites que vous utilisez, le modèle et la date dans un fichier séparé. Utilisez ensuite le modèle « audit de reproductibilité » pour que l'IA trouve les lacunes non documentées dans votre processus et comble chaque lacune. Enfin, rédigez un aperçu de la « déclaration d'utilisation de l'IA » et un paragraphe transparent à placer dans la section méthodes.
liste de contrôle
- [ ] J'ai écrit les raisons de chaque décision méthodologique importante dans la revue.
- [ ] J'ai enregistré les invites que j'ai utilisées, le modèle et la date.
- [ ] J'ai gardé les données brutes inchangées et documenté les transformations.
- [ ] J'ai déclaré honnêtement le rôle de l'IA dans la section méthode.
- [ ] J'ai appliqué le test "Puis-je reproduire après 6 mois".