Gains :
- Possibilité de mettre en œuvre ne jamais prendre le nombre de citations et les citations de la mémoire de l'IA tout en regroupant et en résumant les données extraites de la base de données de citations réelle avec l'IA
- Capacité à comprendre que des mesures telles que la citation, l'indice h et le facteur d'impact indiquent l'utilisation mais pas la qualité, et leur incomparabilité entre les domaines.
- Capacité à considérer les limites éthiques de l'utilisation de critères bibliométriques seuls dans l'évaluation des individus et à les équilibrer avec une évaluation qualitative
Une bibliothèque universitaire mesure les résultats de recherche de son institution ; un chercheur pour trouver les études les plus influentes dans un domaine ; un gestionnaire peut vouloir évaluer la visibilité scientifique d'un département. Derrière ce travail se trouve la bibliométrie : le domaine qui examine numériquement les publications scientifiques et les relations de citation entre elles. Dans cette unité, vous apprendrez à utiliser l'intelligence artificielle dans l'analyse des citations, la cartographie des publications et l'évaluation de l'impact ; mais vous apprendrez à naviguer dans les limites et les pièges éthiques des mesures numériques.
Définissons les concepts. La citation est une référence scientifique faite par une publication à une autre publication ; Le nombre de citations est considéré comme un indicateur de l’utilisation d’une œuvre. L'indice h est une mesure qui combine à la fois la productivité et l'impact d'un chercheur (si un nombre h de publications ont chacune reçu au moins h citations, l'indice h est h). Le facteur d'impact est une mesure qui montre le niveau moyen de citation d'une revue. Ces mesures sont utiles, mais aucune n’est une mesure directe de la « qualité » ; Garder cette distinction à l’esprit est l’essence même de la bibliométrie.
Pas à pas : une analyse bibliométrique responsable
1. Clarifiez la question. "Quelles sont les études fondamentales de ce domaine ?", "Quelles sont les publications les plus citées de notre institution ?", "Comment ces deux domaines se croisent ?" Chaque question nécessite une analyse différente.
2. Utilisez des données fiables. L’analyse des citations est aussi fiable que la source de données. L’IA peut établir des décomptes de citations ou des listes de publications ; Il est donc essentiel de travailler avec des données provenant d’une véritable base de données de citations. Utilisez l’IA pour interpréter et résumer des données réelles, et non pour générer des données.
3. Faites marquer les motifs. L'IA permet de résumer des groupes de sujets, des réseaux collaboratifs ou des tendances au fil du temps dans un large éventail de publications. Cela dirige l’attention de l’analyste humain sur des points importants.
4. Interprétez le critère dans son contexte. Un faible nombre de citations n’indique pas que l’ouvrage ne vaut rien ; Le domaine peut être restreint, le sujet peut être nouveau ou la publication peut être très nouvelle. N’interprétez jamais le numéro sans contexte.
5. Observez la frontière éthique. Les mesures bibliométriques ne doivent pas être utilisées seules pour prendre des décisions concernant l’embauche, la promotion ou le financement des individus. Les chiffres ne mesurent pas la valeur des personnes ; En abuser est à la fois injuste et nuisible.
Astuce : lorsque vous demandez à l'IA d'effectuer une analyse des citations, fournissez le nombre de citations et les citations de publications de la base de données réelle ; Laissez l’IA simplement organiser, regrouper et interpréter ces données. "Quel est l'indice h de cet écrivain ?" Demander directement peut donner lieu à un numéro inventé.
Limites des critères et manipulations
Parce que les mesures bibliométriques semblent puissantes, elles sont sujettes à des abus. Le nombre de citations peut être gonflé de diverses manières : auto-citation excessive (citant son propre travail), anneaux de citations (groupes de personnes se citant réciproquement) ou culture de citation propre au domaine. De plus, les critères ne sont pas comparables d’un domaine à l’autre : l’environnement de citation d’un article médical et d’un article de philosophie est complètement différent.
Ce problème est encore plus évident dans les sciences humaines et sociales ; car les productions significatives dans ces domaines (livres, traductions, critiques) sont sous-représentées dans les bases de données de citations. Mesurer l’impact d’un historien ou d’un spécialiste de la littérature uniquement par le nombre de citations, c’est se méprendre sur la nature de son œuvre. Le bibliothécaire est un guide qui explique les limites de ces critères aux administrateurs et aux chercheurs.
Attention : Ne présentez pas une mesure bibliométrique comme un jugement final sur le mérite académique d'un individu ou sur la qualité d'un département. Les principes d’une évaluation responsable de la recherche soulignent que les mesures doivent compléter l’évaluation qualitative et non la remplacer.
trois mini-cases
Cas 1 — Zone cartographiée. Un bibliothécaire souhaitait montrer à un groupe de recherche le travail de base dans son domaine. Il a extrait les données de 200 publications d’une véritable base de données de citations ; YZ a résumé ces données en groupes thématiques et a mis en évidence les 10 études les plus citées. L'analyste a vérifié chaque cluster et identifiant dans la base de données ; le groupe a rapidement compris la structure du quartier.
Cas 2 — Faux h-index détecté. Un responsable a interrogé l'IA sur l'indice h d'un chercheur ; L'IA a dit "42". Le bibliothécaire a regardé la base de données réelle : la valeur correcte était 19 ; L’IA avait inventé le chiffre. Cela a montré que les métriques ne doivent jamais être extraites de la mémoire de l’IA mais de données réelles.
Cas 3 — Comparaison incorrecte évitée. Une unité souhaitait allouer des fonds en comparant deux chapitres en fonction de leur nombre moyen de citations. Le bibliothécaire a expliqué que l'un des départements était celui de la médecine (culture à forte citation) et l'autre aux sciences humaines (culture à forte intensité de livres et faible citation), et que cette comparaison serait injuste. L'évaluation était étayée par des critères qualitatifs qui tenaient compte des différences sur le terrain.
Cartes visuelles et pièges à lecture
Un outil fréquemment utilisé en bibliométrie est les cartes de réseau (par exemple les réseaux de co-citation ou de co-auteur), qui montrent les relations entre les publications ou les auteurs par nœuds et liens. Ces cartes rendent visibles la structure, les clusters et les ponts d'une zone ; L’IA peut regrouper les données réelles sous-jacentes et aider à interpréter ces cartes. Mais les cartes visuelles, bien que puissantes, peuvent aussi être trompeuses : un grand nœud visible au centre n'est peut-être pas le « plus important » mais simplement le « plus connecté » ; La taille d'un cluster ne peut refléter que le volume de publication, et non la valeur de cet espace. De plus, la manière dont la carte est dessinée (quel seuil, quelle période, quelle base de données) change complètement le résultat. Ainsi, lorsqu’on présente une visualisation bibliométrique comme base de décision, il est impératif d’indiquer clairement sur quelles données elle se base, sur quels paramètres et sur quelle période. Si un commentaire généré par l’IA qualifie un nœud sur la carte de « leader » ou de « plus influent », vérifiez si cette caractérisation est étayée par des données réelles.
Astuce : Ne tombez pas dans le piège "center = top" lors de l'interprétation d'une carte de réseau. La centralité indique uniquement la densité de connexion ; L'apport original ou la qualité d'une œuvre n'est pas visible sur la carte et ne peut être compris qu'à la lecture du contenu.
Quatre modèles copiables
1) Résumer les données de citation réelles :
Vous trouverez ci-dessous la liste des publications et les numéros de citation que j'ai tirés d'une véritable base de données de citations. Divisez-les en groupes de sujets et résumez chaque groupe en une seule phrase. Utilisez simplement les données que j'ai fournies, n'ajoutez/n'inventez pas de nouvelles publications ou de nouveaux décomptes de citations. Données : [ici]
2) Marquage de tendance et de motif :
Mettez en évidence les tendances notables (augmentation, diminution, concentration de la collaboration) dans les données annuelles de publication/citation ci-dessous. Basez chaque observation sur des données, ne spéculez pas. Données : [ici]
3) Avertissement concernant l'interprétation des critères :
Interpréter le critère bibliométrique suivant, en précisant également ses limites : sur quel sujet renseigne-t-il, sur quel sujet ne renseigne-t-il pas, sur quel sujet est-il susceptible d'abus ? Critères et contexte : [ici]
4) Contrôle des différences de zone :
Les données de citation des deux groupes suivants peuvent-elles être directement comparées ? Évaluez les différences de culture de citation entre les domaines et expliquez si la comparaison est équitable. Données : [ici]
Invite faible/Invite forte
Invite faible :
Répertoriez les articles les plus influents de cet auteur et le nombre de citations.
L'IA génère des titres inventés et un nombre de citations à partir de sa mémoire globale sans accéder aux données réelles. Résultat : une analyse convaincante mais fallacieuse.
Invite puissante :
Votre rôle : assistant bibliométrique. Vous trouverez ci-dessous les citations de publications et les numéros de citation que j'ai extraits de la véritable base de données de citations. Triez ces données du domaine le plus cité au plus bas, divisez-les en groupes de sujets et résumez chaque groupe. Ne vous écartez pas des données que j'ai fournies, n'inventez aucun chiffre ni aucune étiquette. Ajoutez une brève note sur les limites des critères. Données : [ici]
Invite puissante ; Cela limite l’IA aux données réelles, interdit la fabrication et nous rappelle les limites des références.
Tableau des critères et limites
critère
Ce qui montre
Ce qui ne montre pas
Attention
Nombre de citations
Utilisation/visibilité
qualité, précision
Cela dépend de la culture de la région
indice h
Productivité+impact
valeur de l'individu
Sensible à la durée de carrière
Facteur d'impact
Moyenne du journal
Valeur d'un article unique
Critères au niveau du journal
réseau de collaboration
Avec qui a travaillé
Taux de cotisation
Le rôle dans le réseau n'est pas clair
Erreurs courantes
- Demander le nombre de citations à AI. Les numéros sont constitués en dehors de la base de données réelle.
- Penser que le critère est une mesure de qualité. La citation indique l'utilisation, pas la qualité.
- Comparer directement les zones. Les cultures d'attribution sont différentes, ce n'est pas juste.
- Mesurer les sciences humaines par attribution. Les productions riches en livres sont sous-représentées dans les bases de données.
- Évaluer les individus avec des critères. La décision d’embauche/promotion ne doit pas être basée sur un seul critère.
En résumé
En bibliométrie et en analyse de citations, l’IA est un assistant puissant qui regroupe des données réelles, signale les tendances et les résume ; Mais ne prenez jamais les numéros de citation et les signatures de la mémoire de l'IA, car cela l'invente. Les mesures montrent l'utilisation et la visibilité, pas la qualité ; ne peut pas être comparé entre les domaines ; est sous-représentée dans les sciences humaines et ne peut être utilisée seule pour évaluer les individus. Le bibliothécaire est un guide responsable qui explique les limites de ces critères et les pondère par une évaluation qualitative.
Tâche de candidature
Prenez une petite liste de publications (10 à 15 enregistrements, avec le nombre de citations) à partir d'une véritable base de données de citations. Disposez du cluster IA et résumez avec le modèle « Résumer les données de citation réelles », puis validez les citations et les décomptes par rapport à la base de données. Imprimez ensuite les limites d'une métrique de votre choix (par exemple h-index) avec le modèle « Avertissement d'interprétation des critères » et planifiez comment vous l'expliquerez à un manager.
liste de contrôle
- [ ] J'ai fourni les numéros de citation et les citations de la vraie base de données, je ne les ai pas fait composer par l'IA.
- [ ] J'ai présenté les métriques comme des indicateurs d'utilisation/visibilité, et non de qualité.
- [ ] J'ai pris en compte la différence de culture de citation entre les domaines.
- [ ] J'ai pris en compte la sous-représentation des sciences humaines.
- [ ] Je n'ai pas utilisé le critère seul pour évaluer les individus.