利益:
- AI を使用して実際の引用データベースから取得したデータをクラスタリングして要約しながら、AI メモリから引用数と引用を決して取得しないように実装する機能
- 引用、h-index、インパクトファクターなどの指標は品質ではなく使用を示すこと、および分野間での比較ができないことを理解する能力。
- 個人を評価する際に書誌学的基準のみを使用する場合の倫理的限界を考慮し、定性的評価とバランスを取る能力
大学図書館は、その機関の研究成果を測定します。ある分野で最も影響力のある研究を見つける研究者。マネージャーは、部門の科学的な可視性を評価したい場合があります。この研究の背後にあるのは書誌計量学です。科学出版物とそれらの間の引用関係を数値的に調査する分野です。この単元では、引用分析、出版物のマッピング、影響評価に人工知能を使用する方法を学びます。しかし、数値指標の限界と倫理上の落とし穴を乗り越える方法を学ぶことになります。
概念を定義しましょう。引用とは、ある出版物が別の出版物に対して行う科学的参照です。引用数は、作品がどれだけ使用されたかを示す指標とみなされます。 h 指数は、研究者の生産性と影響力の両方を組み合わせた尺度です (h 件の出版物がそれぞれ少なくとも h 回引用されている場合、h 指数は h になります)。インパクトファクターは、ジャーナルの平均引用レベルを示す尺度です。これらの指標は便利ですが、どれも「品質」を直接測定するものではありません。この区別を念頭に置くことがビブリオメトリクスの本質です。
ステップバイステップ: 責任ある書誌学的分析
1. 質問を明確にします。 「この分野の基礎研究は何ですか?」、「私たちの機関で最も引用されている出版物はどれですか?」、「これら 2 つの分野はどのように交差しますか?」それぞれの質問には異なる分析が必要です。
2. 信頼できるデータを使用します。引用分析の信頼性はデータ ソースと同じくらいです。 AI は引用数や出版物リストを作成できます。したがって、実際の引用データベースのデータを操作することが不可欠です。 AI はデータを生成するのではなく、実際のデータを解釈して要約するために使用します。
3. パターンにマークを付けます。 AI は、大規模な出版物セットのトピック クラスター、共同ネットワーク、または時間の経過に伴う傾向を要約するのに役立ちます。これにより、人間の分析者の注意が重要な点に向けられます。
4. 文脈に応じて基準を解釈します。引用数が少ないからといって、その作品に価値がないわけではありません。分野が小さい場合もあれば、トピックが新しい場合もあれば、出版物が非常に新しい場合もあります。文脈なしに数値を解釈しないでください。
5. 倫理的境界を守ります。個人の雇用、昇進、または資金提供に関する意思決定を行うために、書誌的評価を単独で使用すべきではありません。数字は人の価値を測るものではありません。それらを乱用することは不公平であると同時に有害です。
ヒント: AI に引用分析を実行させる場合は、実際のデータベースからの引用数と出版物の引用を提供します。 AI にこのデータを単純に整理、グループ化、解釈させます。 「この作家のh-indexは何ですか？」直接尋ねると、でっち上げられた番号が返される可能性があります。
基準と操作の限界
書誌学的指標は強力であるように見えるため、悪用される可能性があります。被引用数は、過剰な自己引用 (自分の著作物を引用する)、引用リング (人々のグループが相互に引用し合う)、またはその分野独自の引用文化など、さまざまな方法で膨らむ可能性があります。さらに、基準は分野を超えて比較することはできません。医学論文と哲学論文の引用環境はまったく異なります。
この問題は人文科学や社会科学ではさらに顕著です。なぜなら、これらの分野の重要な成果物（書籍、翻訳、レビュー）が引用データベースで過小評価されているからです。歴史家や文学者の影響力を引用数だけで測ることは、その作品の性質を誤解することになります。図書館員は、管理者や研究者にこれらの基準の限界を説明するガイドです。
注意: 個人の学業上の功績や学部の質に関する最終的な判断として書誌学的尺度を提示しないでください。責任ある研究評価の原則では、対策は定性的評価に代わるものではなく、それを補完するものであることが強調されています。
ミニケース3個
ケース 1 — エリアがマップされています。ある図書館員が、研究グループに自分たちの分野の基本的な研究を見せたいと考えていました。実際の引用データベースから 200 件の出版物からデータを抽出しました。 YZ はこのデータをトピック クラスターに要約し、最も引用された 10 件の研究を強調しました。アナリストはデータベース内の各クラスターと識別子を検証しました。グループはエリアの構造をすぐに把握しました。
ケース 2 — 偽の h-index が捕捉されました。マネージャーが AI に研究者の h インデックスについて質問しました。 AIは「42」と言った。図書館員は実際のデータベースを調べました。正しい値は 19 でした。 AIが数字をでっち上げたのだ。これは、メトリクスは AI メモリから取得されるべきではなく、実際のデータから取得されるべきであることを示しました。
ケース 3 — 誤った比較を防止します。あるユニットでは、平均引用数に基づいて 2 つの章を比較して資金を割り当てたいと考えていました。図書館司書は、一方の学部は医学（引用が多い文化）で、もう一方は人文科学（本が多く、引用が少ない文化）であり、この比較は不公平であると説明した。この評価は、分野の違いを考慮した定性的な基準によって裏付けられました。
ビジュアルマップと読み取りトラップ
ビブリオメトリクスで頻繁に使用されるツールは、ノードとリンクによって出版物または著者間の関係を示すネットワーク マップ (共引用ネットワークや共著ネットワークなど) です。これらの地図は、地域の構造、クラスター、橋梁を視覚的に表示します。 AI は基礎となる実際のデータを集約し、これらのマップの解釈を支援します。しかし、ビジュアル マップは強力である一方で、誤解を招く可能性もあります。中央に表示される大きなノードは、「最も重要」ではなく、単に「最も接続されている」だけである可能性があります。クラスターのサイズは、そのスペースの価値ではなく、出版物の量のみを反映します。さらに、マップの描画方法 (どのしきい値、どの期間、どのデータベース) によっても結果は完全に変わります。したがって、意思決定の基礎として書誌学的ビジュアライゼーションを提示する場合、それがどのデータ、どのパラメータ、どの期間に基づいているかを明確に示すことが不可欠です。 AI が生成したコメントがマップ上のノードを「リーダー」または「最も影響力のある」ノードとして認定する場合は、その特徴付けが実際のデータによってサポートされているかどうかを確認してください。
ヒント: ネットワーク マップを解釈するときに、「中心 = 上部」という罠に陥らないようにしてください。中心性は接続密度を示すだけです。作品の本来の貢献や品質は地図上には表示されず、内容を読むことによってのみ理解できます。
コピー可能な 4 つのテンプレート
1) 実際の引用データの要約:
以下は、実際の引用データベースから取得した出版物リストと引用番号です。それらをトピックのクラスターに分割し、各クラスターを 1 つの文に要約します。私が提供したデータのみを使用し、新しい出版物や引用数を追加/構成しないでください。データ: [ここ]
2) トレンドとパターンのマーキング:
以下の年ベースの出版物/引用データにおける注目すべき傾向 (増加、減少、コラボレーションの集中) を強調します。すべての観察はデータに基づいており、推測しないでください。データ: [ここ]
3) 基準の解釈に関する警告:
次の書誌基準を解釈し、その限界も示してください。どの主題について情報が提供されますか、どの主題について情報が提供されませんか、どの主題について悪用される可能性がありますか?基準とコンテキスト: [ここ]
4) 面積差制御:
次の 2 つのグループの引用データを直接比較できますか?分野間の引用文化の違いを評価し、比較が公平かどうかを説明します。データ: [ここ]
弱いプロンプト / 強いプロンプト
弱いプロンプト:
この著者の最も影響力のある記事と引用数をリストします。
AI は、実際のデータにアクセスせずに、グローバル メモリから架空のタイトルと引用数を生成します。結果: 説得力はあるが偽りの分析。
強力なプロンプト:
あなたの役割: 書誌計量アシスタント。以下は、実際の引用データベースから引用した出版物の引用と引用番号です。このデータを最も引用されたドメインから最も引用されたドメインに並べ替え、トピック クラスターに分割し、各クラスターを要約します。私が与えたデータから逸脱しないでください。また、数字やラベルをでっち上げないでください。基準の制限に関する短いメモを追加します。データ: [ここ]
強力なプロンプト。 AI を実際のデータに制限し、捏造を禁止し、ベンチマークの限界を思い出させます。
基準と制限の表
基準
何を示すか
表示されないもの
注意
引用数
使い方・見え方
品質、正確さ
地域の文化に依存する
h-インデックス
生産性+インパクト
個人の価値
キャリアの長さに敏感
インパクトファクター
ジャーナル平均
単品の価値
雑誌レベルの基準
コラボレーションネットワーク
誰と協力したのか
寄与率
ネットワーク内での役割が不明確
よくある間違い
- AIに引用数を要求する。数値は実際のデータベースの外部で作成されます。
- その基準が品質の尺度であると考えています。引用は品質ではなく使用法を示します。
- エリアを直接比較します。アトリビューションの文化は異なりますし、それは不公平です。
- 人文科学を帰属によって評価する。本の多い成果物はデータベースでは過小評価されています。
- 基準を持って個人を評価する。採用/昇進の決定は単一の基準に基づいて行われるべきではありません。
要約すると
書誌計量学と引用分析では、AI は実際のデータをクラスタリングし、傾向にフラグを立てて要約する強力なアシスタントです。ただし、引用番号や署名欄は AI のメモリによって作成されるため、決して取得しないでください。メトリクスは品質ではなく、使用状況と可視性を示します。ドメイン間で比較することはできません。人文科学では過小評価されており、個人を評価するために単独で使用することはできません。図書館員は、これらの基準の限界を説明し、定性的評価とのバランスをとる責任あるガイドです。
アプリケーションタスク
実際の引用データベースから出版物の小さなリスト (引用数を含む 10 ～ 15 件のレコード) を取得します。 AI クラスターを用意し、「実際の引用データの要約」テンプレートで要約し、データベースに対して引用とカウントを検証します。次に、「基準解釈の警告」テンプレートを使用して、選択した指標 (h-index など) の限界値を出力し、それをマネージャーにどのように説明するかを計画します。
チェックリスト
- [ ] 引用番号と引用文献は実際のデータベースから提供したものであり、AI によって作成されたものではありません。
- [ ] 私は品質ではなく、使用状況/可視性の指標として指標を提示しました。
- [ ] 分野間の引用文化の違いを考慮しました。
- [ ] 人文科学の過小評価を考慮しました。
- [ ] 個人を評価する際に、この基準だけを使用したわけではありません。