Gewinne:
- Möglichkeit zur Implementierung, ohne dass die Zitationsanzahl und Zitate aus dem KI-Speicher übernommen werden, während die Daten aus der echten Zitationsdatenbank mit KI geclustert und zusammengefasst werden
- Fähigkeit zu verstehen, dass Metriken wie Zitierung, H-Index und Impact-Faktor auf die Nutzung, nicht aber auf die Qualität hinweisen, und dass sie bereichsübergreifend nicht vergleichbar sind.
- Fähigkeit, die ethischen Grenzen der alleinigen Verwendung bibliometrischer Kriterien bei der Bewertung von Personen zu berücksichtigen und diese mit der qualitativen Bewertung in Einklang zu bringen
Eine Universitätsbibliothek misst den Forschungsoutput ihrer Einrichtung; ein Forscher, der die einflussreichsten Studien auf einem Gebiet findet; Ein Manager möchte möglicherweise die wissenschaftliche Sichtbarkeit einer Abteilung bewerten. Hinter dieser Arbeit steht die Bibliometrie: das Gebiet, das wissenschaftliche Publikationen und die Zitierbeziehungen zwischen ihnen numerisch untersucht. In dieser Einheit lernen Sie, wie Sie künstliche Intelligenz bei der Zitieranalyse, der Kartierung von Veröffentlichungen und der Folgenabschätzung einsetzen. Aber Sie werden lernen, wie Sie mit den Grenzen und ethischen Fallstricken numerischer Metriken umgehen.
Lassen Sie uns die Konzepte definieren. Zitieren ist ein wissenschaftlicher Verweis einer Publikation auf eine andere Publikation; Die Anzahl der Zitate gilt als Indikator dafür, wie häufig ein Werk genutzt wurde. Der h-Index ist ein Maß, das sowohl die Produktivität als auch die Wirkung eines Forschers kombiniert (wenn h Veröffentlichungen jeweils mindestens h Zitate erhalten haben, ist der h-Index h). Der Impact-Faktor ist ein Maß, das die durchschnittliche Zitierquote einer Zeitschrift angibt. Diese Kennzahlen sind nützlich, aber keines davon ist ein direktes Maß für die „Qualität“; Diese Unterscheidung im Hinterkopf zu behalten, ist das Wesentliche der Bibliometrie.
Schritt für Schritt: Verantwortungsvolle bibliometrische Analyse
1. Klären Sie die Frage. „Was sind die Grundlagenstudien zu diesem Fachgebiet?“, „Welche sind die am häufigsten zitierten Publikationen unserer Einrichtung?“, „Wie überschneiden sich diese beiden Fachgebiete?“ Jede Frage erfordert eine andere Analyse.
2. Verwenden Sie zuverlässige Daten. Die Zitationsanalyse ist nur so zuverlässig wie die Datenquelle. KI kann Zitierzählungen oder Publikationslisten erstellen; Daher ist es wichtig, mit Daten aus einer echten Zitationsdatenbank zu arbeiten. Verwenden Sie KI, um reale Daten zu interpretieren und zusammenzufassen, nicht um Daten zu generieren.
3. Lassen Sie die Muster markieren. KI hilft dabei, Themencluster, Kooperationsnetzwerke oder Trends im Zeitverlauf in einer großen Anzahl von Veröffentlichungen zusammenzufassen. Dies lenkt die Aufmerksamkeit des menschlichen Analytikers auf wichtige Punkte.
4. Interpretieren Sie das Kriterium im Kontext. Eine niedrige Zitationszahl bedeutet nicht, dass die Arbeit wertlos ist; Das Feld kann klein sein, das Thema kann neu sein oder die Veröffentlichung kann sehr neu sein. Interpretieren Sie die Zahl niemals ohne Kontext.
5. Beachten Sie die ethischen Grenzen. Bibliometrische Messungen sollten nicht allein verwendet werden, um Entscheidungen über die Einstellung, Beförderung oder Finanzierung von Personen zu treffen. Zahlen messen nicht den Wert von Menschen; Sie zu missbrauchen ist sowohl unfair als auch schädlich.
Tipp: Wenn Sie AI eine Zitationsanalyse durchführen lassen, geben Sie die Zitationszahlen und Publikationszitate aus der realen Datenbank an; Lassen Sie die KI diese Daten einfach organisieren, gruppieren und interpretieren. „Wie lautet der H-Index dieses Autors?“ Eine direkte Nachfrage kann zu einer erfundenen Nummer führen.
Grenzen von Kriterien und Manipulation
Da bibliometrische Kennzahlen leistungsstark erscheinen, sind sie anfällig für Missbrauch. Die Zitationszahlen können auf unterschiedliche Weise überhöht werden: übermäßige Selbstzitierung (Zitieren der eigenen Arbeit), Zitierringe (Gruppen von Personen, die sich gegenseitig zitieren) oder die eigene Zitierkultur des Fachgebiets. Darüber hinaus sind die Kriterien nicht fachübergreifend vergleichbar: Die Zitierumgebung eines medizinischen Artikels und eines philosophischen Artikels ist völlig unterschiedlich.
Dieses Problem ist in den Geistes- und Sozialwissenschaften noch deutlicher; weil bedeutende Ergebnisse in diesen Bereichen (Bücher, Übersetzungen, Rezensionen) in Zitationsdatenbanken unterrepräsentiert sind. Die Wirkung eines Historikers oder Literaturwissenschaftlers allein an der Anzahl der Zitate zu messen, bedeutet, die Natur des Werks falsch zu verstehen. Der Bibliothekar ist ein Leitfaden, der Administratoren und Forschern die Grenzen dieser Kriterien erläutert.
Achtung: Stellen Sie ein bibliometrisches Maß nicht als abschließendes Urteil über die akademischen Leistungen einer Person oder die Qualität einer Abteilung dar. Die Grundsätze der verantwortungsvollen Forschungsevaluation betonen, dass Maßnahmen die qualitative Evaluierung ergänzen und nicht ersetzen sollten.
drei Mini-Koffer
Fall 1 – Gebiet kartiert. Ein Bibliothekar wollte einer Forschungsgruppe grundlegende Arbeiten in seinem Fachgebiet zeigen. Es wurden Daten von 200 Veröffentlichungen aus einer echten Zitierdatenbank abgerufen; YZ hat diese Daten in Themenclustern zusammengefasst und die 10 am häufigsten zitierten Studien hervorgehoben. Der Analyst überprüfte jeden Cluster und jede Kennung in der Datenbank. Die Gruppe erfasste schnell die Struktur des Gebiets.
Fall 2 – Gefälschter H-Index erwischt. Ein Manager fragte die KI nach dem h-Index eines Forschers; Die KI sagte „42“. Der Bibliothekar schaute sich die tatsächliche Datenbank an: Der korrekte Wert war 19; Die KI hatte die Zahl erfunden. Dies zeigte, dass Metriken niemals aus dem KI-Speicher, sondern aus realen Daten entnommen werden sollten.
Fall 3 – Falscher Vergleich verhindert. Eine Einheit wollte die Mittel zuweisen, indem sie zwei Kapitel anhand ihrer durchschnittlichen Anzahl an Zitaten vergleicht. Der Bibliothekar erklärte, dass eine der Abteilungen Medizin sei (hohe Zitationskultur) und die andere Geisteswissenschaften (buchlastig, niedrige Zitationskultur) und dass dieser Vergleich unfair sei. Die Bewertung wurde durch qualitative Kriterien unterstützt, die Feldunterschiede berücksichtigten.
Visuelle Karten und Lesefallen
Ein häufig verwendetes Werkzeug in der Bibliometrie sind Netzwerkkarten (z. B. Co-Citation- oder Co-Autorennetzwerke), die Beziehungen zwischen Publikationen oder Autoren durch Knoten und Links darstellen. Diese Karten machen die Struktur, Cluster und Brückenwerke eines Gebiets sichtbar; KI kann die zugrunde liegenden realen Daten aggregieren und bei der Interpretation dieser Karten helfen. Aber visuelle Karten sind zwar leistungsstark, können aber auch irreführend sein: Ein großer, zentral sichtbarer Knoten ist möglicherweise nicht der „wichtigste“, sondern nur der „am stärksten verbundene“; Die Größe eines Clusters kann nur das Volumen der Veröffentlichung widerspiegeln, nicht den Wert dieses Raums. Darüber hinaus verändert die Art und Weise, wie die Karte gezeichnet wird (welcher Schwellenwert, welcher Zeitraum, welche Datenbank), das Ergebnis vollständig. Daher ist es bei der Darstellung einer bibliometrischen Visualisierung als Entscheidungsgrundlage zwingend erforderlich, klar anzugeben, auf welchen Daten, welchen Parametern und über welchen Zeitraum sie basiert. Wenn ein von der KI generierter Kommentar einen Knoten auf der Karte als „führend“ oder „am einflussreichsten“ qualifiziert, prüfen Sie, ob diese Charakterisierung durch echte Daten unterstützt wird.
Tipp: Tappen Sie bei der Interpretation einer Netzwerkkarte nicht in die „Mitte = oben“-Falle. Zentralität gibt nur die Verbindungsdichte an; Der ursprüngliche Beitrag oder die Qualität eines Werkes ist auf der Karte nicht sichtbar und kann nur durch die Lektüre des Inhalts verstanden werden.
Vier kopierbare Vorlagen
1) Zusammenfassung der tatsächlichen Zitierdaten:
Nachfolgend finden Sie die Publikationsliste und Zitationsnummern, die ich einer echten Zitationsdatenbank entnommen habe. Teilen Sie sie in Themencluster auf und fassen Sie jeden Cluster in einem einzigen Satz zusammen. Verwenden Sie einfach die von mir bereitgestellten Daten, fügen Sie keine neuen Veröffentlichungen oder Zitationszahlen hinzu bzw. erstellen Sie keine neuen. Daten: [hier]
2) Trend- und Mustermarkierung:
Heben Sie bemerkenswerte Trends (Zunahme, Abnahme, Konzentration der Zusammenarbeit) in den unten aufgeführten jährlichen Veröffentlichungs-/Zitatdaten hervor. Basieren Sie jede Beobachtung auf Daten, spekulieren Sie nicht. Daten: [hier]
3) Warnung zur Kriterieninterpretation:
Interpretieren Sie das folgende bibliometrische Kriterium und geben Sie dabei auch seine Grenzen an: Zu welchem Thema gibt es Auskunft, zu welchem Thema gibt es keine Auskunft, zu welchem Thema ist es anfällig für Missbrauch? Kriterien und Kontext: [hier]
4) Flächendifferenzkontrolle:
Können die Zitierdaten der folgenden beiden Gruppen direkt verglichen werden? Bewerten Sie die Unterschiede in der Zitierkultur zwischen den Fachgebieten und erläutern Sie, ob der Vergleich fair ist. Daten: [hier]
Schwache Eingabeaufforderung / Starke Eingabeaufforderung
Schwache Eingabeaufforderung:
Listen Sie die einflussreichsten Artikel dieses Autors und die Anzahl der Zitate auf.
Die KI generiert erfundene Titel und Zitationszahlen aus ihrem globalen Speicher, ohne auf die realen Daten zuzugreifen. Ergebnis: eine überzeugende, aber falsche Analyse.
Kraftvolle Aufforderung:
Ihre Rolle: Bibliometrie-Assistent. Nachfolgend sind die Veröffentlichungszitate und Zitationsnummern aufgeführt, die ich aus der echten Zitationsdatenbank entnommen habe. Sortieren Sie diese Daten von der am häufigsten zitierten Domäne zur niedrigsten, unterteilen Sie sie in Themencluster und fassen Sie jeden Cluster zusammen. Weichen Sie nicht von den von mir angegebenen Daten ab, erfinden Sie keine Zahlen oder Bezeichnungen. Fügen Sie eine kurze Anmerkung zu den Grenzen der Kriterien hinzu. Daten: [hier]
Leistungsstarke Eingabeaufforderung; Es beschränkt die KI auf reale Daten, verbietet Fälschungen und erinnert uns an Benchmark-Grenzwerte.
Kriterien- und Grenzwerttabelle
Kriterium
Was zeigt
Was nicht angezeigt wird
Achtung
Anzahl der Zitate
Nutzung/Sichtbarkeit
Qualität, Genauigkeit
Hängt von der Kultur der Gegend ab
h-Index
Produktivität+Wirkung
Wert des Einzelnen
Sensibel auf die Länge der Karriere
Impact-Faktor
Zeitschriftendurchschnitt
Wert eines einzelnen Artikels
Kriterien auf Journalebene
Kollaborationsnetzwerk
Mit wem gearbeitet hat
Beitragssatz
Rolle im Netzwerk unklar
Häufige Fehler
- Anfordern der Zitieranzahl von AI. Zahlen werden außerhalb der realen Datenbank zusammengestellt.
- Ich denke, dass das Kriterium ein Maß für die Qualität ist. Die Zitierung bezieht sich auf die Verwendung, nicht auf die Qualität.
- Bereiche direkt vergleichen. Zuschreibungskulturen sind unterschiedlich, das ist nicht fair.
- Messung der Geisteswissenschaften durch Attribution. Buchlastige Ausgaben sind in Datenbanken unterrepräsentiert.
- Personen anhand von Kriterien bewerten. Die Einstellungs-/Beförderungsentscheidung sollte nicht auf einem einzigen Kriterium basieren.
Zusammenfassend
In der Bibliometrie und Zitationsanalyse ist KI ein leistungsstarker Assistent, der reale Daten gruppiert, Trends markiert und zusammenfasst; Aber nimm niemals Zitationsnummern und Verfasserzeilen aus dem KI-Speicher, denn sie bilden ihn ab. Metriken zeigen Nutzung und Sichtbarkeit, nicht die Qualität; nicht domänenübergreifend vergleichbar; ist in den Geisteswissenschaften unterrepräsentiert und kann nicht allein zur Beurteilung von Personen herangezogen werden. Der Bibliothekar ist ein verantwortungsvoller Ratgeber, der die Grenzen dieser Kriterien erläutert und sie mit einer qualitativen Bewertung abgleicht.
Anwendungsaufgabe
Nehmen Sie eine kleine Liste von Veröffentlichungen (10-15 Datensätze, mit Zitationszählungen) aus einer echten Zitationsdatenbank. Nutzen Sie den KI-Cluster und fassen Sie mit der Vorlage „Echte Zitatdaten zusammenfassen“ zusammen, validieren Sie dann die Zitate und Zählungen anhand der Datenbank. Drucken Sie anschließend mit der Vorlage „Kriterieninterpretationswarnung“ die Grenzen einer Metrik Ihrer Wahl (z. B. h-Index) aus und planen Sie, wie Sie diese einer Führungskraft erklären.
Checkliste
- [ ] Ich habe die Zitationsnummern und Zitate aus der echten Datenbank bereitgestellt, ich habe sie nicht von AI erstellen lassen.
- [ ] Ich habe die Metriken als Indikatoren für Nutzung/Sichtbarkeit dargestellt, nicht für Qualität.
- [ ] Ich habe die Unterschiede in der Zitierkultur zwischen den Fachgebieten berücksichtigt.
- [ ] Ich habe der Unterrepräsentation der Geisteswissenschaften Rechnung getragen.
- [ ] Ich habe das Kriterium nicht allein bei der Bewertung von Einzelpersonen verwendet.