Winst:
- Mogelijkheid om te implementeren dat het aantal citaties en citaten nooit uit het AI-geheugen wordt gehaald, terwijl de gegevens uit de echte citatiedatabase met AI worden geclusterd en samengevat
- Vermogen om te begrijpen dat statistieken zoals citatie, h-index en impactfactor het gebruik aangeven, maar niet de kwaliteit, en hun onvergelijkbaarheid tussen vakgebieden.
- Vermogen om de ethische grenzen te overwegen van het gebruik van alleen bibliometrische criteria bij het evalueren van individuen en deze in evenwicht te brengen met kwalitatieve evaluatie
Een universiteitsbibliotheek meet de onderzoeksoutput van haar instelling; een onderzoeker die de meest invloedrijke onderzoeken op een vakgebied vindt; een manager wil misschien de wetenschappelijke zichtbaarheid van een afdeling evalueren. Achter dit werk schuilt de bibliometrie: het vakgebied dat wetenschappelijke publicaties en de citatierelaties daartussen numeriek onderzoekt. In deze unit leer je hoe je kunstmatige intelligentie kunt gebruiken bij citatieanalyse, publicatiemapping en impactbeoordeling; maar je zult leren hoe je door de grenzen en ethische valkuilen van numerieke metrieken kunt navigeren.
Laten we de concepten definiëren. Citatie is een wetenschappelijke verwijzing van de ene publicatie naar een andere publicatie; Het aantal citaties wordt beschouwd als een indicator van hoeveel een werk is gebruikt. De h-index is een maatstaf die zowel de productiviteit als de impact van een onderzoeker combineert (als h aantal publicaties elk minstens h citaties hebben ontvangen, is de h-index h). Impactfactor is een maatstaf die het gemiddelde citatieniveau van een tijdschrift weergeeft. Deze statistieken zijn nuttig, maar geen enkele is een directe maatstaf voor ‘kwaliteit’; Dit onderscheid in gedachten houden is de essentie van bibliometrie.
Stap voor stap: verantwoorde bibliometrische analyse
1. Verduidelijk de vraag. "Wat zijn de basisstudies op dit gebied?", "Wat zijn de meest geciteerde publicaties van onze instelling?", "Hoe kruisen deze twee velden?" Elke vraag vereist een andere analyse.
2. Gebruik betrouwbare data. Citatieanalyse is slechts zo betrouwbaar als de gegevensbron. AI kan citatietellingen of publicatielijsten opstellen; Daarom is het essentieel om te werken met gegevens uit een echte citatiedatabase. Gebruik AI om echte gegevens te interpreteren en samen te vatten, niet om gegevens te genereren.
3. Laat de patronen markeren. AI helpt bij het samenvatten van onderwerpclusters, samenwerkingsnetwerken of trends in de loop van de tijd in een groot aantal publicaties. Dit vestigt de aandacht van de menselijke analist op belangrijke punten.
4. Interpreteer het criterium in de context. Een laag aantal citaties betekent niet dat het werk waardeloos is; Het veld kan klein zijn, het onderwerp kan nieuw zijn, of de publicatie kan heel nieuw zijn. Interpreteer het getal nooit zonder context.
5. Observeer de ethische grens. Bibliometrische maatstaven mogen niet alleen worden gebruikt om beslissingen te nemen over het aannemen, promoveren of financieren van personen. Cijfers meten niet de waarde van mensen; Misbruik ervan is zowel oneerlijk als schadelijk.
Tip: Wanneer u AI een citatieanalyse laat uitvoeren, geef dan de citatietellingen en publicatiecitaties uit de echte database op; Laat de AI deze data eenvoudig organiseren, groeperen en interpreteren. "Wat is de h-index van deze schrijver?" Direct vragen kan resulteren in een verzonnen nummer.
Grenzen van criteria en manipulatie
Omdat bibliometrische metrieken krachtig lijken, staan ze bloot aan misbruik. Citatiecijfers kunnen op verschillende manieren worden opgeblazen: overmatige zelfcitatie (het citeren van het eigen werk), citatieringen (groepen mensen die elkaar wederzijds citeren), of de eigen citatiecultuur van het vakgebied. Bovendien zijn de criteria niet vakgebiedoverschrijdend vergelijkbaar: de citatieomgeving van een medisch artikel en een filosofisch artikel is totaal verschillend.
Dit probleem is zelfs nog duidelijker zichtbaar in de geestes- en sociale wetenschappen; omdat aanzienlijke resultaten op deze gebieden (boeken, vertalingen, recensies) ondervertegenwoordigd zijn in citatiedatabases. Als je de impact van een historicus of literatuurwetenschapper uitsluitend aan de hand van het aantal citaten meet, mis je de aard van het werk. De bibliothecaris is een gids die de grenzen van deze criteria uitlegt aan beheerders en onderzoekers.
Let op: Presenteer een bibliometrische maatstaf niet als een definitief oordeel over de academische verdiensten van een individu of de kwaliteit van een afdeling. Principes van verantwoorde onderzoeksevaluatie benadrukken dat maatregelen de kwalitatieve evaluatie moeten aanvullen en niet moeten vervangen.
drie minikoffers
Geval 1 — Gebied in kaart gebracht. Een bibliothecaris wilde een onderzoeksgroep basiswerk op hun vakgebied laten zien. Het haalde gegevens uit 200 publicaties uit een echte citatiedatabase; YZ vatte deze gegevens samen in onderwerpclusters en belichtte de 10 meest geciteerde onderzoeken. De analist verifieerde elk cluster en elke identificatie in de database; de groep had de structuur van het gebied snel door.
Geval 2 — Valse h-index gevangen. Een manager vroeg de AI naar de h-index van een onderzoeker; De AI zei "42". De bibliothecaris keek naar de daadwerkelijke database: de juiste waarde was 19; De AI had het nummer verzonnen. Hieruit bleek dat statistieken nooit uit het AI-geheugen mogen worden gehaald, maar uit echte gegevens.
Geval 3 — Onjuiste vergelijking voorkomen. Eén eenheid wilde geld toewijzen door twee hoofdstukken te vergelijken op basis van hun gemiddelde aantal citaties. De bibliothecaris legde uit dat een van de afdelingen geneeskunde was (cultuur met hoge citaties) en de andere afdeling geesteswetenschappen (cultuur met veel boeken en lage citaties), en dat deze vergelijking oneerlijk zou zijn. De evaluatie werd ondersteund door kwalitatieve criteria die rekening hielden met veldverschillen.
Visuele kaarten en leesvallen
Een veelgebruikt hulpmiddel in de bibliometrie zijn netwerkkaarten (bijvoorbeeld co-citatie- of co-auteurschapsnetwerken), die relaties tussen publicaties of auteurs weergeven aan de hand van knooppunten en links. Deze kaarten maken de structuur, clusters en brugwerken van een gebied zichtbaar; AI kan de onderliggende echte gegevens samenvoegen en deze kaarten helpen interpreteren. Maar visuele kaarten zijn weliswaar krachtig, maar kunnen ook misleidend zijn: een groot, centraal zichtbaar knooppunt is misschien niet het ‘belangrijkste’, maar juist het ‘meest verbonden’; De omvang van een cluster kan alleen het publicatievolume weerspiegelen, niet de waarde van die ruimte. Bovendien verandert de manier waarop de kaart wordt getekend (welke drempel, welke tijdsperiode, welke database) de uitkomst volledig. Daarom is het bij het presenteren van een bibliometrische visualisatie als basis voor een beslissing absoluut noodzakelijk om duidelijk aan te geven op welke gegevens deze is gebaseerd, op welke parameters en over welke tijdsperiode. Als een door AI gegenereerd commentaar een knooppunt op de kaart kwalificeert als ‘leider’ of ‘meest invloedrijke’, controleer dan of die karakterisering wordt ondersteund door echte gegevens.
Tip: Trap niet in de 'midden = boven'-valkuil bij het interpreteren van een netwerkkaart. Centraliteit geeft alleen de verbindingsdichtheid aan; De oorspronkelijke bijdrage of kwaliteit van een werk is niet zichtbaar op de kaart en kan alleen worden begrepen door de inhoud te lezen.
Vier kopieerbare sjablonen
1) Samenvatting van feitelijke citatiegegevens:
Hieronder vindt u de publicatielijst en citatienummers die ik uit een echte citatiedatabase heb gehaald. Verdeel ze in onderwerpclusters en vat elk cluster in één zin samen. Gebruik gewoon de gegevens die ik heb verstrekt, voeg geen nieuwe publicaties toe of verzin geen citatietellingen. Gegevens: [hier]
2) Trend- en patroonmarkering:
Markeer opmerkelijke trends (toename, afname, concentratie van samenwerking) in de onderstaande publicatie-/citatiegegevens op jaarbasis. Baseer elke waarneming op gegevens, speculeer niet. Gegevens: [hier]
3) Waarschuwing voor interpretatie van criteria:
Interpreteer het volgende bibliometrische criterium en geef daarbij de grenzen aan: over welk onderwerp geeft het informatie, over welk onderwerp geeft het geen informatie, over welk onderwerp is het vatbaar voor misbruik? Criteria en context: [hier]
4) Controle oppervlakteverschil:
Kunnen de citatiegegevens van de volgende twee groepen rechtstreeks worden vergeleken? Evalueer de verschillen in citatiecultuur tussen de vakgebieden en leg uit of de vergelijking eerlijk is. Gegevens: [hier]
Zwakke prompt/sterke prompt
Zwakke prompt:
Maak een lijst van de meest invloedrijke artikelen van deze auteur en het aantal citaties.
De AI genereert verzonnen titels en citatietellingen uit zijn globale geheugen zonder toegang te krijgen tot de echte gegevens. Resultaat: een overtuigende maar valse analyse.
Krachtige prompt:
Jouw rol: assistent bibliometrie. Hieronder staan de publicatiecitaties en citatienummers die ik uit de echte citatiedatabase heb gehaald. Sorteer deze gegevens van het meest geciteerde domein naar het laagste, verdeel ze in onderwerpclusters en vat elk cluster samen. Wijk niet af van de gegevens die ik heb gegeven, verzin geen cijfers of labels. Voeg een korte opmerking toe over de grenzen van de criteria. Gegevens: [hier]
Krachtige prompt; Het beperkt AI tot echte gegevens, verbiedt fabricage en herinnert ons aan benchmarklimieten.
Tabel met criteria en limieten
criterium
Wat blijkt
Wat blijkt niet
Aandacht
Aantal citaties
Gebruik/zichtbaarheid
kwaliteit, nauwkeurigheid
Afhankelijk van de cultuur van het gebied
h-index
Productiviteit+impact
waarde van het individu
Gevoelig voor de lengte van de carrière
Impactfactor
Tijdschriftgemiddelde
Waarde van één artikel
Criteria op dagboekniveau
samenwerking netwerk
Met wie werkte
Bijdrage tarief
Rol in het netwerk onduidelijk
Veel voorkomende fouten
- Het aantal citaties opvragen bij AI. Getallen worden buiten de echte database samengesteld.
- Denken dat het criterium een maatstaf voor kwaliteit is. Citatie duidt op gebruik, niet op kwaliteit.
- Direct gebieden vergelijken. Attributieculturen zijn verschillend, het is niet eerlijk.
- Het meten van de geesteswetenschappen door attributie. Boekzware outputs zijn ondervertegenwoordigd in databases.
- Het beoordelen van individuen met criteria. Het besluit tot aanwerving/promotie mag niet gebaseerd zijn op één enkel criterium.
Samengevat
In bibliometrie en citatieanalyse is AI een krachtige assistent die echte gegevens clustert, trends signaleert en samenvat; Maar haal nooit citatienummers en naamregels uit het AI-geheugen, want dat verzint het. Statistieken tonen gebruik en zichtbaarheid, niet kwaliteit; kan niet tussen domeinen worden vergeleken; is ondervertegenwoordigd in de geesteswetenschappen en kan niet op zichzelf worden gebruikt om individuen te evalueren. De bibliothecaris is een verantwoordelijke gids die de grenzen van deze criteria uitlegt en deze in evenwicht brengt met een kwalitatieve evaluatie.
Applicatie taak
Neem een kleine lijst met publicaties (10-15 records, met citatieaantallen) uit een echte citatiedatabase. Laat het AI-cluster en vat het samen met de sjabloon ‘Reële citatiegegevens samenvatten’, valideer vervolgens de citaties en tel deze af tegen de database. Druk vervolgens de limieten af van een metriek naar keuze (bijvoorbeeld h-index) met de sjabloon 'Criteria-interpretatiewaarschuwing' en plan hoe u dit aan een manager gaat uitleggen.
controlelijst
- [ ] Ik heb de citatienummers en citaten uit de echte database aangeleverd, ik heb ze niet door AI laten verzinnen.
- [ ] Ik presenteerde de statistieken als indicatoren van gebruik/zichtbaarheid, niet van kwaliteit.
- [ ] Ik heb rekening gehouden met het verschil in citatiecultuur tussen vakgebieden.
- [ ] Ik hield rekening met de ondervertegenwoordiging van de geesteswetenschappen.
- [ ] Ik heb het criterium niet alleen gebruikt bij het beoordelen van individuen.