Vinster:
- Möjlighet att implementera att aldrig ta citeringsantalet och citaten från AI-minnet samtidigt som data samlas och sammanfattas från den verkliga citeringsdatabasen med AI
- Förmåga att förstå att mätvärden som citering, h-index och effektfaktor indikerar användning men inte kvalitet, och deras ojämförlighet mellan olika fält.
- Förmåga att överväga de etiska gränserna för att enbart använda bibliometriska kriterier för att utvärdera individer och balansera dem med kvalitativ utvärdering
Ett universitetsbibliotek mäter sin institutions forskningsresultat; en forskare för att hitta de mest inflytelserika studierna inom ett område; en chef kanske vill utvärdera en avdelnings vetenskapliga synlighet. Bakom detta arbete ligger bibliometri: fältet som numeriskt undersöker vetenskapliga publikationer och citeringsförhållandena mellan dem. I den här enheten får du lära dig hur du använder artificiell intelligens i citeringsanalys, publikationskartläggning och konsekvensanalys; men du kommer att lära dig hur du navigerar i gränserna och etiska fallgropar för numeriska mått.
Låt oss definiera begreppen. Citering är en vetenskaplig referens från en publikation till en annan publikation; Antalet citeringar anses vara en indikator på hur mycket ett verk har använts. h-indexet är ett mått som kombinerar både produktiviteten och effekten av en forskare (om h antal publikationer var och en har fått minst h citeringar är h-indexet h). Impact factor är ett mått som visar den genomsnittliga citeringsnivån för en tidskrift. Dessa mått är användbara, men ingen är direkt mått på "kvalitet"; Att hålla denna distinktion i åtanke är kärnan i bibliometri.
Steg för steg: ansvarsfull bibliometrisk analys
1. Förtydliga frågan. "Vilka är de grundläggande studierna av detta område?", "Vilka är de mest citerade publikationerna från vår institution?", "Hur skär varandra dessa två fält?" Varje fråga kräver en annan analys.
2. Använd tillförlitliga data. Citeringsanalys är bara lika tillförlitlig som datakällan. AI kan utgöra citeringsantal eller publikationslistor; Därför är det viktigt att arbeta med data från en riktig referensdatabas. Använd AI för att tolka och sammanfatta verklig data, inte för att generera data.
3. Markera mönstren. AI hjälper till att sammanfatta ämneskluster, samarbetsnätverk eller trender över tid i en stor uppsättning publikationer. Detta riktar den mänskliga analytikerns uppmärksamhet till viktiga punkter.
4. Tolka kriteriet i sitt sammanhang. Ett lågt citeringsantal indikerar inte att verket är värdelöst; Fältet kan vara litet, ämnet kan vara nytt eller publikationen kan vara mycket ny. Tolka aldrig numret utan sammanhang.
5. Observera den etiska gränsen. Bibliometriska mått bör inte användas ensamma för att fatta beslut om att anställa, befordra eller finansiera individer. Siffror mäter inte värdet av människor; Att missbruka dem är både orättvist och skadligt.
Tips: När du låter AI utföra en citeringsanalys, ange antalet citat och publikationscitat från den verkliga databasen; Låt AI:n helt enkelt organisera, gruppera och tolka dessa data. "Vad är den här författarens h-index?" Att fråga direkt kan resultera i ett påhittat nummer.
Gränser för kriterier och manipulation
Eftersom bibliometriska mått verkar kraftfulla är de öppna för missbruk. Citeringssiffror kan blåsas upp på en mängd olika sätt: överdriven självcitering (citering av eget arbete), citeringsringar (grupper av människor som ömsesidigt citerar varandra), eller fältets egen citeringskultur. Dessutom är kriterierna inte jämförbara mellan olika områden: citeringsmiljön för en medicinsk artikel och en filosofiartikel är helt olika.
Detta problem är ännu tydligare inom humaniora och samhällsvetenskap; eftersom betydande resultat inom dessa områden (böcker, översättningar, recensioner) är underrepresenterade i citeringsdatabaser. Att mäta effekten av en historiker eller litteraturvetare enbart utifrån antalet citat är att missförstå verkets natur. Bibliotekarien är en guide som förklarar gränserna för dessa kriterier för administratörer och forskare.
Varning: Presentera inte ett bibliometriskt mått som en slutgiltig bedömning av en individs akademiska meriter eller kvaliteten på en institution. Principer för ansvarsfull forskningsutvärdering betonar att åtgärder ska komplettera kvalitativ utvärdering, inte ersätta den.
tre minifodral
Fall 1 — Område kartlagt. En bibliotekarie ville visa en forskargrupp grundläggande arbete inom sitt område. Den hämtade data från 200 publikationer från en riktig referensdatabas; YZ sammanfattade dessa data i ämneskluster och lyfte fram de 10 mest citerade studierna. Analytikern verifierade varje kluster och identifierare i databasen; gruppen fattade snabbt strukturen i området.
Fall 2 — Falskt h-index fångat. En chef frågade AI om en forskares h-index; AI sa "42". Bibliotekarien tittade på den faktiska databasen: det korrekta värdet var 19; AI hade gjort upp numret. Detta visade att mätvärden aldrig bör tas från AI-minne utan från verklig data.
Fall 3 — Felaktig jämförelse förhindras. En enhet ville fördela medel genom att jämföra två kapitel utifrån deras genomsnittliga antal citeringar. Bibliotekarien förklarade att en av institutionerna var medicin (hög citeringskultur) och den andra var humaniora (boktung, lågciterad kultur), och att denna jämförelse skulle vara orättvis. Utvärderingen stöddes av kvalitativa kriterier som tog hänsyn till fältskillnader.
Visuella kartor och läsfällor
Ett ofta använt verktyg inom bibliometri är nätverkskartor (t.ex. samciterings- eller medförfattarskapsnätverk), som visar relationer mellan publikationer eller författare genom noder och länkar. Dessa kartor synliggör ett områdes struktur, kluster och broverk; AI kan aggregera de underliggande verkliga data och hjälpa till att tolka dessa kartor. Men visuella kartor, även om de är kraftfulla, kan också vara missvisande: en stor, centralt synlig nod kanske inte är den "viktigaste" utan bara den "mest uppkopplade"; Storleken på ett kluster kan bara spegla publikationsvolymen, inte värdet på det utrymmet. Dessutom ändrar hur kartan ritas (vilken tröskel, vilken tidsperiod, vilken databas) resultatet helt. När en bibliometrisk visualisering presenteras som underlag för ett beslut är det därför absolut nödvändigt att tydligt ange vilka data den bygger på, vilka parametrar och under vilken tidsperiod. Om en AI-genererad kommentar kvalificerar en nod på kartan som en "ledare" eller "mest inflytelserik", kontrollera för att se om den karaktäriseringen stöds av verkliga data.
Tips: Gå inte i fällan "center = topp" när du tolkar en nätverkskarta. Centralitet indikerar endast anslutningstäthet; Det ursprungliga bidraget eller kvaliteten på ett verk syns inte på kartan och kan bara förstås genom att läsa innehållet.
Fyra kopierbara mallar
1) Sammanfattning av faktiska citatdata:
Nedan finns publikationslistan och citatnummer som jag tog från en riktig citatdatabas. Dela in dem i ämneskluster och sammanfatta varje kluster i en enda mening. Använd bara de uppgifter jag lämnat, lägg inte till/sminka inte till nya publikationer eller citaträkningar. Data: [här]
2) Trend- och mönstermarkering:
Markera anmärkningsvärda trender (ökning, minskning, samarbetskoncentration) i den årsbaserade publikations-/citatdata nedan. Basera varje observation på data, spekulera inte. Data: [här]
3) Varning för tolkning av kriterier:
Tolka följande bibliometriska kriterium, och ange också dess gränser: om vilket ämne tillhandahåller det information, om vilket ämne tillhandahåller det inte information, om vilket ämne är det öppet för missbruk? Kriterier och sammanhang: [här]
4) Områdesskillnadskontroll:
Kan citeringsdata för följande två grupper direkt jämföras? Utvärdera skillnaderna i citeringskultur mellan fälten och förklara om jämförelsen är rättvis. Data: [här]
Svag prompt / Stark prompt
Svag uppmaning:
Lista den här författarens mest inflytelserika artiklar och citat.
AI:n genererar påhittade titlar och citaträkningar från sitt globala minne utan att komma åt riktiga data. Resultat: en övertygande men falsk analys.
Kraftfull uppmaning:
Din roll: bibliometriassistent. Nedan finns publikationscitaten och citeringsnumren som jag hämtade från den riktiga citatdatabasen. Sortera denna data från mest citerade domän till lägsta, dela upp den i ämneskluster och sammanfatta varje kluster. Avvik inte från de uppgifter jag har angett, gör inga siffror eller etiketter. Lägg till en kort notering om kriteriernas gränser. Data: [här]
Kraftfull uppmaning; Det begränsar AI till verklig data, förbjuder tillverkning och påminner oss om benchmark-gränser.
Tabell över kriterier och gränser
kriterium
Vad visar
Vad syns inte
Uppmärksamhet
Antal hänvisningar
Användning/synlighet
kvalitet, noggrannhet
Beror på områdets kultur
h-index
Produktivitet+påverkan
individens värde
Känslig för karriärlängd
Påverkansfaktor
Journal genomsnitt
Värdet av en enda artikel
Kriterier på tidskriftsnivå
samarbetsnätverk
Vem jobbade med
Bidragsgrad
Roll i nätverket oklart
Vanliga misstag
- Begär citeringsantalet från AI. Siffror är uppbyggda utanför den verkliga databasen.
- Tänker att kriteriet är ett kvalitetsmått. Citering indikerar användning, inte kvalitet.
- Jämför områden direkt. Attributionskulturer är olika, det är inte rättvist.
- Mätning av humaniora genom tillskrivning. Boktunga utdata är underrepresenterade i databaser.
- Utvärdera individer med kriterier. Beslutet om anställning/befordran bör inte baseras på ett enda kriterium.
Sammanfattningsvis
Inom bibliometri och citeringsanalys är AI en kraftfull assistent som grupperar verklig data, flaggar trender och sammanfattar; Men ta aldrig hänvisningsnummer och bylines från AI-minnet, eftersom det utgör det. Mätvärden visar användning och synlighet, inte kvalitet; kan inte jämföras mellan olika domäner; är underrepresenterad inom humaniora och kan inte användas ensam för att utvärdera individer. Bibliotekarien är en ansvarig guide som förklarar gränserna för dessa kriterier och balanserar dem med kvalitativ utvärdering.
Applikationsuppgift
Ta en liten lista med publikationer (10-15 poster, med citeringsantal) från en riktig citeringsdatabas. Ha AI-klustret och sammanfatta med mallen "Sammanfatta verkliga citatdata", validera sedan citaten och räknas mot databasen. Skriv sedan ut gränserna för ett valfritt mått (t.ex. h-index) med mallen "Kriteriatolkningsvarning" och planera hur du ska förklara det för en chef.
checklista
- [ ] Jag angav hänvisningsnumren och hänvisningarna från den verkliga databasen, jag lät inte skapa dem av AI.
- [ ] Jag presenterade måtten som indikatorer på användning/synlighet, inte kvalitet.
- [ ] Jag tog hänsyn till skillnaden i citeringskultur mellan fält.
- [ ] Jag tog hänsyn till underrepresentationen av humaniora.
- [ ] Jag använde inte enbart kriteriet för att utvärdera individer.