Gevinster:
- Evne til å implementere aldri å ta siteringstall og siteringer fra AI-minnet mens du grupperer og oppsummerer dataene hentet fra den virkelige siteringsdatabasen med AI
- Evne til å forstå at beregninger som sitering, h-indeks og effektfaktor indikerer bruk, men ikke kvalitet, og deres uforlignbarhet på tvers av felt.
- Evne til å vurdere de etiske grensene for å bruke bibliometriske kriterier alene i evaluering av individer og balansere dem med kvalitativ evaluering
Et universitetsbibliotek måler forskningsresultatet til institusjonen; en forsker for å finne de mest innflytelsesrike studiene av et felt; en leder vil kanskje vurdere den vitenskapelige synligheten til en avdeling. Bak dette arbeidet ligger bibliometri: feltet som numerisk undersøker vitenskapelige publikasjoner og siteringsforholdet mellom dem. I denne enheten lærer du hvordan du bruker kunstig intelligens i siteringsanalyse, publikasjonskartlegging og konsekvensutredning; men du vil lære hvordan du navigerer i grensene og etiske fallgruvene til numeriske beregninger.
La oss definere begrepene. Sitering er en vitenskapelig referanse fra én publikasjon til en annen publikasjon; Antall siteringer regnes som en indikator på hvor mye et verk har blitt brukt. H-indeksen er et mål som kombinerer både produktiviteten og effekten til en forsker (hvis h antall publikasjoner hver har mottatt minst h siteringer, er h-indeksen h). Impact factor er et mål som viser gjennomsnittlig siteringsnivå for et tidsskrift. Disse beregningene er nyttige, men ingen er direkte mål på "kvalitet"; Å holde denne forskjellen i bakhodet er essensen av bibliometri.
Trinn for trinn: ansvarlig bibliometrisk analyse
1. Avklar spørsmålet. "Hva er de grunnleggende studiene av dette feltet?", "Hvilke er de mest siterte publikasjonene fra vår institusjon?", "Hvordan krysser disse to feltene?" Hvert spørsmål krever en annen analyse.
2. Bruk pålitelige data. Sitasjonsanalyse er bare like pålitelig som datakilden. AI kan utgjøre sitattellinger eller publikasjonslister; Derfor er det essensielt å jobbe med data fra en ekte siteringsdatabase. Bruk AI til å tolke og oppsummere virkelige data, ikke for å generere data.
3. La mønstrene merkes. AI hjelper med å oppsummere emneklynger, samarbeidsnettverk eller trender over tid i et stort sett med publikasjoner. Dette retter den menneskelige analytikerens oppmerksomhet mot viktige punkter.
4. Tolk kriteriet i sammenheng. Et lavt siteringstall indikerer ikke at verket er verdiløst; Feltet kan være lite, emnet kan være nytt, eller publikasjonen kan være veldig ny. Tolk aldri tallet uten kontekst.
5. Observer den etiske grensen. Bibliometriske mål bør ikke brukes alene for å ta beslutninger om ansettelse, promotering eller finansiering av enkeltpersoner. Tall måler ikke verdien av mennesker; Å misbruke dem er både urettferdig og skadelig.
Tips: Når AI skal utføre en siteringsanalyse, oppgi siteringstallene og publikasjonssiteringene fra den virkelige databasen; La AI-en ganske enkelt organisere, gruppere og tolke disse dataene. "Hva er denne forfatterens h-indeks?" Å spørre direkte kan resultere i et oppdiktet nummer.
Begrensninger for kriterier og manipulasjon
Fordi bibliometriske beregninger virker kraftige, er de åpne for misbruk. Sitatall kan blåses opp på en rekke måter: overdreven selvsitering (som siterer ens eget arbeid), siteringsringer (grupper av mennesker som siterer hverandre gjensidig), eller feltets egen siteringskultur. Dessuten er ikke kriteriene sammenlignbare på tvers av felt: siteringsmiljøet for en medisinsk artikkel og en filosofiartikkel er helt annerledes.
Dette problemet er enda tydeligere innen humaniora og samfunnsvitenskap; fordi betydelige resultater på disse feltene (bøker, oversettelser, anmeldelser) er underrepresentert i sitasjonsdatabaser. Å måle virkningen av en historiker eller litteraturviter utelukkende ved antall siteringer er å misforstå verkets natur. Bibliotekaren er en guide som forklarer grensene for disse kriteriene til administratorer og forskere.
Forsiktig: Ikke presenter et bibliometrisk mål som en endelig vurdering av en persons akademiske fortjeneste eller kvaliteten på en avdeling. Prinsipper for ansvarlig forskningsevaluering legger vekt på at tiltak skal utfylle kvalitativ evaluering, ikke erstatte den.
tre minisaker
Sak 1 — Område kartlagt. En bibliotekar ønsket å vise en forskergruppe grunnleggende arbeid innen sitt felt. Den hentet data fra 200 publikasjoner fra en ekte siteringsdatabase; YZ oppsummerte disse dataene i emneklynger og fremhevet de 10 mest siterte studiene. Analytikeren verifiserte hver klynge og identifikator i databasen; gruppen skjønte raskt strukturen i området.
Sak 2 — Falsk h-indeks fanget. En leder spurte AI om en forskers h-indeks; AI sa "42". Bibliotekaren så på den faktiske databasen: den riktige verdien var 19; AI hadde laget nummeret. Dette viste at beregninger aldri skulle hentes fra AI-minne, men fra ekte data.
Tilfelle 3 — Feil sammenligning forhindret. En enhet ønsket å fordele midler ved å sammenligne to kapitler basert på deres gjennomsnittlige antall siteringer. Bibliotekaren forklarte at den ene avdelingen var medisin (høy siteringskultur) og den andre var humaniora (boktung, lav siteringskultur), og at denne sammenligningen ville være urettferdig. Evalueringen ble støttet av kvalitative kriterier som tok hensyn til feltforskjeller.
Visuelle kart og lesefeller
Et ofte brukt verktøy i bibliometri er nettverkskart (f.eks. samsitering eller medforfatternettverk), som viser forhold mellom publikasjoner eller forfattere etter noder og lenker. Disse kartene synliggjør strukturen, klynger og broverk i et område; AI kan samle de underliggende virkelige dataene og hjelpe til med å tolke disse kartene. Men visuelle kart, selv om de er kraftige, kan også være misvisende: en stor, sentralt synlig node er kanskje ikke den "viktigste", men bare den "mest tilkoblede"; Størrelsen på en klynge kan bare gjenspeile publiseringsvolumet, ikke verdien av den plassen. I tillegg, hvordan kartet tegnes (hvilken terskel, hvilken tidsperiode, hvilken database) endrer resultatet fullstendig. Når en bibliometrisk visualisering presenteres som grunnlag for en beslutning, er det derfor viktig å tydelig angi hvilke data den er basert på, hvilke parametere og over hvilken tidsperiode. Hvis en AI-generert kommentar kvalifiserer en node på kartet som en «leder» eller «mest innflytelsesrik», sjekk for å se om den karakteriseringen støttes av ekte data.
Tips: Ikke gå i fellen "senter = topp" når du tolker et nettverkskart. Sentralitet indikerer bare tilkoblingstetthet; Det originale bidraget eller kvaliteten til et verk er ikke synlig på kartet og kan bare forstås ved å lese innholdet.
Fire kopierbare maler
1) Oppsummering av faktiske siteringsdata:
Nedenfor er publikasjonslisten og sitatnummer jeg tok fra en ekte sitatdatabase. Del dem inn i emneklynger og oppsummer hver klynge i en enkelt setning. Bare bruk dataene jeg ga, ikke legg til/lag opp nye publikasjoner eller siteringstall. Data: [her]
2) Trend- og mønstermerking:
Fremhev bemerkelsesverdige trender (økning, reduksjon, samarbeidskonsentrasjon) i de årsbaserte publikasjons-/siteringsdataene nedenfor. Baser hver observasjon på data, ikke spekuler. Data: [her]
3) Advarsel om tolkning av kriterier:
Tolk følgende bibliometriske kriterium, og angir også grensene: om hvilket emne gir det informasjon, om hvilket emne gir det ikke informasjon, om hvilket emne er det åpent for misbruk? Kriterier og kontekst: [her]
4) Områdedifferansekontroll:
Kan sitasjonsdataene til de følgende to gruppene direkte sammenlignes? Vurder forskjellene i siteringskultur mellom feltene og forklar om sammenligningen er rettferdig. Data: [her]
Svak forespørsel / Sterk forespørsel
Svak melding:
List opp denne forfatterens mest innflytelsesrike artikler og siteringstall.
AI genererer oppdiktede titler og siteringstall fra det globale minnet uten å få tilgang til de virkelige dataene. Resultat: en overbevisende, men falsk analyse.
Kraftig ledetekst:
Din rolle: bibliometriassistent. Nedenfor er publikasjonshenvisningene og sitatnumrene jeg hentet fra den virkelige sitatdatabasen. Sorter disse dataene fra mest siterte domene til laveste, del dem inn i emneklynger og oppsummer hver klynge. Ikke avvik fra dataene jeg har gitt, ikke lag opp noen tall eller etiketter. Legg til en kort merknad om grensene for kriteriene. Data: [her]
Kraftig ledetekst; Det begrenser AI til ekte data, forbyr fabrikasjon og minner oss om benchmarkgrenser.
Tabell over kriterier og grenser
kriterium
Hva viser
Det som ikke vises
Oppmerksomhet
Antall siteringer
Bruk/synlighet
kvalitet, nøyaktighet
Avhenger av kultur i området
h-indeks
Produktivitet+effekt
verdien av individet
Følsom for karrierelengde
Påvirkningsfaktor
Journalgjennomsnitt
Verdien av enkeltartikkel
Kriterier på journalnivå
samarbeidsnettverk
Hvem jobbet med
Bidragsprosent
Uklar rolle i nettverket
Vanlige feil
- Ber om siteringstall fra AI. Tall er laget utenfor den virkelige databasen.
- Tenker at kriteriet er et mål på kvalitet. Sitering indikerer bruk, ikke kvalitet.
- Sammenligne områder direkte. Attribusjonskulturer er forskjellige, det er ikke rettferdig.
- Måling av humaniora ved attribusjon. Boktunge utganger er underrepresentert i databaser.
- Evaluering av individer med kriterier. Beslutningen om ansettelse/forfremmelse bør ikke baseres på ett enkelt kriterium.
Oppsummert
I bibliometri og sitasjonsanalyse er AI en kraftig assistent som grupperer ekte data, flagger trender og oppsummerer; Men ta aldri sitatnummer og bylines fra AI-minnet, fordi det utgjør det. Beregninger viser bruk og synlighet, ikke kvalitet; kan ikke sammenlignes på tvers av domener; er underrepresentert i humaniora og kan ikke brukes alene til å vurdere enkeltpersoner. Bibliotekaren er en ansvarlig veileder som forklarer grensene for disse kriteriene og balanserer dem med kvalitativ evaluering.
Søknadsoppgave
Ta en liten liste over publikasjoner (10-15 poster, med siteringstall) fra en ekte siteringsdatabase. Ha AI-klyngen og oppsummer med malen "Sammendrag ekte sitatdata", valider deretter sitatene og teller mot databasen. Skriv deretter ut grensene for en beregning du velger (f.eks. h-indeks) med malen "Advarsel om tolkning av kriterier" og planlegg hvordan du skal forklare det til en leder.
sjekkliste
- [ ] Jeg oppga sitatnumrene og sitatene fra den virkelige databasen, jeg fikk dem ikke laget av AI.
- [ ] Jeg presenterte beregningene som indikatorer på bruk/synlighet, ikke kvalitet.
- [ ] Jeg tok hensyn til forskjellen i siteringskultur mellom felt.
- [ ] Jeg tok hensyn til underrepresentasjonen av humaniora.
- [ ] Jeg brukte ikke kriteriet alene ved vurdering av individer.