Gevinster:
- Evne til at implementere aldrig at tage citationsantallet og citationerne fra AI-hukommelsen, mens du grupperer og opsummerer data taget fra den rigtige citationsdatabase med AI
- Evne til at forstå, at metrics såsom citation, h-indeks og impact factor indikerer brug, men ikke kvalitet, og deres uforlignlighed på tværs af felter.
- Evne til at overveje de etiske grænser ved at bruge bibliometriske kriterier alene til at evaluere individer og balancere dem med kvalitativ evaluering
Et universitetsbibliotek måler sin institutions forskningsoutput; en forsker for at finde de mest indflydelsesrige undersøgelser af et felt; en leder ønsker måske at evaluere en afdelings videnskabelige synlighed. Bag dette arbejde er bibliometri: det felt, der numerisk undersøger videnskabelige publikationer og citationsforholdet mellem dem. I denne enhed lærer du, hvordan du bruger kunstig intelligens i citationsanalyse, publikationskortlægning og konsekvensanalyse; men du vil lære, hvordan du navigerer i grænserne og de etiske faldgruber ved numeriske metrikker.
Lad os definere begreberne. Citation er en videnskabelig reference fra en publikation til en anden publikation; Antallet af citater betragtes som en indikator for, hvor meget et værk er blevet brugt. h-indekset er et mål, der kombinerer både produktiviteten og virkningen af en forsker (hvis h antal publikationer hver især har modtaget mindst h citater, er h-indekset h). Impact factor er et mål, der viser det gennemsnitlige citeringsniveau for et tidsskrift. Disse målinger er nyttige, men ingen er direkte mål for "kvalitet"; At holde denne sondring i tankerne er essensen af bibliometri.
Trin for trin: ansvarlig bibliometrisk analyse
1. Afklar spørgsmålet. "Hvad er de grundlæggende undersøgelser af dette felt?", "Hvilke er de mest citerede publikationer fra vores institution?", "Hvordan krydser disse to felter hinanden?" Hvert spørgsmål kræver en anden analyse.
2. Brug pålidelige data. Citationsanalyse er kun så pålidelig som datakilden. AI kan udgøre citationstællinger eller publikationslister; Derfor er det essentielt at arbejde med data fra en rigtig citationsdatabase. Brug AI til at fortolke og opsummere virkelige data, ikke til at generere data.
3. Få markeret mønstrene. AI hjælper med at opsummere emneklynger, samarbejdsnetværk eller tendenser over tid i et stort sæt publikationer. Dette retter den menneskelige analytikers opmærksomhed mod vigtige punkter.
4. Fortolk kriteriet i sammenhæng. Et lavt citatantal indikerer ikke, at værket er værdiløst; Feltet kan være lille, emnet kan være nyt, eller publikationen kan være meget ny. Fortolk aldrig nummeret uden kontekst.
5. Overhold den etiske grænse. Bibliometriske mål bør ikke bruges alene til at træffe beslutninger om ansættelse, forfremmelse eller finansiering af enkeltpersoner. Tal måler ikke værdien af mennesker; At misbruge dem er både uretfærdigt og skadeligt.
Tip: Når AI skal udføre en citationsanalyse, skal du angive antallet af citater og publikationscitater fra den rigtige database; Lad AI'en ganske enkelt organisere, gruppere og fortolke disse data. "Hvad er denne forfatters h-indeks?" At spørge direkte kan resultere i et opdigtet nummer.
Grænser for kriterier og manipulation
Fordi bibliometriske målinger virker stærke, er de åbne for misbrug. Citattal kan pustes op på en række forskellige måder: overdreven selvcitering (citering af eget arbejde), citationsringe (grupper af mennesker, der gensidigt citerer hinanden), eller feltets egen citationskultur. Desuden er kriterierne ikke sammenlignelige på tværs af felter: citatmiljøet for en medicinsk artikel og en filosofiartikel er helt anderledes.
Dette problem er endnu mere tydeligt inden for humaniora og samfundsvidenskab; fordi betydelige output på disse områder (bøger, oversættelser, anmeldelser) er underrepræsenteret i citationsdatabaser. At måle virkningen af en historiker eller litteraturforsker udelukkende ud fra antallet af citater er at misforstå værkets karakter. Bibliotekaren er en guide, der forklarer grænserne for disse kriterier til administratorer og forskere.
Forsigtig: Præsenter ikke et bibliometrisk mål som en endelig bedømmelse af en persons akademiske fortjeneste eller kvaliteten af en afdeling. Principper for ansvarlig forskningsevaluering understreger, at foranstaltninger skal supplere kvalitativ evaluering, ikke erstatte den.
tre minisager
Sag 1 — Område kortlagt. En bibliotekar ønskede at vise en forskergruppe grundlæggende arbejde inden for deres felt. Det trak data fra 200 publikationer fra en rigtig citationsdatabase; YZ opsummerede disse data i emneklynger og fremhævede de 10 mest citerede undersøgelser. Analytikeren verificerede hver klynge og identifikator i databasen; gruppen fattede hurtigt strukturen i området.
Tilfælde 2 — Falsk h-indeks fanget. En leder spurgte AI om en forskers h-indeks; AI sagde "42". Bibliotekaren kiggede på den faktiske database: den korrekte værdi var 19; AI'en havde lavet nummeret. Dette viste, at målinger aldrig skulle tages fra AI-hukommelse, men fra rigtige data.
Tilfælde 3 — Forkert sammenligning forhindret. En enhed ønskede at allokere midler ved at sammenligne to kapitler baseret på deres gennemsnitlige antal citater. Bibliotekaren forklarede, at den ene afdeling var medicin (høj citationskultur) og den anden var humaniora (bogtung, lav citeringskultur), og at denne sammenligning ville være uretfærdig. Evalueringen blev understøttet af kvalitative kriterier, der tog højde for feltforskelle.
Visuelle kort og læsefælder
Et ofte brugt værktøj i bibliometri er netværkskort (f.eks. co-citation eller co-authorship networks), som viser relationer mellem publikationer eller forfattere efter noder og links. Disse kort synliggør strukturen, klynger og broværker i et område; AI kan samle de underliggende reelle data og hjælpe med at fortolke disse kort. Men visuelle kort kan, selvom de er kraftfulde, også være vildledende: en stor, centralt synlig knude er måske ikke den "vigtigste", men bare den "mest forbundet"; Størrelsen af en klynge kan kun afspejle omfanget af udgivelsen, ikke værdien af det pågældende rum. Derudover ændrer hvordan kortet er tegnet (hvilken tærskel, hvilken tidsperiode, hvilken database) resultatet fuldstændigt. Når en bibliometrisk visualisering præsenteres som grundlag for en beslutning, er det derfor bydende nødvendigt tydeligt at angive, hvilke data den er baseret på, hvilke parametre og i hvilket tidsrum. Hvis en AI-genereret kommentar kvalificerer en node på kortet som en "leder" eller "mest indflydelsesrig", skal du kontrollere, om denne karakterisering understøttes af rigtige data.
Tip: Gå ikke i "center = top"-fælden, når du fortolker et netværkskort. Centralitet angiver kun forbindelsestæthed; Det originale bidrag eller kvaliteten af et værk er ikke synligt på kortet og kan kun forstås ved at læse indholdet.
Fire kopierbare skabeloner
1) Opsummering af faktiske citatdata:
Nedenfor er publikationslisten og citatnumre, jeg tog fra en rigtig citationsdatabase. Opdel dem i emneklynger og opsummer hver klynge i en enkelt sætning. Brug blot de data, jeg har givet, lad være med at tilføje/opfinde nye publikationer eller citattællinger. Data: [her]
2) Trend- og mønstermarkering:
Fremhæv bemærkelsesværdige tendenser (stigning, fald, samarbejdskoncentration) i de år-baserede publikations-/citationsdata nedenfor. Baser enhver observation på data, undlad at spekulere. Data: [her]
3) Advarsel om fortolkning af kriterier:
Fortolk følgende bibliometriske kriterium, og angiv også dets grænser: om hvilket emne giver det information, om hvilket emne giver det ikke information, om hvilket emne er det åbent for misbrug? Kriterier og kontekst: [her]
4) Områdeforskelkontrol:
Kan citationsdataene for følgende to grupper direkte sammenlignes? Vurder forskellene i citationskulturen mellem felterne og forklar, om sammenligningen er retfærdig. Data: [her]
Svag prompt / Stærk prompt
Svag prompt:
Angiv denne forfatters mest indflydelsesrige artikler og citater.
AI genererer opdigtede titler og citattællinger fra sin globale hukommelse uden at få adgang til de rigtige data. Resultat: en overbevisende, men falsk analyse.
Kraftig prompt:
Din rolle: bibliometriassistent. Nedenfor er de publikationshenvisninger og citatnumre, jeg hentede fra den rigtige citatdatabase. Sorter disse data fra mest citerede domæne til laveste, opdel dem i emneklynger, og opsummer hver klynge. Afvig ikke fra de data, jeg har givet, lav ingen tal eller etiketter. Tilføj en kort note om kriteriernes grænser. Data: [her]
Kraftig prompt; Det begrænser AI til rigtige data, forbyder fremstilling og minder os om benchmarkgrænser.
Tabel over kriterier og grænser
kriterium
Hvad viser
Hvad viser sig ikke
Opmærksomhed
Antal citater
Anvendelse/synlighed
kvalitet, nøjagtighed
Afhænger af områdets kultur
h-indeks
Produktivitet+påvirkning
individets værdi
Følsom over for karrierens længde
Påvirkningsfaktor
Journalgennemsnit
Værdien af en enkelt artikel
Kriterier på journalniveau
samarbejdsnetværk
Hvem arbejdede med
Bidragssats
Rolle i netværket uklar
Almindelige fejl
- Anmoder om antallet af citater fra AI. Numre er lavet uden for den rigtige database.
- Tænker, at kriteriet er et mål for kvalitet. Citation angiver brug, ikke kvalitet.
- Sammenlign områder direkte. Attributionskulturer er forskellige, det er ikke retfærdigt.
- Måling af humaniora ved tilskrivning. Bogtunge output er underrepræsenteret i databaser.
- Evaluering af personer med kriterier. Beslutningen om ansættelse/forfremmelse bør ikke baseres på et enkelt kriterium.
Sammenfattende
I bibliometri og citationsanalyse er AI en kraftfuld assistent, der grupperer rigtige data, markerer tendenser og opsummerer; Men tag aldrig citatnumre og bylines fra AI-hukommelsen, fordi den udgør det. Målinger viser brug og synlighed, ikke kvalitet; kan ikke sammenlignes på tværs af domæner; er underrepræsenteret inden for humaniora og kan ikke alene bruges til at vurdere individer. Bibliotekaren er en ansvarlig guide, der forklarer grænserne for disse kriterier og afbalancerer dem med kvalitativ evaluering.
Ansøgningsopgave
Tag en lille liste over publikationer (10-15 poster, med citationsantal) fra en rigtig citationsdatabase. Få AI-klyngen og opsummer med skabelonen "Summarize real citation data", og valider derefter citationerne og tæller mod databasen. Udskriv derefter grænserne for en metrik efter eget valg (f.eks. h-indeks) med skabelonen "Advarsel om fortolkning af kriterier" og planlæg, hvordan du vil forklare det til en leder.
tjekliste
- [ ] Jeg oplyste citatnumrene og citaterne fra den rigtige database, jeg fik dem ikke lavet af AI.
- [ ] Jeg præsenterede metrikken som indikatorer for brug/synlighed, ikke kvalitet.
- [ ] Jeg tog højde for forskellen i citationskultur mellem felter.
- [ ] Jeg tog hensyn til underrepræsentationen af humaniora.
- [ ] Jeg brugte ikke kriteriet alene til at vurdere individer.