Dobici:
- Sposobnost implementacije nikad ne preuzimanja broja citata i citata iz AI memorije dok se grupiraju i sažimaju podaci uzeti iz stvarne baze podataka citata pomoću AI
- Sposobnost razumijevanja da metrike kao što su citiranost, h-indeks i čimbenik utjecaja ukazuju na upotrebu, ali ne i na kvalitetu, te njihovu neusporedivost među poljima.
- Sposobnost razmatranja etičkih ograničenja korištenja samo bibliometrijskih kriterija u ocjenjivanju pojedinaca i njihova ravnoteža s kvalitativnom procjenom
Sveučilišna knjižnica mjeri rezultate istraživanja svoje ustanove; istraživač pronaći najutjecajnije studije nekog područja; menadžer može htjeti procijeniti znanstvenu vidljivost odjela. Iza ovog rada stoji bibliometrija: polje koje numerički ispituje znanstvene publikacije i odnose citiranosti među njima. U ovoj ćete jedinici naučiti kako koristiti umjetnu inteligenciju u analizi citata, mapiranju publikacija i procjeni utjecaja; ali naučit ćete kako se snaći u granicama i etičkim zamkama numeričke metrike.
Definirajmo pojmove. Citiranje je znanstvena referenca jedne publikacije na drugu publikaciju; Broj citata smatra se pokazateljem koliko je djelo korišteno. H-indeks je mjera koja kombinira produktivnost i utjecaj istraživača (ako je h publikacija imalo najmanje h citata, h-indeks je h). Faktor utjecaja je mjera koja pokazuje prosječnu razinu citiranosti časopisa. Ove metrike su korisne, ali niti jedna nije izravna mjera "kvalitete"; Imati na umu ovu razliku bit je bibliometrije.
Korak po korak: odgovorna bibliometrijska analiza
1. Pojasnite pitanje. "Koja su temeljna istraživanja ovog područja?", "Koje su najcitiranije publikacije naše ustanove?", "Kako se ova dva područja presijecaju?" Svako pitanje zahtijeva drugačiju analizu.
2. Koristite pouzdane podatke. Analiza citata pouzdana je onoliko koliko je pouzdan izvor podataka. AI može napraviti brojanje citata ili popise publikacija; Stoga je bitno raditi s podacima iz prave baze podataka citata. Koristite AI za tumačenje i sažimanje stvarnih podataka, a ne za generiranje podataka.
3. Označite uzorke. AI pomaže sažimati tematske klastere, suradničke mreže ili trendove tijekom vremena u velikom skupu publikacija. Ovo usmjerava pozornost ljudskog analitičara na važne točke.
4. Interpretirajte kriterij u kontekstu. Nizak broj citata ne znači da je rad bezvrijedan; Područje može biti malo, tema može biti nova ili publikacija može biti vrlo nova. Nikada nemojte tumačiti broj bez konteksta.
5. Poštujte etičku granicu. Bibliometrijske mjere ne bi se trebale koristiti same za donošenje odluka o zapošljavanju, promicanju ili financiranju pojedinaca. Brojke ne mjere vrijednost ljudi; Njihovo zlostavljanje je i nepravedno i štetno.
Savjet: kada umjetna inteligencija izvodi analizu citata, navedite broj citata i citate publikacije iz stvarne baze podataka; Neka AI jednostavno organizira, grupira i interpretira ove podatke. "Koji je h-indeks ovog pisca?" Izravno pitanje može rezultirati izmišljenim brojem.
Granice kriterija i manipulacija
Budući da se bibliometrijska metrika čini snažnom, otvorena je za zlouporabu. Citiranost se može povećati na različite načine: pretjerano samocitiranje (citiranje vlastitog rada), krugovi citiranja (skupine ljudi koje međusobno citiraju jedni druge) ili vlastita kultura citiranja u tom području. Štoviše, kriteriji nisu usporedivi među područjima: okruženje citiranja medicinskog članka i filozofskog članka potpuno je različito.
Taj je problem još izraženiji u humanističkim i društvenim znanostima; jer su značajni rezultati u tim poljima (knjige, prijevodi, recenzije) nedovoljno zastupljeni u bazama citata. Mjeriti utjecaj povjesničara ili književnog znanstvenika samo brojem citata znači pogrešno razumjeti prirodu djela. Knjižničar je vodič koji administratorima i istraživačima objašnjava ograničenja ovih kriterija.
Oprez: nemojte predstavljati bibliometrijsku mjeru kao konačnu prosudbu o akademskoj zasluzi pojedinca ili kvaliteti odjela. Načela odgovorne evaluacije istraživanja naglašavaju da mjere trebaju nadopunjavati kvalitativno vrednovanje, a ne zamijeniti ga.
tri mini kućišta
Slučaj 1 — Mapirano područje. Knjižničarka je istraživačkoj grupi htjela pokazati temeljni rad u svom području. Izvukao je podatke iz 200 publikacija iz prave baze podataka citata; YZ je ove podatke sažeo u tematske skupine i istaknuo 10 najcitiranijih studija. Analitičar je provjerio svaki klaster i identifikator u bazi podataka; grupa je brzo shvatila strukturu područja.
Slučaj 2 — Uhvaćen lažni h-indeks. Menadžer je pitao AI o h-indeksu istraživača; AI je rekao "42". Knjižničar je pogledao stvarnu bazu podataka: točna vrijednost bila je 19; AI je izmislio broj. Ovo je pokazalo da se metrika nikada ne bi trebala uzimati iz AI memorije već iz stvarnih podataka.
Slučaj 3 — Spriječena netočna usporedba. Jedna je jedinica htjela dodijeliti sredstva usporedbom dvaju poglavlja na temelju njihovog prosječnog broja citata. Knjižničarka je objasnila da je jedan od odjela medicina (visoka kultura citiranja), a drugi humanistički (puno knjiga, niska kultura citiranja) te da bi ta usporedba bila nepravedna. Evaluacija je potkrijepljena kvalitativnim kriterijima koji su uzeli u obzir terenske razlike.
Vizualne karte i zamke čitanja
Često korišteni alat u bibliometriji su mrežne karte (npr. mreže sucitiranja ili koautorstva), koje prikazuju odnose između publikacija ili autora prema čvorovima i poveznicama. Ove karte čine vidljivima strukturu, klastere i mostove područja; AI može agregirati temeljne stvarne podatke i pomoći u tumačenju ovih karata. Ali vizualne karte, iako moćne, također mogu dovesti u zabludu: veliki, centralno vidljivi čvor možda nije "najvažniji", već samo "najpovezaniji"; Veličina klastera može odražavati samo količinu publikacije, a ne vrijednost tog prostora. Osim toga, način na koji je karta nacrtana (koji prag, koje vremensko razdoblje, koja baza podataka) potpuno mijenja ishod. Stoga je pri predstavljanju bibliometrijske vizualizacije kao temelja za odluku nužno jasno navesti na kojim se podacima ona temelji, kojim parametrima i kroz koje vremensko razdoblje. Ako komentar generiran umjetnom inteligencijom kvalificira čvor na karti kao "vodeći" ili "najutjecajniji", provjerite je li ta karakterizacija podržana stvarnim podacima.
Savjet: nemojte upasti u zamku "centar = top" kada tumačite mrežnu kartu. Centralnost samo označava gustoću veze; Izvorni doprinos ili kvaliteta djela nije vidljiv na karti i može se razumjeti samo čitanjem sadržaja.
Četiri predloška za kopiranje
1) Sažimanje stvarnih podataka o citatima:
Ispod je popis publikacija i brojevi citata koje sam uzeo iz prave baze podataka citata. Podijelite ih u tematske skupine i svaku skupinu sažetite u jednu rečenicu. Samo koristite podatke koje sam dao, nemojte dodavati/izmišljati nove publikacije ili brojeve citata. Podaci: [ovdje]
2) Označavanje trendova i uzoraka:
Istaknite značajne trendove (povećanje, smanjenje, koncentracija suradnje) u podacima o publikacijama/citiranostima za godinu u nastavku. Temeljite svako opažanje na podacima, nemojte nagađati. Podaci: [ovdje]
3) Upozorenje o tumačenju kriterija:
Protumačite sljedeći bibliometrijski kriterij, također navodeći njegova ograničenja: o kojoj temi pruža informacije, o kojoj temi ne pruža informacije, o kojoj temi je otvorena za zlouporabu? Kriteriji i kontekst: [ovdje]
4) Kontrola razlike u površini:
Mogu li se izravno usporediti podaci o citiranosti sljedeće dvije skupine? Ocijenite razlike u kulturi citiranja među poljima i objasnite je li usporedba poštena. Podaci: [ovdje]
Slab upit / Jak upit
Slab upit:
Navedite najutjecajnije članke ovog autora i broj citata.
AI generira izmišljene naslove i brojeve citata iz svoje globalne memorije bez pristupa stvarnim podacima. Rezultat: uvjerljiva, ali lažna analiza.
Snažan upit:
Vaša uloga: bibliometrijski asistent. Ispod su citati publikacija i brojevi citata koje sam izvukao iz prave baze podataka citata. Razvrstajte ove podatke od najčešće citirane domene do najniže, podijelite ih u skupine tema i sažmite svaku skupinu. Nemojte odstupati od podataka koje sam dao, nemojte izmišljati nikakve brojeve ili oznake. Dodajte kratku napomenu o ograničenjima kriterija. Podaci: [ovdje]
Snažan brz; Ograničava AI na stvarne podatke, zabranjuje proizvodnju i podsjeća nas na ograničenja referentnih vrijednosti.
Tablica kriterija i ograničenja
kriterij
Što pokazuje
Što ne pokazuje
Pažnja
Broj citata
Upotreba/vidljivost
kvaliteta, točnost
Ovisi o kulturi područja
h-indeks
Produktivnost+utjecaj
vrijednost pojedinca
Osjetljivo na duljinu karijere
Faktor utjecaja
Dnevni prosjek
Vrijednost jednog artikla
Kriteriji razine časopisa
mreža za suradnju
S kim je radio
Stopa doprinosa
Uloga u mreži nejasna
Uobičajene greške
- Traženje broja citata od AI-ja. Brojevi su napravljeni izvan prave baze podataka.
- Misleći da je kriterij mjerilo kvalitete. Citiranje označava upotrebu, a ne kvalitetu.
- Izravna usporedba područja. Kulture atribucije su različite, to nije pošteno.
- Mjerenje humanističkih znanosti atribucijom. Izlazi koji obiluju knjigama nedovoljno su zastupljeni u bazama podataka.
- Ocjenjivanje pojedinaca s kriterijima. Odluka o zapošljavanju/napredovanju ne bi se trebala temeljiti na jednom jedinom kriteriju.
Ukratko
U bibliometriji i analizi citata, AI je moćan pomoćnik koji grupira stvarne podatke, označava trendove i sažima; Ali nikada ne uzimajte brojeve citata i retke autora iz AI memorije, jer ona to čini. Mjerni podaci pokazuju korištenje i vidljivost, a ne kvalitetu; ne može se uspoređivati među domenama; nedovoljno je zastupljen u humanističkim znanostima i ne može se koristiti sam za procjenu pojedinaca. Knjižničar je odgovoran vodič koji objašnjava granice tih kriterija i uravnotežuje ih kvalitativnom procjenom.
Zadatak aplikacije
Uzmite mali popis publikacija (10-15 zapisa, s brojem citata) iz prave baze podataka citata. Imajte klaster umjetne inteligencije i sažmite pomoću predloška "Sažeti stvarne podatke o citatima", a zatim potvrdite citate i brojeve prema bazi podataka. Zatim ispišite granice metrike po svom izboru (npr. h-indeks) s predloškom "Upozorenje o tumačenju kriterija" i isplanirajte kako ćete to objasniti upravitelju.
popis za provjeru
- [ ] Naveo sam brojeve citata i citate iz stvarne baze podataka, nisam ih napravio AI.
- [ ] Mjerne podatke sam predstavio kao pokazatelje upotrebe/vidljivosti, a ne kvalitete.
- [ ] Uzeo sam u obzir razlike u kulturi citiranja među područjima.
- [ ] Uzeo sam u obzir podzastupljenost humanističkih znanosti.
- [ ] U ocjenjivanju pojedinaca nisam koristio samo kriterij.