Dobički:
- Zmožnost implementacije nikoli ne vzame števila citatov in citatov iz pomnilnika umetne inteligence, medtem ko združuje in povzema podatke, vzete iz prave zbirke podatkov o citatih z umetno inteligenco
- Sposobnost razumevanja, da meritve, kot so citiranost, h-indeks in faktor vpliva, kažejo na uporabo, ne pa na kakovost, in njihovo neprimerljivost med področji.
- Sposobnost upoštevati etične meje uporabe zgolj bibliometričnih meril pri ocenjevanju posameznikov in jih uravnotežiti s kvalitativnim vrednotenjem
Univerzitetna knjižnica meri rezultate raziskav svoje ustanove; raziskovalec najti najvplivnejše študije na določenem področju; vodja bo morda želel oceniti znanstveno prepoznavnost oddelka. Za tem delom stoji bibliometrija: področje, ki numerično preučuje znanstvene objave in razmerja citiranja med njimi. V tej enoti se boste naučili uporabljati umetno inteligenco pri analizi citiranja, kartiranju publikacij in oceni učinka; vendar se boste naučili, kako krmariti med mejami in etičnimi pastmi numeričnih meritev.
Opredelimo pojme. Citiranje je znanstveno sklicevanje ene publikacije na drugo objavo; Število citatov je pokazatelj, koliko je delo uporabljeno. Indeks h je merilo, ki združuje tako produktivnost kot vpliv raziskovalca (če je vsaka od h objav prejela vsaj h citatov, je h-indeks h). Faktor vpliva je mera, ki kaže povprečno citiranost revije. Te metrike so uporabne, vendar nobena ni neposredno merilo »kakovosti«; Upoštevanje tega razlikovanja je bistvo bibliometrije.
Korak za korakom: odgovorna bibliometrična analiza
1. Pojasnite vprašanje. "Kateri so temeljni študiji tega področja?", "Katere so najbolj citirane publikacije naše ustanove?", "Kako se ti dve področji križata?" Vsako vprašanje zahteva drugačno analizo.
2. Uporabite zanesljive podatke. Analiza citiranja je zanesljiva le toliko, kolikor je zanesljiv vir podatkov. Umetna inteligenca lahko sestavi štetje citatov ali sezname objav; Zato je nujno, da delamo s podatki iz prave baze citiranj. Uporabite AI za razlago in povzemanje resničnih podatkov, ne za ustvarjanje podatkov.
3. Označite vzorce. AI pomaga povzemati tematske skupine, sodelovalna omrežja ali trende skozi čas v velikem nizu publikacij. To usmerja pozornost človeškega analitika na pomembne točke.
4. Interpretirajte merilo v kontekstu. Nizko število citatov ne pomeni, da je delo brez vrednosti; Področje je lahko majhno, tema je lahko nova ali pa je publikacija zelo nova. Nikoli ne interpretirajte številke brez konteksta.
5. Upoštevajte etično mejo. Bibliometričnih meril se ne bi smelo uporabljati samo za sprejemanje odločitev o zaposlovanju, napredovanju ali financiranju posameznikov. Številke ne merijo vrednosti ljudi; Njihova zloraba je nepoštena in škodljiva.
Namig: Ko naročite umetni inteligenci, da izvede analizo citatov, zagotovite število citatov in citate publikacij iz prave podatkovne baze; Naj AI preprosto organizira, združi in interpretira te podatke. "Kakšen je h-indeks tega pisca?" Neposredno vprašanje lahko privede do izmišljene številke.
Meje kriterijev in manipulacije
Ker so bibliometrične metrike videti močne, so odprte za zlorabe. Število citatov je lahko napihnjeno na različne načine: čezmerno samocitiranje (citiranje lastnega dela), krogi citiranja (skupine ljudi, ki se vzajemno citirajo) ali lastna kultura citiranja na tem področju. Poleg tega merila med področji niso primerljiva: okolje citiranja medicinskega članka in filozofskega članka je popolnoma različno.
Ta problem je še bolj očiten v humanistiki in družboslovju; ker so pomembnejši rezultati na teh področjih (knjige, prevodi, recenzije) premalo zastopani v zbirkah podatkov o citiranju. Meriti vpliv zgodovinarja ali literarnega učenjaka zgolj s številom citatov pomeni napačno razumeti naravo dela. Knjižničar je vodnik, ki skrbnikom in raziskovalcem razloži omejitve teh meril.
Pozor: bibliometričnega merila ne predstavljajte kot končno presojo posameznikove akademske zasluge ali kakovosti oddelka. Načela odgovornega vrednotenja raziskav poudarjajo, da morajo ukrepi dopolnjevati kvalitativno vrednotenje, ne pa ga nadomestiti.
trije mini kovčki
Primer 1 – Kartirano območje. Knjižničarka je raziskovalni skupini želela prikazati osnovno delo na njihovem področju. Potegnil je podatke iz 200 publikacij iz resnične zbirke podatkov o citatih; YZ je te podatke povzel v tematske sklope in izpostavil 10 najbolj citiranih študij. Analitik je preveril vsako gručo in identifikator v bazi podatkov; skupina je hitro dojela strukturo območja.
Primer 2 – Ujet lažni indeks h. Vodja je vprašal AI o h-indeksu raziskovalca; AI je rekel "42". Knjižničarka je pogledala dejansko bazo podatkov: pravilna vrednost je bila 19; AI je sestavil številko. To je pokazalo, da meritev nikoli ne bi smeli jemati iz pomnilnika AI, ampak iz resničnih podatkov.
Primer 3 – Preprečena nepravilna primerjava. Ena enota je želela dodeliti sredstva s primerjavo dveh poglavij glede na njuno povprečno število citatov. Knjižničarka je pojasnila, da je eden od oddelkov medicina (visoka kultura citiranja), drugi pa humanistika (težka knjiga, nizka kultura citiranja) in da bi bila ta primerjava nepravična. Ocena je bila podprta s kvalitativnimi kriteriji, ki so upoštevali področne razlike.
Vizualni zemljevidi in bralne pasti
Pogosto uporabljeno orodje v bibliometriji so omrežni zemljevidi (npr. omrežja socitiranja ali soavtorstva), ki prikazujejo razmerja med publikacijami ali avtorji po vozliščih in povezavah. Na teh zemljevidih so vidne strukture, skupine in mostovi območja; Umetna inteligenca lahko združi osnovne resnične podatke in pomaga razlagati te zemljevide. Toda vizualni zemljevidi, čeprav močni, so lahko tudi zavajajoči: veliko, centralno vidno vozlišče morda ni "najpomembnejše", ampak le "najbolj povezano"; Velikost grozda lahko odraža le obseg objave, ne pa vrednosti tega prostora. Poleg tega, kako je zemljevid narisan (kateri prag, katero časovno obdobje, katera zbirka podatkov) popolnoma spremeni rezultat. Zato je pri predstavitvi bibliometrične vizualizacije kot podlage za odločitev nujno jasno navesti, na katerih podatkih temelji, na katerih parametrih in v katerem časovnem obdobju. Če komentar, ustvarjen z umetno inteligenco, kvalificira vozlišče na zemljevidu kot »vodilno« ali »najvplivnejše«, preverite, ali to karakterizacijo podpirajo resnični podatki.
Namig: pri razlagi omrežnega zemljevida se ne ujemite v past "sredina = vrh". Središčnost označuje samo gostoto povezave; Izvirni prispevek ali kakovost dela ni viden na zemljevidu in ga je mogoče razumeti le z branjem vsebine.
Štiri predloge za kopiranje
1) Povzemanje dejanskih podatkov o citatih:
Spodaj je seznam publikacij in številke citatov, ki sem jih vzel iz prave zbirke podatkov o citatih. Razdelite jih na tematske sklope in vsak sklop povzamete v enem stavku. Samo uporabite podatke, ki sem jih posredoval, ne dodajajte/izmišljujte novih publikacij ali citiranosti. Podatki: [tukaj]
2) Označevanje trendov in vzorcev:
Označite opazne trende (povečanje, zmanjšanje, koncentracija sodelovanja) v spodnjih podatkih o publikacijah/navedbah za leto. Vsako opazovanje temelji na podatkih, ne ugibajte. Podatki: [tukaj]
3) Opozorilo glede razlage meril:
Razložite naslednje bibliometrično merilo in navedite tudi njegove omejitve: o kateri temi zagotavlja informacije, o kateri temi ne zagotavlja informacij, o kateri temi je odprta za zlorabo? Merila in kontekst: [tukaj]
4) Nadzor površinske razlike:
Ali je mogoče neposredno primerjati podatke o citiranosti naslednjih dveh skupin? Ocenite razlike v kulturi citiranja med področji in pojasnite, ali je primerjava poštena. Podatki: [tukaj]
Šibek poziv/močan poziv
Šibek poziv:
Navedite najvplivnejše članke in število citatov tega avtorja.
AI generira izmišljene naslove in število citatov iz svojega globalnega pomnilnika brez dostopa do resničnih podatkov. Rezultat: prepričljiva, a lažna analiza.
Močan poziv:
Vaša vloga: asistent za bibliometrijo. Spodaj so navedbe publikacij in številke navedb, ki sem jih potegnil iz prave zbirke podatkov o navedbah. Te podatke razvrstite od največkrat citirane domene do najnižje, razdelite jih na tematske skupine in povzemite vsako skupino. Ne odstopajte od podatkov, ki sem jih navedel, ne izmišljujte si številk ali oznak. Dodajte kratko opombo o omejitvah meril. Podatki: [tukaj]
Močan poziv; Umetno inteligenco omejuje na resnične podatke, prepoveduje izdelavo in nas opominja na meje meril uspešnosti.
Tabela kriterijev in omejitev
merilo
Kaj kaže
Kaj ne pokaže
Pozor
Število citatov
Uporaba/vidnost
kakovost, natančnost
Odvisno od kulture območja
h-indeks
Produktivnost+vpliv
vrednost posameznika
Občutljivo na dolžino kariere
Faktor vpliva
Dnevnik povprečje
Vrednost posameznega artikla
Merila na ravni revije
mrežo sodelovanja
Kdo je delal z
Stopnja prispevka
Vloga v omrežju nejasna
Pogoste napake
- Zahtevanje števila citatov od AI. Številke so sestavljene zunaj prave podatkovne baze.
- Razmišljanje, da je merilo merilo kakovosti. Navedba označuje uporabo, ne kakovosti.
- Neposredna primerjava območij. Kulture pripisovanja so različne, to ni pošteno.
- Merjenje humanistike z atribucijo. Knjižno obsežni izpisi so premalo zastopani v zbirkah podatkov.
- Ocenjevanje posameznikov s kriteriji. Odločitev o zaposlitvi/napredovanju ne bi smela temeljiti na enem samem merilu.
Če povzamem
V bibliometriji in analizi citatov je umetna inteligenca močan pomočnik, ki združuje resnične podatke, označuje trende in povzema; Nikoli pa ne jemljite številk navedb in vrstic avtorjev iz pomnilnika AI, ker ga sestavlja. Meritve kažejo uporabo in vidnost, ne kakovosti; ni mogoče primerjati med domenami; je premalo zastopana v humanistiki in je ni mogoče uporabiti samo za ocenjevanje posameznikov. Knjižničar je odgovoren vodnik, ki pojasnjuje meje teh meril in jih uravnoteži s kvalitativno oceno.
Aplikacijska naloga
Vzemite majhen seznam publikacij (10-15 zapisov, s štetjem citatov) iz prave zbirke podatkov o citatih. Imejte gručo AI in povzemite s predlogo »Povzemite podatke o resničnih citatih«, nato potrdite citate in štetja glede na bazo podatkov. Nato natisnite omejitve metrike po vaši izbiri (npr. h-indeks) s predlogo »Opozorilo o razlagi meril« in načrtujte, kako boste to razložili upravitelju.
kontrolni seznam
- [ ] Podal sem številke citatov in citate iz prave baze podatkov, nisem jih dal sestaviti AI.
- [ ] Meritve sem predstavil kot indikatorje uporabe/vidnosti, ne kakovosti.
- [ ] Upošteval sem razlike v kulturi citiranja med področji.
- [ ] Upošteval sem premajhno zastopanost humanističnih ved.
- [ ] Pri ocenjevanju posameznikov nisem uporabil zgolj kriterija.