Nyereség:
- Képes megvalósítani, hogy soha ne vegyük le az idézetek számát és az idézeteket az AI memóriájából, miközben a valós hivatkozási adatbázisból vett adatokat AI segítségével klaszterezi és összegzi.
- Képes megérteni, hogy az olyan mutatók, mint az idézet, a h-index és az impakt faktor a használatot jelzik, de nem a minőséget, valamint a mezők közötti összehasonlíthatatlanságukat.
- Képes mérlegelni a bibliometrikus kritériumok kizárólagos használatának etikai korlátait az egyének értékelésében, és egyensúlyba hozni azokat a minőségi értékeléssel
Az egyetemi könyvtár méri intézményének kutatási teljesítményét; egy kutató, hogy megtalálja egy terület legbefolyásosabb tanulmányait; egy vezető értékelheti egy osztály tudományos láthatóságát. E munka mögött a bibliometria áll: az a terület, amely számszerűen vizsgálja a tudományos publikációkat és a köztük lévő hivatkozási kapcsolatokat. Ebben az egységben megtanulod, hogyan használhatod a mesterséges intelligenciát idézetek elemzésében, publikációk feltérképezésében és hatásvizsgálatokban; de megtanulod, hogyan kell eligazodni a numerikus mérőszámok korlátai és etikai buktatói között.
Határozzuk meg a fogalmakat. Az idézet az egyik publikáció által egy másik publikációra tett tudományos hivatkozás; Az idézetek száma annak mutatója, hogy mennyit használtak egy művet. A h-index egy olyan mérőszám, amely egyesíti a kutató produktivitását és hatását (ha h számú publikáció mindegyike kapott legalább h hivatkozást, a h-index h). Az impakt faktor egy olyan mérőszám, amely egy folyóirat átlagos hivatkozási szintjét mutatja. Ezek a mutatók hasznosak, de egyik sem a „minőség” közvetlen mérőszáma; Ennek a megkülönböztetésnek a szem előtt tartása a bibliometria lényege.
Lépésről lépésre: felelős bibliometrikus elemzés
1. Tisztázd a kérdést. "Melyek ennek a területnek az alaptanulmányai?", "Melyek intézményünk legtöbbet idézett kiadványai?", "Hogyan keresztezi egymást ez a két terület?" Minden kérdés más elemzést igényel.
2. Használjon megbízható adatokat. Az idézet elemzése csak annyira megbízható, mint az adatforrás. A mesterséges intelligencia összeállíthat hivatkozásokat vagy publikációs listákat; Ezért elengedhetetlen, hogy valódi hivatkozási adatbázisból származó adatokkal dolgozzunk. Az AI-t valós adatok értelmezésére és összegzésére használja, nem adatok generálására.
3. Jelölje meg a mintákat. A mesterséges intelligencia segít összefoglalni a témacsoportokat, az együttműködési hálózatokat vagy az idő múlásával kapcsolatos trendeket számos kiadványban. Ez fontos pontokra irányítja a humán elemző figyelmét.
4. Értelmezze a kritériumot összefüggéseiben! Az alacsony hivatkozási szám nem jelenti azt, hogy a mű értéktelen; Lehet kicsi a terület, új a téma, vagy nagyon új a kiadvány. Soha ne értelmezze a számot kontextus nélkül.
5. Tartsa be az etikai határt. A bibliometrikus mérőszámokat nem szabad egyedül használni az egyének felvételével, előléptetésével vagy finanszírozásával kapcsolatos döntések meghozatalára. A számok nem mérik az emberek értékét; A velük való visszaélés egyszerre igazságtalan és káros.
Tipp: Amikor a mesterséges intelligencia hivatkozáselemzést végez, adja meg az idézetek számát és a publikációs hivatkozásokat a valós adatbázisból; Hagyja, hogy az AI egyszerűen rendszerezze, csoportosítsa és értelmezze ezeket az adatokat. – Mi ennek az írónak a h-indexe? A közvetlen megkérdezés kitalált számot eredményezhet.
A kritériumok és a manipuláció korlátai
Mivel a bibliometrikus mérőszámok erőteljesnek tűnnek, ki vannak téve a visszaéléseknek. Az idézetek száma többféleképpen növelhető: túlzott önhivatkozás (saját munkára hivatkozva), idézőgyűrűk (egymást kölcsönösen idéző embercsoportok), vagy a szakterület saját idézési kultúrája. Ráadásul a kritériumok nem összehasonlíthatók szakterületenként: egy orvosi cikk és egy filozófiacikk idézési környezete teljesen más.
Ez a probléma még nyilvánvalóbb a bölcsészet- és társadalomtudományokban; mert ezeken a területeken jelentős outputok (könyvek, fordítások, recenziók) alulreprezentáltak az idézettségi adatbázisokban. Ha egy történész vagy irodalomtudós hatását pusztán az idézetek számával mérjük, félreértjük a mű természetét. A könyvtáros egy útmutató, amely elmagyarázza e kritériumok korlátait az adminisztrátoroknak és kutatóknak.
Vigyázat: Ne adjon meg egy bibliometrikus mérőszámot végső ítéletként az egyén tudományos érdemeiről vagy egy tanszék minőségéről. A felelős kutatásértékelés alapelvei hangsúlyozzák, hogy az intézkedéseknek a kvalitatív értékelést kell kiegészíteniük, nem pedig helyettesíteniük.
három mini tok
1. eset – Terület feltérképezése. Egy könyvtáros egy kutatócsoportnak szeretett volna bemutatni a saját szakterületén végzett alapmunkákat. 200 publikáció adatait húzta le egy valós hivatkozási adatbázisból; YZ ezeket az adatokat témacsoportokba foglalta, és kiemelte a 10 legtöbbet idézett tanulmányt. Az elemző minden egyes klasztert és azonosítót ellenőrzött az adatbázisban; a csoport gyorsan felfogta a terület szerkezetét.
2. eset – Hamis h-index fogott. Egy menedzser megkérdezte az AI-t egy kutató h-indexéről; Az AI azt mondta, hogy "42". A könyvtáros megnézte az aktuális adatbázist: a helyes érték 19 volt; Az AI kitalálta a számot. Ez azt mutatta, hogy a mérőszámokat soha nem szabad mesterséges intelligencia memóriájából venni, hanem valós adatokból.
3. eset – A helytelen összehasonlítás megakadályozva. Az egyik egység két fejezet összehasonlításával kívánt forrást elkülöníteni az átlagos hivatkozási szám alapján. A könyvtáros kifejtette, hogy az egyik osztály az orvostudomány (magas idézettségi kultúra), a másik pedig a bölcsész (könyves, alacsony hivatkozási kultúra), és ez az összehasonlítás igazságtalan lenne. Az értékelést minőségi szempontok támasztották alá, amelyek figyelembe vették a területi különbségeket.
Vizuális térképek és olvasási csapdák
A bibliometriában gyakran használt eszköz a hálózati térképek (pl. társ-idézési vagy társszerzői hálózatok), amelyek csomópontok és linkek alapján mutatják meg a publikációk vagy szerzők közötti kapcsolatokat. Ezek a térképek láthatóvá teszik egy terület szerkezetét, klasztereit és hídszerkezeteit; A mesterséges intelligencia képes összesíteni a mögöttes valós adatokat, és segíthet értelmezni ezeket a térképeket. De a vizuális térképek, bár erősek, félrevezetőek is lehetnek: egy nagy, központilag látható csomópont lehet, hogy nem a "legfontosabb", hanem csak a "legösszekapcsoltabb"; A klaszter mérete csak a publikáció mennyiségét tükrözheti, az adott terület értékét nem. Ezenkívül a térkép megrajzolása (mely küszöbérték, melyik időszak, melyik adatbázis) teljesen megváltoztatja az eredményt. Ezért, amikor egy bibliometrikus vizualizációt döntési alapként mutatunk be, feltétlenül meg kell határozni, hogy mely adatokon, milyen paramétereken és milyen időszakon keresztül alapul. Ha egy mesterséges intelligencia által generált megjegyzés a térkép egy csomópontját „vezetőnek” vagy „legbefolyásosabbnak” minősíti, ellenőrizze, hogy a jellemzést valós adatok támasztják-e alá.
Tipp: Ne essen bele a "középen = tetején" csapdába a hálózati térkép értelmezésekor. A központosság csak a kapcsolat sűrűségét jelzi; A mű eredeti hozzájárulása vagy minősége nem látható a térképen, és csak a tartalom elolvasásával érthető meg.
Négy másolható sablon
1) A tényleges hivatkozási adatok összegzése:
Az alábbiakban a publikációs lista és a hivatkozási számok találhatók, amelyeket egy valós hivatkozási adatbázisból vettem. Ossza fel témacsoportokra, és foglalja össze az egyes klasztereket egyetlen mondatban. Csak használja az általam megadott adatokat, ne adjon hozzá/hozzon létre új publikációkat vagy idézetek számát. Adatok: [itt]
2) Trend- és mintajelölés:
Emelje ki a figyelemre méltó tendenciákat (növekedés, csökkenés, együttműködési koncentráció) az alábbi évalapú publikációs/hivatkozási adatokban. Minden megfigyelést alapozzon adatokra, ne spekuláljon. Adatok: [itt]
3) Figyelmeztetés a kritériumok értelmezésére:
Értelmezze az alábbi bibliometriai kritériumot, meghatározva annak határait is: melyik témakörben ad tájékoztatást, melyik témában nem ad tájékoztatást, mely témában alkalmas visszaélésre? Kritériumok és kontextus: [itt]
4) Területkülönbség szabályozása:
Összehasonlítható-e közvetlenül a következő két csoport hivatkozási adatai? Értékelje a mezők közötti hivatkozási kultúra különbségeit, és magyarázza el, hogy az összehasonlítás igazságos-e. Adatok: [itt]
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Sorolja fel a szerző legbefolyásosabb cikkeit és az idézetek számát.
Az AI kitalált címeket és idézetszámokat generál globális memóriájából anélkül, hogy hozzáférne a valós adatokhoz. Eredmény: meggyőző, de hamis elemzés.
Erőteljes felszólítás:
Az Ön szerepe: bibliometriai asszisztens. Alább láthatók a publikációs hivatkozások és hivatkozási számok, amelyeket a valódi hivatkozási adatbázisból gyűjtöttem ki. Rendezze ezeket az adatokat a legtöbbet idézett tartománytól a legalacsonyabbig, ossza fel témacsoportokra, és foglalja össze az egyes fürtöket. Ne térjen el az általam megadott adatoktól, ne találjon ki számokat vagy címkéket. Adjon hozzá egy rövid megjegyzést a kritériumok korlátairól. Adatok: [itt]
Erőteljes felszólítás; Valós adatokra korlátozza az AI-t, tiltja a gyártást, és emlékeztet bennünket a referenciaértékekre.
Kritériumok és határértékek táblázat
kritérium
Mit mutat
Ami nem látszik
Figyelem
Az idézetek száma
Használat/láthatóság
minőség, pontosság
A terület kultúrájától függ
h-index
Termelékenység+hatás
az egyén értéke
Érzékeny a karrier hosszára
Impact tényező
Napló átlag
Egyetlen cikk értéke
Folyóirat szintű kritériumok
együttműködési hálózat
Akivel dolgozott
Hozzájárulás mértéke
A hálózatban betöltött szerep nem tisztázott
Gyakori hibák
- Az idézetek számának kérése az AI-tól. A számok a valós adatbázison kívül jönnek létre.
- Azt gondolva, hogy a kritérium a minőség mértéke. Az idézet a használatot jelzi, nem a minőséget.
- Területek közvetlen összehasonlítása. Az attribúciós kultúrák különbözőek, ez nem fair.
- A bölcsészettudományok mérése attribúcióval. Az adatbázisokban alulreprezentáltak a könyvben gazdag termékek.
- Személyek értékelése kritériumokkal. A felvételi/előléptetési döntésnek nem szabad egyetlen kritériumon alapulnia.
Összefoglalva
A bibliometriában és az idézetelemzésben az AI hatékony asszisztens, amely valós adatokat gyűjt össze, trendeket jelöl meg és összegez; De soha ne vegyen ki idézetszámokat és szerzői sorokat az AI-memóriából, mert ez alkotja. A mutatók a használatot és a láthatóságot mutatják, nem a minőséget; nem hasonlítható össze tartományok között; alulreprezentált a bölcsészettudományokban, és nem használható egyedül az egyének értékelésére. A könyvtáros felelős vezető, aki elmagyarázza ezeknek a kritériumoknak a határait, és minőségi értékeléssel egyensúlyozza ki őket.
Pályázati feladat
Vegyünk egy kis listát a publikációkról (10-15 rekord, idézetszámmal) egy valós hivatkozási adatbázisból. Rendelje meg az AI-fürtöt, és foglalja össze a „valós idézetadatok összegzése” sablonnal, majd érvényesítse az idézeteket és a beszámításokat az adatbázisba. Ezután nyomtassa ki egy választott mérőszám (pl. h-index) határait a „Feltételek értelmezésére vonatkozó figyelmeztetés” sablonnal, és tervezze meg, hogyan magyarázza el a vezetőnek.
ellenőrző lista
- [ ] Az idézetszámokat és az idézeteket a valós adatbázisból adtam meg, nem mesterséges intelligenciával készítettem.
- [ ] A mérőszámokat nem a minőség, hanem a használat/láthatóság mutatójaként mutattam be.
- [ ] Figyelembe vettem a szakterületek közötti idézési kultúra különbségét.
- [ ] Figyelembe vettem a bölcsészettudományok alulreprezentáltságát.
- [ ] Nem egyedül a kritériumot használtam az egyének értékelésénél.