zisky:
- Schopnosť implementovať nikdy nepreberanie počtu citácií a citácií z pamäte AI pri klastrovaní a sumarizovaní údajov prevzatých zo skutočnej citačnej databázy pomocou AI
- Schopnosť pochopiť, že metriky ako citácia, h-index a impakt faktor naznačujú použitie, ale nie kvalitu, a ich neporovnateľnosť medzi poľami.
- Schopnosť zvážiť etické limity používania samotných bibliometrických kritérií pri hodnotení jednotlivcov a vyvážiť ich kvalitatívnym hodnotením
Univerzitná knižnica meria výsledky výskumu svojej inštitúcie; výskumník na nájdenie najvplyvnejších štúdií v odbore; manažér môže chcieť zhodnotiť vedeckú viditeľnosť oddelenia. Za touto prácou stojí bibliometria: oblasť, ktorá numericky skúma vedecké publikácie a citačné vzťahy medzi nimi. V tomto bloku sa naučíte, ako používať umelú inteligenciu pri citačnej analýze, mapovaní publikácií a hodnotení vplyvu; ale naučíte sa orientovať v limitoch a etických nástrahách numerických metrík.
Definujme si pojmy. Citácia je vedecký odkaz jednej publikácie na inú publikáciu; Počet citácií sa považuje za ukazovateľ toho, do akej miery bolo dielo použité. H-index je miera, ktorá kombinuje produktivitu a vplyv výskumníka (ak h počet publikácií získal aspoň h citácií, h-index je h). Impakt faktor je miera, ktorá ukazuje priemernú úroveň citovanosti časopisu. Tieto metriky sú užitočné, ale žiadna z nich nie je priamym meradlom „kvality“; Mať na pamäti toto rozlíšenie je podstatou bibliometrie.
Krok za krokom: zodpovedná bibliometrická analýza
1. Objasnite otázku. "Aké sú základné štúdie tohto odboru?", "Ktoré sú najcitovanejšie publikácie našej inštitúcie?", "Ako sa tieto dva odbory prelínajú?" Každá otázka si vyžaduje inú analýzu.
2. Používajte spoľahlivé údaje. Citačná analýza je len taká spoľahlivá ako zdroj údajov. AI môže vytvárať počty citácií alebo zoznamy publikácií; Preto je nevyhnutné pracovať s údajmi z reálnej citačnej databázy. Použite AI na interpretáciu a sumarizáciu skutočných údajov, nie na generovanie údajov.
3. Nechajte si označiť vzory. Umelá inteligencia pomáha sumarizovať zoskupenia tém, siete spolupráce alebo trendy v priebehu času vo veľkom súbore publikácií. To upriamuje pozornosť ľudského analytika na dôležité body.
4. Interpretujte kritérium v kontexte. Nízky počet citácií neznamená, že práca je bezcenná; Pole môže byť malé, téma môže byť nová alebo publikácia môže byť veľmi nová. Nikdy neinterpretujte číslo bez kontextu.
5. Dodržujte etické hranice. Bibliometrické opatrenia by sa nemali používať samostatne na rozhodovanie o prijímaní, povyšovaní alebo financovaní jednotlivcov. Čísla nemerajú hodnotu ľudí; Ich zneužívanie je nespravodlivé a škodlivé.
Tip: Keď necháte AI vykonať analýzu citácií, uveďte počty citácií a citácie publikácií zo skutočnej databázy; Nechajte AI jednoducho organizovať, zoskupovať a interpretovať tieto údaje. "Aký je h-index tohto spisovateľa?" Opýtanie sa priamo môže mať za následok vymyslené číslo.
Hranice kritérií a manipulácie
Keďže sa bibliometrické metriky javia ako výkonné, sú náchylné na zneužitie. Citačné čísla môžu byť nafúknuté rôznymi spôsobmi: nadmerná sebacitácia (citovanie vlastnej práce), citačné kruhy (skupiny ľudí, ktorí sa vzájomne citujú), alebo vlastná citačná kultúra v danej oblasti. Kritériá navyše nie sú porovnateľné medzi oblasťami: citačné prostredie medicínskeho článku a filozofického článku je úplne odlišné.
Tento problém je ešte zreteľnejší v humanitných a spoločenských vedách; pretože významné výstupy v týchto oblastiach (knihy, preklady, recenzie) sú v citačných databázach nedostatočne zastúpené. Merať vplyv historika alebo literárneho vedca iba počtom citácií znamená nepochopiť povahu diela. Knihovník je sprievodcom, ktorý vysvetľuje limity týchto kritérií administrátorom a výskumníkom.
Upozornenie: Neuvádzajte bibliometrickú mieru ako konečný úsudok o akademických zásluhách jednotlivca alebo kvalite katedry. Princípy zodpovedného hodnotenia výskumu zdôrazňujú, že opatrenia by mali kvalitatívne hodnotenie dopĺňať, nie ho nahrádzať.
tri mini prípady
Prípad 1 – Zmapovaná oblasť. Knihovník chcel výskumnej skupine ukázať základnú prácu vo svojom odbore. Údaje z 200 publikácií čerpal zo skutočnej citačnej databázy; YZ zhrnul tieto údaje do tematických skupín a zvýraznil 10 najcitovanejších štúdií. Analytik overil každý klaster a identifikátor v databáze; skupina rýchlo pochopila štruktúru oblasti.
Prípad 2 – Zachytený falošný h-index. Manažér sa opýtal AI na h-index výskumníka; AI povedala „42“. Knihovník sa pozrel na skutočnú databázu: správna hodnota bola 19; AI vymyslela číslo. To ukázalo, že metriky by sa nikdy nemali brať z pamäte AI, ale zo skutočných údajov.
Prípad 3 – Zabránenie nesprávnemu porovnaniu. Jedna jednotka chcela prideliť finančné prostriedky porovnaním dvoch kapitol na základe ich priemerného počtu citácií. Knihovníčka vysvetlila, že jedným z odborov je medicína (vysoká citovanosť) a druhým humanitné (kniha-ťažká, nízka citovanosť) a že toto porovnanie by bolo nespravodlivé. Hodnotenie bolo podporené kvalitatívnymi kritériami, ktoré zohľadňovali terénne rozdiely.
Vizuálne mapy a čítacie pasce
Často používaným nástrojom v bibliometrii sú sieťové mapy (napr. siete spolucitovania alebo spoluautorstva), ktoré zobrazujú vzťahy medzi publikáciami alebo autormi podľa uzlov a odkazov. Tieto mapy zviditeľňujú štruktúru, zoskupenia a mostné stavby oblasti; AI môže agregovať základné skutočné údaje a pomôcť interpretovať tieto mapy. Ale vizuálne mapy, hoci sú výkonné, môžu byť aj zavádzajúce: veľký, centrálne viditeľný uzol nemusí byť „najdôležitejší“, ale len „najprepojenejší“; Veľkosť klastra môže odrážať iba objem publikácie, nie hodnotu tohto priestoru. Okrem toho, ako je mapa nakreslená (aký prah, aké časové obdobie, ktorá databáza) úplne mení výsledok. Preto pri prezentovaní bibliometrickej vizualizácie ako podkladu pre rozhodnutie je nevyhnutné jasne uviesť, z akých údajov sa vychádza, z akých parametrov a za aké časové obdobie. Ak komentár vygenerovaný AI kvalifikuje uzol na mape ako „vodcu“ alebo „najvplyvnejšieho“, skontrolujte, či je táto charakteristika podporovaná skutočnými údajmi.
Tip: Pri interpretácii mapy siete nespadnite do pasce „stred = hore“. Centrálnosť označuje iba hustotu pripojenia; Pôvodný prínos alebo kvalita diela nie je viditeľná na mape a dá sa pochopiť iba prečítaním obsahu.
Štyri kopírovateľné šablóny
1) Zhrnutie aktuálnych údajov o citáciách:
Nižšie je uvedený zoznam publikácií a čísla citácií, ktoré som prevzal zo skutočnej databázy citácií. Rozdeľte ich do zhlukov tém a zhrňte každý zhluk do jednej vety. Stačí použiť údaje, ktoré som uviedol, nepridávať/nevytvárať nové publikácie ani počty citácií. Údaje: [tu]
2) Značenie trendov a vzorov:
Zvýraznite pozoruhodné trendy (nárast, pokles, koncentrácia spolupráce) v ročných publikáciách/citačných údajoch nižšie. Každé pozorovanie zakladajte na údajoch, nešpekulujte. Údaje: [tu]
3) Upozornenie na interpretáciu kritérií:
Interpretujte nasledujúce bibliometrické kritérium a uveďte aj jeho limity: o akom predmete poskytuje informácie, o ktorom predmete neposkytuje informácie, o ktorom predmete je možné ho zneužiť? Kritériá a kontext: [tu]
4) Kontrola rozdielu oblastí:
Dajú sa citačné údaje nasledujúcich dvoch skupín priamo porovnať? Vyhodnoťte rozdiely v citačnej kultúre medzi poľami a vysvetlite, či je porovnanie spravodlivé. Údaje: [tu]
Slabá výzva / Silná výzva
Slabá výzva:
Uveďte najvplyvnejšie články tohto autora a počet citácií.
AI generuje vymyslené názvy a počty citácií zo svojej globálnej pamäte bez prístupu k skutočným údajom. Výsledok: presvedčivá, ale falošná analýza.
Výkonná výzva:
Vaša úloha: asistent bibliometrie. Nižšie sú uvedené citácie publikácií a čísla citácií, ktoré som vytiahol zo skutočnej databázy citácií. Zoraďte tieto údaje od najcitovanejšej domény po najnižšiu, rozdeľte ich do tematických skupín a zosumarizujte každý klaster. Neodchyľujte sa od údajov, ktoré som uviedol, nevymýšľajte si žiadne čísla ani štítky. Pridajte krátku poznámku o limitoch kritérií. Údaje: [tu]
Výkonná výzva; Obmedzuje AI na skutočné údaje, zakazuje výrobu a pripomína nám limity benchmarkov.
Tabuľka kritérií a limitov
kritérium
Čo ukazuje
Čo neukazuje
Pozornosť
Počet citácií
Použitie/viditeľnosť
kvalita, presnosť
Závisí od kultúry oblasti
h-index
Produktivita + vplyv
hodnotu jednotlivca
Citlivé na dĺžku kariéry
Faktor vplyvu
Priemer denníka
Hodnota jedného článku
Kritériá na úrovni časopisu
sieť spolupráce
Kto pracoval s
Miera príspevku
Úloha v sieti je nejasná
Časté chyby
- Žiadosť o počet citácií od AI. Čísla sa tvoria mimo reálnej databázy.
- Myslieť si, že kritériom je miera kvality. Citácia označuje použitie, nie kvalitu.
- Priame porovnanie oblastí. Kultúry pripisovania sú rôzne, nie je to fér.
- Meranie humanitných vied podľa atribúcie. Výstupy náročné na knihy sú v databázach nedostatočne zastúpené.
- Hodnotenie jednotlivcov podľa kritérií. Rozhodnutie o prijatí/povýšení by nemalo byť založené na jedinom kritériu.
V súhrne
V bibliometrii a citačnej analýze je AI výkonným pomocníkom, ktorý zoskupuje skutočné údaje, označuje trendy a sumarizuje; Nikdy však neberte citačné čísla a vedľajšie riadky z pamäte AI, pretože to tvorí. Metriky ukazujú využitie a viditeľnosť, nie kvalitu; nemožno porovnávať medzi doménami; je nedostatočne zastúpený v humanitných vedách a nemožno ho použiť samostatne na hodnotenie jednotlivcov. Knihovník je zodpovedným sprievodcom, ktorý vysvetľuje hranice týchto kritérií a vyvažuje ich kvalitatívnym hodnotením.
Aplikačná úloha
Vezmite si malý zoznam publikácií (10 – 15 záznamov s počtom citácií) zo skutočnej databázy citácií. Majte klaster AI a zhrňte ho pomocou šablóny „Summarize real citation data“, potom overte citácie a počty v databáze. Potom si vytlačte limity metriky podľa vášho výberu (napr. h-index) pomocou šablóny „Upozornenie na interpretáciu kritérií“ a naplánujte si, ako to vysvetlíte manažérovi.
kontrolný zoznam
- [ ] Čísla citácií a citácie som uviedol z reálnej databázy, nemal som ich vymyslené AI.
- [ ] Metriky som prezentoval ako ukazovatele používania/viditeľnosti, nie kvality.
- [ ] Zohľadnil som rozdiel v kultúre citovania medzi odbormi.
- [ ] Vzal som do úvahy nedostatočné zastúpenie humanitných vied.
- [ ] Pri hodnotení jednotlivcov som nepoužil samotné kritérium.