zisky:
- Schopnost implementovat nikdy nepřebírání počtu citací a citací z paměti AI při shlukování a shrnutí dat převzatých ze skutečné citační databáze pomocí AI
- Schopnost porozumět tomu, že metriky jako citace, h-index a impakt faktor ukazují použití, ale ne kvalitu, a jejich nesrovnatelnost napříč obory.
- Schopnost zvážit etické limity používání bibliometrických kritérií samostatně při hodnocení jednotlivců a vyvážit je kvalitativním hodnocením
Univerzitní knihovna měří výsledky výzkumu své instituce; výzkumník k nalezení nejvlivnějších studií oboru; manažer může chtít vyhodnotit vědeckou viditelnost oddělení. Za touto prací stojí bibliometrie: obor, který numericky zkoumá vědecké publikace a citační vztahy mezi nimi. V tomto bloku se naučíte používat umělou inteligenci při citační analýze, mapování publikací a hodnocení dopadů; ale naučíte se orientovat v limitech a etických úskalích numerických metrik.
Pojďme si definovat pojmy. Citace je vědecký odkaz jedné publikace na jinou publikaci; Počet citací je považován za ukazatel toho, do jaké míry bylo dílo použito. H-index je měřítkem, které kombinuje produktivitu a dopad výzkumníka (pokud h počet publikací získal alespoň h citací, h-index je h). Impact factor je míra, která ukazuje průměrnou úroveň citovanosti časopisu. Tyto metriky jsou užitečné, ale žádná nejsou přímým měřítkem „kvality“; Udržet toto rozlišení na paměti je podstatou bibliometrie.
Krok za krokem: zodpovědná bibliometrická analýza
1. Vyjasněte otázku. "Jaké jsou základní studie tohoto oboru?", "Jaké jsou nejcitovanější publikace naší instituce?", "Jak se tyto dva obory prolínají?" Každá otázka vyžaduje jinou analýzu.
2. Používejte spolehlivá data. Citační analýza je pouze tak spolehlivá jako zdroj dat. AI může vytvářet počty citací nebo seznamy publikací; Proto je nezbytné pracovat s daty z reálné citační databáze. Použijte umělou inteligenci k interpretaci a sumarizaci skutečných dat, nikoli k generování dat.
3. Nechte si označit vzory. Umělá inteligence pomáhá shrnout tematické skupiny, sítě pro spolupráci nebo trendy v průběhu času ve velké sadě publikací. To směřuje pozornost lidského analytika k důležitým bodům.
4. Interpretujte kritérium v kontextu. Nízký počet citací neznamená, že práce je bezcenná; Obor může být malý, téma může být nové nebo publikace může být velmi nová. Nikdy nevykládejte číslo bez kontextu.
5. Dodržujte etické hranice. Bibliometrické ukazatele by neměly být používány samostatně k rozhodování o najímání, povyšování nebo financování jednotlivců. Čísla neměří hodnotu lidí; Jejich zneužívání je nespravedlivé a škodlivé.
Tip: Když necháte AI provést analýzu citací, uveďte počty citací a citace publikací ze skutečné databáze; Nechte AI jednoduše organizovat, seskupovat a interpretovat tato data. "Jaký je h-index tohoto spisovatele?" Přímý dotaz může mít za následek vymyšlené číslo.
Meze kritérií a manipulace
Vzhledem k tomu, že se bibliometrické metriky zdají být výkonné, mohou být zneužity. Citační čísla mohou být nafouknuta různými způsoby: nadměrnou autocitací (citování vlastní práce), citačními kruhy (skupiny lidí, kteří se vzájemně citují), nebo vlastní citační kulturou oboru. Kritéria navíc nejsou srovnatelná napříč obory: citační prostředí lékařského článku a filozofického článku je zcela odlišné.
Tento problém je ještě patrnější v humanitních a společenských vědách; protože významné výstupy v těchto oborech (knihy, překlady, recenze) jsou v citačních databázích nedostatečně zastoupeny. Měřit vliv historika nebo literárního vědce pouze počtem citací znamená nepochopit povahu díla. Knihovník je průvodcem, který administrátorům a výzkumníkům vysvětluje limity těchto kritérií.
Upozornění: Neuvádějte bibliometrickou míru jako konečný úsudek o akademických zásluhách jednotlivce nebo kvalitě katedry. Principy odpovědného hodnocení výzkumu zdůrazňují, že opatření by měla kvalitativní hodnocení doplňovat, nikoli je nahrazovat.
tři mini pouzdra
Případ 1 – Zmapovaná oblast. Knihovník chtěl výzkumné skupině ukázat základní práci ve svém oboru. Data z 200 publikací čerpala ze skutečné citační databáze; YZ shrnul tato data do tematických skupin a zdůraznil 10 nejcitovanějších studií. Analytik ověřil každý cluster a identifikátor v databázi; skupina rychle pochopila strukturu oblasti.
Případ 2 – Zachycen falešný h-index. Manažer se zeptal AI na h-index výzkumníka; AI řekla „42“. Knihovník se podíval na skutečnou databázi: správná hodnota byla 19; AI si číslo vymyslela. To ukázalo, že metriky by nikdy neměly být přebírány z paměti AI, ale ze skutečných dat.
Případ 3 – Zabráněno nesprávnému srovnání. Jedna jednotka chtěla přidělit finanční prostředky porovnáním dvou kapitol na základě jejich průměrného počtu citací. Knihovnice vysvětlila, že jedno z oddělení je medicína (vysoká citační kultura) a druhé humanitní (kniha-těžká, nízká citační kultura) a že toto srovnání by bylo nespravedlivé. Hodnocení bylo podpořeno kvalitativními kritérii, která zohledňovala oborové rozdíly.
Vizuální mapy a čtecí pasti
Často používaným nástrojem v bibliometrii jsou síťové mapy (např. sítě spolucitování nebo spoluautorství), které zobrazují vztahy mezi publikacemi nebo autory podle uzlů a vazeb. Tyto mapy zviditelní strukturu, shluky a mostní díla oblasti; Umělá inteligence může agregovat podkladová skutečná data a pomoci tyto mapy interpretovat. Ale vizuální mapy, i když jsou výkonné, mohou být také zavádějící: velký, centrálně viditelný uzel nemusí být „nejdůležitější“, ale pouze „nejvíce propojený“; Velikost shluku může odrážet pouze objem publikace, nikoli hodnotu tohoto prostoru. Navíc to, jak je mapa nakreslena (která prahová hodnota, které časové období, která databáze), zcela mění výsledek. Při prezentaci bibliometrické vizualizace jako podkladu pro rozhodnutí je proto bezpodmínečně nutné jasně uvést, z jakých dat je založena, z jakých parametrů a za jaké časové období. Pokud komentář vygenerovaný AI kvalifikuje uzel na mapě jako „vůdce“ nebo „nejvlivnější“, zkontrolujte, zda je tato charakterizace podporována skutečnými daty.
Tip: Při interpretaci mapy sítě nespadněte do pasti „střed = nahoře“. Středovost udává pouze hustotu připojení; Původní přínos nebo kvalita díla není na mapě vidět a lze jej pochopit pouze přečtením obsahu.
Čtyři kopírovatelné šablony
1) Shrnutí aktuálních citačních údajů:
Níže je uveden seznam publikací a čísla citací, které jsem převzal ze skutečné citační databáze. Rozdělte je do tematických skupin a shrňte každý shluk do jediné věty. Použijte pouze data, která jsem uvedl, nepřidávejte/nevytvářejte nové publikace ani počty citací. Údaje: [zde]
2) Značení trendů a vzorů:
Zvýrazněte pozoruhodné trendy (nárůst, pokles, koncentrace spolupráce) v publikacích/citačních datech podle roku níže. Každé pozorování zakládejte na datech, nespekulujte. Údaje: [zde]
3) Upozornění týkající se interpretace kritérií:
Interpretujte následující bibliometrické kritérium s uvedením jeho mezí: o jakém předmětu poskytuje informace, o jakém předmětu neinformuje, o jakém předmětu může být zneužito? Kritéria a kontext: [zde]
4) Kontrola rozdílu oblastí:
Lze citační údaje následujících dvou skupin přímo porovnat? Zhodnoťte rozdíly v citační kultuře mezi obory a vysvětlete, zda je srovnání spravedlivé. Údaje: [zde]
Slabá výzva / Silná výzva
Slabá výzva:
Uveďte nejvlivnější články tohoto autora a počty citací.
Umělá inteligence generuje vytvořené názvy a počty citací ze své globální paměti bez přístupu ke skutečným datům. Výsledek: přesvědčivá, ale falešná analýza.
Výkonná výzva:
Vaše role: asistent bibliometrie. Níže jsou uvedeny citace publikací a čísla citací, které jsem vytáhl ze skutečné databáze citací. Seřaďte tato data od nejcitovanější domény po nejnižší, rozdělte je do tematických shluků a každý shluk shrňte. Neodchylujte se od údajů, které jsem uvedl, nevymýšlejte žádná čísla ani štítky. Přidejte krátkou poznámku o omezeních kritérií. Údaje: [zde]
Výkonná výzva; Omezuje umělou inteligenci na skutečná data, zakazuje výrobu a připomíná limity benchmarků.
Tabulka kritérií a limitů
kritérium
Co ukazuje
Co neukazuje
Pozor
Počet citací
Použití/viditelnost
kvalita, přesnost
Záleží na místní kultuře
h-index
Produktivita + dopad
hodnotu jednotlivce
Citlivý na délku kariéry
Dopadový faktor
Průměr deníku
Hodnota jednoho článku
Kritéria na úrovni deníku
síť spolupráce
S kým pracoval
Míra příspěvku
Role v síti nejasná
Časté chyby
- Žádost o počet citací od AI. Čísla se tvoří mimo skutečnou databázi.
- Myslet si, že kritériem je měřítko kvality. Citace označuje použití, nikoli kvalitu.
- Přímé porovnávání oblastí. Kultury atribuce jsou různé, není to fér.
- Měření humanitních věd podle atribuce. Výstupy náročné na knihy jsou v databázích nedostatečně zastoupeny.
- Hodnocení jednotlivců podle kritérií. Rozhodnutí o přijetí/povýšení by nemělo být založeno na jediném kritériu.
V souhrnu
V bibliometrii a citační analýze je umělá inteligence mocným pomocníkem, který shlukuje skutečná data, označuje trendy a shrnuje; Ale nikdy neberte citační čísla a vedlejší řádky z paměti AI, protože to tvoří. Metriky ukazují využití a viditelnost, nikoli kvalitu; nelze porovnávat mezi doménami; je v humanitních oborech nedostatečně zastoupena a nelze ji použít samostatně k hodnocení jednotlivců. Knihovník je odpovědným průvodcem, který vysvětluje meze těchto kritérií a vyvažuje je kvalitativním hodnocením.
Aplikační úkol
Vezměte si malý seznam publikací (10-15 záznamů, s počty citací) ze skutečné citační databáze. Vytvořte klastr AI a shrňte jej pomocí šablony „Summarize real citation data“, poté ověřte citace a počty v databázi. Poté vytiskněte limity metriky podle svého výběru (např. h-index) pomocí šablony „Upozornění na interpretaci kritérií“ a naplánujte si, jak to vysvětlíte manažerovi.
kontrolní seznam
- [ ] Čísla citací a citace jsem uvedl z reálné databáze, neměl jsem je vymyšlené AI.
- [ ] Metriky jsem prezentoval jako indikátory využití/viditelnosti, nikoli kvality.
- [ ] Zohlednil jsem rozdíl v citační kultuře mezi obory.
- [ ] Vzal jsem v úvahu nedostatečné zastoupení humanitních věd.
- [ ] Při hodnocení jednotlivců jsem nepoužil pouze toto kritérium.