Ieguvumi:
- Iespēja nekad neizmantot citātu skaitu un citātus no AI atmiņas, vienlaikus grupējot un apkopojot datus, kas ņemti no reālās citātu datu bāzes ar AI
- Spēja saprast, ka tādi rādītāji kā atsauce, h-indekss un ietekmes faktors norāda uz izmantošanu, bet ne uz kvalitāti, un to nesalīdzināmību starp laukiem.
- Spēja ņemt vērā bibliometrisko kritēriju izmantošanas ētiskās robežas indivīdu novērtēšanā un līdzsvarot tos ar kvalitatīvu novērtējumu
Universitātes bibliotēka mēra savas institūcijas pētniecības rezultātus; pētnieks, lai atrastu ietekmīgākos nozares pētījumus; vadītājs var vēlēties novērtēt nodaļas zinātnisko atpazīstamību. Aiz šī darba slēpjas bibliometrija: joma, kas skaitliski pārbauda zinātniskās publikācijas un citēšanas attiecības starp tām. Šajā nodaļā jūs uzzināsiet, kā izmantot mākslīgo intelektu citēšanas analīzē, publikāciju kartēšanā un ietekmes novērtējumā; bet jūs uzzināsiet, kā orientēties skaitliskās metrikas robežās un ētiskajās nepilnībās.
Definēsim jēdzienus. Citāts ir zinātniska atsauce no vienas publikācijas uz citu publikāciju; Atsauču skaits tiek uzskatīts par rādītāju tam, cik daudz darbs ir izmantots. H indekss ir mērs, kas apvieno gan pētnieka produktivitāti, gan ietekmi (ja h publikāciju skaits ir saņēmis vismaz h citātu, h indekss ir h). Ietekmes faktors ir rādītājs, kas parāda žurnāla vidējo citēšanas līmeni. Šie rādītāji ir noderīgi, taču neviens no tiem nav tieši “kvalitātes” mērs; Šīs atšķirības paturēšana prātā ir bibliometrijas būtība.
Soli pa solim: atbildīga bibliometriskā analīze
1. Precizējiet jautājumu. "Kādi ir šīs jomas pamatpētījumi?", "Kuras ir mūsu iestādes visvairāk citētās publikācijas?", "Kā šīs divas jomas krustojas?" Katram jautājumam nepieciešama atšķirīga analīze.
2. Izmantojiet uzticamus datus. Atsauces analīze ir tikpat uzticama kā datu avots. AI var izveidot citātu skaitu vai publikāciju sarakstus; Tāpēc ir svarīgi strādāt ar datiem no reālas citātu datu bāzes. Izmantojiet AI, lai interpretētu un apkopotu reālus datus, nevis ģenerētu datus.
3. Atzīmējiet modeļus. AI palīdz apkopot tēmu kopas, sadarbības tīklus vai tendences laika gaitā lielā publikāciju komplektā. Tas pievērš cilvēka analītiķa uzmanību svarīgiem punktiem.
4. Interpretējiet kritēriju kontekstā. Zems citātu skaits nenorāda, ka darbs ir nevērtīgs; Lauks var būt mazs, tēma var būt jauna vai publikācija var būt ļoti jauna. Nekad neinterpretējiet numuru bez konteksta.
5. Ievērojiet ētikas robežu. Bibliometriskos mērījumus nevajadzētu izmantot atsevišķi, lai pieņemtu lēmumus par personu pieņemšanu darbā, paaugstināšanu amatā vai finansēšanu. Skaitļi neizmēra cilvēku vērtību; Viņu ļaunprātīga izmantošana ir gan negodīga, gan kaitīga.
Padoms. Ja AI veic citātu analīzi, norādiet citātu skaitu un publikāciju citātus no reālās datu bāzes; Ļaujiet AI vienkārši sakārtot, grupēt un interpretēt šos datus. — Kāds ir šī rakstnieka h-indekss? Jautājot tieši, var tikt parādīts izdomāts numurs.
Kritēriju un manipulāciju robežas
Tā kā bibliometriskā metrika šķiet spēcīga, to var ļaunprātīgi izmantot. Atsauču skaitu var palielināt dažādos veidos: pārmērīga pašcitēšana (atsaucoties uz savu darbu), citēšanas gredzeni (cilvēku grupas, kas savstarpēji citē cita citu) vai attiecīgās jomas citēšanas kultūra. Turklāt kritēriji nav salīdzināmi dažādās jomās: medicīnas raksta un filozofijas raksta citēšanas vide ir pilnīgi atšķirīga.
Šī problēma ir vēl izteiktāka humanitārajās un sociālajās zinātnēs; jo nozīmīgi rezultāti šajās jomās (grāmatas, tulkojumi, recenzijas) ir nepietiekami pārstāvēti citātu datubāzēs. Mērīt vēsturnieka vai literatūrzinātnieka ietekmi tikai pēc citātu skaita nozīmē pārprast darba būtību. Bibliotekārs ir ceļvedis, kas administratoriem un pētniekiem izskaidro šo kritēriju robežas.
Uzmanību: Nenorādiet bibliometrisko mērauklu kā galīgo spriedumu par indivīda akadēmiskajiem nopelniem vai nodaļas kvalitāti. Atbildīgas pētniecības vērtēšanas principi uzsver, ka pasākumiem kvalitatīvais novērtējums jāpapildina, nevis jāaizstāj.
trīs mini futrāļi
1. gadījums — apgabals kartēts. Kāda bibliotekāre vēlējās pētnieku grupai parādīt pamatdarbus savā jomā. Tas izvilka datus no 200 publikācijām no reālas citēšanas datu bāzes; YZ apkopoja šos datus tēmu kopās un iezīmēja 10 visvairāk citētos pētījumus. Analītiķis pārbaudīja katru klasteru un identifikatoru datubāzē; grupa ātri aptvēra apgabala struktūru.
2. gadījums — noķerts viltus h-indekss. Menedžeris jautāja AI par pētnieka h-indeksu; AI teica "42". Bibliotekārs aplūkoja faktisko datu bāzi: pareizā vērtība bija 19; AI bija izdomājis skaitli. Tas parādīja, ka metriku nekad nevajadzētu ņemt no AI atmiņas, bet gan no reāliem datiem.
3. gadījums — novērsta nepareiza salīdzināšana. Viena vienība vēlējās piešķirt līdzekļus, salīdzinot divas nodaļas, pamatojoties uz to vidējo citātu skaitu. Bibliotekāre skaidroja, ka viena no katedrām ir medicīna (augsta citēšanas kultūra), bet otrā – humanitārās zinātnes (bagātām grāmatām, zema citēšanas kultūra), un šāds salīdzinājums būtu negodīgs. Vērtēšana tika balstīta uz kvalitatīviem kritērijiem, kas ņēma vērā lauku atšķirības.
Vizuālās kartes un lasīšanas slazdi
Bibliometrikā bieži izmantots rīks ir tīkla kartes (piemēram, līdzcitēšanas vai līdzautorības tīkli), kas parāda attiecības starp publikācijām vai autoriem pēc mezgliem un saitēm. Šīs kartes padara redzamas teritorijas struktūras, kopas un tiltu konstrukcijas; AI var apkopot pamatā esošos reālos datus un palīdzēt interpretēt šīs kartes. Taču vizuālās kartes, lai arī jaudīgas, var būt arī maldinošas: liels, centrāli redzams mezgls var nebūt “vissvarīgākais”, bet tikai “visvairāk savienotais”; Klastera lielums var atspoguļot tikai publikācijas apjomu, nevis šīs vietas vērtību. Turklāt tas, kā karte tiek uzzīmēta (kurš slieksnis, kurš laika periods, kura datu bāze) pilnībā maina rezultātu. Tāpēc, uzrādot bibliometrisko vizualizāciju kā lēmuma pamatojumu, obligāti skaidri jānorāda, uz kādiem datiem tā ir balstīta, uz kādiem parametriem un par kādu laika periodu. Ja mākslīgā intelekta ģenerēts komentārs kvalificē kādu mezglu kartē kā “līderi” vai “ietekmīgāko”, pārbaudiet, vai šo raksturojumu atbalsta reāli dati.
Padoms. Interpretējot tīkla karti, neiekrītiet slazdā "centrs = augšpusē". Centralitāte norāda tikai savienojuma blīvumu; Darba oriģinālais devums vai kvalitāte nav redzama kartē, un to var saprast, tikai izlasot saturu.
Četras kopējamas veidnes
1) Faktisko citātu datu apkopošana:
Zemāk ir publikāciju saraksts un citātu numuri, kurus paņēmu no īstas citātu datu bāzes. Sadaliet tos tēmu kopās un apkopojiet katru kopu vienā teikumā. Vienkārši izmantojiet manis sniegtos datus, nepievienojiet/neveidojiet jaunas publikācijas vai citātu skaitu. Dati: [šeit]
2) Tendenču un modeļu marķējums:
Tālāk iezīmējiet ievērojamās tendences (pieaugums, samazinājums, sadarbības koncentrācija) gada publikāciju/atsauču datos. Pamatojiet katru novērojumu uz datiem, nedomājiet. Dati: [šeit]
3) Brīdinājums par kritēriju interpretāciju:
Interpretējiet šādu bibliometrisko kritēriju, norādot arī tā robežas: par kuru tēmu tas sniedz informāciju, par kuru tēmu tas nesniedz informāciju, par kuru tēmu tas ir pakļauts ļaunprātīgai izmantošanai? Kritēriji un konteksts: [šeit]
4) Platības starpības kontrole:
Vai šādu divu grupu citēšanas datus var tieši salīdzināt? Novērtējiet atšķirības citēšanas kultūrā starp laukiem un paskaidrojiet, vai salīdzinājums ir godīgs. Dati: [šeit]
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Norādiet šī autora ietekmīgākos rakstus un citātu skaitu.
AI ģenerē izdomātus nosaukumus un citātu skaitu no savas globālās atmiņas, nepiekļūstot reālajiem datiem. Rezultāts: pārliecinoša, bet nepatiesa analīze.
Spēcīga uzvedne:
Jūsu loma: bibliometrijas asistents. Zemāk ir publikāciju citāti un citātu numuri, kurus es izvilku no reālās citātu datu bāzes. Kārtojiet šos datus no visvairāk citētā domēna uz zemāko, sadaliet tos tēmu kopās un apkopojiet katru kopu. Neatkāpieties no manis sniegtajiem datiem, neizdomājiet nekādus skaitļus vai etiķetes. Pievienojiet īsu piezīmi par kritēriju ierobežojumiem. Dati: [šeit]
Spēcīga uzvedne; Tas ierobežo AI ar reāliem datiem, aizliedz izgatavošanu un atgādina mums par etalonu ierobežojumiem.
Kritēriju un ierobežojumu tabula
kritērijs
Kas liecina
Ko nerāda
Uzmanību
Atsauču skaits
Lietošana/redzamība
kvalitāte, precizitāte
Atkarīgs no apgabala kultūras
h-indekss
Produktivitāte+ietekme
indivīda vērtība
Jutīgs pret karjeras ilgumu
Ietekmes faktors
Žurnāla vidējais rādītājs
Viena raksta vērtība
Žurnāla līmeņa kritēriji
sadarbības tīkls
Kas strādāja ar
Iemaksu likme
Loma tīklā nav skaidra
Biežas kļūdas
- Citu skaita pieprasīšana no AI. Skaitļi tiek izdomāti ārpus reālās datu bāzes.
- Domājot, ka kritērijs ir kvalitātes mērs. Citāts norāda lietojumu, nevis kvalitāti.
- Apgabalu tieša salīdzināšana. Attiecinājuma kultūras ir dažādas, tas nav godīgi.
- Humanitāro zinātņu mērīšana pēc attiecinājuma. Grāmatu apjomīgi produkti datu bāzēs ir nepietiekami pārstāvēti.
- Personu izvērtēšana pēc kritērijiem. Lēmumam par pieņemšanu darbā/paaugstināšanu amatā nevajadzētu būt balstītam uz vienu kritēriju.
Rezumējot
Bibliometrijā un citātu analīzē AI ir spēcīgs palīgs, kas apkopo reālus datus, atzīmē tendences un apkopo kopsavilkumus; Taču nekad neņemiet citātu numurus un rindiņas no AI atmiņas, jo tā to veido. Metrika parāda lietojumu un redzamību, nevis kvalitāti; nevar salīdzināt starp domēniem; ir nepietiekami pārstāvēts humanitārajās zinātnēs, un to nevar izmantot atsevišķi, lai novērtētu indivīdus. Bibliotekārs ir atbildīgs gids, kurš izskaidro šo kritēriju robežas un līdzsvaro ar kvalitatīvu vērtējumu.
Lietojumprogrammas uzdevums
Paņemiet nelielu publikāciju sarakstu (10–15 ieraksti ar citējumu skaitu) no īstas citātu datu bāzes. Izveidojiet AI klasteri un apkopojiet to, izmantojot veidni “Apkopot reālos citātu datus”, pēc tam apstipriniet citātus un ieskaites datubāzē. Pēc tam izdrukājiet savas izvēlētās metrikas (piemēram, h-indeksa) ierobežojumus, izmantojot veidni “Brīdinājums par kritēriju interpretāciju”, un plānojiet, kā to izskaidrosiet vadītājam.
kontrolsaraksts
- [ ] Es norādīju citātu numurus un citātus no reālās datu bāzes, man nebija tos veidojis AI.
- [ ] Es uzrādīju metriku kā lietojuma/redzamības, nevis kvalitātes rādītājus.
- [ ] Es ņēmu vērā citēšanas kultūras atšķirību starp laukiem.
- [ ] Es ņēmu vērā humanitāro zinātņu nepietiekamo pārstāvniecību.
- [ ] Es neizmantoju tikai kritēriju, vērtējot indivīdus.