Pelnas:
- Galimybė įgyvendinti niekada neimti nuorodų skaičiaus ir citatų iš AI atminties, kartu sugrupuojant ir apibendrinant duomenis, paimtus iš tikros citatų duomenų bazės naudojant AI
- Gebėjimas suprasti, kad tokie rodikliai kaip citata, h indeksas ir poveikio faktorius rodo naudojimą, bet ne kokybę, ir jų nepalyginamumą tarp laukų.
- Gebėjimas įvertinti vien bibliometrinių kriterijų naudojimo etines ribas vertinant asmenis ir suderinti juos su kokybiniu vertinimu
Universiteto biblioteka matuoja savo institucijos mokslinių tyrimų rezultatus; tyrėjui surasti įtakingiausius srities tyrimus; vadovas gali norėti įvertinti katedros mokslinį matomumą. Už šio darbo slypi bibliometrija: sritis, kuri skaitiniu būdu nagrinėja mokslines publikacijas ir jų citavimo ryšius. Šiame skyriuje sužinosite, kaip dirbtinį intelektą panaudoti citatų analizėje, publikacijų žemėlapiuose ir poveikio vertinime; bet išmoksite pereiti per skaitmeninės metrikos ribas ir etinius spąstus.
Apibrėžkime sąvokas. Citavimas yra mokslinė nuoroda, kurią vienas leidinys daro į kitą publikaciją; Citatų skaičius laikomas rodikliu, nurodnčiu, kiek kūrinys buvo panaudotas. H indeksas yra matas, apjungiantis ir tyrėjo produktyvumą, ir poveikį (jei h publikacijų skaičius gavo bent h citatų, h indeksas yra h). Poveikio koeficientas yra matas, rodantis vidutinį žurnalo citavimo lygį. Šie rodikliai yra naudingi, bet nė vienas nėra tiesioginis „kokybės“ matas; Turėti omenyje šį skirtumą yra bibliometrijos esmė.
Žingsnis po žingsnio: atsakinga bibliometrinė analizė
1. Paaiškinkite klausimą. „Kokios pagrindinės šios srities studijos?“, „Kokios mūsų institucijos publikacijos dažniausiai cituojamos?“, „Kaip šios dvi sritys susikerta?“ Kiekvienas klausimas reikalauja skirtingos analizės.
2. Naudokite patikimus duomenis. Citavimo analizė yra tiek patikima, kiek yra duomenų šaltinis. AI gali sudaryti nuorodų skaičių arba publikacijų sąrašus; Todėl būtina dirbti su duomenimis iš tikros citatų duomenų bazės. Naudokite dirbtinį intelektą tikriems duomenims interpretuoti ir apibendrinti, o ne duomenims generuoti.
3. Pažymėkite raštus. AI padeda apibendrinti temų grupes, bendradarbiavimo tinklus ar tendencijas laikui bėgant dideliame leidinių rinkinyje. Tai nukreipia žmogaus analitiko dėmesį į svarbius dalykus.
4. Interpretuokite kriterijų kontekste. Mažas citatų skaičius nereiškia, kad darbas yra bevertis; Laukas gali būti mažas, tema gali būti nauja arba leidinys gali būti labai naujas. Niekada neinterpretuokite skaičiaus be konteksto.
5. Laikykitės etikos ribos. Priimant sprendimus dėl asmenų samdymo, paaukštinimo ar finansavimo, bibliometrinės priemonės neturėtų būti naudojamos vieni. Skaičiai neišmatuoja žmonių vertės; Piktnaudžiavimas jais yra ir nesąžiningas, ir žalingas.
Patarimas: kai AI atlieka citatų analizę, pateikite šaltinių skaičių ir publikacijų citatas iš tikros duomenų bazės; Leiskite AI tiesiog tvarkyti, grupuoti ir interpretuoti šiuos duomenis. "Koks šio rašytojo h indeksas?" Tiesiogiai paklausus, gali būti sugalvotas skaičius.
Kriterijų ir manipuliavimo ribos
Kadangi bibliometrinė metrika atrodo galinga, ja galima piktnaudžiauti. Citavimo skaičius gali būti išpūstas įvairiais būdais: besaikis savęs citavimas (cituojant savo darbą), citavimo žiedai (žmonių grupės, abipusiai cituojančios viena kitą), arba pačios srities citavimo kultūra. Be to, kriterijai nėra palyginami įvairiose srityse: medicinos straipsnio ir filosofijos straipsnio citavimo aplinka visiškai skiriasi.
Ši problema dar akivaizdesnė humanitariniuose ir socialiniuose moksluose; nes reikšmingi šių sričių rezultatai (knygos, vertimai, apžvalgos) šaltinių duomenų bazėse yra nepakankamai atstovaujami. Matuoti istoriko ar literatūrologo poveikį vien citatų skaičiumi reiškia klaidingai suprasti kūrinio pobūdį. Bibliotekininkas yra vadovas, paaiškinantis šių kriterijų ribas administratoriams ir tyrėjams.
Atsargiai: nepateikite bibliometrinio mato kaip galutinio sprendimo apie asmens akademinius nuopelnus ar katedros kokybę. Atsakingo tyrimo vertinimo principai pabrėžia, kad priemonės turi papildyti kokybinį vertinimą, o ne jį pakeisti.
trys mini dėklai
1 atvejis – pažymėtas plotas. Bibliotekininkė norėjo tyrėjų grupei parodyti pagrindinius savo srities darbus. Jis paėmė duomenis iš 200 publikacijų iš tikros citatų duomenų bazės; YZ apibendrino šiuos duomenis į temų grupes ir pabrėžė 10 dažniausiai cituojamų tyrimų. Analitikas patikrino kiekvieną klasterį ir identifikatorių duomenų bazėje; grupė greitai suvokė vietovės struktūrą.
2 atvejis – pagautas netikras h indeksas. Vadovas paklausė AI apie tyrėjo h indeksą; AI pasakė „42“. Bibliotekininkė pažvelgė į tikrą duomenų bazę: teisinga reikšmė buvo 19; AI sugalvojo skaičių. Tai parodė, kad metrikos niekada neturėtų būti paimtos iš AI atminties, o iš tikrų duomenų.
3 atvejis – užkirstas kelias neteisingam palyginimui. Vienas padalinys norėjo skirti lėšų, palygindamas du skyrius pagal jų vidutinį citatų skaičių. Bibliotekininkė paaiškino, kad viena iš katedrų yra medicinos (didelė citavimo kultūra), o kita – humanitarinių mokslų (daug knygų, žema citavimo kultūra), todėl toks palyginimas būtų nesąžiningas. Vertinimas buvo paremtas kokybiniais kriterijais, kuriuose buvo atsižvelgta į lauko skirtumus.
Vaizdiniai žemėlapiai ir skaitymo spąstai
Bibliometrikoje dažnai naudojamas įrankis yra tinklo žemėlapiai (pvz., bendrai cituojami arba bendraautorystės tinklai), kurie rodo ryšius tarp publikacijų ar autorių pagal mazgus ir nuorodas. Šiuose žemėlapiuose matoma teritorijos struktūra, sankaupos ir tiltų darbai; AI gali kaupti pagrindinius tikrus duomenis ir padėti interpretuoti šiuos žemėlapius. Tačiau vizualiniai žemėlapiai, nors ir galingi, taip pat gali klaidinti: didelis, centre matomas mazgas gali būti ne „svarbiausias“, o tiesiog „labiausiai susijęs“; Grupės dydis gali atspindėti tik publikacijos apimtį, o ne tos vietos vertę. Be to, tai, kaip braižomas žemėlapis (kuris slenkstis, koks laikotarpis, kokia duomenų bazė), visiškai pakeičia rezultatą. Todėl pateikiant bibliometrinę vizualizaciją kaip sprendimo pagrindą, būtina aiškiai nurodyti, kokiais duomenimis ji pagrįsta, kokiais parametrais ir per kokį laikotarpį. Jei dirbtinio intelekto sugeneruotas komentaras kvalifikuoja žemėlapio mazgą kaip „lyderį“ arba „įtakingiausią“, patikrinkite, ar tą apibūdinimą patvirtina tikri duomenys.
Patarimas: interpretuodami tinklo žemėlapį nepatekkite į spąstus „centras = viršuje“. Centriškumas rodo tik ryšio tankį; Originalus kūrinio indėlis ar kokybė nematomi žemėlapyje ir gali būti suprantami tik perskaičius turinį.
Keturi kopijuojami šablonai
1) Apibendrinant faktinius citavimo duomenis:
Žemiau yra publikacijų sąrašas ir citatų numeriai, kuriuos paėmiau iš tikros citatų duomenų bazės. Padalinkite juos į temų grupes ir apibendrinkite kiekvieną grupę viename sakinyje. Tiesiog naudokite mano pateiktus duomenis, nepridėkite / nekurkite naujų publikacijų ar citatų skaičiaus. Duomenys: [čia]
2) Tendencijos ir modelio žymėjimas:
Pažymėkite reikšmingas tendencijas (padidėjimas, mažėjimas, bendradarbiavimo koncentracija) toliau pateiktuose metų publikacijos / citavimo duomenyse. Kiekvieną pastebėjimą pagrįskite duomenimis, nespėliokite. Duomenys: [čia]
3) Įspėjimas dėl kriterijų aiškinimo:
Išaiškinkite šį bibliometrinį kriterijų, taip pat nurodydami jo ribas: kokiu klausimu jis teikia informaciją, kokiu klausimu neteikia, kokiu klausimu jis gali būti netinkamai naudojamas? Kriterijai ir kontekstas: [čia]
4) Ploto skirtumo valdymas:
Ar galima tiesiogiai palyginti šių dviejų grupių citavimo duomenis? Įvertinkite citavimo kultūros skirtumus tarp laukų ir paaiškinkite, ar palyginimas teisingas. Duomenys: [čia]
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Išvardykite įtakingiausius šio autoriaus straipsnius ir citatų skaičių.
AI generuoja sugalvotus pavadinimus ir citatų skaičių iš savo pasaulinės atminties, nepasiekdamas tikrų duomenų. Rezultatas: įtikinama, bet klaidinga analizė.
Galingas raginimas:
Jūsų vaidmuo: bibliometrijos asistentas. Žemiau pateikiamos publikacijų citatos ir citatų numeriai, kuriuos paėmiau iš tikrosios citatų duomenų bazės. Rūšiuokite šiuos duomenis nuo dažniausiai cituojamų domenų iki mažiausio, suskirstykite juos į temų grupes ir apibendrinkite kiekvieną klasterį. Nenukrypti nuo mano pateiktų duomenų, nesudarinėti jokių skaičių ar etikečių. Pridėkite trumpą pastabą apie kriterijų ribas. Duomenys: [čia]
Galingas raginimas; Tai riboja AI tikriems duomenims, draudžia gaminti ir primena mums apie etalonų ribas.
Kriterijų ir ribų lentelė
kriterijus
Kas rodo
Ko neparodo
Dėmesio
Citatų skaičius
Naudojimas/matomumas
kokybė, tikslumas
Priklauso nuo vietovės kultūros
h indeksas
Produktyvumas+poveikis
individo vertę
Jautrus karjeros trukmei
Poveikio faktorius
Žurnalo vidurkis
Vieno straipsnio vertė
Žurnalo lygio kriterijai
bendradarbiavimo tinklas
Kas dirbo su
Įnašo norma
Vaidmuo tinkle neaiškus
Dažnos klaidos
- Prašymas cituoti iš AI. Skaičiai sudaromi už tikrosios duomenų bazės ribų.
- Galvojant, kad kriterijus yra kokybės matas. Citata nurodo naudojimą, o ne kokybę.
- Tiesiogiai lyginant sritis. Priskyrimo kultūros skiriasi, tai nėra teisinga.
- Humanitarinių mokslų matavimas priskyrimu. Duomenų bazėse nėra daug knygų.
- Asmenų vertinimas pagal kriterijus. Sprendimas dėl įdarbinimo / paaukštinimo neturėtų būti grindžiamas vienu kriterijumi.
Apibendrinant
Bibliometrijoje ir citavimo analizėje AI yra galingas asistentas, kaupiantis tikrus duomenis, žymintis tendencijas ir apibendrinantis; Tačiau niekada neimkite nuorodų skaičių ir eilučių iš AI atminties, nes ji ją sudaro. Metrika rodo naudojimą ir matomumą, o ne kokybę; negali būti lyginamas tarp domenų; yra nepakankamai atstovaujama humanitariniuose moksluose ir negali būti naudojama atskirai vertinant asmenis. Bibliotekininkas yra atsakingas vadovas, paaiškinantis šių kriterijų ribas ir subalansuojantis jas kokybiniu vertinimu.
Taikymo užduotis
Paimkite nedidelį publikacijų sąrašą (10–15 įrašų su citatų skaičiumi) iš tikros citatų duomenų bazės. Turėkite AI klasterį ir apibendrinkite naudodami šabloną „Apibendrinti tikrus citatų duomenis“, tada patvirtinkite citatas ir įskaitymus į duomenų bazę. Tada atsispausdinkite pasirinktos metrikos (pvz., h-indekso) ribas naudodami šabloną „Įspėjimas dėl kriterijų aiškinimo“ ir suplanuokite, kaip tai paaiškinsite vadovui.
kontrolinis sąrašas
- [ ] Pateikiau citatų numerius ir citatas iš tikros duomenų bazės, neturėjau jų sudaryto AI.
- [ ] Metrikas pateikiau kaip naudojimo/matomumo, o ne kokybės rodiklius.
- [ ] Atsižvelgiau į citavimo kultūros skirtumą tarp laukų.
- [ ] Atsižvelgiau į nepakankamą humanitarinių mokslų atstovavimą.
- [ ] Vertindamas asmenis nenaudojau vien kriterijaus.