Qligħ:
- Kapaċità li timplimenta qatt ma tieħu l-għadd taċ-ċitazzjonijiet u ċ-ċitazzjonijiet mill-memorja tal-AI filwaqt li tiġbor u tiġbor fil-qosor id-dejta meħuda mid-database taċ-ċitazzjonijiet reali bl-AI
- Kapaċità li tifhem li metriċi bħal ċitazzjoni, indiċi h, u fattur tal-impatt jindikaw l-użu iżda mhux il-kwalità, u l-inkomparabbiltà tagħhom bejn l-oqsma.
- Kapaċità li tikkunsidra l-limiti etiċi tal-użu ta’ kriterji biblijometriċi waħedhom fl-evalwazzjoni ta’ individwi u tibbilanċjahom ma’ evalwazzjoni kwalitattiva
Librerija universitarja tkejjel il-produzzjoni tar-riċerka tal-istituzzjoni tagħha; riċerkatur biex isib l-aktar studji influwenti ta’ qasam; maniġer jista 'jkun irid jevalwa l-viżibilità xjentifika ta' dipartiment. Wara dan ix-xogħol hemm il-bibljometrika: il-qasam li jeżamina numerikament il-pubblikazzjonijiet xjentifiċi u r-relazzjonijiet taċ-ċitazzjoni bejniethom. F'din l-unità, titgħallem kif tuża l-intelliġenza artifiċjali fl-analiżi taċ-ċitazzjonijiet, l-immappjar tal-pubblikazzjoni u l-valutazzjoni tal-impatt; imma int se titgħallem kif tinnaviga l-limiti u l-iżvantaġġi etiċi tal-metriċi numeriċi.
Ejja niddefinixxu l-kunċetti. Ċitazzjoni hija referenza xjentifika magħmula minn pubblikazzjoni waħda għal pubblikazzjoni oħra; In-numru ta’ ċitazzjonijiet huwa meqjus bħala indikatur ta’ kemm xogħol intuża. L-indiċi h huwa miżura li tgħaqqad kemm il-produttività kif ukoll l-impatt ta’ riċerkatur (jekk numru h ta’ pubblikazzjonijiet kull waħda rċeviet mill-inqas h ċitazzjonijiet, l-indiċi h huwa h). Il-fattur tal-impatt huwa miżura li turi l-livell medju ta' ċitazzjoni ta' ġurnal. Dawn il-metriċi huma utli, iżda l-ebda waħda ma hija miżuri diretti ta '"kwalità"; Li żżomm din id-distinzjoni f'moħħha hija l-essenza tal-bibljometrika.
Pass pass: analiżi biblijometrika responsabbli
1. Iċċara l-mistoqsija. "X'inhuma l-istudji bażiċi ta 'dan il-qasam?", "Liema huma l-aktar pubblikazzjonijiet ikkwotati tal-istituzzjoni tagħna?", "Kif jaqsmu dawn iż-żewġ oqsma?" Kull mistoqsija teħtieġ analiżi differenti.
2. Uża data affidabbli. L-analiżi taċ-ċitazzjoni hija affidabbli daqs is-sors tad-dejta. L-AI tista' tagħmel għadd ta' ċitazzjonijiet jew listi ta' pubblikazzjoni; Għalhekk, huwa essenzjali li taħdem b'dejta minn database ta 'ċitazzjoni reali. Uża l-AI biex tinterpreta u tiġbor fil-qosor data reali, mhux biex tiġġenera data.
3. Ikollhom il-mudelli mmarkati. L-AI tgħin fil-qosor ta’ gruppi ta’ suġġetti, netwerks kollaborattivi, jew xejriet matul iż-żmien f’sett kbir ta’ pubblikazzjonijiet. Dan jidderieġi l-attenzjoni tal-analista uman għal punti importanti.
4. Interpreta l-kriterju fil-kuntest. Għadd baxx ta’ ċitazzjoni ma jindikax li x-xogħol ma jiswa xejn; Il-qasam jista 'jkun żgħir, is-suġġett jista' jkun ġdid, jew il-pubblikazzjoni tista 'tkun ġdida ħafna. Qatt tinterpreta n-numru mingħajr kuntest.
5. Osserva l-konfini etiku. Miżuri biblijometriċi m'għandhomx jintużaw waħedhom biex jittieħdu deċiżjonijiet dwar il-kiri, il-promozzjoni jew il-finanzjament ta' individwi. In-numri ma jkejlux il-valur tan-nies; L-abbuż minnhom huwa kemm inġust kif ukoll ta’ ħsara.
Tip: Meta l-AI twettaq analiżi taċ-ċitazzjonijiet, ipprovdi l-għadd taċ-ċitazzjonijiet u ċ-ċitazzjonijiet tal-pubblikazzjoni mid-database reali; Ħalli l-AI sempliċement torganizza, tiġbor u tinterpreta din id-dejta. "X'inhu l-h-indiċi ta' dan il-kittieb?" Tistaqsi direttament jista' jirriżulta f'numru magħmul.
Limiti ta' kriterji u manipulazzjoni
Minħabba li l-metriċi biblijometriċi jidhru b'saħħithom, huma miftuħa għall-abbuż. In-numri ta 'ċitazzjoni jistgħu jintefħu f'varjetà ta' modi: awto-ċitazzjoni eċċessiva (li tikkwota x-xogħol tiegħu stess), ċrieki ta 'ċitazzjoni (gruppi ta' nies li jiċċitaw reċiprokament lil xulxin), jew il-kultura ta 'ċitazzjoni tal-qasam stess. Barra minn hekk, il-kriterji mhumiex komparabbli bejn l-oqsma: l-ambjent ta 'ċitazzjoni ta' artiklu mediku u artiklu tal-filosofija huwa kompletament differenti.
Din il-problema hija saħansitra aktar evidenti fl-istudji umanistiċi u x-xjenzi soċjali; minħabba li l-outputs sinifikanti f'dawn l-oqsma (kotba, traduzzjonijiet, reviżjonijiet) huma sottorappreżentati fid-databases taċ-ċitazzjoni. Li tkejjel l-impatt ta 'storiku jew studjuż letterarju biss bin-numru ta' ċitazzjonijiet huwa li wieħed jifhem ħażin in-natura tax-xogħol. Il-librar huwa gwida li tispjega l-limiti ta’ dawn il-kriterji lill-amministraturi u r-riċerkaturi.
Attenzjoni: Tippreżentax miżura biblijometrika bħala ġudizzju finali dwar il-mertu akkademiku ta' individwu jew il-kwalità ta' dipartiment. Il-prinċipji ta' evalwazzjoni responsabbli tar-riċerka jenfasizzaw li l-miżuri għandhom jikkumplimentaw l-evalwazzjoni kwalitattiva, mhux jissostitwixxuha.
tliet każijiet żgħar
Każ 1 — Żona mmappjata. Librerija ried juri grupp ta’ riċerka xogħol bażiku fil-qasam tagħhom. Ġib dejta minn 200 pubblikazzjoni minn database ta’ ċitazzjoni reali; YZ ġabar fil-qosor din id-dejta fi gruppi ta 'suġġetti u enfasizza l-10 studji l-aktar ikkwotati. L-analista vverifika kull cluster u identifikatur fid-database; il-grupp malajr ħatfu l-istruttura taż-żona.
Każ 2 — H-indiċi foloz maqbud. Maniġer staqsa lill-AI dwar l-indiċi h ta 'riċerkatur; L-AI qalet "42". Il-librar ħares lejn id-database attwali: il-valur korrett kien 19; L-AI kienet għamlet in-numru. Dan wera li l-metriċi qatt ma għandhom jittieħdu mill-memorja AI iżda minn data reali.
Każ 3 — Tqabbil skorrett evitat. Unità waħda riedet talloka fondi billi tqabbel żewġ kapitoli bbażati fuq in-numru medju ta 'ċitazzjonijiet tagħhom. Il-librar spjega li wieħed mid-dipartimenti kien il-mediċina (kultura ta 'ċitazzjoni għolja) u l-ieħor kien l-umanitajiet (kultura ta' ċitazzjoni b'ħafna kotba), u li dan il-paragun ikun inġust. L-evalwazzjoni kienet appoġġata minn kriterji kwalitattivi li qiesu d-differenzi fil-qasam.
Mapep viżwali u nases tal-qari
Għodda użata ta’ spiss fil-bibljometrika hija l-mapep tan-netwerk (eż. netwerks ta’ ko-ċitazzjoni jew ta’ ko-awtur), li juru relazzjonijiet bejn pubblikazzjonijiet jew awturi permezz ta’ nodi u links. Dawn il-mapep jagħmlu viżibbli l-istruttura, gruppi u bridgeworks ta’ żona; L-AI tista 'taggrega d-dejta reali sottostanti u tgħin biex tinterpreta dawn il-mapep. Iżda mapep viżwali, filwaqt li huma qawwija, jistgħu wkoll ikunu qarrieqa: nodu kbir, viżibbli ċentralment jista 'ma jkunx l-"aktar importanti" iżda biss "l-aktar konnessi"; Id-daqs ta 'cluster jista' jirrifletti biss il-volum tal-pubblikazzjoni, mhux il-valur ta 'dak l-ispazju. Barra minn hekk, kif titfassal il-mappa (liema limitu, liema perjodu ta 'żmien, liema database) jibdel kompletament ir-riżultat. Għalhekk, meta tiġi ppreżentata viżwalizzazzjoni biblijometrika bħala bażi għal deċiżjoni, huwa imperattiv li tiddikjara b'mod ċar liema data hija bbażata fuq, liema parametri u fuq liema perjodu ta 'żmien. Jekk kumment iġġenerat mill-AI jikkwalifika nodu fuq il-mappa bħala "mexxej" jew "l-aktar influwenti", iċċekkja biex tara jekk dik il-karatterizzazzjoni hijiex appoġġjata minn data reali.
Tip: Taqax fin-nassa "ċentru = fuq" meta tinterpreta mappa tan-netwerk. Iċ-ċentralità tindika biss id-densità tal-konnessjoni; Il-kontribuzzjoni oriġinali jew il-kwalità ta 'xogħol ma jidhrux fuq il-mappa u jistgħu jinftiehmu biss billi jinqara l-kontenut.
Erba' mudelli li jistgħu jiġu kkupjati
1) Taqsira tad-dejta attwali taċ-ċitazzjoni:
Hawn taħt hawn il-lista tal-pubblikazzjoni u n-numri taċ-ċitazzjonijiet li ħadt minn database reali taċ-ċitazzjonijiet. Aqsamhom f'raggruppamenti ta' suġġetti u ġabar fil-qosor kull raggruppament f'sentenza waħda. Uża biss id-dejta li pprovdejt, iżżidx/tagħmel pubblikazzjonijiet ġodda jew għadd ta' ċitazzjonijiet. Dejta: [hawn]
2) Immarkar tat-tendenza u tal-mudell:
Enfasizza xejriet notevoli (żieda, tnaqqis, konċentrazzjoni ta 'kollaborazzjoni) fid-dejta tal-pubblikazzjoni/ċitazzjoni bbażata fuq is-sena hawn taħt. Ibbaża kull osservazzjoni fuq data, tispekulax. Dejta: [hawn]
3) Twissija dwar l-interpretazzjoni tal-kriterji:
Interpreta l-kriterju biblijometriku li ġej, billi tiddikjara wkoll il-limiti tiegħu: dwar liema suġġett jipprovdi informazzjoni, dwar liema suġġett ma jipprovdix informazzjoni, dwar liema suġġett huwa miftuħ għal użu ħażin? Kriterji u kuntest: [hawn]
4) Kontroll tad-differenza taż-żona:
Tista' tqabbel direttament id-dejta taċ-ċitazzjoni taż-żewġ gruppi li ġejjin? Evalwa d-differenzi fil-kultura taċ-ċitazzjoni bejn l-oqsma u spjega jekk il-paragun huwiex ġust. Dejta: [hawn]
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Elenka l-artikoli l-aktar influwenti ta' dan l-awtur u l-għadd taċ-ċitazzjonijiet.
L-AI tiġġenera titoli magħmula u għadd ta’ ċitazzjonijiet mill-memorja globali tagħha mingħajr ma taċċessa d-dejta reali. Riżultat: analiżi konvinċenti iżda falza.
Pront qawwi:
Ir-rwol tiegħek: assistent tal-bijometrija. Hawn taħt jinsabu ċ-ċitazzjonijiet tal-pubblikazzjoni u n-numri taċ-ċitazzjonijiet li ġibt mid-database taċ-ċitazzjonijiet reali. Issortja din id-dejta mill-iktar qasam ikkwotat għall-aktar baxx, qassilha fi gruppi ta’ suġġetti, u somma kull raggruppament. Tiddevjax mid-dejta li tajt, tagħmel ebda numri jew tikketti. Żid nota qasira dwar il-limiti tal-kriterji. Dejta: [hawn]
Pront qawwija; Hija tillimita l-AI għal data reali, tipprojbixxi l-fabbrikazzjoni, u tfakkarna fil-limiti ta 'referenza.
Tabella tal-kriterji u l-limiti
kriterju
Dak li juri
Dak li ma jurix
Attenzjoni
Numru ta' ċitazzjonijiet
Użu/viżibilità
kwalità, preċiżjoni
Jiddependi fuq il-kultura taż-żona
h-indiċi
Produttività+impatt
valur tal-individwu
Sensittiv għat-tul tal-karriera
Fattur tal-impatt
Medja tal-ġurnal
Valur ta' oġġett wieħed
Kriterji tal-livell tal-ġurnal
netwerk ta’ kollaborazzjoni
Min ħadem miegħu
Rata ta' kontribuzzjoni
Ir-rwol fin-netwerk mhux ċar
Żbalji komuni
- Li titlob l-għadd taċ-ċitazzjonijiet mingħand AI. In-numri huma magħmula barra mid-database reali.
- Taħseb li l-kriterju huwa kejl ta 'kwalità. Ċitazzjoni tindika użu, mhux kwalità.
- Tqabbil ta 'żoni direttament. Il-kulturi tal-attribuzzjoni huma differenti, mhux ġust.
- Il-kejl tal-umanitajiet bl-attribuzzjoni. L-outputs b'ħafna kotba huma sottorappreżentati fid-databases.
- Evalwazzjoni ta' individwi bi kriterji. Id-deċiżjoni ta' kiri/promozzjoni m'għandhiex tkun ibbażata fuq kriterju wieħed.
Fil-qosor
Fl-analiżi tal-bijjometrija u taċ-ċitazzjoni, l-AI hija assistent b'saħħtu li jiġbor id-dejta reali, jimmarka t-tendenzi u jiġbor fil-qosor; Imma qatt ma tieħu numri ta’ ċitazzjoni u linji ta’ referenza mill-memorja tal-AI, għax din tagħmilha. Il-metriċi juru l-użu u l-viżibilità, mhux il-kwalità; ma jistgħux jitqabblu bejn oqsma; hija sottorappreżentata fl-istudji umanistiċi u ma tistax tintuża waħedha biex tevalwa individwi. Il-librar huwa gwida responsabbli li jispjega l-limiti ta’ dawn il-kriterji u jibbilanċjahom b’evalwazzjoni kwalitattiva.
Kompitu ta' applikazzjoni
Ħu lista żgħira ta’ pubblikazzjonijiet (10-15-il rekord, b’għadd ta’ ċitazzjonijiet) minn database ta’ ċitazzjoni reali. Ikollhom il-cluster AI u somma bil-mudell "Iġbor fil-qosor id-dejta ta 'ċitazzjoni reali", imbagħad ivvalida ċ-ċitazzjonijiet u l-għadd kontra d-database. Imbagħad ipprintja l-limiti ta' metrika tal-għażla tiegħek (eż. h-index) bil-mudell "Twissija ta' interpretazzjoni tal-kriterji" u ppjana kif se tispjegaha lil maniġer.
lista ta' kontroll
- [ ] Jien ipprovdejt in-numri taċ-ċitazzjonijiet u ċ-ċitazzjonijiet mid-database reali, ma kellix magħmula minn AI.
- [ ] Ippreżentajt il-metriċi bħala indikaturi tal-użu/viżibilità, mhux tal-kwalità.
- [ ] Ħadt kont tad-differenza fil-kultura taċ-ċitazzjoni bejn l-oqsma.
- [ ] Ħadt kont tan-nuqqas ta' rappreżentanza tal-umanistika.
- [ ] Ma użajtx il-kriterju waħdi fl-evalwazzjoni tal-individwi.