Keuntungan:
- Keupayaan untuk melaksanakan tidak pernah mengambil kiraan petikan dan petikan daripada memori AI sambil mengelompokkan dan meringkaskan data yang diambil daripada pangkalan data petikan sebenar dengan AI
- Keupayaan untuk memahami bahawa metrik seperti petikan, indeks h dan faktor impak menunjukkan penggunaan tetapi bukan kualiti dan ketakbandingannya merentas medan.
- Keupayaan untuk mempertimbangkan had etika menggunakan kriteria bibliometrik sahaja dalam menilai individu dan mengimbanginya dengan penilaian kualitatif
Perpustakaan universiti mengukur hasil penyelidikan institusinya; seorang penyelidik untuk mencari kajian yang paling berpengaruh dalam sesuatu bidang; pengurus mungkin ingin menilai keterlihatan saintifik sesuatu jabatan. Di sebalik karya ini terdapat bibliometrik: bidang yang mengkaji secara numerik penerbitan saintifik dan hubungan petikan antara mereka. Dalam unit ini, anda akan mempelajari cara menggunakan kecerdasan buatan dalam analisis petikan, pemetaan penerbitan dan penilaian impak; tetapi anda akan belajar bagaimana untuk menavigasi had dan perangkap etika metrik berangka.
Mari kita tentukan konsep. Petikan ialah rujukan saintifik yang dibuat oleh satu penerbitan kepada penerbitan lain; Bilangan petikan dianggap sebagai penunjuk berapa banyak karya telah digunakan. Indeks h ialah ukuran yang menggabungkan kedua-dua produktiviti dan impak penyelidik (jika bilangan h penerbitan masing-masing menerima sekurang-kurangnya h petikan, indeks h ialah h). Faktor impak ialah ukuran yang menunjukkan purata tahap petikan jurnal. Metrik ini berguna, tetapi tiada satu pun ukuran langsung "kualiti"; Mengingati perbezaan ini adalah intipati bibliometrik.
Langkah demi langkah: analisis bibliometrik yang bertanggungjawab
1. Jelaskan soalan. "Apakah kajian asas dalam bidang ini?", "Manakah penerbitan yang paling banyak dipetik oleh institusi kami?", "Bagaimanakah kedua-dua bidang ini bersilang?" Setiap soalan memerlukan analisis yang berbeza.
2. Gunakan data yang boleh dipercayai. Analisis petikan hanya boleh dipercayai seperti sumber data. AI boleh membuat kiraan petikan atau senarai penerbitan; Oleh itu, adalah penting untuk bekerja dengan data daripada pangkalan data petikan sebenar. Gunakan AI untuk mentafsir dan meringkaskan data sebenar, bukan untuk menjana data.
3. Minta corak ditanda. AI membantu meringkaskan kelompok topik, rangkaian kerjasama atau aliran dari semasa ke semasa dalam set penerbitan yang besar. Ini mengarahkan perhatian penganalisis manusia kepada perkara penting.
4. Mentafsir kriteria dalam konteks. Kiraan petikan yang rendah tidak menunjukkan bahawa karya itu tidak bernilai; Medan mungkin kecil, topiknya mungkin baharu, atau penerbitan mungkin sangat baharu. Jangan sekali-kali mentafsir nombor tanpa konteks.
5. Patuhi sempadan etika. Langkah bibliometrik tidak boleh digunakan secara bersendirian untuk membuat keputusan tentang pengambilan, promosi atau pembiayaan individu. Nombor tidak mengukur nilai orang; Mendera mereka adalah tidak adil dan berbahaya.
Petua: Apabila AI melakukan analisis petikan, berikan kiraan petikan dan petikan penerbitan daripada pangkalan data sebenar; Biarkan AI hanya mengatur, mengumpulkan dan mentafsir data ini. "Apakah indeks h penulis ini?" Bertanya secara langsung boleh menghasilkan nombor yang dibuat-buat.
Had kriteria dan manipulasi
Oleh kerana metrik bibliometrik kelihatan berkuasa, ia terbuka kepada penyalahgunaan. Nombor petikan boleh dinaikkan dalam pelbagai cara: petikan kendiri yang berlebihan (memetik karya sendiri), cincin petikan (kumpulan orang saling memetik satu sama lain), atau budaya petikan bidang itu sendiri. Selain itu, kriterianya tidak dapat dibandingkan dengan semua bidang: persekitaran petikan artikel perubatan dan artikel falsafah adalah berbeza sama sekali.
Masalah ini lebih jelas dalam bidang kemanusiaan dan sains sosial; kerana output penting dalam bidang ini (buku, terjemahan, ulasan) kurang diwakili dalam pangkalan data petikan. Untuk mengukur kesan ahli sejarah atau sarjana sastera semata-mata dengan bilangan petikan adalah salah faham sifat karya itu. Pustakawan ialah panduan yang menerangkan had kriteria ini kepada pentadbir dan penyelidik.
Awas: Jangan kemukakan ukuran bibliometrik sebagai pertimbangan muktamad tentang merit akademik individu atau kualiti jabatan. Prinsip penilaian penyelidikan yang bertanggungjawab menekankan bahawa langkah harus melengkapkan penilaian kualitatif, bukan menggantikannya.
tiga kes mini
Kes 1 — Kawasan dipetakan. Seorang pustakawan ingin menunjukkan kerja asas kumpulan penyelidik dalam bidang mereka. Ia menarik data daripada 200 penerbitan daripada pangkalan data petikan sebenar; YZ meringkaskan data ini ke dalam kelompok topik dan menyerlahkan 10 kajian yang paling banyak dipetik. Penganalisis mengesahkan setiap kelompok dan pengecam dalam pangkalan data; kumpulan itu dengan cepat memahami struktur kawasan itu.
Kes 2 — H-index palsu ditangkap. Seorang pengurus bertanya kepada AI tentang indeks h penyelidik; AI berkata "42". Pustakawan melihat pangkalan data sebenar: nilai yang betul ialah 19; AI telah membuat nombor itu. Ini menunjukkan bahawa metrik tidak boleh diambil daripada memori AI tetapi daripada data sebenar.
Kes 3 — Perbandingan yang salah dihalang. Satu unit ingin memperuntukkan dana dengan membandingkan dua bab berdasarkan purata bilangan petikan mereka. Pustakawan menjelaskan bahawa salah satu jabatan adalah perubatan (budaya kutipan tinggi) dan satu lagi ialah kemanusiaan (budaya kutipan yang berat, rendah), dan perbandingan ini adalah tidak adil. Penilaian ini disokong oleh kriteria kualitatif yang mengambil kira perbezaan bidang.
Peta visual dan perangkap bacaan
Alat yang kerap digunakan dalam bibliometrik ialah peta rangkaian (cth. rangkaian petikan bersama atau pengarang bersama), yang menunjukkan hubungan antara penerbitan atau pengarang melalui nod dan pautan. Peta ini menunjukkan struktur, kelompok dan jambatan sesuatu kawasan; AI boleh mengagregatkan data sebenar asas dan membantu mentafsir peta ini. Tetapi peta visual, walaupun berkuasa, juga boleh mengelirukan: nod yang besar dan boleh dilihat di tengah mungkin bukan "paling penting" tetapi hanya "paling berhubung"; Saiz kluster hanya boleh mencerminkan jumlah penerbitan, bukan nilai ruang itu. Selain itu, cara peta dilukis (ambang yang mana, tempoh masa yang mana, pangkalan data yang mana) mengubah sepenuhnya hasilnya. Oleh itu, apabila mempersembahkan visualisasi bibliometrik sebagai asas untuk sesuatu keputusan, adalah penting untuk menyatakan dengan jelas data yang mana ia berdasarkan, parameter yang mana dan dalam tempoh masa apa. Jika ulasan yang dijana AI melayakkan nod pada peta sebagai "pemimpin" atau "paling berpengaruh", semak untuk melihat sama ada pencirian itu disokong oleh data sebenar.
Petua: Jangan jatuh ke dalam perangkap "pusat = atas" semasa mentafsir peta rangkaian. Kepusatan hanya menunjukkan kepadatan sambungan; Sumbangan atau kualiti asal sesebuah karya tidak kelihatan pada peta dan hanya boleh difahami dengan membaca kandungannya.
Empat templat yang boleh disalin
1) Merumuskan data petikan sebenar:
Di bawah adalah senarai penerbitan dan nombor petikan yang saya ambil daripada pangkalan data petikan sebenar. Bahagikan mereka kepada kelompok topik dan ringkaskan setiap kelompok dalam satu ayat. Hanya gunakan data yang saya berikan, jangan tambah/buat penerbitan baharu atau kiraan petikan. Data: [di sini]
2) Tanda arah aliran dan corak:
Serlahkan arah aliran ketara (peningkatan, penurunan, penumpuan kerjasama) dalam data penerbitan/petikan berasaskan tahun di bawah. Berdasarkan setiap pemerhatian pada data, jangan membuat spekulasi. Data: [di sini]
3) Amaran tafsiran kriteria:
Tafsirkan kriteria bibliometrik berikut, juga menyatakan hadnya: pada subjek yang manakah ia memberikan maklumat, mengenai subjek yang mana ia tidak memberikan maklumat, mengenai subjek yang mana ia terbuka untuk disalahgunakan? Kriteria dan konteks: [di sini]
4) Kawalan perbezaan kawasan:
Bolehkah data petikan dua kumpulan berikut dibandingkan secara langsung? Nilaikan perbezaan budaya petikan antara bidang dan terangkan sama ada perbandingan itu adil. Data: [di sini]
Gesaan lemah / Gesaan kuat
Gesaan yang lemah:
Senaraikan artikel dan jumlah petikan yang paling berpengaruh pengarang ini.
AI menjana tajuk rekaan dan kiraan petikan daripada memori globalnya tanpa mengakses data sebenar. Keputusan: analisis yang meyakinkan tetapi palsu.
Gesaan kuat:
Peranan anda: pembantu bibliometrik. Di bawah adalah petikan penerbitan dan nombor petikan yang saya tarik daripada pangkalan data petikan sebenar. Isih data ini daripada domain yang paling banyak disebut kepada yang terendah, bahagikannya kepada kelompok topik dan ringkaskan setiap kelompok. Jangan menyimpang dari data yang saya berikan, jangan buat sebarang nombor atau label. Tambah nota ringkas tentang had kriteria. Data: [di sini]
Gesaan yang kuat; Ia mengehadkan AI kepada data sebenar, melarang pemalsuan dan mengingatkan kita tentang had penanda aras.
Jadual kriteria dan had
kriteria
Apa yang ditunjukkan
Apa yang tidak ditunjukkan
Perhatian
Bilangan petikan
Penggunaan/keterlihatan
kualiti, ketepatan
Bergantung kepada budaya kawasan
h-indeks
Produktiviti+kesan
nilai individu
Sensitif terhadap tempoh kerjaya
Faktor impak
Purata jurnal
Nilai artikel tunggal
Kriteria peringkat jurnal
rangkaian kerjasama
Yang bekerja dengan
Kadar sumbangan
Peranan dalam rangkaian tidak jelas
Kesilapan biasa
- Meminta kiraan petikan daripada AI. Nombor dibuat di luar pangkalan data sebenar.
- Berfikir bahawa kriteria itu adalah ukuran kualiti. Petikan menunjukkan penggunaan, bukan kualiti.
- Membandingkan kawasan secara langsung. Budaya atribusi adalah berbeza, ia tidak adil.
- Mengukur kemanusiaan dengan atribusi. Output berat buku kurang diwakili dalam pangkalan data.
- Menilai individu dengan kriteria. Keputusan pengambilan/kenaikan pangkat tidak harus berdasarkan satu kriteria.
Secara ringkasnya
Dalam analisis bibliometrik dan petikan, AI ialah pembantu yang berkuasa yang mengumpulkan data sebenar, membenderakan arah aliran dan meringkaskan; Tetapi jangan sekali-kali mengambil nombor petikan dan garis kecil daripada memori AI, kerana ia membentuknya. Metrik menunjukkan penggunaan dan keterlihatan, bukan kualiti; tidak boleh dibandingkan merentas domain; kurang diwakili dalam bidang kemanusiaan dan tidak boleh digunakan secara bersendirian untuk menilai individu. Pustakawan ialah panduan yang bertanggungjawab yang menerangkan had kriteria ini dan mengimbanginya dengan penilaian kualitatif.
Tugasan permohonan
Ambil senarai kecil penerbitan (10-15 rekod, dengan kiraan petikan) daripada pangkalan data petikan sebenar. Sediakan kelompok AI dan ringkaskan dengan templat "Ringkaskan data petikan sebenar", kemudian sahkan petikan dan kiraan terhadap pangkalan data. Kemudian cetak had metrik pilihan anda (cth. h-index) dengan templat "Amaran tafsiran kriteria" dan rancang cara anda akan menerangkannya kepada pengurus.
senarai semak
- [ ] Saya memberikan nombor petikan dan petikan daripada pangkalan data sebenar, saya tidak mempunyainya dibuat oleh AI.
- [ ] Saya membentangkan metrik sebagai penunjuk penggunaan/keterlihatan, bukan kualiti.
- [ ] Saya mengambil kira perbezaan budaya petikan antara bidang.
- [ ] Saya mengambil kira kekurangan perwakilan kemanusiaan.
- [ ] Saya tidak menggunakan kriteria sahaja dalam menilai individu.