Keuntungan:
- Kemampuan untuk menerapkan tidak pernah mengambil jumlah kutipan dan kutipan dari memori AI sambil mengelompokkan dan merangkum data yang diambil dari database kutipan nyata dengan AI
- Kemampuan untuk memahami bahwa metrik seperti kutipan, indeks-h, dan faktor dampak menunjukkan penggunaan tetapi bukan kualitas, dan ketidakterbandingannya di berbagai bidang.
- Kemampuan untuk mempertimbangkan batasan etika dalam menggunakan kriteria bibliometrik saja dalam mengevaluasi individu dan menyeimbangkannya dengan evaluasi kualitatif
Perpustakaan universitas mengukur hasil penelitian lembaganya; seorang peneliti untuk menemukan studi yang paling berpengaruh dalam suatu bidang; seorang manajer mungkin ingin mengevaluasi visibilitas ilmiah suatu departemen. Di balik karya ini terdapat bibliometrik: bidang yang mengkaji publikasi ilmiah secara numerik dan hubungan kutipan di antara publikasi tersebut. Di unit ini, Anda akan mempelajari cara menggunakan kecerdasan buatan dalam analisis kutipan, pemetaan publikasi, dan penilaian dampak; namun Anda akan belajar cara menavigasi batasan dan kendala etika metrik numerik.
Mari kita definisikan konsepnya. Sitasi adalah rujukan ilmiah yang dilakukan suatu publikasi ke publikasi lainnya; Jumlah kutipan dianggap sebagai indikator seberapa banyak suatu karya telah digunakan. Indeks-h adalah ukuran yang menggabungkan produktivitas dan dampak seorang peneliti (jika h jumlah publikasi masing-masing menerima setidaknya h kutipan, maka indeks-hnya adalah h). Faktor dampak merupakan ukuran yang menunjukkan rata-rata tingkat sitasi suatu jurnal. Metrik ini berguna, namun tidak ada yang merupakan ukuran langsung dari “kualitas”; Mengingat perbedaan ini adalah inti dari bibliometrik.
Langkah demi langkah: analisis bibliometrik yang bertanggung jawab
1. Klarifikasi pertanyaannya. "Apa kajian dasar bidang ini?", "Publikasi mana yang paling banyak dikutip di lembaga kita?", "Bagaimana kedua bidang ini berpotongan?" Setiap pertanyaan memerlukan analisis yang berbeda.
2. Gunakan data yang dapat dipercaya. Analisis kutipan hanya dapat diandalkan jika sumber datanya. AI dapat menghitung jumlah kutipan atau daftar publikasi; Oleh karena itu, penting untuk bekerja dengan data dari database kutipan yang sebenarnya. Gunakan AI untuk menafsirkan dan merangkum data nyata, bukan untuk menghasilkan data.
3. Tandai polanya. AI membantu meringkas kelompok topik, jaringan kolaboratif, atau tren dari waktu ke waktu dalam sejumlah besar publikasi. Hal ini mengarahkan perhatian analis manusia pada poin-poin penting.
4. Menafsirkan kriteria dalam konteksnya. Jumlah kutipan yang rendah tidak menunjukkan bahwa karya tersebut tidak berharga; Bidangnya mungkin kecil, topiknya mungkin baru, atau publikasinya mungkin sangat baru. Jangan pernah menafsirkan angka tanpa konteks.
5. Patuhi batasan etika. Pengukuran bibliometrik tidak boleh digunakan sendiri untuk membuat keputusan mengenai perekrutan, promosi, atau pendanaan individu. Angka tidak mengukur nilai seseorang; Menyalahgunakannya tidak adil dan berbahaya.
Tip: Saat AI melakukan analisis kutipan, berikan jumlah kutipan dan kutipan publikasi dari database sebenarnya; Biarkan AI mengatur, mengelompokkan, dan menafsirkan data ini. “Apa indeks-h penulis ini?” Bertanya secara langsung mungkin akan menghasilkan nomor yang dibuat-buat.
Batasan kriteria dan manipulasi
Karena metrik bibliometrik tampak kuat, metrik ini rentan terhadap penyalahgunaan. Jumlah kutipan dapat ditingkatkan dengan berbagai cara: kutipan diri yang berlebihan (mengutip karya sendiri), cincin kutipan (sekelompok orang saling mengutip satu sama lain), atau budaya kutipan di bidang itu sendiri. Selain itu, kriterianya tidak dapat dibandingkan antar bidang: lingkungan kutipan artikel medis dan artikel filsafat sangat berbeda.
Masalah ini bahkan lebih nyata lagi dalam ilmu-ilmu humaniora dan sosial; karena keluaran signifikan dalam bidang ini (buku, terjemahan, resensi) kurang terwakili dalam database kutipan. Mengukur pengaruh seorang sejarawan atau sarjana sastra hanya berdasarkan jumlah kutipan berarti salah memahami hakikat sebuah karya. Pustakawan merupakan pemandu yang menjelaskan batasan kriteria tersebut kepada pengelola dan peneliti.
Perhatian: Jangan menampilkan ukuran bibliometrik sebagai penilaian akhir mengenai prestasi akademis seseorang atau kualitas suatu departemen. Prinsip evaluasi penelitian yang bertanggung jawab menekankan bahwa tindakan harus melengkapi evaluasi kualitatif, bukan menggantikannya.
tiga kasus mini
Kasus 1 — Area dipetakan. Seorang pustakawan ingin menunjukkan kepada kelompok peneliti karya dasar di bidangnya. Ini menarik data dari 200 publikasi dari database kutipan nyata; YZ merangkum data ini ke dalam kelompok topik dan menyoroti 10 studi yang paling banyak dikutip. Analis memverifikasi setiap cluster dan pengidentifikasi dalam database; kelompok itu dengan cepat memahami struktur area tersebut.
Kasus 2 — Indeks-h palsu tertangkap. Seorang manajer bertanya kepada AI tentang indeks-h peneliti; AI mengatakan "42". Pustakawan melihat database sebenarnya: nilai yang benar adalah 19; AI telah membuat nomornya. Hal ini menunjukkan bahwa metrik tidak boleh diambil dari memori AI, melainkan dari data nyata.
Kasus 3 - Perbandingan yang salah dapat dicegah. Satu unit ingin mengalokasikan dana dengan membandingkan dua bab berdasarkan jumlah rata-rata kutipan. Pustakawan menjelaskan bahwa salah satu departemen adalah kedokteran (budaya sitasi tinggi) dan departemen lainnya adalah humaniora (banyak buku, budaya sitasi rendah), dan perbandingan ini tidak adil. Evaluasi tersebut didukung oleh kriteria kualitatif yang mempertimbangkan perbedaan lapangan.
Peta visual dan perangkap membaca
Alat yang sering digunakan dalam bibliometrik adalah peta jaringan (misalnya jaringan kutipan bersama atau penulisan bersama), yang menunjukkan hubungan antara publikasi atau penulis berdasarkan simpul dan tautan. Peta-peta ini memperlihatkan struktur, kelompok dan jembatan suatu wilayah; AI dapat mengumpulkan data nyata yang mendasarinya dan membantu menafsirkan peta-peta ini. Namun peta visual, meski kuat, juga bisa menyesatkan: simpul besar yang terlihat di pusat mungkin bukan yang "paling penting" namun hanya "yang paling terhubung"; Ukuran cluster hanya mencerminkan volume publikasi, bukan nilai ruang tersebut. Selain itu, cara peta digambar (ambang batas mana, periode waktu mana, basis data mana) akan mengubah hasilnya sepenuhnya. Oleh karena itu, ketika menyajikan visualisasi bibliometrik sebagai dasar pengambilan keputusan, sangat penting untuk menyatakan dengan jelas data apa yang dijadikan dasar, parameter apa, dan jangka waktu berapa. Jika komentar yang dihasilkan AI membuat sebuah titik di peta memenuhi syarat sebagai “pemimpin” atau “paling berpengaruh”, periksa apakah karakterisasi tersebut didukung oleh data nyata.
Tip: Jangan terjebak dalam perangkap "tengah = atas" saat menafsirkan peta jaringan. Sentralitas hanya menunjukkan kepadatan koneksi; Kontribusi asli atau kualitas suatu karya tidak terlihat di peta dan hanya dapat dipahami dengan membaca isinya.
Empat templat yang dapat disalin
1) Meringkas data kutipan aktual:
Di bawah ini adalah daftar publikasi dan nomor kutipan yang saya ambil dari database kutipan sebenarnya. Bagilah menjadi beberapa kelompok topik dan rangkum setiap kelompok dalam satu kalimat. Gunakan saja data yang saya berikan, jangan menambah/membuat publikasi baru atau jumlah kutipan. Data: [di sini]
2) Penandaan tren dan pola:
Soroti tren penting (peningkatan, penurunan, konsentrasi kolaborasi) dalam data publikasi/kutipan berbasis tahun di bawah ini. Dasarkan setiap pengamatan pada data, jangan berspekulasi. Data: [di sini]
3) Peringatan interpretasi kriteria:
Tafsirkan kriteria bibliometrik berikut, serta nyatakan batasannya: pada subjek manakah ia memberikan informasi, pada subjek mana ia tidak memberikan informasi, pada subjek manakah ia dapat disalahgunakan? Kriteria dan konteks: [di sini]
4) Pengendalian perbedaan luas:
Bisakah data kutipan dua kelompok berikut dibandingkan secara langsung? Evaluasi perbedaan budaya kutipan antar bidang dan jelaskan apakah perbandingannya adil. Data: [di sini]
Perintah lemah / Perintah kuat
Perintah yang lemah:
Cantumkan artikel dan jumlah kutipan paling berpengaruh dari penulis ini.
AI menghasilkan judul dan jumlah kutipan yang dibuat-buat dari memori globalnya tanpa mengakses data sebenarnya. Hasilnya: analisis yang meyakinkan namun palsu.
Perintah yang kuat:
Peran Anda: asisten bibliometrik. Di bawah ini adalah kutipan publikasi dan nomor kutipan yang saya ambil dari database kutipan sebenarnya. Urutkan data ini dari domain yang paling banyak dikutip hingga yang terendah, bagi menjadi kelompok topik, dan rangkum setiap kelompok. Jangan menyimpang dari data yang saya berikan, jangan mengarang angka atau label apa pun. Tambahkan catatan singkat tentang batasan kriteria. Data: [di sini]
Perintah yang kuat; Ini membatasi AI pada data nyata, melarang fabrikasi, dan mengingatkan kita pada batasan benchmark.
Tabel kriteria dan batasan
kriteria
Apa yang ditunjukkan
Apa yang tidak ditampilkan
Perhatian
Jumlah kutipan
Penggunaan/visibilitas
kualitas, akurasi
Tergantung budaya daerah
indeks-h
Produktivitas+dampak
nilai individu
Sensitif terhadap lamanya karier
Faktor dampak
Rata-rata jurnal
Nilai artikel tunggal
Kriteria tingkat jurnal
jaringan kolaborasi
Dengan siapa bekerja
Tingkat kontribusi
Peran dalam jaringan tidak jelas
Kesalahan umum
- Meminta jumlah kutipan dari AI. Angka-angka dibuat di luar database sebenarnya.
- Berpikir bahwa kriteria adalah ukuran kualitas. Kutipan menunjukkan penggunaan, bukan kualitas.
- Membandingkan area secara langsung. Budaya atribusi berbeda-beda, ini tidak adil.
- Mengukur humaniora dengan atribusi. Keluaran yang banyak bukunya kurang terwakili dalam database.
- Mengevaluasi individu dengan kriteria. Keputusan perekrutan/promosi tidak boleh didasarkan pada satu kriteria saja.
Singkatnya
Dalam bibliometrik dan analisis kutipan, AI adalah asisten canggih yang mengelompokkan data nyata, menandai tren, dan merangkum; Namun jangan pernah mengambil nomor kutipan dan byline dari memori AI, karena itu mengada-ada. Metrik menunjukkan penggunaan dan visibilitas, bukan kualitas; tidak dapat dibandingkan antar domain; kurang terwakili dalam bidang humaniora dan tidak dapat digunakan sendiri untuk mengevaluasi individu. Pustakawan adalah pemandu yang bertanggung jawab yang menjelaskan batasan kriteria tersebut dan menyeimbangkannya dengan evaluasi kualitatif.
Tugas aplikasi
Ambil daftar kecil publikasi (10-15 catatan, dengan jumlah kutipan) dari database kutipan sebenarnya. Miliki cluster AI dan rangkum dengan templat “Ringkas data kutipan nyata”, lalu validasi kutipan dan penghitungan terhadap database. Kemudian cetak batasan metrik pilihan Anda (misalnya indeks-h) dengan templat "Peringatan interpretasi kriteria" dan rencanakan bagaimana Anda akan menjelaskannya kepada manajer.
daftar periksa
- [ ] Saya memberikan nomor kutipan dan kutipan dari database sebenarnya, saya tidak membuatnya oleh AI.
- [ ] Saya menyajikan metrik sebagai indikator penggunaan/visibilitas, bukan kualitas.
- [ ] Saya memperhitungkan perbedaan budaya kutipan antar bidang.
- [ ] Saya memperhitungkan kurangnya keterwakilan di bidang humaniora.
- [ ] Saya tidak menggunakan kriteria itu sendiri dalam mengevaluasi individu.