Kazanimlar:
- Gerçek atıf veri tabanından alınan veriyi YZ ile kümeleyip özetlerken atıf sayısı ve künyeleri asla YZ belleğinden almamayı uygulayabilme
- Atıf, h-indeksi ve etki faktörü gibi ölçütlerin kullanımı gösterip kaliteyi göstermediğini ve alanlar arası karşılaştırılamazlığını kavrayabilme
- Bibliyometrik ölçütleri bireyi değerlendirmede tek başına kullanmanın etik sınırını gözetip nitel değerlendirmeyle dengeleyebilme
Bir üniversite kütüphanesi, kurumunun araştırma çıktısını ölçmek; bir araştırmacı, bir alanın en etkili çalışmalarını bulmak; bir yönetici, bir bölümün bilimsel görünürlüğünü değerlendirmek isteyebilir. Bu işlerin arkasında bibliyometri vardır: bilimsel yayınları ve aralarındaki atıf ilişkilerini sayısal olarak inceleyen alan. Bu ünitede yapay zekayı atıf analizi, yayın haritalama ve etki değerlendirmesinde nasıl kullanacağınızı; ama sayısal ölçütlerin sınırlarını ve etik tuzaklarını nasıl gözeteceğinizi öğreneceksiniz.
Kavramları tanımlayalım. Atıf (citation), bir yayının başka bir yayına yaptığı bilimsel göndermedir; atıf sayısı, bir çalışmanın ne kadar kullanıldığının bir göstergesi sayılır. h-indeksi, bir araştırmacının hem üretkenliğini hem etkisini birleştiren bir ölçüttür (h sayıda yayının her biri en az h atıf almışsa h-indeksi h'dir). Etki faktörü (impact factor), bir derginin ortalama atıf düzeyini gösteren bir ölçüttür. Bu ölçütler yararlıdır ama hiçbiri "kalite"nin doğrudan ölçüsü değildir; bu ayrımı akılda tutmak bibliyometrinin özüdür.
Adım adım: sorumlu bibliyometrik analiz
1. Soruyu netleştir. "Bu alanın temel çalışmaları neler?", "Kurumumuzun en çok atıf alan yayınları hangileri?", "Bu iki alan nasıl kesişiyor?" Her soru farklı bir analiz gerektirir.
2. Güvenilir veriyi kullan. Atıf analizi ancak veri kaynağı kadar güvenilirdir. YZ, atıf sayıları ya da yayın listeleri uydurabilir; bu yüzden gerçek bir atıf veri tabanının verisiyle çalışmak şarttır. YZ'yi veri üretmek için değil, gerçek veriyi yorumlamak ve özetlemek için kullanın.
3. Örüntüleri işaretlet. YZ, büyük bir yayın kümesindeki konu kümelerini, işbirliği ağlarını ya da zaman içindeki eğilimleri özetlemekte yardımcı olur. Bu, insan analistin dikkatini önemli noktalara yönlendirir.
4. Ölçütü bağlamıyla yorumla. Bir düşük atıf sayısı, çalışmanın değersiz olduğunu göstermez; alan küçük, konu yeni ya da yayın çok yeni olabilir. Sayıyı asla bağlamsız yorumlamayın.
5. Etik sınırı gözet. Bibliyometrik ölçütler, bireyleri işe alma, terfi ya da fonlama kararlarında tek başına kullanılmamalıdır. Sayılar insanların değerini ölçmez; onları kötüye kullanmak hem haksız hem zararlıdır.
İpucu: YZ'ye bir atıf analizi yaptırırken, atıf sayılarını ve yayın künyelerini siz gerçek veri tabanından sağlayın; YZ yalnızca bu veriyi düzenlesin, gruplasın ve yorumlasın. "Bu yazarın h-indeksi kaç?" diye doğrudan sormak, uydurma bir sayıyla sonuçlanabilir.
Ölçütlerin sınırları ve manipülasyon
Bibliyometrik ölçütler güçlü göründükleri için kötüye kullanıma açıktır. Atıf sayıları çeşitli biçimlerde şişirilebilir: aşırı öz-atıf (kendi çalışmalarına atıf), atıf halkaları (birbirine karşılıklı atıf yapan gruplar) ya da alanın kendi atıf kültürü. Ayrıca ölçütler alanlar arasında karşılaştırılamaz: bir tıp makalesi ile bir felsefe makalesinin atıf ortamı tümüyle farklıdır.
Beşeri ve sosyal bilimlerde bu sorun daha da belirgindir; çünkü bu alanlarda önemli çıktılar (kitaplar, çeviriler, eleştiriler) atıf veri tabanlarında yetersiz temsil edilir. Bir tarihçinin ya da edebiyat araştırmacısının etkisini yalnızca atıf sayısıyla ölçmek, işin doğasını yanlış anlamaktır. Kütüphaneci, bu ölçütlerin sınırlarını yöneticilere ve araştırmacılara anlatan bir rehberdir.
Dikkat: Bibliyometrik bir ölçütü, bir kişinin akademik değeri ya da bir bölümün kalitesi hakkında nihai bir yargı olarak sunmayın. Sorumlu araştırma değerlendirmesi ilkeleri, ölçütlerin nitel değerlendirmeyi tamamlaması, onun yerine geçmemesi gerektiğini vurgular.
Üç mini vaka
Vaka 1 — Alan haritası çıkarıldı. Bir kütüphaneci, bir araştırma grubuna alanlarındaki temel çalışmaları göstermek istedi. Gerçek bir atıf veri tabanından 200 yayının verisini çekti; YZ, bu veriyi konu kümelerine ayırıp özetledi ve en çok atıf alan 10 çalışmayı öne çıkardı. Analist her kümeyi ve künyeyi veri tabanında doğruladı; grup, alanın yapısını hızla kavradı.
Vaka 2 — Uydurma h-indeksi yakalandı. Bir yönetici, YZ'ye bir araştırmacının h-indeksini sordu; YZ "42" dedi. Kütüphaneci gerçek veri tabanına baktı: doğru değer 19'du; YZ sayıyı uydurmuştu. Bu, ölçütlerin asla YZ belleğinden değil, gerçek veriden alınması gerektiğini gösterdi.
Vaka 3 — Yanlış karşılaştırma engellendi. Bir birim, iki bölümü ortalama atıf sayısına göre karşılaştırıp fon dağıtmak istedi. Kütüphaneci, bölümlerden birinin tıp (yüksek atıf kültürü), diğerinin beşeri bilimler (kitap ağırlıklı, düşük atıf kültürü) olduğunu ve bu karşılaştırmanın haksız olacağını açıkladı. Değerlendirme, alan farklarını gözeten nitel ölçütlerle desteklendi.
Görsel haritalar ve okuma tuzakları
Bibliyometride sık kullanılan bir araç, yayınlar ya da yazarlar arasındaki ilişkileri düğüm ve bağlantılarla gösteren ağ haritalarıdır (örneğin ortak atıf ya da ortak yazarlık ağları). Bu haritalar bir alanın yapısını, kümelerini ve köprü çalışmalarını görünür kılar; YZ, altta yatan gerçek veriyi kümeleyip bu haritaların yorumlanmasında yardımcı olabilir. Ama görsel haritalar güçlü oldukları kadar yanıltıcı da olabilir: büyük ve merkezde görünen bir düğüm "en önemli" değil, sadece "en çok bağlantılı" olabilir; bir kümenin büyüklüğü, o alanın değerini değil yalnızca yayın hacmini yansıtabilir. Ayrıca haritanın nasıl çizildiği (hangi eşik, hangi zaman aralığı, hangi veri tabanı) sonucu tümüyle değiştirir. Bu yüzden bir bibliyometrik görselleştirmeyi bir karar dayanağı olarak sunarken, hangi veriye, hangi parametrelere ve hangi zaman dilimine dayandığını açıkça belirtmek zorunludur. YZ'nin ürettiği bir yorum, haritadaki bir düğümü "lider" ya da "en etkili" diye nitelendiriyorsa, bu nitelemenin gerçek veriyle desteklenip desteklenmediğini kontrol edin.
İpucu: Bir ağ haritasını yorumlarken "merkez = en iyi" tuzağına düşmeyin. Merkezîlik yalnızca bağlantı yoğunluğunu gösterir; bir çalışmanın özgün katkısı ya da kalitesi haritada görünmez ve ancak içeriğin okunmasıyla anlaşılır.
Dört kopyalanabilir şablon
1) Gerçek atıf verisini özetleme:
Aşağıda gerçek bir atıf veri tabanından aldığım yayın listesi veatıf sayıları var. Bunları konu kümelerine ayır ve her kümeyitek cümlede özetle. Yalnızca verdiğim veriyi kullan, yeni yayınveya atıf sayısı ekleme/uydurma. Veri: [buraya]
2) Eğilim ve örüntü işaretleme:
Aşağıdaki yıl bazlı yayın/atıf verisinde dikkat çeken eğilimleri(artış, düşüş, işbirliği yoğunlaşması) işaretle. Her gözlemiveriye dayandır, spekülasyon yapma. Veri: [buraya]
3) Ölçüt yorumlama uyarısı:
Aşağıdaki bibliyometrik ölçütü, sınırlarını da belirterekyorumla: hangi konuda bilgi verir, hangi konuda vermez, hangiyanlış kullanımlara açıktır? Ölçüt ve bağlam: [buraya]
4) Alan farkı denetimi:
Aşağıdaki iki grubun atıf verisi doğrudan karşılaştırılabilir mi?Alanların atıf kültürü farkını değerlendir ve karşılaştırmanınadil olup olmadığını açıkla. Veri: [buraya]
Zayıf prompt / Güçlü prompt
Zayıf prompt:
Bu yazarın en etkili makalelerini ve atıf sayılarını listele.
YZ, gerçek veriye erişmeden genel belleğinden uydurma başlıklar ve atıf sayıları üretir. Sonuç: inandırıcı ama sahte bir analiz.
Güçlü prompt:
Rolün: bibliyometri asistanı. Aşağıda gerçek atıf veri tabanındançektiğim yayın künyeleri ve atıf sayıları var. Bu veriyi en çokatıf alandan aza sırala, konu kümelerine ayır ve her kümeyiözetle. Verdiğim veri dışına çıkma, hiçbir sayı veya künye uydurma.Ölçütlerin sınırlarına dair kısa bir not ekle. Veri: [buraya]
Güçlü prompt; YZ'yi gerçek veriyle sınırlar, uydurmayı yasaklar ve ölçüt sınırlarını hatırlatır.
Ölçüt ve sınır tablosu
Ölçüt
Ne gösterir
Ne göstermez
Dikkat
Atıf sayısı
Kullanım/görünürlük
Kalite, doğruluk
Alan kültürüne bağlı
h-indeksi
Üretkenlik+etki
Bireyin değeri
Kariyer uzunluğuna duyarlı
Etki faktörü
Dergi ortalaması
Tek makalenin değeri
Dergi düzeyi ölçüt
İşbirliği ağı
Kimlerle çalışıldığı
Katkı oranı
Ağdaki rol belirsiz
Sık yapılan hatalar
- Atıf sayısını YZ'den istemek. Gerçek veri tabanı dışında sayılar uydurulur.
- Ölçütü kalite ölçüsü sanmak. Atıf kullanımı gösterir, kaliteyi değil.
- Alanları doğrudan karşılaştırmak. Atıf kültürleri farklıdır, adil değildir.
- Beşeri bilimleri atıfla ölçmek. Kitap ağırlıklı çıktılar veri tabanlarında eksik temsil edilir.
- Ölçütle birey değerlendirmek. İşe alma/terfi kararı tek ölçüte dayanmamalıdır.
Özetle
Bibliyometri ve atıf analizinde YZ, gerçek veriyi kümeleyen, eğilimleri işaretleyen ve özetleyen güçlü bir asistandır; ama atıf sayılarını ve künyeleri asla YZ belleğinden almayın, çünkü uydurur. Ölçütler kullanımı ve görünürlüğü gösterir, kaliteyi değil; alanlar arasında karşılaştırılamaz; beşeri bilimlerde eksik temsil edilir ve bireyleri değerlendirmede tek başına kullanılamaz. Kütüphaneci, bu ölçütlerin sınırlarını anlatan ve nitel değerlendirmeyle dengeleyen sorumlu bir rehberdir.
Uygulama görevi
Gerçek bir atıf veri tabanından küçük bir yayın listesi (10-15 kayıt, atıf sayılarıyla) alın. "Gerçek atıf verisini özetleme" şablonuyla YZ'ye kümeleme ve özet yaptırın, sonra künyeleri ve sayıları veri tabanında doğrulayın. Ardından "Ölçüt yorumlama uyarısı" şablonuyla seçtiğiniz bir ölçütün (örneğin h-indeksi) sınırlarını yazdırın ve bir yöneticiye nasıl açıklayacağınızı planlayın.
Kontrol listesi
- [ ] Atıf sayılarını ve künyeleri gerçek veri tabanından sağladım, YZ'ye uydurtmadım.
- [ ] Ölçütleri kalite değil, kullanım/görünürlük göstergesi olarak sundum.
- [ ] Alanlar arası atıf kültürü farkını gözettim.
- [ ] Beşeri bilimlerin eksik temsilini dikkate aldım.
- [ ] Ölçütü birey değerlendirmede tek başına kullanmadım.