کتاب سنجی، تحلیل استنادی و ارزیابی تأثیر پژوهش

سود:

• امکان پیاده‌سازی هرگز نگرفتن تعداد استنادها و استنادها از حافظه هوش مصنوعی در حین خوشه‌بندی و خلاصه کردن داده‌های گرفته‌شده از پایگاه استنادی واقعی با هوش مصنوعی.
• توانایی درک این نکته که معیارهایی مانند استناد، شاخص h و ضریب تاثیر نشان دهنده استفاده اما نه کیفیت و غیرقابل مقایسه بودن آنها در بین زمینه ها است.
• توانایی در نظر گرفتن محدودیت‌های اخلاقی استفاده از معیارهای کتاب‌سنجی به تنهایی در ارزیابی افراد و ایجاد تعادل بین آن‌ها با ارزیابی کیفی.

یک کتابخانه دانشگاهی خروجی پژوهشی موسسه خود را اندازه گیری می کند. یک محقق برای یافتن تأثیرگذارترین مطالعات یک رشته؛ یک مدیر ممکن است بخواهد دید علمی یک بخش را ارزیابی کند. در پس این اثر کتاب سنجی قرار دارد: حوزه ای که به صورت عددی انتشارات علمی و روابط استنادی بین آنها را بررسی می کند. در این بخش، نحوه استفاده از هوش مصنوعی در تحلیل استناد، نقشه انتشار و ارزیابی تاثیر را خواهید آموخت. اما شما یاد خواهید گرفت که چگونه از محدودیت ها و مشکلات اخلاقی معیارهای عددی عبور کنید.

بیایید مفاهیم را تعریف کنیم. استناد یک مرجع علمی است که توسط یک نشریه به انتشارات دیگر انجام می شود. تعداد استنادها نشانگر میزان استفاده از یک اثر در نظر گرفته می شود. شاخص h معیاری است که هم بهره وری و هم تأثیر یک محقق را ترکیب می کند (اگر h تعداد انتشارات هر کدام حداقل h استناد دریافت کرده باشند، شاخص h h است). ضریب تاثیر معیاری است که میانگین سطح استناد یک مجله را نشان می دهد. این معیارها مفید هستند، اما هیچ کدام معیار مستقیم "کیفیت" نیستند. در نظر گرفتن این تمایز ماهیت کتاب سنجی است.

گام به گام: تجزیه و تحلیل کتاب سنجی مسئول

1. سوال را روشن کنید. «مطالعات اساسی این رشته چیست؟»، «پراستنادترین نشریات مؤسسه ما کدام است؟»، «این دو حوزه چگونه تلاقی می کنند؟» هر سوال به تحلیل متفاوتی نیاز دارد.

2. از داده های قابل اعتماد استفاده کنید. تجزیه و تحلیل استناد فقط به اندازه منبع داده قابل اعتماد است. هوش مصنوعی می‌تواند تعداد استنادها یا فهرست‌های انتشارات را تشکیل دهد. بنابراین، کار با داده های یک پایگاه داده استنادی واقعی ضروری است. از هوش مصنوعی برای تفسیر و خلاصه کردن داده های واقعی استفاده کنید، نه برای تولید داده.

3. الگوها را علامت گذاری کنید. هوش مصنوعی به خلاصه کردن خوشه‌های موضوعی، شبکه‌های مشارکتی یا روندها در طول زمان در مجموعه بزرگی از انتشارات کمک می‌کند. این امر توجه تحلیلگر انسانی را به نکات مهمی سوق می دهد.

4. معیار را در زمینه تفسیر کنید. تعداد کم استناد به معنای بی ارزش بودن اثر نیست. ممکن است زمینه کوچک باشد، موضوع ممکن است جدید باشد، یا انتشار ممکن است بسیار جدید باشد. هرگز عدد را بدون زمینه تفسیر نکنید.

5. مرز اخلاقی را رعایت کنید. معیارهای کتابسنجی نباید به تنهایی برای تصمیم گیری در مورد استخدام، ارتقاء یا تأمین مالی افراد مورد استفاده قرار گیرد. اعداد ارزش افراد را نمی سنجد. سوء استفاده از آنها هم ناعادلانه و هم مضر است.

نکته: هنگام انجام تجزیه و تحلیل استناد توسط هوش مصنوعی، تعداد استنادها و استنادات انتشارات را از پایگاه داده واقعی ارائه دهید. اجازه دهید هوش مصنوعی به سادگی این داده ها را سازماندهی، گروه بندی و تفسیر کند. "H-index این نویسنده چیست؟" درخواست مستقیم ممکن است منجر به یک شماره ساختگی شود.

محدودیت معیارها و دستکاری

از آنجایی که معیارهای کتاب سنجی قدرتمند به نظر می رسند، قابل سوء استفاده هستند. اعداد استناد را می‌توان به روش‌های مختلفی افزایش داد: استناد بیش از حد از خود (استناد به کار خود)، حلقه‌های استناد (گروه‌هایی از افراد که متقابلاً به یکدیگر استناد می‌کنند)، یا فرهنگ استناد خود حوزه. علاوه بر این، معیارها در بین رشته ها قابل مقایسه نیستند: محیط استناد یک مقاله پزشکی و یک مقاله فلسفه کاملاً متفاوت است.

این مشکل در علوم انسانی و اجتماعی بیشتر مشهود است. زیرا خروجی های قابل توجه در این زمینه ها (کتاب، ترجمه، بررسی) در پایگاه های استنادی کمتر ارائه شده است. سنجش تأثیر یک مورخ یا محقق ادبی صرفاً با تعداد استنادها به معنای درک نادرست از ماهیت کار است. کتابدار راهنمایی است که حدود این معیارها را برای مدیران و محققان توضیح می دهد.

احتیاط: یک معیار کتاب سنجی را به عنوان قضاوت نهایی در مورد شایستگی علمی یک فرد یا کیفیت یک بخش ارائه نکنید. اصول ارزشیابی پژوهشی مسئولانه تاکید می کند که اقدامات باید مکمل ارزیابی کیفی باشد نه جایگزین آن.

سه کیف کوچک

مورد 1 - منطقه نقشه برداری شده است. یک کتابدار می خواست به یک گروه تحقیقاتی کار اساسی در زمینه خود را نشان دهد. این داده ها را از 200 نشریه از یک پایگاه داده استنادی واقعی استخراج کرد. YZ این داده ها را در خوشه های موضوعی خلاصه کرد و 10 مطالعه پر استناد را برجسته کرد. تحلیلگر هر خوشه و شناسه در پایگاه داده را تأیید کرد. گروه به سرعت ساختار منطقه را درک کردند.

مورد 2 - h-index جعلی کشف شد. مدیری از هوش مصنوعی درباره شاخص h یک محقق پرسید. هوش مصنوعی گفت: "42". کتابدار به پایگاه داده واقعی نگاه کرد: مقدار صحیح 19 بود. هوش مصنوعی این عدد را ساخته بود. این نشان داد که معیارها هرگز نباید از حافظه هوش مصنوعی گرفته شوند بلکه باید از داده های واقعی گرفته شوند.

مورد 3 - از مقایسه نادرست جلوگیری شد. یک واحد می خواست با مقایسه دو فصل بر اساس میانگین تعداد استنادهای آنها، بودجه را تخصیص دهد. این کتابدار توضیح داد که یکی از گروه ها پزشکی (فرهنگ استنادی بالا) و دیگری علوم انسانی (کتاب سنگین، فرهنگ کم استناد) بوده و این مقایسه غیرمنصفانه خواهد بود. ارزیابی با معیارهای کیفی که تفاوت‌های میدانی را در نظر می‌گرفت، پشتیبانی شد.

نقشه های تصویری و تله های خواندن

یکی از ابزارهای پرکاربرد در کتاب سنجی، نقشه های شبکه است (به عنوان مثال، شبکه های استنادی یا هم نویسندگی)، که روابط بین انتشارات یا نویسندگان را با گره ها و پیوندها نشان می دهد. این نقشه ها ساختار، خوشه ها و پل های یک منطقه را قابل مشاهده می کنند. هوش مصنوعی می‌تواند داده‌های واقعی زیربنایی را جمع‌آوری کند و به تفسیر این نقشه‌ها کمک کند. اما نقشه‌های بصری، اگرچه قدرتمند هستند، می‌توانند گمراه‌کننده باشند: یک گره بزرگ و قابل مشاهده در مرکز ممکن است «مهم‌ترین» نباشد، بلکه فقط «متصل‌ترین» باشد. اندازه یک خوشه فقط می تواند حجم انتشار را نشان دهد، نه ارزش آن فضا را. علاوه بر این، نحوه ترسیم نقشه (کدام آستانه، کدام دوره زمانی، کدام پایگاه داده) به طور کامل نتیجه را تغییر می دهد. بنابراین، هنگام ارائه یک تجسم کتاب سنجی به عنوان مبنایی برای تصمیم گیری، ضروری است که به وضوح بیان شود که بر اساس کدام داده ها، کدام پارامترها و در چه دوره زمانی است. اگر نظر ایجاد شده توسط هوش مصنوعی، گره‌ای روی نقشه را به عنوان «رهبر» یا «تاثیرگذارترین» واجد شرایط می‌کند، بررسی کنید که آیا این خصوصیات توسط داده‌های واقعی پشتیبانی می‌شود یا خیر.

نکته: هنگام تفسیر نقشه شبکه در دام "مرکز = بالا" نیفتید. مرکزیت فقط تراکم اتصال را نشان می دهد. سهم یا کیفیت اصلی یک اثر روی نقشه قابل مشاهده نیست و فقط با خواندن محتوا قابل درک است.

چهار قالب قابل کپی

1) خلاصه کردن داده های استنادی واقعی:

در زیر لیست انتشارات و شماره های استنادی که از پایگاه داده استنادی واقعی گرفته ام آمده است. آنها را به خوشه های موضوعی تقسیم کنید و هر خوشه را در یک جمله خلاصه کنید. فقط از داده هایی که ارائه کردم استفاده کنید، انتشارات جدید یا تعداد استنادها را اضافه یا ایجاد نکنید. داده ها: [اینجا]

2) علامت گذاری روند و الگو:

روندهای قابل توجه (افزایش، کاهش، تمرکز همکاری) را در داده های انتشار/استناد سالانه در زیر برجسته کنید. هر مشاهده ای را بر اساس داده ها قرار دهید، حدس و گمان نکنید. داده ها: [اینجا]

3) هشدار تفسیر معیار:

معیار کتاب سنجی زیر را تفسیر کنید و حدود آن را نیز بیان کنید: در مورد چه موضوعی اطلاعات ارائه می دهد، در مورد کدام موضوع اطلاعات ارائه نمی دهد، در مورد کدام موضوع قابل استفاده نادرست است؟ معیارها و زمینه: [اینجا]

4) کنترل اختلاف مساحت:

آیا می توان داده های استنادی دو گروه زیر را مستقیماً با هم مقایسه کرد؟ تفاوت فرهنگ استناد بین فیلدها را ارزیابی کنید و توضیح دهید که آیا مقایسه منصفانه است یا خیر. داده ها: [اینجا]

اعلان ضعیف / اعلان قوی

اعلان ضعیف:

تأثیرگذارترین مقالات و تعداد استنادهای این نویسنده را فهرست کنید.

هوش مصنوعی عناوین ساخته شده و تعداد استنادات را از حافظه جهانی خود بدون دسترسی به داده های واقعی تولید می کند. نتیجه: یک تحلیل قانع کننده اما جعلی.

اعلان قدرتمند:

نقش شما: دستیار کتاب سنجی. در زیر استنادهای انتشارات و شماره استنادهایی که از پایگاه استناد واقعی استخراج کردم، آمده است. این داده‌ها را از دامنه‌های بیشترین استناد به کمترین مرتب‌سازی کنید، آن‌ها را به خوشه‌های موضوعی تقسیم کنید و هر خوشه را خلاصه کنید. از داده هایی که من داده ام منحرف نشوید، اعداد یا برچسبی ایجاد نکنید. یک یادداشت کوتاه در مورد محدودیت معیارها اضافه کنید. داده ها: [اینجا]

اعلان قدرتمند؛ هوش مصنوعی را به داده های واقعی محدود می کند، ساخت را ممنوع می کند و محدودیت های معیار را به ما یادآوری می کند.

جدول معیارها و حدود

معیار

آنچه نشان می دهد

چیزی که نشان نمی دهد

توجه

تعداد استنادها

استفاده/قابلیت مشاهده

کیفیت، دقت

بستگی به فرهنگ منطقه دارد

h-index

بهره وری + تاثیر

ارزش فرد

به طول شغل حساس است

ضریب تاثیر

میانگین مجله

ارزش مقاله واحد

معیارهای سطح مجله

شبکه همکاری

که با آنها کار می کرد

نرخ مشارکت

نقش در شبکه نامشخص است

اشتباهات رایج

• درخواست تعداد استناد از هوش مصنوعی. اعداد خارج از پایگاه داده واقعی ساخته می شوند.
• تصور اینکه معیار معیار کیفیت است. نقل قول نشان دهنده استفاده است، نه کیفیت.
• مقایسه مستقیم مناطق فرهنگ های اسناد متفاوت است، منصفانه نیست.
• سنجش علوم انسانی با اسناد. خروجی های کتاب سنگین در پایگاه های داده کمتر ارائه می شوند.
• ارزیابی افراد با معیارها تصمیم استخدام/ترفیع نباید بر اساس یک معیار واحد باشد.

به طور خلاصه

در کتاب‌سنجی و تحلیل استنادی، هوش مصنوعی دستیار قدرتمندی است که داده‌های واقعی را خوشه‌بندی می‌کند، روندها را پرچم‌گذاری می‌کند و خلاصه می‌کند. اما هرگز اعداد نقل قول و خطوط فرعی را از حافظه هوش مصنوعی نگیرید، زیرا آن را تشکیل می دهد. معیارها استفاده و دید را نشان می‌دهند، نه کیفیت. نمی توان در بین دامنه ها مقایسه کرد. در علوم انسانی کمتر معرفی شده است و نمی توان از آن به تنهایی برای ارزیابی افراد استفاده کرد. کتابدار راهنمای مسئولی است که حدود این معیارها را توضیح می دهد و آنها را با ارزشیابی کیفی متعادل می کند.

وظیفه کاربردی

فهرست کوچکی از انتشارات (10-15 رکورد، با تعداد استناد) را از یک پایگاه داده استنادی واقعی بگیرید. خوشه AI را داشته باشید و با الگوی "Summarize real citation data" خلاصه کنید، سپس استنادها و شمارش ها را در پایگاه داده اعتبار سنجی کنید. سپس محدودیت‌های معیار انتخابی خود (مانند h-index) را با الگوی «هشدار تفسیر معیار» چاپ کنید و برنامه‌ریزی کنید که چگونه آن را برای یک مدیر توضیح دهید.

چک لیست

• [ ] من شماره استنادها و استنادها را از پایگاه داده واقعی ارائه کردم، آنها را با هوش مصنوعی نداشتم.
• [ ] من معیارها را به عنوان شاخص استفاده/قابل مشاهده بودن ارائه کردم، نه کیفیت.
• [ ] من تفاوت فرهنگ استناد بین رشته ها را در نظر گرفتم.
• [ ] من کم بازنمایی علوم انسانی را در نظر گرفتم.
• [ ] من از معیار به تنهایی در ارزیابی افراد استفاده نکردم.