Прибуток:
- Можливість ніколи не брати підрахунок цитат і цитати з пам’яті штучного інтелекту під час кластеризації та підсумовування даних, взятих із реальної бази даних цитат за допомогою ШІ
- Здатність розуміти, що такі показники, як цитування, h-індекс і імпакт-фактор, вказують на використання, але не якість, і їхню непорівнянність у різних галузях.
- Здатність розглядати етичні обмеження використання лише бібліометричних критеріїв при оцінюванні людей і збалансувати їх з якісною оцінкою
Університетська бібліотека вимірює результат досліджень своєї установи; дослідник для пошуку найвпливовіших досліджень у галузі; менеджер може захотіти оцінити наукову видимість відділу. За цією роботою стоїть бібліометрія: галузь, яка чисельно досліджує наукові публікації та зв’язки цитування між ними. У цьому розділі ви дізнаєтесь, як використовувати штучний інтелект для аналізу цитувань, картографування публікацій та оцінки впливу; але ви навчитеся орієнтуватися в межах і етичних пастках числових показників.
Давайте визначимося з поняттями. Цитування — наукове посилання, зроблене однією публікацією на іншу публікацію; Кількість цитувань вважається показником того, наскільки робота була використана. Індекс h — це показник, який поєднує як продуктивність, так і вплив дослідника (якщо h публікацій, кожна з яких отримала принаймні h цитувань, h-індекс дорівнює h). Імпакт-фактор - це показник, який показує середній рівень цитування журналу. Ці показники є корисними, але вони не є прямими показниками «якості»; Пам’ятати про цю відмінність – суть бібліометрії.
Крок за кроком: відповідальний бібліометричний аналіз
1. Уточніть питання. «Які основні дослідження цієї галузі?», «Які публікації нашого закладу найбільш цитовані?», «Як ці дві галузі перетинаються?» Кожне питання вимагає окремого аналізу.
2. Використовуйте надійні дані. Аналіз цитування настільки надійний, наскільки надійний джерело даних. ШІ може складати підрахунок цитувань або списки публікацій; Тому дуже важливо працювати з даними з реальної бази даних цитат. Використовуйте штучний інтелект для інтерпретації та узагальнення реальних даних, а не для створення даних.
3. Позначте шаблони. AI допомагає узагальнювати тематичні кластери, мережі співпраці або тенденції з часом у великій кількості публікацій. Це спрямовує увагу людини-аналітика на важливі моменти.
4. Інтерпретуйте критерій у контексті. Низька кількість цитувань не означає, що робота не варта; Поле може бути невеликим, тема може бути новою, або публікація може бути дуже новою. Ніколи не інтерпретуйте число без контексту.
5. Дотримуйтеся етичних меж. Бібліометричні показники не слід використовувати окремо для прийняття рішень щодо найму, просування по службі чи фінансування осіб. Цифри не вимірюють цінність людей; Зловживати ними несправедливо і шкідливо.
Порада: коли штучний інтелект виконує аналіз цитувань, надайте кількість цитувань і цитування публікацій із реальної бази даних; Дозвольте ШІ просто організувати, згрупувати та інтерпретувати ці дані. «Який h-індекс цього письменника?» Пряме запитання може призвести до вигаданого числа.
Межі критеріїв і маніпуляції
Оскільки бібліометричні показники здаються потужними, вони відкриті для зловживань. Кількість цитувань може бути завищена різними способами: надмірне самоцитування (цитування власної роботи), кільця цитувань (групи людей взаємно цитують один одного) або власна культура цитування в галузі. Крім того, критерії не порівнюються між галузями: середовище цитування медичної статті та статті з філософії абсолютно різні.
Ця проблема ще більш очевидна в гуманітарних і соціальних науках; оскільки значні результати в цих галузях (книги, переклади, рецензії) недостатньо представлені в базах даних цитувань. Вимірювати вплив історика чи літературознавця лише кількістю цитувань означає неправильно розуміти природу роботи. Бібліотекар є посібником, який пояснює межі цих критеріїв адміністраторам і дослідникам.
Застереження: не представляйте бібліометричний показник як остаточне судження щодо академічних заслуг особи або якості відділу. Принципи оцінки відповідального дослідження підкреслюють, що заходи повинні доповнювати якісну оцінку, а не замінювати її.
три міні-чохла
Випадок 1 — Територія, нанесена на карту. Бібліотекар хотіла показати дослідницькій групі основну роботу в своїй галузі. Він витягнув дані з 200 публікацій із реальної бази даних цитувань; YZ узагальнив ці дані в тематичні кластери та виділив 10 найбільш цитованих досліджень. Аналітик перевірив кожен кластер та ідентифікатор у базі даних; група швидко зрозуміла структуру місцевості.
Випадок 2 — Зловлено фальшивий індекс h. Менеджер запитав ШІ про h-індекс дослідника; ШІ сказав «42». Бібліотекар переглянув фактичну базу даних: правильне значення було 19; ШІ склав число. Це показало, що показники ніколи не слід брати з пам’яті ШІ, а з реальних даних.
Випадок 3 — Попереджено некоректне порівняння. Один підрозділ хотів розподілити кошти, порівнявши два розділи на основі їх середньої кількості цитувань. Бібліотекар пояснила, що один із відділів – медичний (висока культура цитування), а другий – гуманітарний (велика кількість книг, низька культура цитування), і таке порівняння було б несправедливим. Оцінка була підкріплена якісними критеріями, які враховували польові відмінності.
Візуальні карти та пастки читання
Інструментом, який часто використовується в бібліометрії, є мережеві карти (наприклад, мережі спільного цитування або співавторства), які показують зв’язки між публікаціями чи авторами за вузлами та посиланнями. Ці карти роблять видимими структуру, кластери та мости області; ШІ може агрегувати базові реальні дані та допомагати інтерпретувати ці карти. Але візуальні карти, хоча й потужні, також можуть вводити в оману: великий, видимий у центрі вузол може бути не «найважливішим», а просто «найбільш пов’язаним»; Розмір кластера може відображати лише обсяг публікації, а не вартість цього простору. Крім того, те, як намальована карта (який поріг, який період часу, яка база даних) повністю змінює результат. Тому, представляючи бібліометричну візуалізацію як основу для прийняття рішення, необхідно чітко вказати, на яких даних вона базується, які параметри та за який період часу. Якщо створений штучним інтелектом коментар кваліфікує вузол на карті як «лідер» або «найвпливовіший», перевірте, чи підтверджується ця характеристика реальними даними.
Порада: не потрапте в пастку «центр = верх» під час інтерпретації карти мережі. Центральність вказує лише на щільність з’єднання; Оригінальний внесок або якість роботи не видно на карті, і їх можна зрозуміти, лише прочитавши вміст.
Чотири шаблони, які можна копіювати
1) Узагальнення фактичних даних цитування:
Нижче наведено список публікацій і номери цитувань, які я взяв із реальної бази даних цитат. Розділіть їх на тематичні кластери та підсумуйте кожен кластер одним реченням. Просто використовуйте надані мною дані, не додавайте/не створюйте нові публікації чи кількість цитувань. Дані: [тут]
2) Позначення трендів і шаблонів:
Виділіть помітні тенденції (збільшення, зменшення, концентрація співпраці) у даних про публікації/цитування за рік нижче. Базуйте кожне спостереження на даних, не спекулюйте. Дані: [тут]
3) Попередження про інтерпретацію критеріїв:
Інтерпретуйте наступний бібліометричний критерій, також вказавши його межі: щодо якого предмета він надає інформацію, щодо якого предмету він не надає інформацію, щодо якого предмета він відкритий для неправомірного використання? Критерії та контекст: [тут]
4) Контроль різниці площ:
Чи можна безпосередньо порівняти дані про цитування наступних двох груп? Оцініть відмінності в культурі цитування між полями та поясніть, чи справедливе порівняння. Дані: [тут]
Слабка підказка / Сильна підказка
Слабка підказка:
Перелічіть найвпливовіші статті цього автора та кількість цитувань.
AI генерує вигадані заголовки та кількість цитувань із глобальної пам’яті без доступу до реальних даних. Результат: переконливий, але фальшивий аналіз.
Потужна підказка:
Ваша роль: асистент з бібліометрії. Нижче наведено цитування публікацій і номери цитат, отримані з реальної бази даних цитат. Відсортуйте ці дані від найбільш цитованого домену до найменшого, розділіть їх на тематичні кластери та узагальніть кожен кластер. Не відхиляйтесь від даних, які я навів, не вигадуйте цифр чи позначок. Додайте коротку примітку про обмеження критеріїв. Дані: [тут]
Потужна підказка; Він обмежує штучний інтелект реальними даними, забороняє виготовлення та нагадує нам про контрольні обмеження.
Таблиця критеріїв і меж
критерій
Що показує
Що не показує
Увага
Кількість цитувань
Використання/видимість
якість, точність
Залежить від культури місцевості
h-індекс
Продуктивність+вплив
цінність особистості
Чутливий до тривалості кар'єри
Імпакт фактор
Середнє по журналу
Цінність окремої статті
Критерії рівня журналу
мережа співпраці
З ким працював
Ставка внеску
Роль у мережі незрозуміла
Поширені помилки
- Запит на кількість цитувань від AI. Цифри складаються поза реальною базою даних.
- Вважаючи, що критерій є мірою якості. Цитування вказує на використання, а не на якість.
- Безпосереднє порівняння площ. Культури атрибуції різні, це несправедливо.
- Вимірювання гуманітарних наук шляхом атрибуції. Книжкові виходи недостатньо представлені в базах даних.
- Оцінка осіб за критеріями. Рішення про прийом на роботу/просування по службі не повинно ґрунтуватися на одному критерії.
Підсумовуючи
У бібліометрії та аналізі цитувань ШІ є потужним помічником, який кластеризує реальні дані, позначає тенденції та підсумовує; Але ніколи не беріть номери цитат і підписи авторів із пам’яті штучного інтелекту, тому що він їх вигадує. Показники показують використання та видимість, а не якість; не можна порівнювати між доменами; недостатньо представлений у гуманітарних науках і не може використовуватися окремо для оцінки окремих людей. Бібліотекар є відповідальним провідником, який пояснює межі цих критеріїв і врівноважує їх якісною оцінкою.
Аплікаційне завдання
Візьміть невеликий список публікацій (10-15 записів із кількістю цитувань) із реальної бази даних цитувань. Скористайтеся кластером штучного інтелекту та підсумуйте за допомогою шаблону «Підсумувати дані реальних цитат», а потім перевірте цитування та підрахунок у базі даних. Потім роздрукуйте межі метрики за вашим вибором (наприклад, h-індекс) із шаблоном «Попередження про інтерпретацію критеріїв» і сплануйте, як ви поясните це менеджеру.
контрольний список
- [ ] Я надав номери цитат і цитати з реальної бази даних, я не створив їх штучним інтелектом.
- [ ] Я представив показники як показники використання/видимості, а не якості.
- [ ] Я взяв до уваги різницю в культурі цитування між галузями.
- [ ] Я враховував недостатню представленість гуманітарних наук.
- [ ] Я не використовував лише критерій для оцінювання окремих осіб.