Прибыль:
- Возможность реализации никогда не брать подсчет цитирований и цитирований из памяти ИИ при кластеризации и суммировании данных, взятых из реальной базы данных цитирования с помощью ИИ.
- Способность понимать, что такие показатели, как цитирование, индекс Хирша и импакт-фактор, указывают на использование, а не на качество, и их несравнимость в разных областях.
- Способность учитывать этические пределы использования только библиометрических критериев при оценке людей и сбалансировать их с качественной оценкой.
Университетская библиотека измеряет результаты исследований своего учреждения; исследователь, который найдет наиболее влиятельные исследования в данной области; Менеджер может захотеть оценить научную известность отдела. За этой работой стоит библиометрия: область, которая численно исследует научные публикации и отношения цитирования между ними. В этом модуле вы узнаете, как использовать искусственный интеллект для анализа цитирования, картирования публикаций и оценки воздействия; но вы научитесь преодолевать ограничения и этические ловушки числовых показателей.
Давайте определимся с понятиями. Цитирование — это научная ссылка, сделанная одной публикацией на другую публикацию; Количество цитирований считается показателем того, насколько произведение было использовано. Индекс Хирша — это показатель, который сочетает в себе как продуктивность, так и влияние исследователя (если каждая из публикаций h получила как минимум h цитирований, индекс Хирша равен h). Импакт-фактор — это показатель, показывающий средний уровень цитируемости журнала. Эти показатели полезны, но ни один из них не является прямым показателем «качества»; Помня об этом различии, и состоит суть библиометрии.
Шаг за шагом: ответственный библиометрический анализ
1. Уточните вопрос. «Каковы основные исследования в этой области?», «Какие публикации нашего учреждения являются наиболее цитируемыми?», «Как эти две области пересекаются?» Каждый вопрос требует отдельного анализа.
2. Используйте достоверные данные. Анализ цитирования надежен настолько, насколько надежен источник данных. ИИ может составлять подсчет цитирований или списки публикаций; Поэтому крайне важно работать с данными из реальной базы цитирования. Используйте ИИ для интерпретации и обобщения реальных данных, а не для их генерации.
3. Отметьте узоры. ИИ помогает обобщить тематические кластеры, сети сотрудничества или тенденции с течением времени в большом наборе публикаций. Это направляет внимание человека-аналитика на важные моменты.
4. Интерпретируйте критерий в контексте. Низкое количество цитирований не означает, что работа бесполезна; Область может быть небольшой, тема может быть новой или публикация может быть очень новой. Никогда не интерпретируйте число без контекста.
5. Соблюдайте этические границы. Библиометрические показатели не следует использовать в одиночку для принятия решений о найме, продвижении по службе или финансировании отдельных лиц. Числа не измеряют ценность людей; Злоупотреблять ими несправедливо и вредно.
Совет: когда ИИ выполняет анализ цитирования, предоставьте количество цитирований и цитирование публикаций из реальной базы данных; Пусть ИИ просто организует, сгруппирует и интерпретирует эти данные. «Какой у этого писателя индекс Хирша?» Прямой вопрос может привести к вымышленному номеру.
Ограничения критериев и манипуляций
Поскольку библиометрические показатели кажутся мощными, ими можно злоупотреблять. Число цитирований может быть завышено разными способами: чрезмерное самоцитирование (цитирование собственной работы), кольца цитирования (группы людей, взаимно цитирующие друг друга) или собственная культура цитирования в данной области. Более того, критерии несопоставимы в разных областях: среда цитирования медицинской и философской статей совершенно разная.
Эта проблема еще более очевидна в гуманитарных и социальных науках; поскольку значительные результаты в этих областях (книги, переводы, обзоры) недостаточно представлены в базах данных цитирования. Измерять влияние историка или литературоведа исключительно по количеству цитирований — значит неправильно понимать характер работы. Библиотекарь — это гид, объясняющий ограничения этих критериев администраторам и исследователям.
Внимание: не представляйте библиометрический показатель как окончательное суждение об академической успеваемости человека или качестве факультета. Принципы ответственной оценки исследований подчеркивают, что меры должны дополнять качественную оценку, а не заменять ее.
три мини-кейса
Случай 1. Нанесенная на карту территория. Библиотекарь хотел показать исследовательской группе основные работы в своей области. Он извлек данные из 200 публикаций из реальной базы данных цитирования; YZ обобщил эти данные по темам и выделил 10 наиболее цитируемых исследований. Аналитик проверил каждый кластер и идентификатор в базе данных; группа быстро сообразила структуру местности.
Случай 2 — Обнаружен поддельный индекс Хирша. Менеджер спросил ИИ об индексе Хирша исследователя; ИИ сказал «42». Библиотекарь посмотрел на реальную базу данных: правильное значение было 19; ИИ составил число. Это показало, что метрики следует брать не из памяти ИИ, а из реальных данных.
Случай 3 — Предотвращено неправильное сравнение. Одно подразделение хотело выделить средства путем сравнения двух глав на основе их среднего количества цитирований. Библиотекарь объяснила, что один из факультетов — медицинский (высокая культура цитирования), а другой — гуманитарный (книгонасыщенность, низкая культура цитирования), и что такое сравнение было бы несправедливым. Оценка подкреплялась качественными критериями, которые учитывали различия на местах.
Визуальные карты и ловушки для чтения
Часто используемым инструментом в библиометрии являются сетевые карты (например, сети совместного цитирования или соавторства), которые показывают отношения между публикациями или авторами по узлам и ссылкам. На этих картах видна структура, кластеры и мосты территории; ИИ может агрегировать лежащие в основе реальные данные и помогать интерпретировать эти карты. Но визуальные карты, хотя и эффективны, также могут вводить в заблуждение: большой, видимый в центре узел может быть не «самым важным», а просто «наиболее связанным»; Размер кластера может отражать только объем публикации, а не ценность этого пространства. Кроме того, то, как рисуется карта (какой порог, какой период времени, какая база данных) полностью меняет результат. Поэтому, представляя библиометрическую визуализацию как основу для принятия решения, необходимо четко указать, на каких данных она основана, по каким параметрам и за какой период времени. Если комментарий, созданный ИИ, квалифицирует узел на карте как «лидер» или «наиболее влиятельный», проверьте, подтверждается ли эта характеристика реальными данными.
Совет: не попадайтесь в ловушку «центр = верх» при интерпретации карты сети. Центральность указывает только на плотность соединения; Оригинальный вклад или качество работы не видны на карте, и их можно понять, только прочитав содержание.
Четыре копируемых шаблона
1) Обобщение фактических данных цитирования:
Ниже приведен список публикаций и номера цитирований, которые я взял из реальной базы данных цитирования. Разделите их на тематические группы и суммируйте каждую группу в одном предложении. Просто используйте предоставленные мной данные, не добавляйте/придумывайте новые публикации или подсчеты цитирований. Данные: [здесь]
2) Маркировка тренда и модели:
Выделите заметные тенденции (увеличение, уменьшение, концентрация сотрудничества) в данных публикаций/цитирований за год, приведенных ниже. Основывайте каждое наблюдение на данных, а не спекулируйте. Данные: [здесь]
3) Предупреждение о интерпретации критериев:
Интерпретируйте следующий библиометрический критерий, указав также его ограничения: по какому предмету он предоставляет информацию, по какому предмету он не предоставляет информацию, по какому предмету он открыт для неправильного использования? Критерии и контекст: [здесь]
4) Контроль разницы площадей:
Можно ли напрямую сравнивать данные цитирования следующих двух групп? Оцените различия в культуре цитирования между областями и объясните, является ли сравнение справедливым. Данные: [здесь]
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Перечислите наиболее влиятельные статьи этого автора и количество цитирований.
ИИ генерирует вымышленные заголовки и счетчики цитирования из своей глобальной памяти, не обращаясь к реальным данным. Результат: убедительный, но ложный анализ.
Мощная подсказка:
Ваша роль: помощник библиометриста. Ниже приведены цитирования публикаций и номера цитирований, которые я извлек из реальной базы данных цитирования. Отсортируйте эти данные от наиболее цитируемой области до самой низкой, разделите их на тематические кластеры и обобщите каждый кластер. Не отклоняйтесь от приведенных мною данных, не придумывайте никаких цифр и надписей. Добавьте краткое примечание о пределах критериев. Данные: [здесь]
Мощная подсказка; Он ограничивает ИИ реальными данными, запрещает фальсификацию и напоминает нам об ограничениях тестов.
Таблица критериев и ограничений
критерий
Что показывает
Что не показывает
Внимание
Количество цитирований
Использование/видимость
качество, точность
Зависит от культуры региона
индекс Хирша
Производительность+влияние
ценность личности
Чувствителен к продолжительности карьеры
Импакт-фактор
Среднее значение журнала
Стоимость одной статьи
Критерии уровня журнала
сеть сотрудничества
С кем работал
Ставка взноса
Роль в сети неясна
Распространенные ошибки
- Запрос количества цитирований у AI. Числа составляются вне реальной базы данных.
- Думая, что критерий является мерой качества. Цитирование указывает на использование, а не на качество.
- Прямое сравнение территорий. Культуры атрибуции разные, это несправедливо.
- Измерение гуманитарных наук по атрибуции. Объемные книги недостаточно представлены в базах данных.
- Оценка людей по критериям. Решение о найме/продвижении по службе не должно основываться на одном критерии.
В заключение
В библиометрии и анализе цитирования ИИ является мощным помощником, который группирует реальные данные, отмечает тенденции и подводит итоги; Но никогда не берите номера цитирования и авторские права из памяти ИИ, потому что он их сам выдумывает. Метрики показывают использование и видимость, а не качество; нельзя сравнивать между доменами; недостаточно представлен в гуманитарных науках и не может использоваться отдельно для оценки личности. Библиотекарь является ответственным гидом, который объясняет ограничения этих критериев и сопоставляет их с качественной оценкой.
Задача приложения
Возьмите небольшой список публикаций (10-15 записей, с подсчетом цитирований) из реальной базы цитирования. Создайте кластер ИИ и подведите итоги с помощью шаблона «Суммируйте реальные данные цитирования», а затем проверьте цитирования и подсчеты по базе данных. Затем распечатайте пределы выбранной вами метрики (например, индекса Хирша) с помощью шаблона «Предупреждение об интерпретации критериев» и спланируйте, как вы объясните это менеджеру.
контрольный список
- [ ] Я предоставил номера цитат и цитаты из реальной базы данных, они не были составлены ИИ.
- [ ] Я представил метрики как показатели использования/видимости, а не качества.
- [ ] Я учел разницу в культуре цитирования между областями.
- [ ] Я учел недопредставленность гуманитарных наук.
- [ ] Я не использовал только этот критерий при оценке людей.