Печалби:
- Възможност за внедряване никога да не се взема броят на цитиранията и цитатите от AI паметта, докато групирате и обобщавате данните, взети от реалната база данни с цитати с AI
- Способност да се разбере, че показатели като цитиране, h-индекс и импакт фактор показват употреба, но не и качество, и тяхната несравнимост в различни области.
- Способност да се вземат предвид етичните граници на използването само на библиометрични критерии при оценяването на индивиди и да се балансират с качествена оценка
Една университетска библиотека измерва научноизследователската продукция на своята институция; изследовател да намери най-влиятелните изследвания в дадена област; мениджърът може да иска да оцени научната видимост на даден отдел. Зад тази работа стои библиометрията: областта, която числено изследва научните публикации и връзките на цитиране между тях. В този модул ще научите как да използвате изкуствения интелект в анализа на цитирания, картографиране на публикации и оценка на въздействието; но ще научите как да навигирате в границите и етичните капани на числените показатели.
Нека дефинираме понятията. Цитирането е научна препратка, направена от една публикация към друга публикация; Броят на цитиранията се счита за индикатор за това колко е използвано произведението. h-индексът е мярка, която съчетава както производителността, така и въздействието на изследовател (ако h броя публикации са получили поне h цитирания, h-индексът е h). Импакт факторът е мярка, която показва средното ниво на цитиране на списание. Тези показатели са полезни, но никой не е директна мярка за „качество“; Запазването на това разграничение е същността на библиометрията.
Стъпка по стъпка: отговорен библиометричен анализ
1. Изяснете въпроса. „Какви са основните изследвания в тази област?“, „Кои са най-цитираните публикации на нашата институция?“, „Как се пресичат тези две области?“ Всеки въпрос изисква различен анализ.
2. Използвайте надеждни данни. Анализът на цитирането е толкова надежден, колкото е надежден източникът на данни. AI може да съставя брой цитирания или списъци с публикации; Ето защо е от съществено значение да се работи с данни от реална база данни с цитати. Използвайте AI за интерпретиране и обобщаване на реални данни, а не за генериране на данни.
3. Маркирайте шаблоните. AI помага да се обобщят тематични групи, мрежи за сътрудничество или тенденции във времето в голям набор от публикации. Това насочва вниманието на човешкия анализатор към важни точки.
4. Интерпретирайте критерия в контекста. Ниският брой цитирания не означава, че работата е безполезна; Областта може да е малка, темата може да е нова или публикацията може да е много нова. Никога не интерпретирайте числото без контекст.
5. Спазвайте етичните граници. Библиометричните мерки не трябва да се използват самостоятелно за вземане на решения за наемане, повишаване или финансиране на лица. Числата не измерват стойността на хората; Злоупотребата с тях е както несправедлива, така и вредна.
Съвет: Когато AI извършва анализ на цитиране, осигурете броя на цитиранията и цитатите на публикациите от реалната база данни; Оставете AI просто да организира, групира и интерпретира тези данни. „Какъв е h-индексът на този писател?“ Питането директно може да доведе до измислен номер.
Граници на критериите и манипулацията
Тъй като библиометричните показатели изглеждат мощни, те са отворени за злоупотреба. Броят на цитиранията може да бъде завишен по различни начини: прекомерно самоцитиране (цитиране на собствена работа), кръгове на цитиране (групи от хора, реципрочно цитиращи един друг) или собствена култура на цитиране в областта. Освен това критериите не са сравними в различни области: средата за цитиране на медицинска статия и философска статия е напълно различна.
Този проблем е още по-очевиден в хуманитарните и социалните науки; защото значителни резултати в тези области (книги, преводи, рецензии) са недостатъчно представени в базите данни с цитати. Да се измери въздействието на историк или литературен учен единствено чрез броя на цитиранията означава да се разбере погрешно естеството на работата. Библиотекарят е ръководство, което обяснява границите на тези критерии на администратори и изследователи.
Внимание: Не представяйте библиометрична мярка като окончателна преценка относно академичните заслуги на дадено лице или качеството на отдел. Принципите на отговорната оценка на научните изследвания подчертават, че мерките трябва да допълват качествената оценка, а не да я заместват.
три мини калъфа
Случай 1 — Картографирана зона. Един библиотекар искаше да покаже на изследователска група основна работа в тяхната област. Той изтегли данни от 200 публикации от реална база данни с цитати; YZ обобщава тези данни в тематични клъстери и подчертава 10-те най-цитирани проучвания. Анализаторът провери всеки клъстер и идентификатор в базата данни; групата бързо схвана структурата на района.
Случай 2 — Уловен фалшив h-индекс. Мениджър попита AI за h-индекса на изследовател; AI каза "42". Библиотекарят погледна действителната база данни: правилната стойност беше 19; AI беше измислил числото. Това показа, че показателите никога не трябва да се вземат от AI памет, а от реални данни.
Случай 3 — Предотвратено неправилно сравнение. Едно звено искаше да разпредели средства чрез сравняване на две глави въз основа на техния среден брой цитирания. Библиотекарят обясни, че единият от отделите е медицина (висока култура на цитиране), а другият е хуманитарни науки (много книги, ниска култура на цитиране) и че това сравнение би било несправедливо. Оценката беше подкрепена от качествени критерии, които отчитаха разликите в областта.
Визуални карти и капани за четене
Често използван инструмент в библиометрията са мрежовите карти (напр. мрежи за съвместно цитиране или съавторство), които показват връзки между публикации или автори чрез възли и връзки. Тези карти правят видими структурата, клъстерите и мостовете на дадена област; AI може да агрегира основните реални данни и да помогне за интерпретирането на тези карти. Но визуалните карти, макар и мощни, също могат да бъдат подвеждащи: голям, централно видим възел може да не е „най-важният“, а просто „най-свързаният“; Размерът на клъстера може да отразява само обема на публикацията, а не стойността на това пространство. Освен това, как е начертана картата (кой праг, кой период от време, коя база данни) напълно променя резултата. Ето защо, когато се представя библиометрична визуализация като основа за решение, е наложително ясно да се посочи на кои данни се базира, на какви параметри и за какъв период от време. Ако коментар, генериран от AI, квалифицира възел на картата като „лидер“ или „най-влиятелен“, проверете дали тази характеристика се поддържа от реални данни.
Съвет: Не попадайте в капана "център = горе", когато интерпретирате мрежова карта. Централността показва само плътността на връзката; Оригиналният принос или качество на произведение не се вижда на картата и може да бъде разбрано само чрез четене на съдържанието.
Четири копируеми шаблона
1) Обобщаване на действителните данни за цитиране:
По-долу е списъкът с публикации и номерата на цитати, които взех от истинска база данни с цитати. Разделете ги на тематични клъстери и обобщете всеки клъстер в едно изречение. Просто използвайте предоставените от мен данни, не добавяйте/измисляйте нови публикации или броене на цитирания. Данни: [тук]
2) Маркиране на тенденция и модел:
Маркирайте забележителни тенденции (увеличаване, намаление, концентрация на сътрудничество) в базираните на годината данни за публикации/цитиране по-долу. Базирайте всяко наблюдение на данни, не спекулирайте. Данни: [тук]
3) Предупреждение за тълкуване на критерии:
Тълкувайте следния библиометричен критерий, като посочите и неговите граници: по кой предмет предоставя информация, по кой не предоставя информация, по кой предмет е отворен за злоупотреба? Критерии и контекст: [тук]
4) Контрол на разликата в площта:
Могат ли данните за цитиране на следните две групи да бъдат директно сравнени? Оценете разликите в културата на цитиране между полетата и обяснете дали сравнението е справедливо. Данни: [тук]
Слаба подкана / Силна подкана
Слаба подкана:
Избройте най-влиятелните статии на този автор и броя на цитиранията.
AI генерира измислени заглавия и брой цитирания от глобалната си памет, без да има достъп до реалните данни. Резултат: убедителен, но фалшив анализ.
Мощна подкана:
Вашата роля: асистент по библиометрия. По-долу са цитиранията на публикациите и номерата на цитатите, които извадих от реалната база данни с цитати. Сортирайте тези данни от най-цитирания домейн до най-ниско, разделете ги на тематични клъстери и обобщете всеки клъстер. Не се отклонявайте от данните, които съм дал, не си измисляйте цифри и надписи. Добавете кратка бележка относно границите на критериите. Данни: [тук]
Мощна подсказка; Той ограничава AI до реални данни, забранява фабрикуването и ни напомня за границите на бенчмарка.
Таблица с критерии и граници
критерий
Какво показва
Какво не показва
внимание
Брой цитирания
Използване/видимост
качество, коректност
Зависи от местната култура
h-индекс
Производителност+въздействие
ценност на индивида
Чувствителен към продължителността на кариерата
Импакт фактор
Средно за списанието
Стойност на една статия
Критерии за ниво на журнала
мрежа за сътрудничество
Който е работил с
Процент на вноската
Неясна роля в мрежата
Често срещани грешки
- Изискване на броя цитирания от AI. Числата са съставени извън реалната база данни.
- Мислейки, че критерият е мярка за качество. Цитирането показва употребата, а не качеството.
- Сравняване на области директно. Културите на приписване са различни, не е честно.
- Измерване на хуманитарните науки чрез приписване. Натоварените с книги резултати са недостатъчно представени в базите данни.
- Оценяване на индивидите с критерии. Решението за наемане/повишаване не трябва да се основава на един единствен критерий.
В обобщение
В библиометрията и анализа на цитирането AI е мощен помощник, който групира реални данни, маркира тенденции и обобщава; Но никога не вземайте номера на цитати и авторски редове от паметта на AI, защото тя ги измисля. Метриките показват използване и видимост, а не качество; не може да се сравнява между домейни; е недостатъчно представен в хуманитарните науки и не може да се използва сам за оценка на индивиди. Библиотекарят е отговорен водач, който обяснява границите на тези критерии и ги балансира с качествена оценка.
Задача за приложение
Вземете малък списък с публикации (10-15 записа, с брой цитати) от истинска база данни с цитати. Имайте AI клъстера и обобщете с шаблона „Обобщаване на данни за реални цитати“, след което проверете цитатите и броя спрямо базата данни. След това отпечатайте границите на метрика по ваш избор (напр. h-индекс) с шаблона „Предупреждение за тълкуване на критерии“ и планирайте как ще го обясните на мениджър.
контролен списък
- [ ] Предоставих номерата на цитатите и цитатите от истинската база данни, не съм ги измислил от AI.
- [ ] Представих показателите като индикатори за използване/видимост, а не за качество.
- [ ] Взех предвид разликата в културата на цитиране между областите.
- [ ] Взех предвид слабото представяне на хуманитарните науки.
- [ ] Не използвах само критерия при оценката на индивидите.