Добици:
- Способност имплементације никада не узимајући број цитата и цитате из АИ меморије док групише и сумира податке преузете из стварне базе података цитата помоћу АИ
- Способност разумевања да метрике као што су цитат, х-индекс и фактор утицаја указују на употребу, али не и на квалитет, и њихову неупоредивост у различитим областима.
- Способност да се узму у обзир етичке границе коришћења само библиометријских критеријума у процени појединаца и да се уравнотеже са квалитативном евалуацијом
Универзитетска библиотека мери резултате истраживања своје институције; истраживач да пронађе најутицајније студије у некој области; менаџер можда жели да процени научну видљивост одељења. Иза овог рада стоји библиометрија: област која нумерички испитује научне публикације и цитатне односе међу њима. У овој јединици ћете научити како да користите вештачку интелигенцију у анализи цитата, мапирању публикација и процени утицаја; али ћете научити како да се крећете кроз границе и етичке замке нумеричке метрике.
Хајде да дефинишемо појмове. Цитирање је научна референца једне публикације на другу публикацију; Број цитата се сматра показатељем колико је неко дело коришћено. х-индекс је мера која комбинује и продуктивност и утицај истраживача (ако је свака од х публикација добила најмање х цитата, х-индекс је х). Фактор утицаја је мера која показује просечан ниво цитираности часописа. Ове метрике су корисне, али ниједна није директна мерила „квалитета“; Имајући на уму ову разлику је суштина библиометрије.
Корак по корак: одговорна библиометријска анализа
1. Разјасните питање. „Које су основне студије ове области?“, „Које су најцитираније публикације наше установе?“, „Како се укрштају ове две области?“ Свако питање захтева другачију анализу.
2. Користите поуздане податке. Анализа цитата је поуздана само онолико колико је поуздан извор података. АИ може да прави број цитата или листе публикација; Због тога је неопходно радити са подацима из реалне базе података цитата. Користите вештачку интелигенцију за тумачење и сумирање стварних података, а не за генерисање података.
3. Обележите шаре. АИ помаже у резимирању тематских група, колаборативних мрежа или трендова током времена у великом скупу публикација. Ово усмерава пажњу људског аналитичара на важне тачке.
4. Протумачите критеријум у контексту. Низак број цитата не значи да је дело безвредно; Поље може бити мало, тема може бити нова или публикација може бити врло нова. Никада не тумачите број без контекста.
5. Поштујте етичку границу. Библиометријске мере не би требало да се користе саме за доношење одлука о запошљавању, унапређењу или финансирању појединаца. Бројеви не мере вредност људи; Злоупотреба њих је и неправедна и штетна.
Савет: Када АИ изврши анализу цитата, обезбедите број цитата и цитате публикација из праве базе података; Нека АИ једноставно организује, групише и тумачи ове податке. „Који је х-индекс овог писца?“ Директно питање може довести до измишљеног броја.
Границе критеријума и манипулације
Пошто библиометријска метрика изгледа моћна, отворена је за злоупотребу. Број цитата се може повећати на различите начине: прекомерно самоцитирање (цитирање сопственог рада), прстенови цитирања (групе људи који узајамно цитирају једни друге) или сопствена култура цитирања на терену. Штавише, критеријуми нису упоредиви у различитим областима: окружење цитирања медицинског чланка и чланка из филозофије је потпуно различито.
Овај проблем је још очигледнији у хуманистичким и друштвеним наукама; јер су значајни резултати у овим областима (књиге, преводи, рецензије) недовољно заступљени у базама података цитата. Мерити утицај историчара или књижевног научника само бројем цитата значи погрешно разумети природу дела. Библиотекар је водич који администраторима и истраживачима објашњава ограничења ових критеријума.
Опрез: Не представљајте библиометријску меру као коначан суд о академским заслугама појединца или квалитету одељења. Принципи одговорне евалуације истраживања наглашавају да мере треба да допуне квалитативну евалуацију, а не да је замене.
три мини кофера
Случај 1 — Мапирано подручје. Библиотекар је желео да истраживачкој групи покаже основни рад у својој области. Извукао је податке из 200 публикација из праве базе података о цитатима; ИЗ је сажео ове податке у групе тема и истакао 10 најцитиранијих студија. Аналитичар је верификовао сваки кластер и идентификатор у бази података; група је брзо схватила структуру подручја.
Случај 2 — Лажни х-индекс ухваћен. Менаџер је питао АИ о истраживачком х-индексу; АИ је рекао "42". Библиотекар је погледао стварну базу података: тачна вредност је била 19; АИ је измислио број. Ово је показало да метрику никада не треба узимати из АИ меморије, већ из стварних података.
Случај 3 — Спречено је погрешно поређење. Једна јединица је желела да додели средства упоређујући два поглавља на основу њиховог просечног броја цитата. Библиотекарка је објаснила да је једно одељење медицина (висока култура цитираности), а друго хуманистичке науке (књига тешка, ниска цитирана култура) и да би ово поређење било неправедно. Евалуација је подржана квалитативним критеријумима који су узели у обзир разлике на терену.
Визуелне карте и замке за читање
Често коришћени алат у библиометрији су мрежне мапе (нпр. мреже коцитата или коауторства), које приказују односе између публикација или аутора по чворовима и везама. Ове мапе чине видљивим структуру, кластере и мостове неког подручја; АИ може да агрегира основне стварне податке и помогне у тумачењу ових мапа. Али визуелне мапе, иако моћне, такође могу да доведу у заблуду: велики, централно видљив чвор можда није „најважнији“ већ само „најповезанији“; Величина кластера може одражавати само обим публикације, а не вредност тог простора. Поред тога, начин на који је мапа нацртана (који праг, који временски период, која база података) потпуно мења исход. Стога, када се представља библиометријска визуелизација као основа за одлуку, неопходно је јасно навести на којим подацима се заснива, којим параметрима и у ком временском периоду. Ако коментар генерисан вештачком интелигенцијом квалификује чвор на мапи као „лидера“ или „најутицајнијег“, проверите да ли је та карактеризација подржана стварним подацима.
Савет: Немојте упасти у замку „центар = врх“ када тумачите мрежну мапу. Централност само указује на густину везе; Оригинални допринос или квалитет дела није видљив на мапи и може се разумети само читањем садржаја.
Четири шаблона за копирање
1) Сумирање стварних података о цитатима:
Испод је листа публикација и бројеви цитата које сам узео из праве базе података цитата. Поделите их у групе тема и сумирајте сваки кластер у једну реченицу. Само користите податке које сам дао, немојте додавати/измишљати нове публикације или бројање цитата. Подаци: [овде]
2) Означавање тренда и шаблона:
Истакните значајне трендове (повећање, смањење, концентрација сарадње) у подацима о објављивању/цитирању заснованом на години у наставку. Свако запажање заснивајте на подацима, немојте спекулисати. Подаци: [овде]
3) Упозорење на тумачење критеријума:
Протумачите следећи библиометријски критеријум, наводећи и његове границе: о којој теми даје информације, о којој не даје информације, о којој теми је отворен за злоупотребу? Критеријуми и контекст: [овде]
4) Контрола разлике у површини:
Да ли се подаци о цитатима за следеће две групе могу директно упоредити? Процените разлике у култури цитирања између поља и објасните да ли је поређење праведно. Подаци: [овде]
Слаби промпт / Јаки промпт
Слабо обавештење:
Наведите најутицајније чланке овог аутора и број цитата.
АИ генерише измишљене наслове и бројеве цитата из своје глобалне меморије без приступа стварним подацима. Резултат: убедљива, али лажна анализа.
Снажан упит:
Ваша улога: асистент библиометрије. Испод су цитати публикација и бројеви цитата које сам извукао из базе података стварних цитата. Сортирајте ове податке од најчешће цитираног домена до најнижег, поделите их у кластере тема и сумирајте сваки кластер. Не одступајте од података које сам дао, не измишљајте никакве бројеве или ознаке. Додајте кратку напомену о границама критеријума. Подаци: [овде]
Снажан промпт; Ограничава вештачку интелигенцију на стварне податке, забрањује фабриковање и подсећа нас на ограничења стандарда.
Табела критеријума и ограничења
критеријум
Шта показује
Шта не показује
Пажња
Број цитата
Употреба/видљивост
квалитет, тачност
Зависи од културе подручја
х-индекс
Продуктивност+утицај
вредност појединца
Осетљив на дужину каријере
Фактор утицаја
Просек часописа
Вредност појединачног артикла
Критеријуми на нивоу часописа
мрежа за сарадњу
Ко је радио са
Стопа доприноса
Нејасна улога у мрежи
Уобичајене грешке
- Захтевање броја цитата од АИ. Бројеви су састављени изван праве базе података.
- Мислећи да је критеријум мерило квалитета. Цитирање указује на употребу, а не на квалитет.
- Директно упоређивање области. Културе атрибуције су различите, није фер.
- Мерење хуманистичких наука атрибуцијом. У базама података недовољно су заступљени резултати који обилују књигама.
- Вредновање појединаца критеријумима. Одлука о запошљавању/напредовању не би требало да се заснива на једном критеријуму.
Укратко
У библиометрији и анализи цитата, АИ је моћан помоћник који групише стварне податке, означава трендове и сумира; Али никада не узимајте бројеве цитата и ауторске линије из АИ меморије, јер то чини. Метрике показују употребу и видљивост, а не квалитет; не може се поредити по доменима; је недовољно заступљен у хуманистичким наукама и не може се користити сам за процену појединаца. Библиотекар је одговоран водич који објашњава границе ових критеријума и балансира их са квалитативном евалуацијом.
Задатак апликације
Узмите малу листу публикација (10-15 записа, са бројем цитата) из праве базе података о цитатима. Направите АИ кластер и сумирајте помоћу шаблона „Суммаризе реал цитатион дата“, а затим потврдите цитате и рачунате у бази података. Затим одштампајте границе метрике по вашем избору (нпр. х-индекс) помоћу шаблона „Упозорење о тумачењу критеријума“ и испланирајте како ћете то објаснити менаџеру.
контролна листа
- [ ] Навео сам бројеве цитата и цитате из праве базе података, нисам их направио од стране вештачке интелигенције.
- [ ] Показао сам метрику као индикаторе употребе/видљивости, а не квалитета.
- [ ] Узео сам у обзир разлику у култури цитирања између поља.
- [ ] Узео сам у обзир недовољну заступљеност хуманистичких наука.
- [ ] Нисам користио само критеријум у процени појединаца.