Добивки:
- Способност да се имплементира никогаш не земајќи го бројот на цитати и цитати од меморијата на вештачката интелигенција додека се групираат и сумираат податоците земени од вистинската база на цитати со ВИ
- Способност да се разбере дека метриките како што се наводите, h-индексот и факторот на влијание укажуваат на употреба, но не и на квалитет, и нивната неспоредливост меѓу полињата.
- Способност да се земат предвид етичките граници на користење само библиометриски критериуми при евалуација на поединци и да се балансираат со квалитативна евалуација
Универзитетската библиотека го мери резултатите од истражувањето на нејзината институција; истражувач за да ги пронајде највлијателните студии на некое поле; менаџерот можеби ќе сака да ја оцени научната видливост на одделот. Зад ова дело стои библиометријата: полето кое нумерички ги испитува научните публикации и односите меѓу нив со цитати. Во оваа единица, ќе научите како да користите вештачка интелигенција во анализа на цитати, мапирање на публикации и проценка на влијанието; но ќе научите како да се движите низ границите и етичките замки на нумеричката метрика.
Ајде да ги дефинираме концептите. Цитирање е научна референца направена од една публикација до друга публикација; Бројот на цитати се смета за показател за тоа колку е искористено едно дело. h-индексот е мерка што ги комбинира продуктивноста и влијанието на истражувачот (ако h бројот на публикации има добиено најмалку h цитати, h-индексот е h). Фактор на влијание е мерка што го покажува просечното ниво на цитирање на списанието. Овие метрики се корисни, но ниедна не е директна мерка за „квалитет“; Имајќи ја предвид оваа разлика е суштината на библиометријата.
Чекор по чекор: одговорна библиометриска анализа
1. Појасни го прашањето. „Кои се основните студии од оваа област?“, „Кои се најцитираните публикации на нашата институција?“, „Како се вкрстуваат овие две полиња?“ Секое прашање бара различна анализа.
2. Користете веродостојни податоци. Анализата на цитати е веродостојна само како и изворот на податоци. Вештачката интелигенција може да состави брои на цитати или списоци на публикации; Затоа, од суштинско значење е да се работи со податоци од вистинска база на податоци за цитати. Користете вештачка интелигенција за толкување и сумирање на реални податоци, а не за генерирање податоци.
3. Означете ги шаблоните. Вештачката интелигенција помага да се сумираат кластери за теми, мрежи за соработка или трендови со текот на времето во голем сет на публикации. Ова го насочува вниманието на човечкиот аналитичар кон важни точки.
4. Интерпретирај го критериумот во контекст. Нискиот број на цитати не покажува дека делото е безвредно; Полето може да е мало, темата може да е нова или публикацијата може да биде многу нова. Никогаш не го толкувајте бројот без контекст.
5. Внимавајте на етичката граница. Библиометриските мерки не треба да се користат сами за донесување одлуки за вработување, унапредување или финансирање на поединци. Броевите не ја мерат вредноста на луѓето; Злоупотребата на нив е и неправедно и штетно.
Совет: Кога вештачката интелигенција ќе изврши анализа на цитати, наведете ги цитатите и цитатите на публикациите од вистинската база на податоци; Дозволете ВИ едноставно да ги организира, групира и толкува овие податоци. „Кој е h-индексот на овој писател? Прашањето директно може да резултира со измислен број.
Граници на критериуми и манипулација
Бидејќи библиометриските метрики изгледаат моќни, тие се отворени за злоупотреба. Броевите за цитати може да се надујат на различни начини: прекумерно самоцитирање (цитирање на сопственото дело), прстени за цитати (групи луѓе кои реципрочно се наведуваат меѓусебно) или сопствена култура на цитирање на теренот. Згора на тоа, критериумите не се споредливи низ областите: околината за цитирање на медицинска статија и статија од филозофија е сосема различна.
Овој проблем е уште поочигледен во хуманистичките и општествените науки; бидејќи значајните резултати во овие области (книги, преводи, критики) се недоволно застапени во базите на податоци за цитати. Да се измери влијанието на историчар или литературен научник исклучиво според бројот на цитати значи погрешно да се разбере природата на делото. Библиотекарот е водич кој им ги објаснува границите на овие критериуми на администраторите и истражувачите.
Внимание: Не прикажувајте библиометриска мерка како конечна проценка за академските заслуги на поединецот или за квалитетот на одделот. Принципите на одговорна евалуација на истражувањето нагласуваат дека мерките треба да ја надополнуваат квалитативната евалуација, а не да ја заменат.
три мини футроли
Случај 1 - Мапирана област. Еден библиотекар сакаше да и покаже на истражувачката група основна работа во нивната област. Повлече податоци од 200 публикации од вистинска база на податоци за цитати; YZ ги сумираше овие податоци во тематски кластери и ги истакна 10-те најцитирани студии. Аналитичарот го потврди секој кластер и идентификатор во базата на податоци; групата брзо ја сфати структурата на областа.
Случај 2 - Фатен лажен h-индекс. Менаџер ја праша вештачката интелигенција за h-индексот на истражувачот; Вештачката интелигенција рече „42“. Библиотекарката ја погледна вистинската база на податоци: точната вредност беше 19; Вештачката интелигенција го сочинуваше бројот. Ова покажа дека метриката никогаш не треба да се зема од меморијата со вештачка интелигенција, туку од вистински податоци.
Случај 3 — Спречена е погрешна споредба. Една единица сакаше да распредели средства со споредување на две поглавја врз основа на нивниот просечен број на цитати. Библиотекарката објасни дека еден од катедрите е медицина (култура со висок цитат), а другиот хуманитарен (култура со ниски цитати), и дека оваа споредба би била неправедна. Евалуацијата беше поддржана со квалитативни критериуми кои ги земаа предвид разликите на теренот.
Визуелни мапи и стапици за читање
Често употребувана алатка во библиометријата се мрежните карти (на пр. мрежи за ко-цитати или коавторство), кои ги прикажуваат односите помеѓу публикациите или авторите по јазли и врски. Овие карти ја прават видлива структурата, кластерите и мостовите на една област; Вештачката интелигенција може да ги собере основните реални податоци и да помогне во толкувањето на овие карти. Но, визуелните мапи, иако моќни, исто така можат да бидат погрешни: голем, централно видлив јазол можеби не е „најважниот“, туку само „најповрзан“; Големината на кластерот може да го одразува само обемот на објавување, а не вредноста на тој простор. Дополнително, како се црта мапата (кој праг, кој временски период, која база на податоци) целосно го менува исходот. Затоа, при презентирање на библиометриска визуелизација како основа за одлука, императив е јасно да се наведе на кои податоци се заснова, на кои параметри и во кој временски период. Ако коментарот генериран од вештачка интелигенција квалификува јазол на картата како „водач“ или „највлијателен“, проверете дали таа карактеризација е поддржана од реални податоци.
Совет: Не паѓајте во стапицата „центар = врв“ кога толкувате мрежна карта. Централноста само ја означува густината на поврзувањето; Оригиналниот придонес или квалитетот на делото не е видлив на картата и може да се разбере само со читање на содржината.
Четири шаблони за копирање
1) Сумирајќи ги вистинските податоци за цитирање:
Подолу е списокот на публикации и броевите на цитати што ги зедов од вистинска база на цитати. Поделете ги во кластери за теми и сумирајте го секој кластер во една реченица. Само користете ги податоците што ги дадов, не додавајте/направете нови публикации или број на цитати. Податоци: [тука]
2) Обележување тренд и шема:
Истакнете ги значајните трендови (зголемување, намалување, концентрација на соработка) во податоците за објавување/цитат базирани на година подолу. Секоја опсервација засновајте ја на податоци, не шпекулирајте. Податоци: [тука]
3) Предупредување за толкување на критериумите:
Толкувајте го следниов библиометриски критериум, наведувајќи ги и неговите граници: за која тема дава информации, за која тема не дава информации, за која тема е отворена за злоупотреба? Критериуми и контекст: [тука]
4) Контрола на разликата во областа:
Може ли директно да се споредат податоците од цитатите на следните две групи? Оценете ги разликите во културата на наводи помеѓу полињата и објаснете дали споредбата е праведна. Податоци: [тука]
Слаб промпт / Силен промпт
Слаба навестување:
Наведете ги највлијателните написи на овој автор и бројот на цитати.
Вештачката интелигенција генерира измислени наслови и број на цитати од својата глобална меморија без пристап до вистинските податоци. Резултат: убедлива, но лажна анализа.
Моќен потсетник:
Вашата улога: асистент по библиометрија. Подолу се цитатите на публикациите и броевите на цитати што ги извадив од базата на податоци за вистински цитати. Подредете ги овие податоци од најцитираниот домен на најнизок, поделете ги во кластери за теми и сумирајте го секој кластер. Не отстапувајте од податоците што ги дадов, не измислувајте никакви бројки или етикети. Додадете кратка белешка за границите на критериумите. Податоци: [тука]
Моќен потсетник; Ја ограничува вештачката интелигенција на вистински податоци, забранува изработка и нè потсетува на репер ограничувања.
Табела на критериуми и граници
критериум
Што покажува
Што не се покажува
Внимание
Број на цитати
Употреба/видливост
квалитет, точност
Зависи од културата на областа
h-индекс
Продуктивност+влијание
вредноста на поединецот
Чувствителни на должината на кариерата
Фактор на влијание
Просек на дневник
Вредност на една статија
Критериуми на ниво на весник
мрежа за соработка
Со кој работеше
Стапка на придонес
Улогата во мрежата е нејасна
Вообичаени грешки
- Барање на бројот на цитати од АИ. Броевите се составени надвор од вистинската база на податоци.
- Мислејќи дека критериумот е мерило за квалитет. Наводот означува употреба, а не квалитет.
- Директно споредување области. Културите на атрибуција се различни, не е фер.
- Мерење на хуманистичките науки со атрибуција. Во базите на податоци се недоволно застапени резултатите од големиот број книги.
- Оценување на поединци со критериуми. Одлуката за вработување/унапредување не треба да се заснова на единствен критериум.
Сумирано
Во библиометриката и анализата на цитати, вештачката интелигенција е моќен асистент што групира вистински податоци, ги означува трендовите и резимира; Но, никогаш не земајте броеви на наводи и подлини од меморијата на вештачката интелигенција, бидејќи тоа го сочинува. Метриката ја покажува употребата и видливоста, а не квалитетот; не може да се споредува низ домени; е недоволно застапен во хуманистичките науки и не може да се користи сам за оценување на поединци. Библиотекарот е одговорен водич кој ги објаснува границите на овие критериуми и ги балансира со квалитативната евалуација.
Задача за апликација
Земете мала листа на публикации (10-15 записи, со број на цитати) од вистинска база на податоци за цитати. Имајте го кластерот за вештачка интелигенција и сумирајте со шаблонот „Сумарирај реални податоци за цитати“, а потоа потврдете ги наводите и броите во базата на податоци. Потоа испечатете ги границите на метриката по ваш избор (на пр. h-индекс) со шаблонот „Предупредување за толкување критериуми“ и испланирајте како ќе му објасните на менаџерот.
листа за проверка
- [ ] Ги дадов броевите на наводите и цитатите од вистинската база на податоци, не ги составив со вештачка интелигенција.
- [ ] Ги претставив метриките како индикатори за користење/видливост, а не за квалитет.
- [ ] Ја земав предвид разликата во културата на цитирање помеѓу полињата.
- [ ] Ја земав предвид недоволната застапеност на хуманистичките науки.
- [ ] Не го користев само критериумот при оценувањето на поединците.