Fitimet:
- Aftësia për të zbatuar asnjëherë marrjen e numërimit të citimeve dhe citimeve nga memoria e AI gjatë grumbullimit dhe përmbledhjes së të dhënave të marra nga baza e të dhënave reale e citimeve me AI
- Aftësia për të kuptuar se metrikat si citimi, indeksi h dhe faktori i ndikimit tregojnë përdorimin, por jo cilësinë, dhe pakrahasueshmërinë e tyre nëpër fusha.
- Aftësia për të marrë parasysh kufijtë etikë të përdorimit vetëm të kritereve bibliometrike në vlerësimin e individëve dhe për t'i balancuar ato me vlerësimin cilësor
Një bibliotekë universitare mat rezultatet e kërkimit të institucionit të saj; një studiues për të gjetur studimet më me ndikim të një fushe; një menaxher mund të dëshirojë të vlerësojë dukshmërinë shkencore të një departamenti. Pas kësaj vepre qëndron bibliometria: fusha që shqyrton numerikisht botimet shkencore dhe marrëdhëniet e citimeve ndërmjet tyre. Në këtë njësi, do të mësoni se si të përdorni inteligjencën artificiale në analizën e citimeve, hartimin e publikimeve dhe vlerësimin e ndikimit; por do të mësoni se si të lundroni në kufijtë dhe grackat etike të metrikës numerike.
Le të përcaktojmë konceptet. Citimi është një referencë shkencore e bërë nga një publikim në një botim tjetër; Numri i citimeve konsiderohet një tregues se sa është përdorur një vepër. Indeksi h është një masë që kombinon produktivitetin dhe ndikimin e një studiuesi (nëse h numri i publikimeve ka marrë secili të paktën h citime, indeksi h është h). Faktori i ndikimit është një masë që tregon nivelin mesatar të citimit të një reviste. Këto metrika janë të dobishme, por asnjëra nuk është matës i drejtpërdrejtë i "cilësisë"; Mbajtja në mendje e këtij dallimi është thelbi i bibliometrisë.
Hap pas hapi: analizë bibliometrike e përgjegjshme
1. Sqaroni pyetjen. "Cilat janë studimet bazë të kësaj fushe?", "Cilat janë botimet më të cituara të institucionit tonë?", "Si kryqëzohen këto dy fusha?" Çdo pyetje kërkon një analizë të ndryshme.
2. Përdorni të dhëna të besueshme. Analiza e citimeve është po aq e besueshme sa burimi i të dhënave. AI mund të përbëjë numërimin e citimeve ose listat e publikimeve; Prandaj, është thelbësore të punohet me të dhëna nga një bazë të dhënash reale citate. Përdorni AI për të interpretuar dhe përmbledhur të dhëna reale, jo për të gjeneruar të dhëna.
3. Të shënohen modelet. Inteligjenca artificiale ndihmon në përmbledhjen e grupeve të temave, rrjeteve bashkëpunuese ose tendencave me kalimin e kohës në një grup të madh botimesh. Kjo e drejton vëmendjen e analistit njerëzor në pika të rëndësishme.
4. Interpretoni kriterin në kontekst. Një numër i ulët i citimeve nuk tregon se puna është e pavlerë; Fusha mund të jetë e vogël, tema mund të jetë e re ose botimi mund të jetë shumë i ri. Asnjëherë mos e interpretoni numrin pa kontekst.
5. Vëzhgoni kufirin etik. Masat bibliometrike nuk duhet të përdoren vetëm për të marrë vendime në lidhje me punësimin, promovimin ose financimin e individëve. Numrat nuk matin vlerën e njerëzve; Abuzimi me to është njëkohësisht i padrejtë dhe i dëmshëm.
Këshillë: Kur AI të kryejë një analizë citate, jepni numërimin e citimeve dhe citimet e publikimeve nga baza e të dhënave reale; Lejo që AI thjesht të organizojë, grupojë dhe interpretojë këto të dhëna. "Cili është indeksi h i këtij shkrimtari?" Pyetja direkt mund të rezultojë në një numër të sajuar.
Kufijtë e kritereve dhe manipulimit
Për shkak se metrikat bibliometrike duken të fuqishme, ato janë të hapura për abuzim. Numrat e citimeve mund të rriten në mënyra të ndryshme: vetë-citim i tepërt (duke cituar veprën e dikujt), unaza citimesh (grupe njerëzish që citojnë në mënyrë reciproke njëri-tjetrin) ose kultura e vetë citimeve të fushës. Për më tepër, kriteret nuk janë të krahasueshme në të gjitha fushat: mjedisi i citimit të një artikulli mjekësor dhe një artikulli filozofik është krejtësisht i ndryshëm.
Ky problem është edhe më i dukshëm në shkencat humane dhe shoqërore; sepse rezultatet e rëndësishme në këto fusha (libra, përkthime, rishikime) janë të nënpërfaqësuara në bazat e të dhënave të citimeve. Të matësh ndikimin e një historiani ose studiuesi letrar vetëm me numrin e citimeve do të thotë të keqkuptosh natyrën e veprës. Bibliotekari është një udhëzues që shpjegon kufijtë e këtyre kritereve për administratorët dhe studiuesit.
Kujdes: Mos paraqisni një masë bibliometrike si një gjykim përfundimtar për meritat akademike të një individi ose cilësinë e një departamenti. Parimet e vlerësimit të përgjegjshëm të kërkimit theksojnë se masat duhet të plotësojnë vlerësimin cilësor dhe jo ta zëvendësojnë atë.
tre mini kuti
Rasti 1 - Zona e hartuar. Një bibliotekar donte t'i tregonte një grupi kërkimor punën bazë në fushën e tyre. Ai nxori të dhëna nga 200 botime nga një bazë të dhënash reale të citimeve; YZ i përmblodhi këto të dhëna në grupe tematike dhe theksoi 10 studimet më të cituara. Analisti verifikoi çdo grup dhe identifikues në bazën e të dhënave; grupi e kuptoi shpejt strukturën e zonës.
Rasti 2 - Kapur indeks i rremë h. Një menaxher pyeti AI në lidhje me indeksin h të një studiuesi; UA tha "42". Bibliotekari shikoi bazën aktuale të të dhënave: vlera e saktë ishte 19; AI kishte krijuar numrin. Kjo tregoi se metrikat nuk duhet të merren kurrë nga kujtesa e AI, por nga të dhënat reale.
Rasti 3 — Parandalohet krahasimi i gabuar. Një njësi donte të shpërndante fonde duke krahasuar dy kapituj bazuar në numrin mesatar të citimeve të tyre. Bibliotekarja shpjegoi se një nga departamentet ishte mjekësia (kultura e citimeve të larta) dhe tjetra ishte shkencat humane (kultura e rëndë e librave, kultura e ulët e citimeve) dhe se ky krahasim do të ishte i padrejtë. Vlerësimi u mbështet nga kritere cilësore që morën parasysh dallimet në terren.
Harta vizuale dhe kurthe leximi
Një mjet i përdorur shpesh në bibliometrikë janë hartat e rrjetit (p.sh. rrjetet e bashkëcitimit ose të bashkëautorësisë), të cilat tregojnë marrëdhëniet midis botimeve ose autorëve sipas nyjeve dhe lidhjeve. Këto harta bëjnë të dukshme strukturën, grupimet dhe urat e një zone; AI mund të grumbullojë të dhënat reale dhe të ndihmojë në interpretimin e këtyre hartave. Por hartat vizuale, ndonëse të fuqishme, mund të jenë gjithashtu mashtruese: një nyje e madhe, e dukshme nga qendra mund të mos jetë "më e rëndësishmja", por thjesht "më e lidhura"; Madhësia e një grupi mund të pasqyrojë vetëm vëllimin e publikimit, jo vlerën e asaj hapësire. Për më tepër, mënyra se si vizatohet harta (cili prag, cila periudhë kohore, cila bazë të dhënash) ndryshon plotësisht rezultatin. Prandaj, kur paraqitet një vizualizimi bibliometrik si bazë për një vendim, është e domosdoshme të thuhet qartë se në cilat të dhëna bazohet, në cilat parametra dhe në cilën periudhë kohore. Nëse një koment i krijuar nga AI kualifikon një nyje në hartë si një "udhëheqës" ose "më me ndikim", kontrolloni për të parë nëse ai karakterizim mbështetet nga të dhëna reale.
Këshillë: Mos bini në grackën "qendër = lart" kur interpretoni një hartë rrjeti. Centraliteti tregon vetëm densitetin e lidhjes; Kontributi ose cilësia origjinale e një vepre nuk është e dukshme në hartë dhe mund të kuptohet vetëm duke lexuar përmbajtjen.
Katër shabllone të kopjueshëm
1) Përmbledhja e të dhënave aktuale të citimeve:
Më poshtë është lista e publikimeve dhe numrat e citimeve që kam marrë nga një bazë të dhënash reale citate. Ndani ato në grupe tematike dhe përmblidhni secilën grup në një fjali të vetme. Thjesht përdorni të dhënat që kam dhënë, mos shtoni/përbëni botime të reja ose numërim citatesh. Të dhënat: [këtu]
2) Shënimi i trendit dhe modelit:
Theksoni tendencat e dukshme (rritje, ulje, përqendrim bashkëpunimi) në të dhënat e botimit/citimit të bazuar në vit më poshtë. Bazojeni çdo vëzhgim në të dhëna, mos spekuloni. Të dhënat: [këtu]
3) Paralajmërim për interpretimin e kritereve:
Interpretoni kriterin bibliometrik të mëposhtëm, duke përcaktuar edhe kufijtë e tij: për cilën temë jep informacion, për cilën temë nuk jep informacion, për cilën temë është i hapur për keqpërdorim? Kriteret dhe konteksti: [këtu]
4) Kontrolli i ndryshimit të zonës:
A mund të krahasohen drejtpërdrejt të dhënat e citimeve të dy grupeve të mëposhtme? Vlerësoni dallimet në kulturën e citimeve midis fushave dhe shpjegoni nëse krahasimi është i drejtë. Të dhënat: [këtu]
Prompt i dobët / Prompt i fortë
Njoftim i dobët:
Rendisni artikujt më me ndikim të këtij autori dhe numrin e citimeve.
Inteligjenca artificiale gjeneron tituj të sajuar dhe numër citatesh nga kujtesa e saj globale pa pasur akses në të dhënat reale. Rezultati: një analizë bindëse, por e rreme.
Njoftim i fuqishëm:
Roli juaj: asistent i bibliometrisë. Më poshtë janë citimet e botimit dhe numrat e citimeve që kam nxjerrë nga baza e të dhënave reale të citimeve. Renditni këto të dhëna nga domeni më i cituar në më të ulëtin, ndajini ato në grupe tematike dhe përmblidhni çdo grup. Mos u shmangni nga të dhënat që kam dhënë, mos bëni asnjë numër apo etiketë. Shtoni një shënim të shkurtër për kufijtë e kritereve. Të dhënat: [këtu]
Prompt i fuqishëm; Ajo kufizon AI në të dhëna reale, ndalon fabrikimin dhe na kujton kufijtë e standardeve.
Tabela e kritereve dhe kufijve
kriteri
Çfarë tregon
Çfarë nuk tregon
Kujdes
Numri i citimeve
Përdorimi/dukshmëria
cilësi, saktësi
Varet nga kultura e zonës
h-indeksi
Produktivitet+ndikim
vlera e individit
I ndjeshëm ndaj gjatësisë së karrierës
Faktori i ndikimit
Mesatarja e ditarit
Vlera e një artikulli të vetëm
Kriteret e nivelit të ditarit
rrjeti i bashkëpunimit
Me të cilët ka punuar
Norma e kontributit
Roli në rrjet i paqartë
Gabimet e zakonshme
- Duke kërkuar numërimin e citimeve nga AI. Numrat janë krijuar jashtë bazës së të dhënave reale.
- Duke menduar se kriteri është matës i cilësisë. Citimi tregon përdorimin, jo cilësinë.
- Krahasimi i zonave drejtpërdrejt. Kulturat e atribuimit janë të ndryshme, nuk është e drejtë.
- Matja e shkencave humane me atribut. Rezultatet e rënda të librave janë të nënpërfaqësuara në bazat e të dhënave.
- Vlerësimi i individëve me kritere. Vendimi i punësimit/promovimit nuk duhet të bazohet në një kriter të vetëm.
Në përmbledhje
Në bibliometrikën dhe analizën e citimeve, AI është një asistent i fuqishëm që grumbullon të dhëna reale, tregon tendencat dhe përmbledh; Por kurrë mos merrni numrat e citimeve dhe rreshtat nga memoria e AI, sepse ajo e përbën atë. Metrikat tregojnë përdorimin dhe dukshmërinë, jo cilësinë; nuk mund të krahasohet nëpër domene; është i nënpërfaqësuar në shkencat humane dhe nuk mund të përdoret vetëm për të vlerësuar individët. Bibliotekari është një udhërrëfyes përgjegjës, i cili shpjegon kufijtë e këtyre kritereve dhe i balancon ato me vlerësimin cilësor.
Detyra e aplikimit
Merrni një listë të vogël publikimesh (10-15 regjistrime, me numërimin e citimeve) nga një bazë të dhënash reale të citimeve. Merrni grupin e AI dhe përmblidhni me shabllonin "Përmbledh të dhënat e citimeve reale", më pas vërtetoni citimet dhe numërimet në bazën e të dhënave. Më pas shtypni kufijtë e një metrike sipas zgjedhjes suaj (p.sh. indeksi h) me shabllonin "Paralajmërimi i interpretimit të kritereve" dhe planifikoni se si do t'ia shpjegoni atë një menaxheri.
listë kontrolli
- [ ] I dhashë numrat e citimeve dhe citimet nga baza e vërtetë e të dhënave, nuk i kisha të krijuara nga AI.
- [ ] Unë i paraqita metrikat si tregues të përdorimit/dukshmërisë, jo të cilësisë.
- [ ] Kam marrë parasysh ndryshimin në kulturën e citimeve midis fushave.
- [ ] Kam marrë parasysh nënpërfaqësimin e shkencave humane.
- [ ] Nuk e përdora vetëm kriterin në vlerësimin e individëve.