Kasu:
- Võimalus rakendada AI-ga tegelikust tsitaatide andmebaasist võetud andmete rühmitamist ja kokkuvõtmist mitte kunagi tehisintellekti mälust viidete arvu ja tsitaatide võtmist.
- Oskus mõista, et mõõdikud, nagu tsitaat, h-indeks ja mõjutegur, näitavad kasutamist, kuid mitte kvaliteeti, ja nende võrreldamatust valdkondade vahel.
- Oskus arvestada üksikisikute hindamisel ainult bibliomeetriliste kriteeriumide kasutamise eetilisi piire ja tasakaalustada neid kvalitatiivse hindamisega
Ülikooli raamatukogu mõõdab oma asutuse teadustoodangut; teadlane, et leida valdkonna mõjukamaid uurimusi; juht võib soovida hinnata osakonna teaduslikku nähtavust. Selle töö taga on bibliomeetria: valdkond, mis uurib arvuliselt teaduspublikatsioone ja nendevahelisi tsiteerituse seoseid. Selles üksuses õpid kasutama tehisintellekti tsiteeringute analüüsis, väljaannete kaardistamisel ja mõjude hindamisel; kuid õpid, kuidas navigeerida numbriliste mõõdikute piirides ja eetilistes lõkse.
Määratleme mõisted. Tsitaat on teaduslik viide ühe väljaande poolt teisele väljaandele; Viidete arvu peetakse näitajaks selle kohta, kui palju teost on kasutatud. H-indeks on mõõt, mis ühendab nii teadlase produktiivsuse kui ka mõju (kui h arv publikatsioone on saanud igaüks vähemalt h tsitaadi, on h-indeks h). Mõjutegur on mõõdik, mis näitab ajakirja keskmist tsiteeritust. Need mõõdikud on kasulikud, kuid ükski neist pole "kvaliteedi" otsesed mõõdikud; Selle eristuse meelespidamine on bibliomeetria põhiolemus.
Samm-sammult: vastutustundlik bibliomeetriline analüüs
1. Täpsustage küsimust. "Millised on selle valdkonna põhiuuringud?", "Millised on meie asutuse enimtsiteeritud väljaanded?", "Kuidas need kaks valdkonda ristuvad?" Iga küsimus nõuab erinevat analüüsi.
2. Kasutage usaldusväärseid andmeid. Tsitaatanalüüs on sama usaldusväärne kui andmeallikas. AI võib koostada tsitaatide arvu või väljaannete loendeid; Seetõttu on oluline töötada tõelise tsitaadi andmebaasi andmetega. Kasutage tehisintellekti tegelike andmete tõlgendamiseks ja kokkuvõtmiseks, mitte andmete genereerimiseks.
3. Laske mustrid ära märkida. AI aitab paljudes väljaannetes kokkuvõtteid teha teemaklastritest, koostöövõrgustikest või suundumustest aja jooksul. See juhib inimanalüütiku tähelepanu olulistele punktidele.
4. Tõlgenda kriteeriumi kontekstis. Madal viidete arv ei näita, et teos on väärtusetu; Valdkond võib olla väike, teema võib olla uus või väljaanne võib olla väga uus. Ärge kunagi tõlgendage arvu ilma kontekstita.
5. Jälgi eetilist piiri. Bibliomeetrilisi mõõtmisi ei tohiks kasutada üksikisikute palkamise, edutamise või rahastamise kohta otsuste tegemiseks. Numbrid ei mõõda inimeste väärtust; Nende kuritarvitamine on nii ebaõiglane kui ka kahjulik.
Näpunäide: tehisintellekti viideanalüüsi tegemisel esitage tsitaatide arv ja väljaannete tsitaadid tegelikust andmebaasist; Laske tehisintellektil neid andmeid lihtsalt korraldada, rühmitada ja tõlgendada. "Mis on selle kirjaniku h-indeks?" Otse küsides võib saada väljamõeldud numbri.
Kriteeriumide ja manipuleerimise piirid
Kuna bibliomeetrilised mõõdikud näivad võimsad, on neid võimalik kuritarvitada. Tsiteerinumbreid saab paisutada mitmel erineval viisil: liigne enesetsiteerimine (tsiteerimine enda tööle), tsiteerimisrõngad (rühmad, kes üksteist vastastikku tsiteerivad) või valdkonna enda tsiteerimiskultuur. Pealegi pole kriteeriumid valdkondade lõikes võrreldavad: meditsiiniartikli ja filosoofiaartikli tsiteerimiskeskkond on täiesti erinev.
See probleem on veelgi ilmsem humanitaar- ja sotsiaalteadustes; sest nende valdkondade olulised väljundid (raamatud, tõlked, ülevaated) on tsitaatide andmebaasides alaesindatud. Ajaloolase või kirjandusteadlase mõju mõõtmine üksnes tsitaatide arvu järgi tähendab teose olemuse valesti mõistmist. Raamatukoguhoidja on juhend, mis selgitab administraatoritele ja teadlastele nende kriteeriumide piire.
Ettevaatust: ärge esitage bibliomeetrilist mõõdikut lõpliku hinnanguna üksikisiku akadeemiliste teenete või osakonna kvaliteedi kohta. Vastutustundliku uurimistöö hindamise põhimõtted rõhutavad, et meetmed peaksid kvalitatiivset hindamist täiendama, mitte seda asendama.
kolm minikarpi
Juhtum 1 – ala kaardistatud. Raamatukoguhoidja soovis uurimisrühmale näidata oma valdkonna põhitöid. See tõmbas 200 väljaande andmed tõelisest tsitaadi andmebaasist; YZ võttis need andmed kokku teemaklastritesse ja tõi esile 10 enim viidatud uuringut. Analüütik kontrollis iga klastri ja identifikaatorit andmebaasis; rühm mõistis kiiresti piirkonna struktuuri.
Juhtum 2 – tabatud võlts-h-indeks. Juht küsis AI-lt teadlase h-indeksi kohta; AI ütles "42". Raamatukoguhoidja vaatas tegelikku andmebaasi: õige väärtus oli 19; AI oli selle numbri välja mõelnud. See näitas, et mõõdikuid ei tohiks kunagi võtta AI mälust, vaid reaalsetest andmetest.
Juhtum 3 – ebaõige võrdlus on välistatud. Üks üksus soovis raha eraldada, võrreldes kahte peatükki nende keskmise tsiteeride arvu alusel. Raamatukoguhoidja selgitas, et üks osakond on meditsiin (kõrge tsiteeritav kultuur) ja teine humanitaarteadused (raamaturohke, madal tsiteeritav kultuur) ning see võrdlus oleks ebaõiglane. Hindamist toetasid kvalitatiivsed kriteeriumid, mis arvestasid valdkondade erinevusi.
Visuaalsed kaardid ja lugemislõksud
Bibliomeetrias sageli kasutatav tööriist on võrgukaardid (nt kaastsiteerimise või kaasautorluse võrgustikud), mis näitavad väljaannete või autorite vahelisi suhteid sõlmede ja linkide kaupa. Need kaardid teevad nähtavaks piirkonna struktuuri, klastrid ja sillatööd; AI saab koondada tegelikud alusandmed ja aidata neid kaarte tõlgendada. Kuid visuaalsed kaardid, kuigi võimsad, võivad olla ka eksitavad: suur, keskselt nähtav sõlm ei pruugi olla "kõige olulisem", vaid lihtsalt "kõige rohkem ühendatud"; Klastri suurus võib kajastada ainult avaldamise mahtu, mitte selle ruumi väärtust. Lisaks muudab tulemust täielikult kaardi joonistamise viis (milline lävi, ajavahemik, milline andmebaas). Seetõttu tuleb bibliomeetrilise visualiseerimise esitamisel otsuse aluseks võtta selgelt, millistel andmetel, millistel parameetritel ja mis ajaperioodi jooksul see põhineb. Kui tehisintellekti loodud kommentaar kvalifitseerib kaardil oleva sõlme "liidriks" või "kõige mõjukamaks", kontrollige, kas seda iseloomustust toetavad tõelised andmed.
Näpunäide. Ärge langege võrgukaardi tõlgendamisel lõksu "keskel = ülaosas". Kesksus näitab ainult ühenduse tihedust; Teose algne panus või kvaliteet ei ole kaardil nähtav ja sellest saab aru vaid sisu lugedes.
Neli kopeeritavat malli
1) Tegelike tsiteerimisandmete kokkuvõte:
Allpool on väljaannete loend ja tsitaatide numbrid, mille võtsin tõelisest viidete andmebaasist. Jagage need teemaklastriteks ja tehke iga klastri kokkuvõte ühe lausega. Kasutage lihtsalt minu esitatud andmeid, ärge lisage/koostage uusi väljaandeid ega viidete arvu. Andmed: [siin]
2) Trendi ja mustri märgistus:
Tooge esile märkimisväärsed suundumused (kasv, vähenemine, koostöö kontsentratsioon) allolevates aastapõhistes avaldamis-/tsitaatandmetes. Tuginege iga vaatlus andmetele, ärge spekuleerige. Andmed: [siin]
3) Kriteeriumide tõlgendamise hoiatus:
Tõlgendage järgmist bibliomeetrilist kriteeriumi, tuues välja ka selle piirid: millisel teemal ta teavet annab, millisel teemal ei anna teavet, millisel teemal on see väärkasutav? Kriteeriumid ja kontekst: [siin]
4) Pindala erinevuse juhtimine:
Kas järgmise kahe rühma tsiteerimisandmeid saab otseselt võrrelda? Hinnake valdkondade tsiteerimiskultuuri erinevusi ja selgitage, kas võrdlus on õiglane. Andmed: [siin]
Nõrk viip / Tugev viip
Nõrk viip:
Loetlege selle autori mõjukamad artiklid ja viidete arv.
AI genereerib väljamõeldud pealkirju ja tsitaatide loendeid oma globaalsest mälust ilma tegelikele andmetele juurde pääsemata. Tulemus: veenev, kuid võlts analüüs.
Võimas viip:
Sinu roll: bibliomeetria assistent. Allpool on väljaannete tsitaadid ja tsitaatide numbrid, mille ma tõelisest tsitaatide andmebaasist tõmbasin. Sorteerige need andmed enim viidatud domeenist madalaimani, jagage need teemaklastriteks ja tehke kokkuvõte igast klastrist. Ärge kalduge kõrvale minu esitatud andmetest, ärge mõelge välja numbreid ega silte. Lisage lühike märkus kriteeriumide piiride kohta. Andmed: [siin]
Võimas viip; See piirab tehisintellekti tegelike andmetega, keelab nende valmistamise ja tuletab meile meelde võrdlusaluste piiranguid.
Kriteeriumide ja piiride tabel
kriteerium
Mis näitab
Mida ei näita
Tähelepanu
Tsitaatide arv
Kasutus/nähtavus
kvaliteet, täpsus
Oleneb piirkonna kultuurist
h-indeks
Tootlikkus+mõju
indiviidi väärtus
Tundlik karjääri pikkuse suhtes
Mõjutegur
Ajakirja keskmine
Üksiku artikli väärtus
Ajakirja taseme kriteeriumid
koostöövõrgustik
Kes töötas koos
Osamakse määr
Roll võrgus ebaselge
Levinud vead
- AI-lt tsitaatide arvu küsimine. Numbrid koostatakse väljaspool tegelikku andmebaasi.
- Mõeldes, et kriteerium on kvaliteedi mõõt. Viide näitab kasutamist, mitte kvaliteeti.
- Piirkondade otsene võrdlemine. Omistamiskultuurid on erinevad, see pole õiglane.
- Humanitaarteaduste mõõtmine omistamise järgi. Raamaturohked väljundid on andmebaasides alaesindatud.
- Isikute hindamine kriteeriumide alusel. Otsus töölevõtmise/edutamise kohta ei tohiks põhineda ühel kriteeriumil.
Kokkuvõttes
Bibliomeetrias ja tsitaatide analüüsis on AI võimas abiline, mis koondab tegelikud andmed, märgib suundumusi ja teeb kokkuvõtteid; Kuid ärge kunagi võtke AI-mälust tsitaatide numbreid ja autoritekste, sest see moodustab selle. Mõõdikud näitavad kasutust ja nähtavust, mitte kvaliteeti; ei saa valdkondade vahel võrrelda; on humanitaarteadustes alaesindatud ja seda ei saa kasutada üksikisikute hindamiseks. Raamatukoguhoidja on vastutustundlik teejuht, kes selgitab nende kriteeriumide piire ja tasakaalustab neid kvalitatiivse hindamisega.
Rakenduse ülesanne
Võtke väike nimekiri publikatsioonidest (10-15 kirjet koos tsitaatide arvuga) tõelisest tsitaatide andmebaasist. Omage AI-klastrit ja tehke kokkuvõte malliga „Tegelike tsitaatide andmete kokkuvõte”, seejärel kinnitage tsitaadid ja loendused andmebaasi vastu. Seejärel printige välja oma valitud mõõdiku (nt h-indeksi) piirid malliga „Kriteeriumide tõlgendamise hoiatus” ja kavandage, kuidas seda juhile selgitada.
kontrollnimekiri
- [ ] Esitasin viitenumbrid ja tsitaadid päris andmebaasist, ma ei lasknud neid tehisintellektil välja mõelda.
- [ ] Mõõdikud esitasin kasutuse/nähtavuse, mitte kvaliteedi näitajatena.
- [ ] Võtsin arvesse valdkondadevahelist tsiteerimiskultuuri erinevust.
- [ ] Võtsin arvesse humanitaarteaduste alaesindatust.
- [ ] Ma ei kasutanud üksikisikute hindamisel seda kriteeriumi üksi.