Voitot:
- Kyky toteuttaa viittausmäärän ja sitaattien ottaminen koskaan tekoälyn muistista, kun klusteroidaan ja tiivistetään todellisesta viittaustietokannasta otetut tiedot tekoälyn avulla
- Kyky ymmärtää, että mittarit, kuten viittaus, h-indeksi ja vaikutuskerroin, osoittavat käyttöä mutta eivät laatua ja niiden vertailukelpoisuutta eri kenttien välillä.
- Kyky ottaa huomioon bibliometristen kriteerien käytön eettiset rajat yksilöiden arvioinnissa ja tasapainottaa niitä laadullisen arvioinnin kanssa
Yliopistokirjasto mittaa laitoksensa tutkimustulosta; tutkija löytääkseen alan vaikutusvaltaisimmat tutkimukset; johtaja saattaa haluta arvioida osaston tieteellistä näkyvyyttä. Tämän työn taustalla on bibliometria: ala, joka tarkastelee numeerisesti tieteellisiä julkaisuja ja niiden välisiä viittaussuhteita. Tässä osiossa opit käyttämään tekoälyä viittausanalyysissä, julkaisukartoituksissa ja vaikutusten arvioinnissa; mutta opit navigoimaan numeeristen mittareiden rajoissa ja eettisissä karikoissa.
Määritellään käsitteet. Lainaus on yhden julkaisun tieteellinen viittaus toiseen julkaisuun; Viittausten lukumäärää pidetään indikaattorina siitä, kuinka paljon teosta on käytetty. H-indeksi on mitta, joka yhdistää tutkijan tuottavuuden ja vaikuttavuuden (jos h-määrä julkaisuja on saanut vähintään h viittausta, h-indeksi on h). Vaikutuskerroin on mitta, joka näyttää lehden keskimääräisen viittaustason. Nämä mittarit ovat hyödyllisiä, mutta mikään ei ole suoria "laadun" mittareita. Tämän eron pitäminen mielessä on bibliometrian ydin.
Askel askeleelta: vastuullinen bibliometrinen analyysi
1. Selvennä kysymystä. "Mitä ovat tämän alan perustutkimukset?", "Mitkä ovat laitoksemme eniten lainattuja julkaisuja?", "Miten nämä kaksi alaa risteävät?" Jokainen kysymys vaatii erilaisen analyysin.
2. Käytä luotettavia tietoja. Lainausanalyysi on vain yhtä luotettava kuin tietolähde. Tekoäly voi muodostaa viittausmääriä tai julkaisuluetteloita; Siksi on välttämätöntä työskennellä todellisen viittaustietokannan tietojen kanssa. Käytä tekoälyä todellisen tiedon tulkitsemiseen ja yhteenvetoon, älä tietojen luomiseen.
3. Merkitse kuviot. Tekoäly auttaa tekemään yhteenvedon aiheryhmistä, yhteistyöverkostoista tai trendeistä ajan mittaan suureen joukkoon julkaisuja. Tämä ohjaa ihmisanalyytikon huomion tärkeisiin kohtiin.
4. Tulkitse kriteeri kontekstissa. Alhainen viittausmäärä ei tarkoita, että teos olisi arvoton; Kenttä voi olla pieni, aihe voi olla uusi tai julkaisu voi olla hyvin uusi. Älä koskaan tulkitse numeroa ilman kontekstia.
5. Noudata eettisiä rajoja. Bibliometrisiä mittareita ei tulisi käyttää yksinään tehtäessä päätöksiä henkilöiden palkkaamisesta, ylentämisestä tai rahoittamisesta. Numerot eivät mittaa ihmisten arvoa; Niiden väärinkäyttö on sekä epäreilua että haitallista.
Vinkki: Kun annat tekoälyn suorittaa viittausanalyysin, anna viittausmäärät ja julkaisuviitteet todellisesta tietokannasta. Anna tekoälyn yksinkertaisesti järjestää, ryhmitellä ja tulkita nämä tiedot. "Mikä on tämän kirjoittajan h-indeksi?" Suoraan kysyminen voi johtaa keksittyyn numeroon.
Kriteerien ja manipuloinnin rajat
Koska bibliometriset mittarit vaikuttavat tehokkailta, niitä voidaan käyttää väärin. Viittauslukuja voidaan paisuttaa monin eri tavoin: liiallisella itseviittauksella (viittaus omaan työhön), lainausrenkaisiin (ryhmiä toisiaan siteeraavia henkilöitä) tai alan omalla viittauskulttuurilla. Lisäksi kriteerit eivät ole vertailukelpoisia eri aloilla: lääketieteellisen artikkelin ja filosofian artikkelin viittausympäristö on täysin erilainen.
Tämä ongelma on vielä selvempi humanistisissa ja yhteiskuntatieteissä; koska näiden alojen merkittävät tuotokset (kirjat, käännökset, arvostelut) ovat aliedustettuina viittaustietokannoista. Historioitsijan tai kirjallisuudentutkijan vaikutuksen mittaaminen pelkästään lainausten määrällä on teoksen luonteen väärinymmärtämistä. Kirjastonhoitaja on opas, joka selittää näiden kriteerien rajat ylläpitäjille ja tutkijoille.
Varoitus: Älä esitä bibliometristä mittaa lopullisena arviona henkilön akateemisista ansioista tai laitoksen laadusta. Vastuullisen tutkimusarvioinnin periaatteet korostavat, että toimenpiteiden tulee täydentää laadullista arviointia, ei korvata sitä.
kolme minilaukkua
Tapaus 1 – Alue kartoitettu. Kirjastonhoitaja halusi esitellä tutkimusryhmälle oman alansa perustyötä. Se poimi tiedot 200 julkaisusta todellisesta viittaustietokannasta; YZ tiivisti nämä tiedot aiheryhmiin ja korosti 10 eniten lainattua tutkimusta. Analyytikko varmisti tietokannan jokaisen klusterin ja tunnisteen; ryhmä ymmärsi nopeasti alueen rakenteen.
Tapaus 2 – Väärennetty h-indeksi kiinni. Johtaja kysyi tekoälyltä tutkijan h-indeksistä; Tekoäly sanoi "42". Kirjastonhoitaja katsoi varsinaista tietokantaa: oikea arvo oli 19; Tekoäly oli keksinyt numeron. Tämä osoitti, että mittareita ei koskaan pitäisi ottaa tekoälyn muistista, vaan todellisesta tiedosta.
Tapaus 3 – Väärä vertailu estetty. Yksi yksikkö halusi kohdentaa varoja vertaamalla kahta lukua keskimääräisen lainausmääränsä perusteella. Kirjastonhoitaja selitti, että yksi osastoista on lääketiede (korkea viittauskulttuuri) ja toinen humanistinen (kirjarikas, vähän viittauskulttuuri), ja että tämä vertailu olisi epäreilu. Arviointia tukivat laadulliset kriteerit, jotka huomioivat alan erot.
Visuaaliset kartat ja lukuloukut
Bibliometriikassa usein käytetty työkalu on verkkokartat (esim. yhteisviittaus- tai yhteistekijäverkostot), jotka näyttävät julkaisujen tai tekijöiden väliset suhteet solmujen ja linkkien mukaan. Nämä kartat tekevät näkyväksi alueen rakenteen, klusterit ja siltatyöt; Tekoäly voi koota taustalla olevat todelliset tiedot ja auttaa tulkitsemaan näitä karttoja. Mutta vaikka visuaaliset kartat ovatkin tehokkaita, ne voivat myös olla harhaanjohtavia: suuri, keskeisesti näkyvä solmu ei ehkä ole "tärkein", vaan vain "katso eniten yhteyttä"; Klusterin koko voi kuvastaa vain julkaisun määrää, ei kyseisen tilan arvoa. Lisäksi se, miten kartta piirretään (mikä kynnys, mikä aikajakso, mikä tietokanta) muuttaa lopputuloksen täysin. Siksi, kun esitetään bibliometrinen visualisointi päätöksen perusteena, on ehdottomasti kerrottava selkeästi, mihin tietoihin se perustuu, mihin parametreihin ja millä aikavälillä. Jos tekoälyn luoma kommentti luokittelee kartan solmun "johtajaksi" tai "vaikuttavimmaksi", tarkista, tukeeko luonnehdinta todellista dataa.
Vinkki: Älä pudota "keskellä = ylhäällä" -ansaan, kun tulkitset verkkokarttaa. Keskeisyys osoittaa vain yhteyden tiheyden; Teoksen alkuperäinen panos tai laatu ei näy kartalla ja sen voi ymmärtää vain sisällön lukemalla.
Neljä kopioitavaa mallia
1) Yhteenveto todellisista lainaustiedoista:
Alla on julkaisuluettelo ja viittausnumerot, jotka otin todellisesta viittaustietokannasta. Jaa ne aiheryhmiin ja tiivistä jokainen klusteri yhteen lauseeseen. Käytä vain toimittamiani tietoja, älä lisää tai tee uusia julkaisuja tai viittausmääriä. Tiedot: [täällä]
2) Trendi- ja kuviomerkintä:
Korosta huomattavia trendejä (lisäys, lasku, yhteistyön keskittyminen) alla olevissa vuosipohjaisissa julkaisu-/viittaustiedoissa. Perusta jokainen havainto tietoihin, älä spekuloi. Tiedot: [täällä]
3) Varoitus kriteerien tulkinnasta:
Tulkitse seuraavaa bibliometristä kriteeriä ja ilmoita myös sen rajat: mistä aiheesta se antaa tietoa, mistä aiheesta se ei anna tietoa, mistä aiheesta se on altis väärinkäytölle? Kriteerit ja konteksti: [täällä]
4) Pinta-alaeron hallinta:
Voidaanko kahden seuraavan ryhmän viittaustietoja suoraan verrata? Arvioi viittauskulttuurin eroja kenttien välillä ja selitä, onko vertailu reilu. Tiedot: [täällä]
Heikko kehote / Vahva kehote
Heikko kehote:
Listaa tämän kirjoittajan vaikutusvaltaisimmat artikkelit ja viittausmäärät.
Tekoäly luo keksityt otsikot ja viittausmäärät globaalista muististaan käyttämättä todellisia tietoja. Tulos: vakuuttava mutta harhaanjohtava analyysi.
Tehokas kehotus:
Tehtäväsi: bibliometria-avustaja. Alla ovat julkaisuviitteet ja viittausnumerot, jotka olen poiminut oikeasta viittaustietokannasta. Lajittele nämä tiedot eniten siteeratusta verkkotunnuksesta pienimpään, jaa ne aiheryhmiin ja tee yhteenveto jokaisesta klusterista. Älä poikkea antamistani tiedoista, älä keksi mitään numeroita tai tarroja. Lisää lyhyt huomautus kriteerien rajoista. Tiedot: [täällä]
Tehokas kehote; Se rajoittaa tekoälyn todelliseen dataan, kieltää valmistuksen ja muistuttaa meitä vertailurajoista.
Kriteerit ja rajat -taulukko
kriteeri
Mitä näyttää
Mikä ei näy
Huomio
Viittausten määrä
Käyttö/näkyvyys
laatu, tarkkuus
Riippuu alueen kulttuurista
h-indeksi
Tuottavuus+vaikutus
yksilön arvo
Herkkä uran pituudelle
Vaikutustekijä
Lehden keskiarvo
Yhden artikkelin arvo
Lehtitason kriteerit
yhteistyöverkosto
Kenen kanssa työskenteli
Maksuosuus
Rooli verkostossa epäselvä
Yleisiä virheitä
- Viittausmäärän pyytäminen tekoälyltä. Numerot keksitään todellisen tietokannan ulkopuolella.
- Ajattelee, että kriteeri on laadun mitta. Lainaus viittaa käyttöön, ei laatuun.
- Vertaamalla alueita suoraan. Attribuutiokulttuurit ovat erilaisia, se ei ole reilua.
- Humanististen tieteiden mittaaminen attribuutiolla. Runsaat kirjat ovat aliedustettuina tietokantoissa.
- Henkilöiden arviointi kriteereillä. Palkkaus-/ylennyspäätös ei saa perustua yhteen kriteeriin.
Yhteenvetona
Bibliometriikassa ja viittausanalyysissä tekoäly on tehokas apulainen, joka ryhmittelee todellista dataa, merkitsee trendejä ja tekee yhteenvetoja; Mutta älä koskaan ota lainausnumeroita ja sivurivejä tekoälymuistista, koska se muodostaa sen. Mittarit osoittavat käyttöä ja näkyvyyttä, eivät laatua. ei voida verrata eri verkkotunnuksiin; on aliedustettu humanistisissa tieteissä, eikä sitä voida käyttää yksinään yksilöiden arvioimiseen. Kirjastonhoitaja on vastuullinen opas, joka selittää näiden kriteerien rajat ja tasapainottaa niitä laadullisella arvioinnilla.
Sovellustehtävä
Ota pieni lista julkaisuista (10-15 tietuetta, viittausmäärät) todellisesta viittaustietokannasta. Käytä tekoälyklusteria ja tee yhteenveto "Summario real citation data" -mallilla ja vahvista sitaatit ja laskelmat tietokantaan. Tulosta sitten valitsemasi mittarin (esim. h-indeksi) rajat "Ehdon tulkintavaroitus" -mallin avulla ja suunnittele, miten selität sen esimiehelle.
tarkistuslista
- [ ] Annoin lainausnumerot ja lainaukset todellisesta tietokannasta, en tehnyt niitä tekoälyllä.
- [ ] Esitin mittarit käytön/näkyvyyden, en laadun indikaattoreina.
- [ ] Otin huomioon eri alojen viittauskulttuurin eron.
- [ ] Otin huomioon humanististen tieteiden aliedustuksen.
- [ ] En käyttänyt kriteeriä yksin arvioiessani yksilöitä.