Câștiguri:
- Capacitatea de a implementa niciodată luarea numărului de citări și a citărilor din memoria AI în timp ce grupează și rezumă datele preluate din baza de date de citări reale cu AI
- Capacitatea de a înțelege că valori precum citarea, indicele h și factorul de impact indică utilizarea, dar nu calitatea și incomparabilitatea lor între domenii.
- Capacitatea de a lua în considerare limitele etice ale utilizării criteriilor bibliometrice în evaluarea indivizilor și de a le echilibra cu evaluarea calitativă
O bibliotecă universitară măsoară rezultatele cercetării instituției sale; un cercetător pentru a găsi cele mai influente studii dintr-un domeniu; un manager poate dori să evalueze vizibilitatea științifică a unui departament. În spatele acestei lucrări se află bibliometria: domeniul care examinează numeric publicațiile științifice și relațiile de citare dintre ele. În această unitate, veți învăța cum să utilizați inteligența artificială în analiza citărilor, cartografierea publicațiilor și evaluarea impactului; dar veți învăța cum să navigați prin limitele și capcanele etice ale metricii numerice.
Să definim conceptele. Citarea este o referință științifică făcută de o publicație la o altă publicație; Numărul de citări este considerat un indicator al cât de mult a fost folosită o lucrare. Indicele h este o măsură care combină atât productivitatea, cât și impactul unui cercetător (dacă h număr de publicații au primit fiecare cel puțin h citări, indicele h este h). Factorul de impact este o măsură care arată nivelul mediu de citare a unei reviste. Aceste metrici sunt utile, dar niciuna nu este măsuri directe ale „calității”; Menținerea acestei distincții este esența bibliometriei.
Pas cu pas: analiza bibliometrică responsabilă
1. Clarificați întrebarea. „Care sunt studiile de bază ale acestui domeniu?”, „Care sunt cele mai citate publicații ale instituției noastre?”, „Cum se intersectează aceste două domenii?” Fiecare întrebare necesită o analiză diferită.
2. Folosiți date de încredere. Analiza citărilor este la fel de fiabilă ca și sursa de date. AI poate crea numere de citări sau liste de publicații; Prin urmare, este esențial să lucrați cu date dintr-o bază de date de citare reală. Folosiți AI pentru a interpreta și a rezuma date reale, nu pentru a genera date.
3. Marcați modelele. AI ajută la rezumarea grupurilor de subiecte, a rețelelor de colaborare sau a tendințelor de-a lungul timpului într-un set mare de publicații. Aceasta direcționează atenția analistului uman către puncte importante.
4. Interpretați criteriul în context. Un număr scăzut de citări nu indică faptul că lucrarea este lipsită de valoare; Câmpul poate fi mic, subiectul poate fi nou sau publicația poate fi foarte nouă. Nu interpreta niciodată numărul fără context.
5. Respectați granița etică. Măsurile bibliometrice nu trebuie folosite singure pentru a lua decizii cu privire la angajarea, promovarea sau finanțarea persoanelor. Cifrele nu măsoară valoarea oamenilor; Abuzul de ele este atât nedrept, cât și dăunător.
Sfat: atunci când AI efectuează o analiză a citărilor, furnizați numărul de citări și citările de publicații din baza de date reală; Lăsați AI să organizeze, să grupeze și să interpreteze pur și simplu aceste date. „Care este indicele h al acestui scriitor?” Întrebarea directă poate duce la un număr inventat.
Limitele criteriilor și manipulării
Deoarece valorile bibliometrice par puternice, ele pot fi abuzate. Numerele citărilor pot fi umflate într-o varietate de moduri: auto-citare excesivă (citarea propriei lucrări), inele de citare (grupuri de oameni care se citează reciproc) sau cultura de citare a domeniului. Mai mult, criteriile nu sunt comparabile între domenii: mediul de citare al unui articol medical și al unui articol de filosofie este complet diferit.
Această problemă este și mai evidentă în științele umaniste și sociale; deoarece rezultatele semnificative din aceste domenii (cărți, traduceri, recenzii) sunt subreprezentate în bazele de date cu citate. A măsura impactul unui istoric sau al unui savant în literatură numai după numărul de citări înseamnă a înțelege greșit natura lucrării. Bibliotecarul este un ghid care explică administratorilor și cercetătorilor limitele acestor criterii.
Atenție: nu prezentați o măsură bibliometrică ca o judecată finală cu privire la meritul academic al unei persoane sau la calitatea unui departament. Principiile evaluării responsabile a cercetării subliniază faptul că măsurile ar trebui să completeze evaluarea calitativă, nu să o înlocuiască.
trei mini cutii
Cazul 1 — Zona cartografiată. Un bibliotecar a vrut să arate unui grup de cercetare munca de bază în domeniul său. A extras date din 200 de publicații dintr-o bază de date reală de citate; YZ a rezumat aceste date în grupuri de subiecte și a evidențiat cele mai citate 10 studii. Analistul a verificat fiecare cluster și identificator din baza de date; grupul a înțeles rapid structura zonei.
Cazul 2 – indicele h fals prins. Un manager a întrebat AI despre indicele h al unui cercetător; AI a spus „42”. Bibliotecarul s-a uitat la baza de date reală: valoarea corectă a fost 19; AI-ul inventase numărul. Acest lucru a arătat că valorile nu trebuie luate niciodată din memoria AI, ci din date reale.
Cazul 3 — Compararea incorectă a fost împiedicată. O unitate a dorit să aloce fonduri comparând două capitole pe baza numărului lor mediu de citări. Bibliotecarul a explicat că una dintre departamente era medicină (cultură cu citații înalte) și cealaltă era științe umaniste (cultură cu citații reduse, cu cărți grele) și că această comparație ar fi nedreaptă. Evaluarea a fost susținută de criterii calitative care au luat în considerare diferențele de teren.
Hărți vizuale și capcane de lectură
Un instrument folosit frecvent în bibliometrie este hărțile de rețea (de exemplu, rețelele de co-citare sau co-autor), care arată relațiile dintre publicații sau autori prin noduri și legături. Aceste hărți fac vizibile structura, clusterele și podurile unei zone; AI poate agrega datele reale subiacente și poate ajuta la interpretarea acestor hărți. Dar hărțile vizuale, deși puternice, pot fi, de asemenea, înșelătoare: un nod mare, vizibil central poate să nu fie „cel mai important”, ci doar „cel mai conectat”; Mărimea unui cluster poate reflecta doar volumul publicării, nu valoarea acelui spațiu. În plus, modul în care este desenată harta (care prag, ce perioadă de timp, ce bază de date) schimbă complet rezultatul. Prin urmare, atunci când se prezintă o vizualizare bibliometrică ca bază pentru o decizie, este imperativ să se precizeze clar pe ce date se bazează, pe ce parametri și în ce perioadă de timp. Dacă un comentariu generat de AI califică un nod de pe hartă drept „lider” sau „cel mai influent”, verificați dacă acea caracterizare este susținută de date reale.
Sfat: nu cădeți în capcana „centru = sus” atunci când interpretați o hartă de rețea. Centralitatea indică doar densitatea conexiunii; Contribuția originală sau calitatea unei lucrări nu este vizibilă pe hartă și poate fi înțeleasă doar citind conținutul.
Patru șabloane copiabile
1) Rezumarea datelor reale privind citarea:
Mai jos este lista publicațiilor și numerele de citare pe care le-am luat dintr-o bază de date reală de citate. Împărțiți-le în grupuri de subiecte și rezumați fiecare grup într-o singură propoziție. Folosiți doar datele pe care le-am furnizat, nu adăugați/inventați publicații noi sau număr de citări. Date: [aici]
2) Marcare tendințe și modele:
Evidențiați tendințele notabile (creștere, scădere, concentrare a colaborării) în datele de publicare/citări bazate pe an de mai jos. Bazează fiecare observație pe date, nu specula. Date: [aici]
3) Avertisment privind interpretarea criteriilor:
Interpretați următorul criteriu bibliometric, precizând și limitele acestuia: la ce subiect furnizează informații, la ce subiect nu oferă informații, asupra ce subiect este susceptibil de a fi folosit abuziv? Criterii și context: [aici]
4) Controlul diferenței de suprafață:
Pot fi comparate direct datele citate ale următoarelor două grupuri? Evaluați diferențele de cultura de citare între domenii și explicați dacă comparația este corectă. Date: [aici]
Prompt slab / Prompt puternic
Prompt slab:
Enumerați cele mai influente articole ale acestui autor și numărul de citări.
AI generează titluri inventate și numere de citări din memoria sa globală fără a accesa datele reale. Rezultat: o analiză convingătoare, dar falsă.
Solicitare puternică:
Rolul dvs.: asistent bibliometric. Mai jos sunt citatele publicațiilor și numerele de citare pe care le-am extras din baza de date reală a citațiilor. Sortați aceste date de la cel mai citat domeniu la cel mai mic, împărțiți-le în grupuri de subiecte și rezumați fiecare cluster. Nu vă abateți de la datele pe care le-am dat, nu alcătuiți numere sau etichete. Adăugați o scurtă notă despre limitele criteriilor. Date: [aici]
prompt puternic; Limitează AI la date reale, interzice fabricarea și ne amintește de limitele de referință.
Tabelul cu criterii și limite
criteriu
Ce arată
Ceea ce nu arata
Atenție
Numărul de citări
Utilizare/vizibilitate
calitate, acuratețe
Depinde de cultura zonei
indicele h
Productivitate+impact
valoarea individului
Sensibil la durata carierei
Factorul de impact
Media jurnalului
Valoarea unui singur articol
Criterii la nivel de jurnal
retea de colaborare
Cu cine a lucrat
Rata de contribuție
Rolul în rețea nu este clar
Greșeli comune
- Solicitarea numărului de citări de la AI. Numerele sunt alcătuite în afara bazei de date reale.
- Gândindu-se că criteriul este o măsură a calității. Citarea indică utilizarea, nu calitatea.
- Compararea directă a zonelor. Culturile de atribuire sunt diferite, nu este corect.
- Măsurarea științelor umaniste prin atribuire. Ieșirile grele de carte sunt subreprezentate în bazele de date.
- Evaluarea indivizilor cu criterii. Decizia de angajare/promovare nu trebuie să se bazeze pe un singur criteriu.
Pe scurt
În bibliometrie și analiza citațiilor, AI este un asistent puternic care grupează date reale, semnalează tendințele și rezumă; Dar nu luați niciodată numerele de citare și liniile de referință din memoria AI, pentru că o compun. Valorile arată utilizarea și vizibilitatea, nu calitatea; nu poate fi comparat între domenii; este subreprezentat în științe umaniste și nu poate fi folosit singur pentru a evalua indivizi. Bibliotecarul este un ghid responsabil care explică limitele acestor criterii și le echilibrează cu evaluarea calitativă.
Sarcina de aplicare
Luați o listă mică de publicații (10-15 înregistrări, cu număr de citări) dintr-o bază de date reală de citate. Aveți clusterul AI și rezumați cu șablonul „Rezumați datele despre citații reale”, apoi validați citările și numărările în baza de date. Apoi tipăriți limitele unei valori la alegere (de exemplu, h-index) cu șablonul „Avertisment privind interpretarea criteriilor” și planificați cum îl veți explica unui manager.
lista de verificare
- [ ] Am furnizat numerele de citare și citatele din baza de date reală, nu le-am avut alcătuite de AI.
- [ ] Am prezentat valorile ca indicatori de utilizare/vizibilitate, nu de calitate.
- [ ] Am ținut cont de diferența de cultură a citațiilor dintre domenii.
- [ ] Am ținut cont de subreprezentarea științelor umaniste.
- [ ] Nu am folosit singur criteriul în evaluarea persoanelor.