Guadagni:
- Capacità di implementare il non prendere mai il conteggio delle citazioni e le citazioni dalla memoria dell'intelligenza artificiale raggruppando e riepilogando i dati presi dal database delle citazioni reali con l'intelligenza artificiale
- Capacità di comprendere che parametri come citazione, h-index e fattore di impatto indicano l'uso ma non la qualità e la loro incomparabilità tra i campi.
- Capacità di considerare i limiti etici dell'utilizzo dei soli criteri bibliometrici nella valutazione degli individui e di bilanciarli con la valutazione qualitativa
Una biblioteca universitaria misura i risultati della ricerca della sua istituzione; un ricercatore per trovare gli studi più influenti in un campo; un manager potrebbe voler valutare la visibilità scientifica di un dipartimento. Dietro questo lavoro c’è la bibliometria: il campo che esamina numericamente le pubblicazioni scientifiche e i rapporti di citazione tra di esse. In questa unità imparerai come utilizzare l'intelligenza artificiale nell'analisi delle citazioni, nella mappatura delle pubblicazioni e nella valutazione dell'impatto; ma imparerai come superare i limiti e le insidie etiche dei parametri numerici.
Definiamo i concetti. La citazione è un riferimento scientifico fatto da una pubblicazione a un'altra pubblicazione; Il numero di citazioni è considerato un indicatore di quanto un'opera è stata utilizzata. L'h-indice è una misura che combina sia la produttività che l'impatto di un ricercatore (se h numero di pubblicazioni hanno ricevuto ciascuna almeno h citazioni, l'h-indice è h). Il fattore di impatto è una misura che mostra il livello medio di citazioni di una rivista. Questi parametri sono utili, ma nessuno è una misura diretta della “qualità”; Tenere presente questa distinzione è l’essenza della bibliometria.
Passo dopo passo: analisi bibliometrica responsabile
1. Chiarire la domanda. "Quali sono gli studi fondamentali in questo campo?", "Quali sono le pubblicazioni più citate della nostra istituzione?", "Come si intersecano questi due campi?" Ogni domanda richiede un'analisi diversa.
2. Utilizzare dati affidabili. L'analisi delle citazioni è affidabile tanto quanto la fonte dei dati. L'intelligenza artificiale può costituire conteggi di citazioni o elenchi di pubblicazioni; Pertanto, è essenziale lavorare con i dati di un vero database di citazioni. Utilizza l'intelligenza artificiale per interpretare e sintetizzare dati reali, non per generare dati.
3. Fai segnare i modelli. L'intelligenza artificiale aiuta a riassumere cluster di argomenti, reti di collaborazione o tendenze nel tempo in un ampio insieme di pubblicazioni. Ciò dirige l'attenzione dell'analista umano su punti importanti.
4. Interpretare il criterio nel contesto. Un basso numero di citazioni non indica che l'opera sia priva di valore; Il campo potrebbe essere piccolo, l'argomento potrebbe essere nuovo o la pubblicazione potrebbe essere molto nuova. Non interpretare mai il numero senza contesto.
5. Rispettare il confine etico. Le misure bibliometriche non dovrebbero essere utilizzate da sole per prendere decisioni sull’assunzione, promozione o finanziamento di individui. I numeri non misurano il valore delle persone; Abusarne è ingiusto e dannoso.
Suggerimento: quando si chiede all'IA di eseguire un'analisi delle citazioni, fornire il conteggio delle citazioni e le citazioni delle pubblicazioni dal database reale; Lascia che l’intelligenza artificiale organizzi, raggruppi e interpreti semplicemente questi dati. "Qual è l'h-index di questo scrittore?" Chiedere direttamente può comportare un numero inventato.
Limiti dei criteri e manipolazione
Poiché le metriche bibliometriche appaiono potenti, sono aperte ad abusi. I numeri delle citazioni possono essere gonfiati in vari modi: autocitazione eccessiva (citando il proprio lavoro), anelli di citazioni (gruppi di persone che si citano reciprocamente) o la cultura delle citazioni propria del settore. Inoltre, i criteri non sono comparabili tra i campi: l’ambiente di citazione di un articolo medico e di un articolo di filosofia è completamente diverso.
Questo problema è ancora più evidente nelle scienze umane e sociali; perché risultati significativi in questi campi (libri, traduzioni, recensioni) sono sottorappresentati nei database delle citazioni. Misurare l’impatto di uno storico o di uno studioso di letteratura esclusivamente in base al numero di citazioni significa fraintendere la natura dell’opera. Il bibliotecario è una guida che spiega agli amministratori e ai ricercatori i limiti di questi criteri.
Attenzione: non presentare una misura bibliometrica come giudizio finale sul merito accademico di un individuo o sulla qualità di un dipartimento. I principi della valutazione responsabile della ricerca sottolineano che le misure dovrebbero integrare la valutazione qualitativa, non sostituirla.
tre mini custodie
Caso 1 — Area mappata. Un bibliotecario voleva mostrare a un gruppo di ricerca il lavoro di base nel suo campo. Ha estratto dati da 200 pubblicazioni da un vero database di citazioni; YZ ha riassunto questi dati in gruppi di argomenti e ha evidenziato i 10 studi più citati. L'analista ha verificato ogni cluster e identificatore nel database; il gruppo ha colto rapidamente la struttura dell'area.
Caso 2: scoperto un falso indice h. Un manager ha chiesto all'IA informazioni sull'h-index di un ricercatore; L'IA ha detto "42". Il bibliotecario guardò il database vero e proprio: il valore corretto era 19; L'intelligenza artificiale aveva composto il numero. Ciò ha dimostrato che le metriche non dovrebbero mai essere prese dalla memoria dell’intelligenza artificiale ma da dati reali.
Caso 3: confronto errato impedito. Un'unità ha voluto allocare i fondi confrontando due capitoli in base al numero medio di citazioni. Il bibliotecario spiegò che uno dei dipartimenti era medicina (cultura ad alta citazione) e l'altro era discipline umanistiche (cultura ricca di libri, a bassa citazione), e che questo confronto sarebbe stato ingiusto. La valutazione è stata supportata da criteri qualitativi che hanno tenuto conto delle differenze sul campo.
Mappe visive e trappole di lettura
Uno strumento frequentemente utilizzato in bibliometria sono le mappe di rete (ad esempio reti di co-citazione o di co-paternità), che mostrano le relazioni tra pubblicazioni o autori tramite nodi e collegamenti. Queste mappe rendono visibile la struttura, i cluster e i ponti di un'area; L’intelligenza artificiale può aggregare i dati reali sottostanti e aiutare a interpretare queste mappe. Ma le mappe visive, sebbene potenti, possono anche essere fuorvianti: un nodo grande e visibile al centro potrebbe non essere il “più importante” ma semplicemente il “più connesso”; La dimensione di un cluster può riflettere solo il volume della pubblicazione, non il valore di quello spazio. Inoltre, il modo in cui viene disegnata la mappa (quale soglia, quale periodo di tempo, quale database) cambia completamente il risultato. Pertanto, quando si presenta una visualizzazione bibliometrica come base per una decisione, è imperativo indicare chiaramente su quali dati si basa, su quali parametri e in quale periodo di tempo. Se un commento generato dall'intelligenza artificiale qualifica un nodo sulla mappa come "leader" o "più influente", controlla se tale caratterizzazione è supportata da dati reali.
Suggerimento: non cadere nella trappola "centro = alto" quando interpreti una mappa di rete. La centralità indica solo la densità di connessione; Il contributo originale o la qualità di un'opera non è visibile sulla mappa e può essere compreso solo leggendone il contenuto.
Quattro modelli copiabili
1) Riepilogo dei dati effettivi sulle citazioni:
Di seguito è riportato l'elenco delle pubblicazioni e i numeri delle citazioni che ho preso da un vero database di citazioni. Dividili in gruppi di argomenti e riassumi ciascun gruppo in un'unica frase. Utilizza semplicemente i dati che ho fornito, non aggiungere/creare nuove pubblicazioni o conteggi di citazioni. Dati: [qui]
2) Marcatura di tendenze e modelli:
Evidenzia le tendenze degne di nota (aumento, diminuzione, concentrazione della collaborazione) nei dati di pubblicazione/citazione basati sull'anno riportati di seguito. Basa ogni osservazione sui dati, non speculare. Dati: [qui]
3) Avvertenza sull'interpretazione dei criteri:
Interpretare il seguente criterio bibliometrico, indicandone anche i limiti: su quale argomento fornisce informazioni, su quale argomento non fornisce informazioni, su quale argomento è suscettibile di abusi? Criteri e contesto: [qui]
4) Controllo della differenza di area:
È possibile confrontare direttamente i dati delle citazioni dei seguenti due gruppi? Valutare le differenze nella cultura delle citazioni tra i campi e spiegare se il confronto è giusto. Dati: [qui]
Prompt debole / Prompt forte
Suggerimento debole:
Elenca gli articoli più influenti di questo autore e il numero di citazioni.
L'intelligenza artificiale genera titoli inventati e conteggi di citazioni dalla sua memoria globale senza accedere ai dati reali. Risultato: un’analisi convincente ma spuria.
Suggerimento potente:
Il tuo ruolo: assistente bibliometrico. Di seguito sono riportate le citazioni delle pubblicazioni e i numeri delle citazioni che ho estratto dal database delle citazioni reali. Ordina questi dati dal dominio più citato a quello più basso, dividili in cluster di argomenti e riepiloga ciascun cluster. Non discostarsi dai dati che ho fornito, non inventare numeri o etichette. Aggiungere una breve nota sui limiti dei criteri. Dati: [qui]
Prompt potente; Limita l’intelligenza artificiale ai dati reali, vieta la fabbricazione e ci ricorda i limiti dei benchmark.
Tabella criteri e limiti
criterio
Cosa mostra
Ciò che non si vede
Attenzione
Numero di citazioni
Utilizzo/visibilità
qualità, precisione
Dipende dalla cultura della zona
indice h
Produttività+impatto
valore dell'individuo
Sensibile alla durata della carriera
Fattore di impatto
Media del diario
Valore del singolo articolo
Criteri a livello di rivista
rete di collaborazione
Con chi ha lavorato
Aliquota contributiva
Il ruolo nella rete non è chiaro
Errori comuni
- Richiesta del conteggio delle citazioni da AI. I numeri sono composti al di fuori del database reale.
- Pensare che il criterio sia una misura di qualità. La citazione indica l'utilizzo, non la qualità.
- Confrontando direttamente le aree. Le culture di attribuzione sono diverse, non è giusto.
- Misurare le discipline umanistiche per attribuzione. I risultati ricchi di libri sono sottorappresentati nei database.
- Valutare gli individui con criteri. La decisione di assunzione/promozione non dovrebbe basarsi su un unico criterio.
In sintesi
Nella bibliometria e nell'analisi delle citazioni, l'intelligenza artificiale è un potente assistente che raggruppa dati reali, segnala tendenze e riassume; Ma non prendere mai numeri di citazioni e sottotitoli dalla memoria dell'IA, perché lo inventa. Le metriche mostrano l'utilizzo e la visibilità, non la qualità; non possono essere confrontati tra domini; è sottorappresentato nelle discipline umanistiche e non può essere utilizzato da solo per valutare gli individui. Il bibliotecario è una guida responsabile che spiega i limiti di questi criteri e li bilancia con la valutazione qualitativa.
Compito dell'applicazione
Prendi un piccolo elenco di pubblicazioni (10-15 record, con conteggio delle citazioni) da un vero database di citazioni. Disponi del cluster AI e riepiloga con il modello "Riepiloga dati reali delle citazioni", quindi convalida le citazioni e i conteggi rispetto al database. Quindi stampa i limiti di una metrica di tua scelta (ad esempio h-index) con il modello "Avviso di interpretazione dei criteri" e pianifica come lo spiegherai a un manager.
lista di controllo
- [] Ho fornito i numeri delle citazioni e le citazioni dal database reale, non li ho fatti creare dall'intelligenza artificiale.
- [ ] Ho presentato le metriche come indicatori di utilizzo/visibilità, non di qualità.
- [ ] Ho preso in considerazione la differenza nella cultura della citazione tra i campi.
- [ ] Ho tenuto conto della sottorappresentanza delle discipline umanistiche.
- [ ] Non ho utilizzato il solo criterio nella valutazione degli individui.