Ganancias:
- Capacidad para implementar nunca tomar el recuento de citas y las citas de la memoria de IA mientras se agrupan y resumen los datos tomados de la base de datos de citas real con IA.
- Capacidad para comprender que métricas como las citas, el índice h y el factor de impacto indican el uso pero no la calidad, y su incomparabilidad entre campos.
- Capacidad para considerar los límites éticos del uso exclusivo de criterios bibliométricos al evaluar a los individuos y equilibrarlos con la evaluación cualitativa.
Una biblioteca universitaria mide la producción de investigación de su institución; un investigador para encontrar los estudios más influyentes de un campo; un gerente puede querer evaluar la visibilidad científica de un departamento. Detrás de este trabajo está la bibliometría: el campo que examina numéricamente las publicaciones científicas y las relaciones de citación entre ellas. En esta unidad, aprenderá a utilizar la inteligencia artificial en el análisis de citas, mapeo de publicaciones y evaluación de impacto; pero aprenderá a sortear los límites y los peligros éticos de las métricas numéricas.
Definamos los conceptos. Cita es una referencia científica hecha por una publicación a otra publicación; El número de citas se considera un indicador de cuánto se ha utilizado una obra. El índice h es una medida que combina tanto la productividad como el impacto de un investigador (si h número de publicaciones han recibido al menos h citas, el índice h es h). El factor de impacto es una medida que muestra el nivel promedio de citas de una revista. Estas métricas son útiles, pero ninguna es una medida directa de “calidad”; Mantener esta distinción en mente es la esencia de la bibliometría.
Paso a paso: análisis bibliométrico responsable
1. Aclare la pregunta. "¿Cuáles son los estudios básicos de este campo?", "¿Cuáles son las publicaciones más citadas de nuestra institución?", "¿Cómo se cruzan estos dos campos?" Cada pregunta requiere un análisis diferente.
2. Utilice datos fiables. El análisis de citas es tan confiable como la fuente de datos. La IA puede inventar recuentos de citas o listas de publicaciones; Por tanto, es fundamental trabajar con datos de una base de datos de citas real. Utilice la IA para interpretar y resumir datos reales, no para generar datos.
3. Haga marcar los patrones. La IA ayuda a resumir grupos de temas, redes de colaboración o tendencias a lo largo del tiempo en un gran conjunto de publicaciones. Esto dirige la atención del analista humano a puntos importantes.
4. Interpretar el criterio en contexto. Un recuento bajo de citas no indica que el trabajo no tenga valor; El campo puede ser pequeño, el tema puede ser nuevo o la publicación puede ser muy nueva. Nunca interpretes el número sin contexto.
5. Observe el límite ético. Las medidas bibliométricas no deben usarse solas para tomar decisiones sobre contratación, promoción o financiación de personas. Los números no miden el valor de las personas; Abusar de ellos es injusto y perjudicial.
Consejo: cuando la IA realice un análisis de citas, proporcione los recuentos de citas y las citas de publicaciones de la base de datos real; Deje que la IA simplemente organice, agrupe e interprete estos datos. "¿Cuál es el índice h de este escritor?" Preguntar directamente puede resultar en un número inventado.
Límites de criterio y manipulación.
Debido a que las métricas bibliométricas parecen poderosas, están abiertas al abuso. El número de citas se puede inflar de diversas formas: autocitación excesiva (citando el propio trabajo), anillos de citas (grupos de personas que se citan recíprocamente entre sí) o la propia cultura de citas del campo. Además, los criterios no son comparables entre campos: el entorno de citación de un artículo médico y de un artículo de filosofía es completamente diferente.
Este problema es aún más evidente en las humanidades y las ciencias sociales; porque los resultados importantes en estos campos (libros, traducciones, reseñas) están subrepresentados en las bases de datos de citas. Medir el impacto de un historiador o un estudioso de la literatura únicamente por el número de citas es malinterpretar la naturaleza del trabajo. El bibliotecario es una guía que explica los límites de estos criterios a administradores e investigadores.
Precaución: No presente una medida bibliométrica como un juicio final sobre el mérito académico de un individuo o la calidad de un departamento. Los principios de una evaluación responsable de la investigación enfatizan que las medidas deben complementar la evaluación cualitativa, no reemplazarla.
tres mini casos
Caso 1: Área cartografiada. Un bibliotecario quería mostrar a un grupo de investigación el trabajo básico en su campo. Extrajo datos de 200 publicaciones de una base de datos de citas real; YZ resumió estos datos en grupos de temas y destacó los 10 estudios más citados. El analista verificó cada grupo e identificador en la base de datos; El grupo comprendió rápidamente la estructura del área.
Caso 2: Se detectó un índice h falso. Un directivo preguntó a la IA sobre el índice h de un investigador; La IA dijo "42". El bibliotecario miró la base de datos real: el valor correcto era 19; La IA había inventado el número. Esto demostró que las métricas nunca deben tomarse de la memoria de la IA sino de datos reales.
Caso 3: Se evitó una comparación incorrecta. Una unidad quería asignar fondos comparando dos capítulos en función de su número promedio de citas. El bibliotecario explicó que uno de los departamentos era de medicina (cultura de alta citación) y el otro era de humanidades (cultura de mucha cantidad de libros y baja citación), y que esta comparación sería injusta. La evaluación se basó en criterios cualitativos que tuvieron en cuenta las diferencias de campo.
Mapas visuales y trampas de lectura.
Una herramienta frecuentemente utilizada en bibliometría son los mapas de redes (por ejemplo, redes de cocitación o coautoría), que muestran relaciones entre publicaciones o autores por nodos y enlaces. Estos mapas hacen visible la estructura, los grupos y los puentes de un área; La IA puede agregar los datos reales subyacentes y ayudar a interpretar estos mapas. Pero los mapas visuales, aunque poderosos, también pueden ser engañosos: un nodo grande y centralmente visible puede no ser el "más importante" sino simplemente el "más conectado"; El tamaño de un grupo sólo puede reflejar el volumen de publicación, no el valor de ese espacio. Además, la forma en que se dibuja el mapa (qué umbral, qué período de tiempo, qué base de datos) cambia completamente el resultado. Por lo tanto, al presentar una visualización bibliométrica como base para una decisión, es imperativo indicar claramente en qué datos se basa, en qué parámetros y durante qué período de tiempo. Si un comentario generado por IA califica a un nodo en el mapa como “líder” o “más influyente”, verifique si esa caracterización está respaldada por datos reales.
Consejo: no caiga en la trampa de "centro = arriba" al interpretar un mapa de red. La centralidad sólo indica densidad de conexión; La aportación o calidad original de una obra no es visible en el mapa y sólo puede entenderse leyendo el contenido.
Cuatro plantillas copiables
1) Resumir los datos de citas reales:
A continuación se muestra la lista de publicaciones y los números de citas que tomé de una base de datos de citas real. Divídalos en grupos de temas y resuma cada grupo en una sola oración. Simplemente use los datos que proporcioné, no agregue ni invente nuevas publicaciones ni recuentos de citas. Datos: [aquí]
2) Marcado de tendencias y patrones:
Resalte las tendencias notables (aumento, disminución, concentración de colaboración) en los datos de publicaciones/citas anuales que aparecen a continuación. Base cada observación en datos, no especule. Datos: [aquí]
3) Advertencia de interpretación de criterios:
Interpretar el siguiente criterio bibliométrico, indicando también sus límites: ¿sobre qué tema proporciona información, sobre qué tema no proporciona información, sobre qué tema está abierto a mal uso? Criterios y contexto: [aquí]
4) Control de diferencia de área:
¿Se pueden comparar directamente los datos de citas de los dos grupos siguientes? Evalúe las diferencias en la cultura de citas entre los campos y explique si la comparación es justa. Datos: [aquí]
Aviso débil / Aviso fuerte
Aviso débil:
Enumere los artículos más influyentes de este autor y el número de citas.
La IA genera títulos inventados y recuentos de citas desde su memoria global sin acceder a los datos reales. Resultado: un análisis convincente pero espurio.
Potente mensaje:
Su función: asistente de bibliometría. A continuación se muestran las citas de publicaciones y los números de citas que extraje de la base de datos de citas real. Ordene estos datos desde el dominio más citado hasta el más bajo, divídalos en grupos de temas y resuma cada grupo. No te desvíes de los datos que te he dado, no inventes números ni etiquetas. Agregue una breve nota sobre los límites de los criterios. Datos: [aquí]
Aviso potente; Limita la IA a datos reales, prohíbe la fabricación y nos recuerda los límites de los puntos de referencia.
Tabla de criterios y límites
criterio
que muestra
lo que no se muestra
Atención
Número de citas
Uso/visibilidad
calidad, precisión
Depende de la cultura del área.
índice h
Productividad+impacto
valor del individuo
Sensible a la duración de la carrera
factor de impacto
Promedio de la revista
Valor de un solo artículo
Criterios a nivel de revista
red de colaboración
¿Con quién trabajó?
Tasa de contribución
El papel en la red no está claro
Errores comunes
- Solicitar el recuento de citaciones a AI. Los números se componen fuera de la base de datos real.
- Pensar que el criterio es una medida de calidad. La cita indica uso, no calidad.
- Comparar áreas directamente. Las culturas de atribución son diferentes, no es justo.
- Medición de las humanidades por atribución. Los productos con gran cantidad de libros están subrepresentados en las bases de datos.
- Evaluar a las personas con criterio. La decisión de contratación/ascenso no debe basarse en un único criterio.
En resumen
En bibliometría y análisis de citas, la IA es un poderoso asistente que agrupa datos reales, señala tendencias y resume; Pero nunca tomes números de citas y firmas de la memoria de la IA, porque la compone. Las métricas muestran el uso y la visibilidad, no la calidad; no se puede comparar entre dominios; está subrepresentado en las humanidades y no puede usarse solo para evaluar individuos. El bibliotecario es un guía responsable que explica los límites de estos criterios y los equilibra con la evaluación cualitativa.
Tarea de aplicación
Tome una pequeña lista de publicaciones (10 a 15 registros, con recuentos de citas) de una base de datos de citas real. Tenga el clúster de IA y resuma con la plantilla "Resumir datos de citas reales", luego valide las citas y los conteos con la base de datos. Luego imprima los límites de una métrica de su elección (por ejemplo, índice h) con la plantilla "Advertencia de interpretación de criterios" y planifique cómo se lo explicará a un gerente.
lista de verificación
- [] Proporcioné los números de citas y las citas de la base de datos real, no las compuso AI.
- [] Presenté las métricas como indicadores de uso/visibilidad, no de calidad.
- [] Tomé en cuenta la diferencia en la cultura de citas entre campos.
- [ ] Tomé en cuenta la subrepresentación de las humanidades.
- [ ] No utilicé el criterio solo para evaluar a los individuos.