Ganhos:
- Capacidade de implementar a nunca retirada da contagem de citações e citações da memória de IA enquanto agrupa e resume os dados retirados do banco de dados de citações real com IA
- Capacidade de compreender que métricas como citação, índice h e fator de impacto indicam uso, mas não qualidade, e sua incomparabilidade entre campos.
- Capacidade de considerar os limites éticos do uso exclusivo de critérios bibliométricos na avaliação de indivíduos e equilibrá-los com a avaliação qualitativa
Uma biblioteca universitária mede a produção de investigação da sua instituição; um pesquisador para encontrar os estudos mais influentes de uma área; um gestor pode querer avaliar a visibilidade científica de um departamento. Por trás deste trabalho está a bibliometria: o campo que examina numericamente as publicações científicas e as relações de citação entre elas. Nesta unidade você aprenderá como usar a inteligência artificial na análise de citações, mapeamento de publicações e avaliação de impacto; mas você aprenderá como navegar pelos limites e armadilhas éticas das métricas numéricas.
Vamos definir os conceitos. Citação é uma referência científica feita por uma publicação para outra publicação; O número de citações é considerado um indicador do quanto uma obra foi utilizada. O índice h é uma medida que combina a produtividade e o impacto de um pesquisador (se h número de publicações receberam pelo menos h citações, o índice h é h). O fator de impacto é uma medida que mostra o nível médio de citação de um periódico. Estas métricas são úteis, mas nenhuma é uma medida direta de “qualidade”; Manter essa distinção em mente é a essência da bibliometria.
Passo a passo: análise bibliométrica responsável
1. Esclareça a questão. “Quais são os estudos básicos desta área?”, “Quais as publicações mais citadas da nossa instituição?”, “Como essas duas áreas se cruzam?” Cada questão requer uma análise diferente.
2. Use dados confiáveis. A análise de citações é tão confiável quanto a fonte de dados. A IA pode criar contagens de citações ou listas de publicações; Portanto, é fundamental trabalhar com dados de uma base de dados de citações real. Use IA para interpretar e resumir dados reais, não para gerar dados.
3. Marque os padrões. A IA ajuda a resumir grupos de tópicos, redes colaborativas ou tendências ao longo do tempo em um grande conjunto de publicações. Isto direciona a atenção do analista humano para pontos importantes.
4. Interprete o critério no contexto. Uma contagem baixa de citações não indica que o trabalho não tenha valor; O campo pode ser pequeno, o tópico pode ser novo ou a publicação pode ser muito nova. Nunca interprete o número sem contexto.
5. Observe os limites éticos. As medidas bibliométricas não devem ser utilizadas isoladamente para tomar decisões sobre contratação, promoção ou financiamento de indivíduos. Os números não medem o valor das pessoas; Abusar deles é injusto e prejudicial.
Dica: Ao fazer com que a IA realize uma análise de citações, forneça as contagens de citações e citações de publicações do banco de dados real; Deixe a IA simplesmente organizar, agrupar e interpretar esses dados. "Qual é o índice h deste escritor?" Perguntar diretamente pode resultar em um número inventado.
Limites de critérios e manipulação
Como as métricas bibliométricas parecem poderosas, elas estão sujeitas a abusos. Os números de citações podem ser aumentados de várias maneiras: autocitação excessiva (citando o próprio trabalho), anéis de citação (grupos de pessoas citando-se reciprocamente) ou a própria cultura de citação da área. Além disso, os critérios não são comparáveis entre áreas: o ambiente de citação de um artigo médico e de um artigo de filosofia é completamente diferente.
Este problema é ainda mais evidente nas ciências humanas e sociais; porque resultados significativos nessas áreas (livros, traduções, resenhas) estão sub-representados nas bases de dados de citações. Medir o impacto de um historiador ou estudioso literário apenas pelo número de citações é compreender mal a natureza da obra. O bibliotecário é um guia que explica os limites desses critérios para administradores e pesquisadores.
Atenção: Não apresente uma medida bibliométrica como julgamento final sobre o mérito acadêmico de um indivíduo ou a qualidade de um departamento. Os princípios da avaliação responsável da investigação sublinham que as medidas devem complementar a avaliação qualitativa e não substituí-la.
três mini cases
Caso 1 — Área mapeada. Um bibliotecário queria mostrar a um grupo de pesquisa o trabalho básico em sua área. Retirou dados de 200 publicações de um banco de dados de citações real; YZ resumiu esses dados em grupos de tópicos e destacou os 10 estudos mais citados. O analista verificou cada cluster e identificador no banco de dados; o grupo rapidamente compreendeu a estrutura da área.
Caso 2 – Índice h falso detectado. Um gerente perguntou à IA sobre o índice h de um pesquisador; A IA disse “42”. A bibliotecária olhou para o banco de dados real: o valor correto era 19; A IA inventou o número. Isso mostrou que as métricas nunca deveriam ser obtidas da memória da IA, mas de dados reais.
Caso 3 — Comparação incorreta evitada. Uma unidade queria alocar recursos comparando dois capítulos com base no número médio de citações. A bibliotecária explicou que um dos departamentos era medicina (cultura de alta citação) e o outro era humanidades (cultura com muitos livros e baixa citação), e que essa comparação seria injusta. A avaliação foi apoiada por critérios qualitativos que levaram em conta as diferenças de campo.
Mapas visuais e armadilhas de leitura
Uma ferramenta frequentemente utilizada em bibliometria são os mapas de redes (por exemplo, redes de cocitação ou coautoria), que mostram as relações entre publicações ou autores por nós e links. Estes mapas tornam visível a estrutura, aglomerados e pontes de uma área; A IA pode agregar os dados reais subjacentes e ajudar a interpretar esses mapas. Mas os mapas visuais, embora poderosos, também podem ser enganosos: um nó grande e centralmente visível pode não ser o “mais importante”, mas apenas o “mais conectado”; O tamanho de um cluster só pode refletir o volume de publicação, não o valor desse espaço. Além disso, a forma como o mapa é desenhado (qual limite, qual período de tempo, qual banco de dados) muda completamente o resultado. Portanto, ao apresentar uma visualização bibliométrica como base para uma decisão, é imprescindível indicar claramente em quais dados ela se baseia, quais parâmetros e em que período de tempo. Se um comentário gerado por IA qualificar um nó no mapa como “líder” ou “mais influente”, verifique se essa caracterização é suportada por dados reais.
Dica: Não caia na armadilha “center = top” ao interpretar um mapa de rede. A centralidade indica apenas a densidade da conexão; A contribuição original ou qualidade de uma obra não é visível no mapa e só pode ser compreendida através da leitura do conteúdo.
Quatro modelos copiáveis
1) Resumindo os dados reais de citação:
Abaixo está a lista de publicações e os números de citações que tirei de um banco de dados de citações real. Divida-os em grupos de tópicos e resuma cada grupo em uma única frase. Basta usar os dados que forneci, não adicionar/inventar novas publicações ou contagens de citações. Dados: [aqui]
2) Marcação de tendências e padrões:
Destaque tendências notáveis (aumento, diminuição, concentração de colaboração) nos dados de publicação/citação baseados em anos abaixo. Baseie cada observação em dados, não especule. Dados: [aqui]
3) Aviso de interpretação de critérios:
Interpretar o seguinte critério bibliométrico, indicando também os seus limites: sobre que assunto fornece informação, sobre que assunto não fornece informação, sobre que assunto está sujeito a uso indevido? Critérios e contexto: [aqui]
4) Controle de diferença de área:
Os dados de citação dos dois grupos a seguir podem ser comparados diretamente? Avalie as diferenças na cultura de citação entre os campos e explique se a comparação é justa. Dados: [aqui]
Alerta fraco / Alerta forte
Alerta fraco:
Liste os artigos mais influentes deste autor e a contagem de citações.
A IA gera títulos inventados e contagens de citações a partir de sua memória global, sem acessar os dados reais. Resultado: uma análise convincente, mas espúria.
Alerta poderoso:
Sua função: assistente de bibliometria. Abaixo estão as citações de publicações e os números de citações que retirei do banco de dados de citações real. Classifique esses dados do domínio mais citado para o mais baixo, divida-os em grupos de tópicos e resuma cada grupo. Não se desvie dos dados que forneci, não invente números ou rótulos. Adicione uma breve nota sobre os limites dos critérios. Dados: [aqui]
Alerta poderoso; Limita a IA a dados reais, proíbe a fabricação e nos lembra dos limites de referência.
Tabela de critérios e limites
critério
O que mostra
O que não mostra
Atenção
Número de citações
Uso/visibilidade
qualidade, precisão
Depende da cultura da área
índice h
Produtividade+impacto
valor do indivíduo
Sensível à duração da carreira
Fator de impacto
Média do diário
Valor do artigo único
Critérios de nível de diário
rede de colaboração
Com quem trabalhou
Taxa de contribuição
Papel na rede não claro
Erros comuns
- Solicitando a contagem de citações da AI. Os números são compostos fora do banco de dados real.
- Pensar que o critério é uma medida de qualidade. A citação indica uso, não qualidade.
- Comparando áreas diretamente. As culturas de atribuição são diferentes, não é justo.
- Medindo as humanidades por atribuição. Os resultados com muitos livros estão sub-representados nos bancos de dados.
- Avaliar indivíduos com critérios. A decisão de contratação/promoção não deve basear-se num único critério.
Em resumo
Na bibliometria e na análise de citações, a IA é um assistente poderoso que agrupa dados reais, sinaliza tendências e resume; Mas nunca retire números de citações e assinaturas da memória da IA, porque isso compõe. As métricas mostram uso e visibilidade, não qualidade; não pode ser comparado entre domínios; está sub-representado nas ciências humanas e não pode ser usado sozinho para avaliar indivíduos. O bibliotecário é um guia responsável que explica os limites destes critérios e os equilibra com a avaliação qualitativa.
Tarefa de aplicativo
Pegue uma pequena lista de publicações (10 a 15 registros, com contagem de citações) de um banco de dados de citações real. Tenha o cluster de IA e resuma com o modelo “Resumir dados reais de citações” e, em seguida, valide as citações e contagens no banco de dados. Em seguida, imprima os limites de uma métrica de sua escolha (por exemplo, índice h) com o modelo "Aviso de interpretação de critérios" e planeje como você irá explicá-lo a um gerente.
lista de verificação
- [] Forneci os números de citações e citações do banco de dados real, não os mandei criar pela IA.
- [ ] Apresentei as métricas como indicadores de uso/visibilidade, não de qualidade.
- [] Levei em consideração a diferença na cultura de citação entre os campos.
- [ ] Levei em consideração a sub-representação das humanidades.
- [ ] Não usei apenas o critério na avaliação dos indivíduos.