이득:
- 실제 인용 데이터베이스에서 가져온 데이터를 AI로 클러스터링하고 요약하면서 AI 메모리에서 인용 횟수와 인용을 절대 가져오지 않는 기능을 구현하는 기능
- 인용, h-index, Impact Factor 등의 지표가 사용을 나타내지만 품질은 나타내지 않으며 분야 간 비교가 불가능하다는 점을 이해하는 능력.
- 개인을 평가할 때 계량적 기준만을 사용하는 것의 윤리적 한계를 고려하고 정성적 평가와 균형을 맞추는 능력
대학 도서관은 해당 기관의 연구 성과를 측정합니다. 특정 분야에서 가장 영향력 있는 연구를 찾는 연구자 관리자는 부서의 과학적 가시성을 평가하고 싶을 수도 있습니다. 이 작업 뒤에는 계량서지학이 있습니다. 즉, 과학 출판물과 출판물 간의 인용 관계를 수치적으로 조사하는 분야입니다. 이 단원에서는 인용 분석, 출판 매핑 및 영향 평가에 인공 지능을 사용하는 방법을 배웁니다. 하지만 수치 측정의 한계와 윤리적 함정을 탐색하는 방법을 배우게 됩니다.
개념을 정의해 봅시다. 인용은 한 출판물에서 다른 출판물에 대한 과학적 참조입니다. 인용 횟수는 해당 저작물이 얼마나 많이 사용되었는지를 나타내는 지표로 간주됩니다. h-지수는 연구자의 생산성과 영향력을 모두 합친 척도입니다. (h개의 출판물이 각각 h개 이상의 인용을 받았다면 h-지수는 h입니다.) Impact Factor는 저널의 평균 인용 수준을 나타내는 척도입니다. 이러한 지표는 유용하지만 "품질"을 직접적으로 측정할 수는 없습니다. 이러한 구별을 염두에 두는 것이 계량서지학의 핵심입니다.
단계별: 책임있는 계량서지학적 분석
1. 질문을 명확히 하세요. "이 분야의 기초학문은 무엇인가?", "우리 기관에서 가장 많이 인용되는 출판물은 무엇인가?", "이 두 분야는 어떻게 교차하는가?" 각 질문에는 서로 다른 분석이 필요합니다.
2. 신뢰할 수 있는 데이터를 사용하세요. 인용 분석은 데이터 소스만큼만 신뢰할 수 있습니다. AI는 인용 횟수나 출판 목록을 구성할 수 있습니다. 따라서 실제 인용 데이터베이스의 데이터로 작업하는 것이 필수적입니다. AI를 사용하여 데이터를 생성하는 것이 아니라 실제 데이터를 해석하고 요약합니다.
3. 패턴을 표시하십시오. AI는 대규모 출판물에서 주제 클러스터, 협업 네트워크 또는 시간 경과에 따른 추세를 요약하는 데 도움이 됩니다. 이는 인간 분석가의 주의를 중요한 점으로 이끈다.
4. 맥락에 맞게 기준을 해석하십시오. 인용 횟수가 낮다고 해서 해당 저작물이 가치가 없다는 의미는 아닙니다. 분야가 작을 수도 있고, 주제가 새롭거나 출판물이 매우 새롭을 수도 있습니다. 문맥 없이 숫자를 해석하지 마십시오.
5. 윤리적 경계를 준수하십시오. 개인의 고용, 승진 또는 자금 조달에 관한 결정을 내리기 위해 계량서지 측정법을 단독으로 사용해서는 안 됩니다. 숫자는 사람의 가치를 측정하지 않습니다. 그들을 학대하는 것은 불공평하고 해롭습니다.
팁: AI가 인용 분석을 수행하도록 할 때 실제 데이터베이스에서 인용 횟수와 출판 인용을 제공하세요. AI가 이 데이터를 간단하게 정리하고 그룹화하고 해석하게 하세요. "이 작가의 h-index는 무엇입니까?" 직접 물어보면 가짜 번호가 나올 수도 있습니다.
기준과 조작의 한계
계량서지 측정 지표는 강력해 보이기 때문에 남용될 가능성이 높습니다. 인용 수는 과도한 자기 인용(자신의 저작물 인용), 인용 고리(서로 상호 인용하는 사람들의 그룹) 또는 해당 분야 고유의 인용 문화 등 다양한 방식으로 부풀려질 수 있습니다. 더욱이, 의학 논문과 철학 논문의 인용 환경이 전혀 다르기 때문에 기준을 분야별로 비교할 수는 없습니다.
이 문제는 인문학과 사회과학에서 더욱 분명해집니다. 왜냐하면 이러한 분야(도서, 번역, 리뷰)의 중요한 결과가 인용 데이터베이스에서 제대로 표현되지 않기 때문입니다. 단지 인용 횟수만으로 역사가나 문학학자의 영향력을 측정하는 것은 작품의 성격을 오해하는 것입니다. 사서는 관리자와 연구자에게 이러한 기준의 한계를 설명하는 안내자이다.
주의: 개인의 학문적 장점이나 학과의 질에 대한 최종 판단으로 참고문헌 측정치를 제시하지 마십시오. 책임 있는 연구 평가의 원칙은 측정이 질적 평가를 대체하는 것이 아니라 보완해야 한다는 점을 강조합니다.
세 개의 미니 케이스
사례 1 - 매핑된 영역. 한 사서는 연구 그룹에게 해당 분야의 기본 작업을 보여주고 싶었습니다. 실제 인용 데이터베이스에서 200개의 출판물에서 데이터를 가져왔습니다. YZ는 이 데이터를 주제 클러스터로 요약하고 가장 많이 인용된 10개 연구를 강조했습니다. 분석가는 데이터베이스의 각 클러스터와 식별자를 확인했습니다. 그룹은 해당 지역의 구조를 빠르게 파악했습니다.
사례 2 - 가짜 h-인덱스가 발견되었습니다. 한 관리자가 AI에게 연구원의 h-지수에 대해 질문했습니다. AI는 "42"라고 말했다. 사서는 실제 데이터베이스를 살펴보았습니다. 올바른 값은 19였습니다. AI가 숫자를 만들어낸 것이다. 이는 측정항목을 AI 메모리에서 가져오는 것이 아니라 실제 데이터에서 가져와야 함을 보여주었습니다.
사례 3 — 잘못된 비교가 방지되었습니다. 한 단위에서는 평균 인용 횟수를 기준으로 두 장을 비교하여 자금을 할당하기를 원했습니다. 사서는 한 학과는 의학(높은 인용 문화)이고 다른 한 학과는 인문학(책 비중이 낮고 인용 문화가 적음)이라며 이런 비교는 불공평하다고 설명했다. 평가는 현장 차이를 고려한 정성적 기준에 의해 뒷받침되었습니다.
시각적 지도와 독서 함정
계량서지학에서 자주 사용되는 도구는 노드와 링크를 통해 출판물이나 저자 간의 관계를 보여주는 네트워크 맵(예: 공동 인용 또는 공동 저자 네트워크)입니다. 이 지도를 통해 해당 지역의 구조, 클러스터 및 교량 공사를 볼 수 있습니다. AI는 기본 실제 데이터를 집계하고 이러한 지도를 해석하는 데 도움을 줄 수 있습니다. 그러나 시각적 지도는 강력하기는 하지만 오해의 소지가 있을 수도 있습니다. 중앙에 보이는 큰 노드는 "가장 중요한" 노드가 아니라 "가장 연결된" 노드일 수 있습니다. 클러스터의 크기는 출판물의 양만을 반영할 수 있으며 해당 공간의 가치를 반영할 수는 없습니다. 또한 지도가 그려지는 방식(임계값, 기간, 데이터베이스)에 따라 결과가 완전히 달라집니다. 따라서 결정의 기초로 계량서지 시각화를 제시할 때 어떤 데이터를 기반으로 하는지, 어떤 매개변수와 기간을 명확하게 명시하는 것이 중요합니다. AI가 생성한 댓글이 지도의 노드를 '리더' 또는 '가장 영향력 있는' 노드로 규정하는 경우 해당 특성이 실제 데이터에서 지원되는지 확인하세요.
팁: 네트워크 맵을 해석할 때 "중심 = 상단" 함정에 빠지지 마십시오. 중심성은 연결 밀도만을 나타냅니다. 작품의 원래 기여나 품질은 지도에 표시되지 않으며 내용을 읽어야만 이해할 수 있습니다.
복사 가능한 템플릿 4개
1) 실제 인용 데이터를 요약하면:
아래는 실제 인용 데이터베이스에서 가져온 출판물 목록과 인용 번호입니다. 이를 주제 클러스터로 나누고 각 클러스터를 한 문장으로 요약합니다. 내가 제공한 데이터만 사용하고, 새로운 출판물이나 인용 횟수를 추가하거나 구성하지 마세요. 데이터: [여기]
2) 추세 및 패턴 표시:
아래 연도별 출판/인용 데이터에서 주목할만한 추세(증가, 감소, 협업 집중)를 강조하세요. 모든 관찰은 데이터에 기초하고 추측하지 마십시오. 데이터: [여기]
3) 기준 해석 경고:
다음의 참고문헌 기준을 해석하고 그 한계도 명시하십시오. 어떤 주제에 대해 정보를 제공하는지, 어떤 주제에 대해 정보를 제공하지 않는지, 어떤 주제에 대해 오용될 가능성이 있습니까? 기준 및 맥락: [여기]
4) 면적 차이 제어:
다음 두 그룹의 인용 데이터를 직접 비교할 수 있나요? 분야 간 인용 문화의 차이를 평가하고 비교가 공정한지 설명합니다. 데이터: [여기]
약한 프롬프트 / 강한 프롬프트
약한 프롬프트:
이 저자의 가장 영향력 있는 논문과 인용 횟수를 나열하세요.
AI는 실제 데이터에 접근하지 않고 글로벌 메모리에서 가짜 제목과 인용 횟수를 생성합니다. 결과: 설득력 있지만 거짓된 분석이었습니다.
강력한 프롬프트:
귀하의 역할: 계량서지학 보조원. 아래는 실제 인용 데이터베이스에서 가져온 출판 인용 및 인용 번호입니다. 이 데이터를 가장 많이 인용된 도메인에서 가장 낮은 도메인 순으로 정렬하고 주제 클러스터로 나누고 각 클러스터를 요약합니다. 내가 제공한 데이터에서 벗어나지 말고 숫자나 라벨을 만들지 마십시오. 기준 제한에 대한 간단한 메모를 추가합니다. 데이터: [여기]
강력한 프롬프트; AI를 실제 데이터로 제한하고, 조작을 금지하며, 벤치마크 한계를 상기시킵니다.
기준 및 한도 표
기준
무엇을 보여주나요?
표시되지 않는 것
주의
인용횟수
사용량/가시성
품질, 정확성
지역 문화에 따라 다름
h-지수
생산성+효과
개인의 가치
경력 기간에 민감함
영향 요인
저널 평균
단일 기사의 가치
저널 수준 기준
협업 네트워크
누가 함께 일했는가
기여율
네트워크에서의 역할이 불분명함
일반적인 실수
- AI에게 인용횟수를 요청합니다. 숫자는 실제 데이터베이스 외부에서 구성됩니다.
- 기준이 품질의 척도라고 생각합니다. 인용은 품질이 아니라 사용법을 나타냅니다.
- 지역을 직접 비교합니다. 귀인 문화는 다르며 공정하지 않습니다.
- 인문학을 귀인으로 측정합니다. 책이 많은 결과물은 데이터베이스에서 제대로 표현되지 않습니다.
- 기준에 따라 개인을 평가합니다. 채용/승진 결정은 하나의 기준에 근거해서는 안 됩니다.
요약하면
계량서지학 및 인용 분석에서 AI는 실제 데이터를 클러스터링하고 추세를 표시하며 요약하는 강력한 보조자입니다. 그러나 AI 메모리에서 인용 번호와 작성자 이름을 가져오지 마십시오. 측정항목은 품질이 아닌 사용량과 가시성을 보여줍니다. 도메인 간에 비교할 수 없습니다. 인문학에서는 과소 대표되며 개인을 평가하는 데 단독으로 사용할 수 없습니다. 사서는 이러한 기준의 한계를 설명하고 정성적 평가와 균형을 맞추는 책임 있는 안내자입니다.
응용과제
실제 인용 데이터베이스에서 작은 출판물 목록(10-15개 레코드, 인용 횟수 포함)을 가져옵니다. AI 클러스터를 보유하고 "실제 인용 데이터 요약" 템플릿으로 요약한 다음, 데이터베이스에 대해 인용 및 횟수를 검증합니다. 그런 다음 "기준 해석 경고" 템플릿을 사용하여 선택한 지표(예: h-지수)의 한계를 인쇄하고 관리자에게 이를 어떻게 설명할 것인지 계획합니다.
체크리스트
- [ ] 실제 데이터베이스에서 인용 번호와 인용을 제공했으며 AI가 구성하지 않았습니다.
- [ ] 저는 품질이 아닌 사용량/가시성의 지표로 측정항목을 제시했습니다.
- [ ] 분야별 인용 문화의 차이를 고려했습니다.
- [ ] 인문학이 과소대표되는 점을 고려했습니다.
- [ ] 개인을 평가할 때 기준만을 단독으로 사용하지는 않았습니다.