Lợi nhuận:
- Khả năng triển khai không bao giờ lấy số lượng trích dẫn và trích dẫn từ bộ nhớ AI trong khi phân cụm và tóm tắt dữ liệu lấy từ cơ sở dữ liệu trích dẫn thực bằng AI
- Khả năng hiểu rằng các số liệu như trích dẫn, chỉ số h và hệ số tác động cho thấy mức độ sử dụng chứ không phải chất lượng cũng như tính không thể so sánh của chúng giữa các lĩnh vực.
- Khả năng xem xét các giới hạn đạo đức của việc chỉ sử dụng các tiêu chí trắc lượng thư mục trong việc đánh giá các cá nhân và cân bằng chúng với đánh giá định tính
Thư viện đại học đo lường kết quả nghiên cứu của cơ quan mình; một nhà nghiên cứu tìm ra những nghiên cứu có ảnh hưởng nhất trong một lĩnh vực; người quản lý có thể muốn đánh giá tầm nhìn khoa học của một bộ phận. Đằng sau công việc này là trắc lượng thư mục: lĩnh vực kiểm tra số lượng các ấn phẩm khoa học và mối quan hệ trích dẫn giữa chúng. Trong phần này, bạn sẽ học cách sử dụng trí tuệ nhân tạo trong phân tích trích dẫn, lập bản đồ xuất bản và đánh giá tác động; nhưng bạn sẽ học cách vượt qua các giới hạn và cạm bẫy đạo đức của các số liệu số.
Hãy xác định các khái niệm. Trích dẫn là tài liệu tham khảo khoa học được thực hiện bởi ấn phẩm này sang ấn phẩm khác; Số lượng trích dẫn được coi là thước đo mức độ một tác phẩm đã được sử dụng. Chỉ số h là thước đo kết hợp cả năng suất và tác động của một nhà nghiên cứu (nếu h số lượng ấn phẩm từng nhận được ít nhất h trích dẫn thì chỉ số h là h). Hệ số tác động là thước đo thể hiện mức độ trích dẫn trung bình của một tạp chí. Những thước đo này hữu ích nhưng không có thước đo nào trực tiếp đo lường “chất lượng”; Hãy ghi nhớ sự khác biệt này là bản chất của phép đo thư mục.
Từng bước: phân tích thư mục có trách nhiệm
1. Làm rõ câu hỏi. "Những nghiên cứu cơ bản về lĩnh vực này là gì?", "Những ấn phẩm nào được trích dẫn nhiều nhất của tổ chức chúng tôi?", "Hai lĩnh vực này giao nhau như thế nào?" Mỗi câu hỏi yêu cầu một phân tích khác nhau.
2. Sử dụng dữ liệu đáng tin cậy. Phân tích trích dẫn chỉ đáng tin cậy như nguồn dữ liệu. AI có thể tạo nên số lượng trích dẫn hoặc danh sách xuất bản; Vì vậy, điều cần thiết là phải làm việc với dữ liệu từ cơ sở dữ liệu trích dẫn thực. Sử dụng AI để diễn giải và tóm tắt dữ liệu thực chứ không phải để tạo ra dữ liệu.
3. Đánh dấu các mẫu. AI giúp tóm tắt các cụm chủ đề, mạng lưới cộng tác hoặc xu hướng theo thời gian trong một bộ ấn phẩm lớn. Điều này hướng sự chú ý của nhà phân tích con người đến những điểm quan trọng.
4. Giải thích tiêu chí trong bối cảnh. Số lượng trích dẫn thấp không có nghĩa là tác phẩm đó vô giá trị; Lĩnh vực này có thể nhỏ, chủ đề có thể mới hoặc ấn phẩm có thể rất mới. Không bao giờ giải thích con số mà không có ngữ cảnh.
5. Tuân thủ ranh giới đạo đức. Các biện pháp đo lường thư mục không nên được sử dụng một mình để đưa ra quyết định về tuyển dụng, thăng chức hoặc tài trợ cho các cá nhân. Những con số không đo lường được giá trị con người; Lạm dụng chúng vừa không công bằng vừa có hại.
Mẹo: Khi nhờ AI thực hiện phân tích trích dẫn, hãy cung cấp số lượng trích dẫn và trích dẫn xuất bản từ cơ sở dữ liệu thực; Hãy để AI đơn giản là tổ chức, nhóm và giải thích dữ liệu này. “Chỉ số h của nhà văn này là bao nhiêu?” Hỏi trực tiếp có thể dẫn đến một con số bịa đặt.
Giới hạn của tiêu chí và thao tác
Bởi vì các phép đo thư mục có vẻ mạnh mẽ nên chúng dễ bị lạm dụng. Số lượng trích dẫn có thể được tăng cao theo nhiều cách khác nhau: tự trích dẫn quá mức (trích dẫn tác phẩm của chính mình), vòng trích dẫn (các nhóm người trích dẫn lẫn nhau) hoặc văn hóa trích dẫn của chính lĩnh vực đó. Hơn nữa, các tiêu chí không thể so sánh được giữa các lĩnh vực: môi trường trích dẫn của một bài báo y khoa và một bài báo triết học là hoàn toàn khác nhau.
Vấn đề này càng thể hiện rõ hơn trong các ngành khoa học xã hội và nhân văn; bởi vì những kết quả đầu ra quan trọng trong các lĩnh vực này (sách, bản dịch, bài phê bình) không được trình bày đầy đủ trong cơ sở dữ liệu trích dẫn. Đo lường tác động của một nhà sử học hoặc học giả văn học chỉ bằng số lượng trích dẫn là hiểu sai bản chất của tác phẩm. Thủ thư là người hướng dẫn giải thích các giới hạn của các tiêu chí này cho các quản trị viên và nhà nghiên cứu.
Thận trọng: Không đưa ra thước đo thư mục như một đánh giá cuối cùng về thành tích học tập của một cá nhân hoặc chất lượng của một bộ phận. Nguyên tắc đánh giá nghiên cứu có trách nhiệm nhấn mạnh rằng các biện pháp nên bổ sung cho đánh giá định tính chứ không phải thay thế nó.
ba trường hợp nhỏ
Trường hợp 1 - Bản đồ khu vực. Một thủ thư muốn cho nhóm nghiên cứu thấy công việc cơ bản trong lĩnh vực của họ. Nó lấy dữ liệu từ 200 ấn phẩm từ cơ sở dữ liệu trích dẫn thực tế; YZ đã tóm tắt dữ liệu này thành các cụm chủ đề và nêu bật 10 nghiên cứu được trích dẫn nhiều nhất. Nhà phân tích đã xác minh từng cụm và mã định danh trong cơ sở dữ liệu; cả nhóm nhanh chóng nắm bắt được cấu trúc của khu vực.
Trường hợp 2 - Chỉ số h giả bị bắt. Người quản lý hỏi AI về chỉ số h của nhà nghiên cứu; AI nói "42". Người thủ thư nhìn vào cơ sở dữ liệu thực tế: giá trị đúng là 19; AI đã tạo nên con số. Điều này cho thấy rằng các số liệu không bao giờ được lấy từ bộ nhớ AI mà phải từ dữ liệu thực.
Trường hợp 3 - Ngăn chặn so sánh không chính xác. Một đơn vị muốn phân bổ kinh phí bằng cách so sánh hai chương dựa trên số lượng trích dẫn trung bình của chúng. Người thủ thư giải thích rằng một trong các khoa là y học (văn hóa trích dẫn cao) và khoa kia là nhân văn (văn hóa nặng sách, ít trích dẫn), và sự so sánh này sẽ không công bằng. Việc đánh giá được hỗ trợ bởi các tiêu chí định tính có tính đến sự khác biệt trong lĩnh vực này.
Bản đồ trực quan và bẫy đọc
Một công cụ được sử dụng thường xuyên trong đo lường thư mục là bản đồ mạng (ví dụ: mạng đồng trích dẫn hoặc mạng đồng tác giả), hiển thị mối quan hệ giữa các ấn phẩm hoặc tác giả theo nút và liên kết. Những bản đồ này thể hiện cấu trúc, các cụm, công trình cầu của một khu vực; AI có thể tổng hợp dữ liệu thực cơ bản và giúp giải thích các bản đồ này. Tuy nhiên, các bản đồ trực quan, tuy mạnh mẽ nhưng cũng có thể gây hiểu nhầm: một nút lớn, hiển thị ở trung tâm có thể không phải là nút "quan trọng nhất" mà chỉ là nút "được kết nối nhiều nhất"; Kích thước của một cụm chỉ có thể phản ánh khối lượng xuất bản chứ không phải giá trị của không gian đó. Ngoài ra, cách vẽ bản đồ (ngưỡng nào, khoảng thời gian nào, cơ sở dữ liệu nào) sẽ thay đổi hoàn toàn kết quả. Do đó, khi trình bày trực quan hóa thư mục làm cơ sở cho một quyết định, bắt buộc phải nêu rõ nó dựa trên dữ liệu nào, tham số nào và trong khoảng thời gian nào. Nếu nhận xét do AI tạo đủ điều kiện cho một nút trên bản đồ là “người dẫn đầu” hoặc “có ảnh hưởng nhất”, hãy kiểm tra xem liệu đặc điểm đó có được dữ liệu thực hỗ trợ hay không.
Mẹo: Đừng rơi vào bẫy "center = top" khi diễn giải bản đồ mạng. Tính trung tâm chỉ biểu thị mật độ kết nối; Đóng góp ban đầu hoặc chất lượng của tác phẩm không hiển thị trên bản đồ và chỉ có thể hiểu được bằng cách đọc nội dung.
Bốn mẫu có thể sao chép
1) Tổng hợp số liệu trích dẫn thực tế:
Dưới đây là danh sách xuất bản và số trích dẫn tôi lấy từ cơ sở dữ liệu trích dẫn thực. Chia chúng thành các cụm chủ đề và tóm tắt từng cụm trong một câu duy nhất. Chỉ sử dụng dữ liệu tôi cung cấp, không thêm/tạo nên các ấn phẩm hoặc số lượng trích dẫn mới. Dữ liệu: [tại đây]
2) Đánh dấu xu hướng và mô hình:
Làm nổi bật các xu hướng đáng chú ý (tăng, giảm, tập trung cộng tác) trong dữ liệu xuất bản/trích dẫn theo năm bên dưới. Hãy căn cứ mọi quan sát vào dữ liệu, đừng suy đoán. Dữ liệu: [tại đây]
3) Cảnh báo giải thích tiêu chí:
Giải thích tiêu chí đo thư mục sau đây, đồng thời nêu rõ các giới hạn của nó: nó cung cấp thông tin về chủ đề nào, nó không cung cấp thông tin về chủ đề nào, nó có nguy cơ bị lạm dụng về chủ đề nào? Tiêu chí và bối cảnh: [tại đây]
4) Kiểm soát chênh lệch diện tích:
Dữ liệu trích dẫn của hai nhóm sau có thể được so sánh trực tiếp không? Đánh giá sự khác biệt trong văn hóa trích dẫn giữa các lĩnh vực và giải thích liệu sự so sánh có công bằng hay không. Dữ liệu: [tại đây]
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Liệt kê các bài viết có ảnh hưởng nhất và số lượng trích dẫn của tác giả này.
AI tạo ra các tiêu đề và số lượng trích dẫn giả tạo từ bộ nhớ chung của nó mà không cần truy cập vào dữ liệu thực. Kết quả: một phân tích thuyết phục nhưng giả mạo.
Lời nhắc mạnh mẽ:
Vai trò của bạn: trợ lý đo lường thư mục. Dưới đây là các trích dẫn xuất bản và số trích dẫn tôi lấy từ cơ sở dữ liệu trích dẫn thực. Sắp xếp dữ liệu này từ miền được trích dẫn nhiều nhất đến thấp nhất, chia thành các cụm chủ đề và tóm tắt từng cụm. Không đi chệch khỏi dữ liệu tôi đã đưa ra, không tạo nên bất kỳ con số hoặc nhãn hiệu nào. Thêm một ghi chú ngắn về giới hạn của tiêu chí. Dữ liệu: [tại đây]
Lời nhắc mạnh mẽ; Nó giới hạn AI ở dữ liệu thực, cấm chế tạo và nhắc nhở chúng ta về các giới hạn điểm chuẩn.
Bảng tiêu chí và giới hạn
tiêu chí
Những gì cho thấy
Những gì không hiển thị
Chú ý
Số lượng trích dẫn
Cách sử dụng/khả năng hiển thị
chất lượng, độ chính xác
Phụ thuộc vào văn hóa khu vực
chỉ số h
Năng suất+tác động
giá trị của cá nhân
Nhạy cảm với thời gian làm việc
Hệ số tác động
Tạp chí trung bình
Giá trị của một bài viết
Tiêu chí cấp tạp chí
mạng lưới cộng tác
Ai đã làm việc với
Tỷ lệ đóng góp
Vai trò trong mạng không rõ ràng
Những lỗi thường gặp
- Yêu cầu số lượng trích dẫn từ AI. Các số được tạo bên ngoài cơ sở dữ liệu thực.
- Nghĩ rằng tiêu chí là thước đo chất lượng. Trích dẫn chỉ ra cách sử dụng, không phải chất lượng.
- So sánh trực tiếp các khu vực Văn hóa phân bổ là khác nhau, nó không công bằng.
- Đo lường tính nhân văn bằng cách ghi công. Các đầu ra nặng về sách không được thể hiện đầy đủ trong cơ sở dữ liệu.
- Đánh giá cá nhân bằng các tiêu chí Quyết định tuyển dụng/thăng chức không nên dựa trên một tiêu chí duy nhất.
Tóm lại
Trong phân tích thư mục và trích dẫn, AI là một trợ lý đắc lực giúp phân cụm dữ liệu thực, đánh dấu xu hướng và tóm tắt; Nhưng đừng bao giờ lấy số trích dẫn và dòng tên từ bộ nhớ AI, vì nó bịa đặt. Số liệu hiển thị mức sử dụng và khả năng hiển thị chứ không phải chất lượng; không thể so sánh giữa các miền; ít được trình bày trong lĩnh vực nhân văn và không thể được sử dụng một mình để đánh giá các cá nhân. Thủ thư là người hướng dẫn có trách nhiệm, người giải thích các giới hạn của các tiêu chí này và cân bằng chúng với đánh giá định tính.
Nhiệm vụ ứng dụng
Lấy một danh sách nhỏ các ấn phẩm (10-15 bản ghi, có số lượng trích dẫn) từ cơ sở dữ liệu trích dẫn thực. Có cụm AI và tổng hợp bằng mẫu “Tóm tắt dữ liệu trích dẫn thực”, sau đó xác thực các trích dẫn và đếm đối với cơ sở dữ liệu. Sau đó, in ra các giới hạn của chỉ số bạn chọn (ví dụ: chỉ số h) với mẫu "Cảnh báo diễn giải tiêu chí" và lập kế hoạch cách bạn sẽ giải thích chỉ số đó với người quản lý.
danh sách kiểm tra
- [ ] Tôi đã cung cấp số trích dẫn và trích dẫn từ cơ sở dữ liệu thực, tôi không tạo ra chúng bởi AI.
- [ ] Tôi đã trình bày các số liệu dưới dạng chỉ số về mức độ sử dụng/khả năng hiển thị chứ không phải chất lượng.
- [ ] Tôi đã tính đến sự khác biệt trong văn hóa trích dẫn giữa các lĩnh vực.
- [ ] Tôi đã tính đến sự thiếu hiểu biết của ngành nhân văn.
- [ ] Tôi không chỉ sử dụng tiêu chí này để đánh giá các cá nhân.