Zyski:
- Możliwość wdrożenia nieuwzględniania liczby cytowań i cytatów z pamięci AI podczas grupowania i podsumowywania danych pobranych z rzeczywistej bazy cytowań za pomocą AI
- Umiejętność zrozumienia, że wskaźniki takie jak cytowanie, indeks H i współczynnik wpływu wskazują na wykorzystanie, ale nie na jakość, oraz ich nieporównywalność w różnych dziedzinach.
- Umiejętność rozważenia ograniczeń etycznych stosowania samych kryteriów bibliometrycznych w ocenie jednostek i zrównoważenia ich z oceną jakościową
Biblioteka uniwersytecka mierzy dorobek badawczy swojej instytucji; badacz, który ma znaleźć najbardziej wpływowe badania w danej dziedzinie; menedżer może chcieć ocenić widoczność naukową działu. Za tą pracą kryje się bibliometria: dziedzina zajmująca się numeryczną analizą publikacji naukowych i relacji cytowań pomiędzy nimi. W tej jednostce dowiesz się, jak wykorzystać sztuczną inteligencję w analizie cytowań, mapowaniu publikacji i ocenie wpływu; ale dowiesz się, jak poruszać się po granicach i pułapkach etycznych wskaźników numerycznych.
Zdefiniujmy pojęcia. Cytat to naukowe odniesienie jednej publikacji do innej publikacji; Liczbę cytowań uważa się za wskaźnik tego, jak często dzieło było wykorzystywane. Indeks h to miara, która łączy w sobie zarówno produktywność, jak i wpływ badacza (jeśli każda z h publikacji uzyskała co najmniej h cytowań, indeks h wynosi h). Impact Factor to miara pokazująca średni poziom cytowań czasopisma. Metryki te są przydatne, ale żadna nie jest bezpośrednią miarą „jakości”; Istotą bibliometrii jest pamiętanie o tym rozróżnieniu.
Krok po kroku: odpowiedzialna analiza bibliometryczna
1. Wyjaśnij pytanie. „Jakie są podstawowe badania z tego zakresu?”, „Jakie są najczęściej cytowane publikacje naszej instytucji?”, „Jak te dwie dziedziny się przenikają?” Każde pytanie wymaga innej analizy.
2. Korzystaj z wiarygodnych danych. Analiza cytowań jest tak wiarygodna, jak źródło danych. Sztuczna inteligencja może tworzyć liczniki cytowań lub listy publikacji; Dlatego niezbędna jest praca z danymi z prawdziwej bazy cytowań. Używaj sztucznej inteligencji do interpretowania i podsumowywania rzeczywistych danych, a nie do generowania danych.
3. Oznacz wzory. Sztuczna inteligencja pomaga podsumowywać grupy tematyczne, sieci współpracy lub trendy na przestrzeni czasu w dużym zestawie publikacji. Kieruje to uwagę analityka na ważne punkty.
4. Interpretuj kryterium w kontekście. Niska liczba cytowań nie oznacza, że praca jest bezwartościowa; Pole może być małe, temat może być nowy lub publikacja może być bardzo nowa. Nigdy nie interpretuj liczby bez kontekstu.
5. Przestrzegaj granicy etycznej. Miar bibliometrycznych nie należy stosować samodzielnie przy podejmowaniu decyzji dotyczących zatrudniania, awansowania lub finansowania poszczególnych osób. Liczby nie mierzą wartości ludzi; Nadużywanie ich jest zarówno niesprawiedliwe, jak i szkodliwe.
Wskazówka: gdy AI przeprowadza analizę cytowań, podaj liczbę cytowań i cytowania publikacji z prawdziwej bazy danych; Pozwól AI po prostu uporządkować, pogrupować i zinterpretować te dane. „Jaki jest indeks h tego pisarza?” Zapytanie bezpośrednio może skutkować otrzymaniem wymyślonego numeru.
Granice kryteriów i manipulacji
Ponieważ metryki bibliometryczne wydają się potężne, są podatne na nadużycia. Liczbę cytowań można zawyżać na różne sposoby: nadmierne samocytowanie (cytowanie własnej pracy), pierścienie cytowań (grupy osób wzajemnie cytujących się) lub własna kultura cytowań w danej dziedzinie. Co więcej, kryteria nie są porównywalne w różnych dziedzinach: środowisko cytowania artykułu medycznego i artykułu filozoficznego jest zupełnie inne.
Problem ten jest jeszcze bardziej widoczny w naukach humanistycznych i społecznych; ponieważ znaczące osiągnięcia w tych dziedzinach (książki, tłumaczenia, recenzje) są niedostatecznie reprezentowane w bazach danych cytowań. Mierzenie wpływu historyka lub literaturoznawcy wyłącznie na podstawie liczby cytowań oznacza błędne zrozumienie charakteru dzieła. Bibliotekarz jest przewodnikiem, który wyjaśnia administratorom i badaczom granice tych kryteriów.
Uwaga: nie należy przedstawiać miary bibliometrycznej jako ostatecznej oceny osiągnięć akademickich danej osoby lub jakości wydziału. Zasady odpowiedzialnej ewaluacji badań podkreślają, że działania powinny uzupełniać ewaluację jakościową, a nie ją zastępować.
trzy mini etui
Przypadek 1 – Mapowany obszar. Bibliotekarz chciał pokazać grupie badawczej podstawowe prace w swojej dziedzinie. Pobrano dane z 200 publikacji z prawdziwej bazy cytowań; YZ podsumował te dane w grupy tematyczne i wyróżnił 10 najczęściej cytowanych badań. Analityk zweryfikował każdy klaster i identyfikator w bazie danych; grupa szybko pojęła strukturę tego obszaru.
Przypadek 2 — wykryto fałszywy indeks h. Menedżer zapytał sztuczną inteligencję o indeks h badacza; AI powiedziała „42”. Bibliotekarz przejrzał aktualną bazę danych: prawidłowa wartość to 19; Sztuczna inteligencja wymyśliła tę liczbę. Pokazało to, że wskaźników nigdy nie należy pobierać z pamięci AI, ale z rzeczywistych danych.
Przypadek 3 – Zapobiegnięto nieprawidłowemu porównaniu. Jedna jednostka chciała przydzielić środki poprzez porównanie dwóch rozdziałów na podstawie średniej liczby cytowań. Bibliotekarz wyjaśnił, że jeden z wydziałów to wydział medyczny (wysoka kultura cytowań), a drugi humanistyczny (obfitość książek, kultura niskiego cytowania) i że takie porównanie byłoby niesprawiedliwe. Ocenę wsparto kryteriami jakościowymi, które uwzględniały różnice terenowe.
Mapy wizualne i pułapki czytelnicze
Często używanym narzędziem w bibliometrii są mapy sieci (np. sieci współcytowania lub współautorstwa), które pokazują powiązania pomiędzy publikacjami lub autorami za pomocą węzłów i linków. Mapy te uwidaczniają strukturę, skupiska i mosty danego obszaru; Sztuczna inteligencja może agregować podstawowe dane rzeczywiste i pomagać w interpretacji tych map. Jednak mapy wizualne, choć potężne, mogą również wprowadzać w błąd: duży, widoczny centralnie węzeł może nie być „najważniejszym”, ale po prostu „najbardziej połączonym”; Rozmiar klastra może odzwierciedlać jedynie objętość publikacji, a nie wartość tej przestrzeni. Dodatkowo sposób rysowania mapy (jaki próg, jaki okres czasu, jaka baza danych) całkowicie zmienia wynik. Dlatego przedstawiając wizualizację bibliometryczną jako podstawę do podjęcia decyzji, konieczne jest jasne określenie, na jakich danych się opiera, jakie parametry i w jakim okresie czasu. Jeśli komentarz wygenerowany przez sztuczną inteligencję kwalifikuje węzeł na mapie jako „lider” lub „najbardziej wpływowy”, sprawdź, czy ta charakterystyka jest poparta rzeczywistymi danymi.
Wskazówka: nie wpadnij w pułapkę „centrum = góra” podczas interpretacji mapy sieci. Centralność wskazuje jedynie na gęstość połączeń; Oryginalny wkład lub jakość dzieła nie jest widoczna na mapie i można ją zrozumieć jedynie poprzez zapoznanie się z treścią.
Cztery szablony do kopiowania
1) Podsumowanie faktycznych danych cytowań:
Poniżej znajduje się lista publikacji i numery cytowań, które pobrałem z prawdziwej bazy cytowań. Podziel je na grupy tematyczne i podsumuj każde skupienie w jednym zdaniu. Po prostu skorzystaj z podanych przeze mnie danych, nie dodawaj/nie wymyślaj nowych publikacji ani liczby cytowań. Dane: [tutaj]
2) Oznaczenie trendu i wzoru:
Podkreśl znaczące trendy (wzrost, spadek, koncentracja współpracy) w poniższych rocznych danych dotyczących publikacji/cytowań. Każdą obserwację opieraj na danych, nie spekuluj. Dane: [tutaj]
3) Ostrzeżenie dotyczące interpretacji kryteriów:
Zinterpretować następujące kryterium bibliometryczne, podając jednocześnie jego ograniczenia: na jaki temat podaje informacje, na jaki temat nie podaje informacji, na jaki temat jest narażony na nadużycia? Kryteria i kontekst: [tutaj]
4) Kontrola różnicy obszarów:
Czy można bezpośrednio porównać dane cytowań poniższych dwóch grup? Oceń różnice w kulturze cytowań pomiędzy dziedzinami i wyjaśnij, czy porównanie jest sprawiedliwe. Dane: [tutaj]
Słaba zachęta/silna zachęta
Słaba zachęta:
Wymień najbardziej wpływowe artykuły tego autora i liczbę cytowań.
Sztuczna inteligencja generuje wymyślone tytuły i liczbę cytowań ze swojej globalnej pamięci bez dostępu do prawdziwych danych. Wynik: przekonująca, ale fałszywa analiza.
Potężny monit:
Twoja rola: asystent bibliometryczny. Poniżej znajdują się cytaty publikacji i numery cytatów, które pobrałem z prawdziwej bazy cytatów. Posortuj te dane od domeny najczęściej cytowanej do domeny najniższej, podziel je na grupy tematyczne i podsumuj każde skupienie. Nie odbiegaj od podanych przeze mnie danych, nie wymyślaj żadnych liczb i etykiet. Dodaj krótką notatkę o granicach kryteriów. Dane: [tutaj]
Potężny monit; Ogranicza sztuczną inteligencję do rzeczywistych danych, zabrania fabrykacji i przypomina o limitach wzorcowych.
Tabela kryteriów i limitów
kryterium
Co pokazuje
Czego nie widać
Uwaga
Liczba cytatów
Użycie/widoczność
jakość, dokładność
Zależy od kultury obszaru
indeks h
Produktywność + wpływ
wartość jednostki
Wrażliwy na długość kariery
Współczynnik uderzenia
Średnia dziennika
Wartość pojedynczego artykułu
Kryteria na poziomie czasopisma
sieć współpracy
Z kim pracowałem
Stawka składki
Rola w sieci niejasna
Typowe błędy
- Żądanie liczby cytowań od AI. Liczby są tworzone poza prawdziwą bazą danych.
- Myślenie, że kryterium jest miarą jakości. Cytat wskazuje użycie, a nie jakość.
- Bezpośrednie porównywanie obszarów. Kultury atrybucji są różne, to nie jest sprawiedliwe.
- Mierzenie nauk humanistycznych przez atrybucję. Wyniki obejmujące dużą liczbę książek są niedostatecznie reprezentowane w bazach danych.
- Ocena osób za pomocą kryteriów. Decyzja o zatrudnieniu/awansu nie powinna opierać się na jednym kryterium.
Podsumowując
W bibliometrii i analizie cytowań sztuczna inteligencja jest potężnym asystentem, który grupuje rzeczywiste dane, zaznacza trendy i podsumowuje; Ale nigdy nie pobieraj numerów cytatów i podpisów z pamięci AI, ponieważ to zmyślone. Metryki pokazują wykorzystanie i widoczność, a nie jakość; nie można porównywać w różnych domenach; jest niedostatecznie reprezentowany w naukach humanistycznych i nie można go stosować samodzielnie do oceny jednostek. Bibliotekarz jest odpowiedzialnym przewodnikiem, który wyjaśnia granice tych kryteriów i równoważy je oceną jakościową.
Zadanie aplikacji
Weź małą listę publikacji (10-15 rekordów, z liczbą cytowań) z prawdziwej bazy cytowań. Posiadaj klaster AI i podsumuj za pomocą szablonu „Podsumuj prawdziwe dane cytowań”, a następnie zweryfikuj cytaty i liczby w bazie danych. Następnie wydrukuj granice wybranego metryki (np. indeksu h) za pomocą szablonu „Ostrzeżenie dotyczące interpretacji kryteriów” i zaplanuj, jak wyjaśnisz to menadżerowi.
lista kontrolna
- [ ] Podałem numery cytatów i cytaty z prawdziwej bazy danych, nie zleciłem ich wymyślenia przez sztuczną inteligencję.
- [ ] Metryki przedstawiłem jako wskaźniki wykorzystania/widoczności, a nie jakości.
- [ ] Uwzględniłem różnicę w kulturze cytowań pomiędzy dziedzinami.
- [ ] Brałem pod uwagę niedostateczną reprezentację nauk humanistycznych.
- [ ] Nie stosowałem samego kryterium w ocenie jednostek.