Dobici:
- Sposobnost implementacije nikada ne uzimajući broj citata i citate iz AI memorije dok grupiše i sumira podatke preuzete iz stvarne baze podataka citata pomoću AI
- Sposobnost razumijevanja da metrike kao što su citat, h-indeks i faktor uticaja ukazuju na upotrebu, ali ne i na kvalitet, i njihovu neuporedivost u različitim poljima.
- Sposobnost da se uzmu u obzir etičke granice korištenja samo bibliometrijskih kriterija u evaluaciji pojedinaca i uravnoteže ih s kvalitativnom evaluacijom
Univerzitetska biblioteka mjeri rezultate istraživanja svoje institucije; istraživač da pronađe najutjecajnije studije u nekoj oblasti; menadžer možda želi da proceni naučnu vidljivost odeljenja. Iza ovog rada stoji bibliometrija: polje koje numerički ispituje naučne publikacije i citatne odnose među njima. U ovoj jedinici ćete naučiti kako koristiti umjetnu inteligenciju u analizi citata, mapiranju publikacija i procjeni uticaja; ali ćete naučiti kako se kretati granicama i etičkim zamkama numeričke metrike.
Hajde da definišemo pojmove. Citiranje je naučna referenca jedne publikacije na drugu publikaciju; Broj citata se smatra pokazateljem koliko je djelo korišteno. h-indeks je mjera koja kombinuje i produktivnost i uticaj istraživača (ako je svaka od h publikacija dobila najmanje h citata, h-indeks je h). Impact faktor je mjera koja pokazuje prosječan nivo citiranosti časopisa. Ove metrike su korisne, ali nijedna nije direktna mjera “kvaliteta”; Imati na umu ovu razliku je suština bibliometrije.
Korak po korak: odgovorna bibliometrijska analiza
1. Pojasnite pitanje. "Koje su osnovne studije ove oblasti?", "Koje su najcitiranije publikacije naše institucije?", "Kako se ta dva polja ukrštaju?" Svako pitanje zahtijeva drugačiju analizu.
2. Koristite pouzdane podatke. Analiza citata je pouzdana samo onoliko koliko je pouzdan izvor podataka. AI može sastaviti broj citata ili liste publikacija; Stoga je bitno raditi s podacima iz realne baze podataka citata. Koristite AI za tumačenje i sumiranje stvarnih podataka, a ne za generiranje podataka.
3. Označite šare. AI pomaže u sažetku tematskih grupa, kolaborativnih mreža ili trendova tokom vremena u velikom skupu publikacija. Ovo usmjerava pažnju ljudskog analitičara na važne tačke.
4. Protumačite kriterijum u kontekstu. Nizak broj citata ne znači da je rad bezvrijedan; Polje može biti malo, tema može biti nova ili publikacija može biti vrlo nova. Nikada ne tumačite broj bez konteksta.
5. Poštujte etičku granicu. Bibliometrijske mjere ne treba koristiti same za donošenje odluka o zapošljavanju, unapređenju ili finansiranju pojedinaca. Brojevi ne mjere vrijednost ljudi; Zloupotreba njih je i nepravedna i štetna.
Savjet: kada AI izvrši analizu citata, navedite broj citata i citate publikacije iz prave baze podataka; Neka AI jednostavno organizira, grupiše i interpretira ove podatke. "Koji je h-indeks ovog pisca?" Direktno pitanje može dovesti do izmišljenog broja.
Granice kriterija i manipulacije
Budući da se bibliometrijska metrika čini moćnom, otvorena je za zloupotrebu. Broj citata se može povećati na različite načine: prekomjerno samocitiranje (citiranje vlastitog rada), prstenovi citiranja (grupe ljudi koji uzajamno citiraju jedni druge) ili vlastita kultura citiranja na terenu. Štaviše, kriterijumi nisu uporedivi u različitim oblastima: okruženje citiranja medicinskog članka i članka iz filozofije je potpuno različito.
Ovaj problem je još očigledniji u humanističkim i društvenim naukama; jer su značajni rezultati u ovim oblastima (knjige, prevodi, recenzije) nedovoljno zastupljeni u bazama podataka citata. Mjerenje utjecaja istoričara ili književnika isključivo brojem citata znači pogrešno razumjeti prirodu djela. Bibliotekar je vodič koji administratorima i istraživačima objašnjava ograničenja ovih kriterijuma.
Oprez: Ne predstavljajte bibliometrijsku mjeru kao konačan sud o akademskim zaslugama pojedinca ili kvalitetu odjela. Principi odgovorne evaluacije istraživanja naglašavaju da mjere treba da dopune kvalitativnu evaluaciju, a ne da je zamjene.
tri mini kofera
Slučaj 1 — Mapirano područje. Bibliotekar je želeo da istraživačkoj grupi pokaže osnovni rad u svojoj oblasti. Izvukao je podatke iz 200 publikacija iz prave baze podataka; YZ je sažeo ove podatke u klastere tema i istakao 10 najcitiranijih studija. Analitičar je verificirao svaki klaster i identifikator u bazi podataka; grupa je brzo shvatila strukturu područja.
Slučaj 2 — Lažni h-indeks uhvaćen. Menadžer je pitao AI o istraživačkom h-indeksu; AI je rekao "42". Bibliotekar je pogledao stvarnu bazu podataka: tačna vrednost je bila 19; AI je izmislio broj. Ovo je pokazalo da metriku nikada ne treba uzimati iz AI memorije već iz stvarnih podataka.
Slučaj 3 — Spriječeno je pogrešno poređenje. Jedna jedinica je željela dodijeliti sredstva upoređujući dva poglavlja na osnovu njihovog prosječnog broja citata. Bibliotekarka je objasnila da je jedan od odsjeka medicina (visoka kultura citiranosti), a drugi humanistički (knjiga teška, niska citirana kultura), te da bi ovo poređenje bilo nepravedno. Evaluacija je podržana kvalitativnim kriterijumima koji su uzeli u obzir razlike na terenu.
Vizuelne karte i zamke za čitanje
Često korišteni alat u bibliometriji su mrežne karte (npr. mreže kocitata ili koautorstva), koje prikazuju odnose između publikacija ili autora po čvorovima i vezama. Ove karte čine vidljivom strukturu, klastere i mostove područja; AI može agregirati osnovne stvarne podatke i pomoći u tumačenju ovih mapa. Ali vizuelne mape, iako moćne, takođe mogu da dovedu u zabludu: veliki, centralno vidljiv čvor možda nije „najvažniji“ već samo „najpovezaniji“; Veličina klastera može odražavati samo obim publikacije, a ne vrijednost tog prostora. Dodatno, način na koji je mapa nacrtana (koji prag, koji vremenski period, koja baza podataka) potpuno mijenja ishod. Stoga, kada se predstavlja bibliometrijska vizualizacija kao osnova za odluku, neophodno je jasno navesti na kojim podacima se zasniva, kojim parametrima i u kom vremenskom periodu. Ako komentar koji je generirala umjetna inteligencija kvalifikuje čvor na mapi kao „vodeći“ ili „najutjecajniji“, provjerite da li je ta karakterizacija podržana stvarnim podacima.
Savjet: Nemojte upasti u zamku "centar = vrh" kada tumačite mrežnu mapu. Centralnost samo ukazuje na gustinu veze; Originalni doprinos ili kvalitet rada nije vidljiv na karti i može se razumjeti samo čitanjem sadržaja.
Četiri šablona za kopiranje
1) Sumiranje stvarnih podataka o citatima:
Ispod je lista publikacija i brojevi citata koje sam uzeo iz prave baze podataka citata. Podijelite ih u grupe tema i sažmite svaki klaster u jednoj rečenici. Samo koristite podatke koje sam dao, nemojte dodavati/izmišljati nove publikacije ili broj citata. Podaci: [ovdje]
2) Označavanje trenda i uzorka:
Istaknite značajne trendove (povećanje, smanjenje, koncentracija saradnje) u podacima o objavljivanju/citiranju na osnovu godine u nastavku. Svako zapažanje zasnivajte na podacima, nemojte nagađati. Podaci: [ovdje]
3) Upozorenje na tumačenje kriterijuma:
Protumačite sljedeći bibliometrijski kriterij, navodeći i njegove granice: o kojoj temi daje informacije, o kojoj ne daje informacije, o kojoj temi je otvoren za zloupotrebu? Kriterijumi i kontekst: [ovdje]
4) Kontrola razlike u površini:
Mogu li se podaci o citatima sljedeće dvije grupe direktno uporediti? Procijenite razlike u kulturi citiranja između polja i objasnite da li je poređenje pravedno. Podaci: [ovdje]
Slaba prompt / Jaka prompt
Slab upit:
Navedite najutjecajnije članke ovog autora i broj citata.
AI generira izmišljene naslove i brojeve citata iz svoje globalne memorije bez pristupa stvarnim podacima. Rezultat: uvjerljiva, ali lažna analiza.
Snažan upit:
Vaša uloga: asistent bibliometrije. Ispod su citati publikacija i brojevi citata koje sam izvukao iz baze pravih citata. Sortirajte ove podatke od najčešće citirane domene do najniže, podijelite ih u klastere tema i sumirajte svaki klaster. Ne odstupajte od podataka koje sam dao, ne izmišljajte nikakve brojeve ili oznake. Dodajte kratku napomenu o granicama kriterija. Podaci: [ovdje]
Snažan prompt; Ograničava AI na stvarne podatke, zabranjuje fabrikovanje i podsjeća nas na ograničenja referentnih vrijednosti.
Tabela kriterijuma i ograničenja
kriterijum
Šta pokazuje
Šta se ne pokazuje
Pažnja
Broj citata
Upotreba/vidljivost
kvalitet, tačnost
Zavisi od kulture područja
h-indeks
Produktivnost+uticaj
vrednost pojedinca
Osetljiv na dužinu karijere
Faktor uticaja
Prosek časopisa
Vrijednost pojedinačnog artikla
Kriterijumi na nivou časopisa
mreža saradnje
Ko je radio sa
Stopa doprinosa
Nejasna uloga u mreži
Uobičajene greške
- Zahtijevam broj citata od AI. Brojevi su sastavljeni izvan prave baze podataka.
- Smatrajući da je kriterij mjera kvaliteta. Citiranje označava upotrebu, a ne kvalitet.
- Direktno upoređivanje područja. Kulture atribucije su različite, to nije fer.
- Mjerenje humanističkih nauka atribucijom. Ishodi koji obiluju knjigama nedovoljno su zastupljeni u bazama podataka.
- Ocjenjivanje pojedinaca kriterijima. Odluka o zapošljavanju/napredovanju ne bi trebalo da se zasniva na jednom kriterijumu.
Ukratko
U bibliometriji i analizi citata, AI je moćan pomoćnik koji grupiše stvarne podatke, označava trendove i sažima; Ali nikada nemojte uzimati brojeve citata i autorske linije iz AI memorije, jer to čini. Metrike pokazuju upotrebu i vidljivost, a ne kvalitet; ne može se porediti po domenima; je nedovoljno zastupljen u humanističkim naukama i ne može se koristiti sam za procjenu pojedinaca. Bibliotekar je odgovoran vodič koji objašnjava granice ovih kriterijuma i balansira ih sa kvalitativnom evaluacijom.
Zadatak aplikacije
Uzmite malu listu publikacija (10-15 zapisa, sa brojem citata) iz prave baze podataka citata. Napravite AI klaster i sumirajte pomoću predloška „Summarize real citation data“, a zatim provjerite valjanost citata i brojanja u bazi podataka. Zatim odštampajte granice metrike po vašem izboru (npr. h-indeks) sa šablonom "Upozorenje o tumačenju kriterijuma" i isplanirajte kako ćete to objasniti menadžeru.
kontrolna lista
- [ ] Naveo sam brojeve citata i citate iz prave baze podataka, nisam ih napravio od AI.
- [ ] Predstavio sam metriku kao pokazatelje upotrebe/vidljivosti, a ne kvaliteta.
- [ ] Uzeo sam u obzir razliku u kulturi citiranja između polja.
- [ ] Uzeo sam u obzir nedovoljnu zastupljenost humanističkih nauka.
- [ ] Nisam koristio samo kriterij u ocjenjivanju pojedinaca.