Mga nadagdag:
- Kakayahang ipatupad na hindi kailanman kumukuha ng bilang ng mga pagsipi at mga pagsipi mula sa memorya ng AI habang pinagsama-sama at nagbubuod ng data na kinuha mula sa totoong database ng pagsipi na may AI
- Kakayahang maunawaan na ang mga sukatan gaya ng pagsipi, h-index, at impact factor ay nagpapahiwatig ng paggamit ngunit hindi kalidad, at ang kanilang hindi pagkakatulad sa mga field.
- Kakayahang isaalang-alang ang mga etikal na limitasyon ng paggamit ng bibliometric na pamantayan lamang sa pagsusuri ng mga indibidwal at balansehin ang mga ito sa qualitative evaluation
Sinusukat ng aklatan ng unibersidad ang resulta ng pananaliksik ng institusyon nito; isang mananaliksik upang mahanap ang pinaka-maimpluwensyang pag-aaral ng isang larangan; maaaring naisin ng isang tagapamahala na suriin ang kakayahang makita sa siyensya ng isang departamento. Sa likod ng gawaing ito ay bibliometrics: ang patlang na sumusuri sa mga siyentipikong publikasyon at ang mga ugnayan sa pagitan ng mga ito. Sa yunit na ito, matututunan mo kung paano gumamit ng artificial intelligence sa pagsusuri ng pagsipi, pagmamapa ng publikasyon at pagtatasa ng epekto; ngunit matututunan mo kung paano i-navigate ang mga limitasyon at etikal na mga pitfalls ng mga numerical na sukatan.
Tukuyin natin ang mga konsepto. Ang pagsipi ay isang siyentipikong sanggunian na ginawa ng isang publikasyon sa ibang publikasyon; Ang bilang ng mga pagsipi ay itinuturing na isang tagapagpahiwatig kung gaano karami ang isang akda na nagamit. Ang h-index ay isang sukat na pinagsasama-sama ang pagiging produktibo at epekto ng isang mananaliksik (kung h bilang ng mga publikasyon ang bawat isa ay nakatanggap ng hindi bababa sa h pagsipi, ang h-index ay h). Ang epekto na kadahilanan ay isang sukatan na nagpapakita ng average na antas ng pagsipi ng isang journal. Ang mga sukatan na ito ay kapaki-pakinabang, ngunit walang direktang mga sukat ng "kalidad"; Ang pag-iingat sa pagkakaibang ito sa isip ay ang kakanyahan ng bibliometrics.
Hakbang-hakbang: responsableng pagsusuri sa bibliometric
1. Linawin ang tanong. "Ano ang mga pangunahing pag-aaral sa larangang ito?", "Alin ang mga pinaka binanggit na publikasyon ng ating institusyon?", "Paano nagsasalubong ang dalawang larangang ito?" Ang bawat tanong ay nangangailangan ng ibang pagsusuri.
2. Gumamit ng maaasahang data. Ang pagsusuri sa pagsipi ay kasing maaasahan lamang ng pinagmumulan ng data. Maaaring gumawa ang AI ng mga bilang ng pagsipi o mga listahan ng publikasyon; Samakatuwid, ito ay mahalaga upang gumana sa data mula sa isang tunay na database ng pagsipi. Gumamit ng AI upang bigyang-kahulugan at ibuod ang totoong data, hindi para bumuo ng data.
3. Ipamarkahan ang mga pattern. Tumutulong ang AI na i-summarize ang mga cluster ng paksa, collaborative na network, o trend sa paglipas ng panahon sa isang malaking hanay ng mga publikasyon. Idinidirekta nito ang atensyon ng taong analyst sa mahahalagang punto.
4. Bigyang-kahulugan ang pamantayan sa konteksto. Ang isang mababang bilang ng pagsipi ay hindi nagpapahiwatig na ang gawain ay walang halaga; Maaaring maliit ang field, maaaring bago ang paksa, o maaaring napakabago ng publikasyon. Huwag kailanman bigyang-kahulugan ang numero nang walang konteksto.
5. Obserbahan ang etikal na hangganan. Ang mga panukalang bibliometric ay hindi dapat gamitin nang nag-iisa upang gumawa ng mga desisyon tungkol sa pagkuha, pag-promote, o pagpopondo ng mga indibidwal. Hindi sinusukat ng mga numero ang halaga ng mga tao; Ang pag-abuso sa kanila ay parehong hindi patas at nakakapinsala.
Tip: Kapag nagsasagawa ang AI ng pagsusuri ng pagsipi, ibigay ang mga bilang ng pagsipi at mga pagsipi ng publikasyon mula sa totoong database; Hayaan ang AI na ayusin, pangkatin at bigyang-kahulugan ang data na ito. "Ano ang h-index ng manunulat na ito?" Ang direktang pagtatanong ay maaaring magresulta sa isang ginawang numero.
Mga limitasyon ng pamantayan at pagmamanipula
Dahil mukhang makapangyarihan ang mga sukatan ng bibliometric, bukas ang mga ito sa pang-aabuso. Maaaring pataasin ang mga numero ng pagsipi sa iba't ibang paraan: labis na pagsipi sa sarili (pagbabanggit ng sariling gawa), mga pagsipi ng pagsipi (mga grupo ng mga tao na magkasabay na binabanggit ang isa't isa), o ang sariling kultura ng pagsipi ng larangan. Bukod dito, ang mga pamantayan ay hindi maihahambing sa mga larangan: ang kapaligiran ng pagsipi ng isang medikal na artikulo at isang artikulo ng pilosopiya ay ganap na naiiba.
Ang problemang ito ay mas maliwanag sa humanidades at social sciences; dahil ang mga makabuluhang output sa mga field na ito (mga aklat, pagsasalin, review) ay kulang sa representasyon sa mga database ng pagsipi. Upang sukatin ang epekto ng isang mananalaysay o iskolar sa panitikan sa pamamagitan lamang ng bilang ng mga pagsipi ay ang hindi pagkakaunawaan sa katangian ng akda. Ang librarian ay isang gabay na nagpapaliwanag ng mga limitasyon ng mga pamantayang ito sa mga administrador at mananaliksik.
Babala: Huwag magpakita ng bibliometric measure bilang panghuling paghatol tungkol sa akademikong merito ng isang indibidwal o sa kalidad ng isang departamento. Ang mga prinsipyo ng responsableng pagsusuri sa pananaliksik ay nagbibigay-diin na ang mga panukala ay dapat umakma sa husay na pagsusuri, hindi palitan ito.
tatlong mini case
Case 1 — Naka-map ang lugar. Nais ng isang librarian na magpakita ng pangunahing gawain ng pangkat ng pananaliksik sa kanilang larangan. Kinuha nito ang data mula sa 200 publikasyon mula sa isang tunay na database ng pagsipi; Ibinuod ng YZ ang data na ito sa mga cluster ng paksa at itinampok ang 10 pinaka binanggit na pag-aaral. Na-verify ng analyst ang bawat cluster at identifier sa database; mabilis na nahawakan ng grupo ang istruktura ng lugar.
Case 2 — Nahuli ang pekeng h-index. Tinanong ng isang manager ang AI tungkol sa h-index ng isang mananaliksik; Sinabi ng AI na "42". Tiningnan ng librarian ang aktwal na database: ang tamang halaga ay 19; Ang AI ang gumawa ng numero. Ipinakita nito na ang mga sukatan ay hindi dapat kunin mula sa memorya ng AI ngunit mula sa totoong data.
Kaso 3 — Napigilan ang maling paghahambing. Nais ng isang yunit na maglaan ng mga pondo sa pamamagitan ng paghahambing ng dalawang kabanata batay sa kanilang average na bilang ng mga pagsipi. Ipinaliwanag ng librarian na ang isa sa mga departamento ay medisina (high citation culture) at ang isa ay humanities (book-heavy, low citation culture), at ang paghahambing na ito ay magiging hindi patas. Ang pagsusuri ay suportado ng kwalitatibong pamantayan na isinasaalang-alang ang mga pagkakaiba sa larangan.
Mga visual na mapa at mga bitag sa pagbabasa
Ang isang madalas na ginagamit na tool sa bibliometrics ay mga mapa ng network (hal. co-citation o co-authorship network), na nagpapakita ng mga ugnayan sa pagitan ng mga publikasyon o mga may-akda sa pamamagitan ng mga node at link. Ginagawang nakikita ng mga mapa na ito ang istraktura, mga kumpol at mga tulay ng isang lugar; Maaaring pagsama-samahin ng AI ang pinagbabatayan na totoong data at tumulong sa pagbibigay kahulugan sa mga mapa na ito. Ngunit ang mga visual na mapa, bagama't makapangyarihan, ay maaari ding maging mapanlinlang: ang isang malaki, sentral na nakikitang node ay maaaring hindi ang "pinaka-importante" ngunit ang "pinaka konektado" lamang; Ang laki ng isang cluster ay maaari lamang ipakita ang dami ng publikasyon, hindi ang halaga ng espasyong iyon. Bukod pa rito, kung paano iginuhit ang mapa (aling threshold, aling yugto ng panahon, aling database) ang ganap na nagbabago sa kinalabasan. Samakatuwid, kapag nagpapakita ng bibliometric visualization bilang batayan para sa isang desisyon, kinakailangang malinaw na sabihin kung aling data ito batay sa, kung aling mga parameter at sa kung anong yugto ng panahon. Kung ang isang komentong binuo ng AI ay nag-qualify sa isang node sa mapa bilang isang "pinuno" o "pinaka-maimpluwensyang," suriin upang makita kung ang characterization na iyon ay sinusuportahan ng totoong data.
Tip: Huwag mahulog sa bitag na "center = top" kapag binibigyang-kahulugan ang isang mapa ng network. Ang sentralidad ay nagpapahiwatig lamang ng density ng koneksyon; Ang orihinal na kontribusyon o kalidad ng isang gawa ay hindi nakikita sa mapa at mauunawaan lamang sa pamamagitan ng pagbabasa ng nilalaman.
Apat na maaaring kopyahin na mga template
1) Pagbubuod ng aktwal na data ng pagsipi:
Nasa ibaba ang listahan ng publikasyon at mga numero ng pagsipi na kinuha ko mula sa isang tunay na database ng pagsipi. Hatiin ang mga ito sa mga klaster ng paksa at ibuod ang bawat klaster sa isang pangungusap. Gamitin lamang ang data na ibinigay ko, huwag magdagdag/gumawa ng mga bagong publikasyon o bilang ng pagsipi. Data: [dito]
2) Trend at pattern na pagmamarka:
I-highlight ang mga kapansin-pansing trend (pagtaas, pagbaba, konsentrasyon ng pakikipagtulungan) sa data ng publikasyon/pagsipi batay sa taon sa ibaba. Ibase ang bawat obserbasyon sa datos, huwag mag-isip-isip. Data: [dito]
3) Babala sa interpretasyon ng pamantayan:
Bigyang-kahulugan ang sumusunod na bibliometric criterion, na nagsasaad din ng mga limitasyon nito: sa aling paksa ito nagbibigay ng impormasyon, sa aling paksa ito hindi nagbibigay ng impormasyon, sa aling paksa ito bukas sa maling paggamit? Pamantayan at konteksto: [dito]
4) Kontrol sa pagkakaiba ng lugar:
Maaari bang direktang ihambing ang data ng pagsipi ng sumusunod na dalawang pangkat? Suriin ang mga pagkakaiba sa kultura ng pagsipi sa pagitan ng mga patlang at ipaliwanag kung patas ang paghahambing. Data: [dito]
Mahinang prompt / Malakas na prompt
Mahinang prompt:
Ilista ang pinaka-maimpluwensyang mga artikulo at bilang ng pagsipi ng may-akda.
Bumubuo ang AI ng mga gawa-gawang pamagat at bilang ng pagsipi mula sa pandaigdigang memorya nito nang hindi ina-access ang totoong data. Resulta: isang nakakumbinsi ngunit huwad na pagsusuri.
Napakahusay na prompt:
Ang iyong tungkulin: bibliometrics assistant. Nasa ibaba ang mga pagsipi ng publikasyon at mga numero ng pagsipi na nakuha ko mula sa totoong database ng pagsipi. Pagbukud-bukurin ang data na ito mula sa karamihan ng binanggit na domain hanggang sa pinakamababa, hatiin ito sa mga cluster ng paksa, at ibuod ang bawat cluster. Huwag lumihis mula sa data na ibinigay ko, huwag gumawa ng anumang mga numero o label. Magdagdag ng maikling tala tungkol sa mga limitasyon ng pamantayan. Data: [dito]
Napakahusay na prompt; Nililimitahan nito ang AI sa totoong data, ipinagbabawal ang paggawa, at pinapaalalahanan tayo ng mga limitasyon sa benchmark.
Talahanayan ng pamantayan at limitasyon
pamantayan
Ano ang nagpapakita
Ano ang hindi nagpapakita
Pansin
Bilang ng mga pagsipi
Paggamit/pagpapakita
kalidad, katumpakan
Depende sa kultura ng lugar
h-index
Produktibo+epekto
halaga ng indibidwal
Sensitibo sa haba ng karera
Salik ng epekto
Average ng journal
Halaga ng solong artikulo
Pamantayan sa antas ng journal
network ng pakikipagtulungan
Sinong nakatrabaho
Rate ng kontribusyon
Hindi malinaw ang papel sa network
Mga karaniwang pagkakamali
- Paghiling ng bilang ng pagsipi mula sa AI. Ang mga numero ay binubuo sa labas ng tunay na database.
- Iniisip na ang criterion ay isang sukatan ng kalidad. Ang pagsipi ay nagpapahiwatig ng paggamit, hindi kalidad.
- Direktang paghahambing ng mga lugar. Magkaiba ang mga kultura ng pagpapatungkol, hindi ito patas.
- Pagsukat ng mga humanidad sa pamamagitan ng pagpapatungkol. Ang mga output na mabibigat sa libro ay kulang sa representasyon sa mga database.
- Pagsusuri sa mga indibidwal na may pamantayan. Ang desisyon sa pagkuha/promosyon ay hindi dapat nakabatay sa iisang pamantayan.
Sa buod
Sa pagsusuri ng bibliometrics at pagsipi, ang AI ay isang makapangyarihang katulong na kumukumpol ng totoong data, nagba-flag ng mga uso at nagbubuod; Ngunit huwag kumuha ng mga citation number at bylines mula sa AI memory, dahil ito ang bumubuo. Ipinapakita ng mga sukatan ang paggamit at visibility, hindi ang kalidad; hindi maihahambing sa mga domain; ay hindi gaanong kinakatawan sa humanities at hindi maaaring gamitin nang mag-isa upang suriin ang mga indibidwal. Ang librarian ay isang responsableng gabay na nagpapaliwanag ng mga limitasyon ng mga pamantayang ito at binabalanse ang mga ito sa pagsusuri ng husay.
Gawain ng aplikasyon
Kumuha ng maliit na listahan ng mga publikasyon (10-15 na tala, na may bilang ng mga pagsipi) mula sa isang tunay na database ng pagsipi. Ipagawa ang AI cluster at i-summarize gamit ang template na "Ibuod ang totoong citation data", pagkatapos ay patunayan ang mga pagsipi at pagbibilang laban sa database. Pagkatapos ay i-print ang mga limitasyon ng isang sukatan na iyong pinili (hal. h-index) gamit ang template na "Bala sa interpretasyon ng pamantayan" at planuhin kung paano mo ito ipapaliwanag sa isang manager.
checklist
- [ ] Ibinigay ko ang mga citation number at citation mula sa totoong database, hindi ko ginawa ang mga ito ng AI.
- [ ] Iniharap ko ang mga sukatan bilang mga tagapagpahiwatig ng paggamit/pagpapakita, hindi kalidad.
- [ ] Isinasaalang-alang ko ang pagkakaiba sa kultura ng pagsipi sa pagitan ng mga larangan.
- [ ] Isinaalang-alang ko ang underrepresentation ng humanities.
- [ ] Hindi ko ginamit ang pamantayan nang nag-iisa sa pagsusuri ng mga indibidwal.