Κέρδη:
- Δυνατότητα υλοποίησης χωρίς λήψη του πλήθους παραπομπών και των παραπομπών από τη μνήμη AI κατά τη ομαδοποίηση και σύνοψη των δεδομένων που λαμβάνονται από τη βάση δεδομένων πραγματικών παραπομπών με AI
- Ικανότητα κατανόησης ότι μετρήσεις όπως η παραπομπή, ο δείκτης h και ο παράγοντας αντίκτυπου υποδεικνύουν τη χρήση αλλά όχι την ποιότητα και τη ασύγκρισή τους μεταξύ των πεδίων.
- Ικανότητα να λαμβάνει υπόψη τα ηθικά όρια της χρήσης βιβλιομετρικών κριτηρίων και μόνο στην αξιολόγηση ατόμων και να τα εξισορροπεί με την ποιοτική αξιολόγηση
Μια πανεπιστημιακή βιβλιοθήκη μετρά την ερευνητική παραγωγή του ιδρύματός της. ένας ερευνητής για να βρει τις μελέτες με τη μεγαλύτερη επιρροή ενός τομέα. ένας διευθυντής μπορεί να θέλει να αξιολογήσει την επιστημονική προβολή ενός τμήματος. Πίσω από αυτό το έργο βρίσκεται η βιβλιομετρία: το πεδίο που εξετάζει αριθμητικά τις επιστημονικές δημοσιεύσεις και τις σχέσεις μεταξύ τους αναφορών. Σε αυτή την ενότητα, θα μάθετε πώς να χρησιμοποιείτε την τεχνητή νοημοσύνη στην ανάλυση παραπομπών, τη χαρτογράφηση δημοσιεύσεων και την αξιολόγηση επιπτώσεων. αλλά θα μάθετε πώς να πλοηγείστε στα όρια και τις ηθικές παγίδες των αριθμητικών μετρήσεων.
Ας ορίσουμε τις έννοιες. Η αναφορά είναι μια επιστημονική αναφορά που γίνεται από μια δημοσίευση σε μια άλλη δημοσίευση. Ο αριθμός των αναφορών θεωρείται δείκτης του πόσο έχει χρησιμοποιηθεί ένα έργο. Ο δείκτης h είναι ένα μέτρο που συνδυάζει τόσο την παραγωγικότητα όσο και τον αντίκτυπο ενός ερευνητή (εάν h αριθμός δημοσιεύσεων έχει λάβει τουλάχιστον h αναφορές, ο δείκτης h είναι h). Ο παράγοντας αντίκτυπου είναι ένα μέτρο που δείχνει το μέσο επίπεδο αναφοράς ενός περιοδικού. Αυτές οι μετρήσεις είναι χρήσιμες, αλλά καμία δεν είναι άμεση μέτρηση της «ποιότητας». Η διατήρηση αυτής της διάκρισης είναι η ουσία της βιβλιομετρίας.
Βήμα προς βήμα: υπεύθυνη βιβλιομετρική ανάλυση
1. Διευκρινίστε την ερώτηση. «Ποιες είναι οι βασικές μελέτες αυτού του τομέα;», «Ποιες είναι οι πιο αναφερόμενες δημοσιεύσεις του ιδρύματός μας;», «Πώς τέμνονται αυτά τα δύο πεδία;» Κάθε ερώτηση απαιτεί διαφορετική ανάλυση.
2. Χρησιμοποιήστε αξιόπιστα δεδομένα. Η ανάλυση παραπομπών είναι τόσο αξιόπιστη όσο και η πηγή δεδομένων. Η τεχνητή νοημοσύνη μπορεί να δημιουργήσει μετρήσεις αναφορών ή λίστες δημοσιεύσεων. Επομένως, είναι απαραίτητο να εργάζεστε με δεδομένα από μια βάση δεδομένων πραγματικών παραπομπών. Χρησιμοποιήστε την τεχνητή νοημοσύνη για να ερμηνεύσετε και να συνοψίσετε πραγματικά δεδομένα, όχι για να δημιουργήσετε δεδομένα.
3. Σημειώστε τα σχέδια. Η τεχνητή νοημοσύνη βοηθά στη σύνοψη συμπλεγμάτων θεμάτων, συνεργατικών δικτύων ή τάσεων με την πάροδο του χρόνου σε ένα μεγάλο σύνολο εκδόσεων. Αυτό κατευθύνει την προσοχή του ανθρώπινου αναλυτή σε σημαντικά σημεία.
4. Ερμηνεύστε το κριτήριο στο πλαίσιο. Ένας χαμηλός αριθμός αναφορών δεν υποδηλώνει ότι το έργο είναι άχρηστο. Το πεδίο μπορεί να είναι μικρό, το θέμα μπορεί να είναι νέο ή η δημοσίευση μπορεί να είναι πολύ νέα. Ποτέ μην ερμηνεύετε τον αριθμό χωρίς πλαίσιο.
5. Τηρήστε το ηθικό όριο. Τα βιβλιομετρικά μέτρα δεν πρέπει να χρησιμοποιούνται μόνα τους για τη λήψη αποφάσεων σχετικά με την πρόσληψη, την προαγωγή ή τη χρηματοδότηση ατόμων. Οι αριθμοί δεν μετρούν την αξία των ανθρώπων. Η κατάχρησή τους είναι και άδικη και επιβλαβής.
Συμβουλή: Όταν αναθέτετε την τεχνητή νοημοσύνη να εκτελέσει μια ανάλυση παραπομπών, παρέχετε τις μετρήσεις αναφορών και τις αναφορές δημοσιεύσεων από την πραγματική βάση δεδομένων. Αφήστε το AI να οργανώσει, να ομαδοποιήσει και να ερμηνεύσει αυτά τα δεδομένα. "Τι είναι το h-index αυτού του συγγραφέα;" Η απευθείας ερώτηση μπορεί να έχει ως αποτέλεσμα έναν κατασκευασμένο αριθμό.
Όρια κριτηρίων και χειραγώγηση
Επειδή οι βιβλιομετρικές μετρήσεις φαίνονται ισχυρές, είναι ανοιχτές σε κατάχρηση. Οι αριθμοί παραπομπών μπορούν να διογκωθούν με διάφορους τρόπους: υπερβολική αυτοαναφορά (αναφορά της δικής του δουλειάς), δακτυλίους παραπομπών (ομάδες ατόμων που αναφέρονται αμοιβαία μεταξύ τους) ή η κουλτούρα παραπομπών του ίδιου του πεδίου. Επιπλέον, τα κριτήρια δεν είναι συγκρίσιμα μεταξύ των τομέων: το περιβάλλον παραπομπών ενός ιατρικού άρθρου και ενός άρθρου φιλοσοφίας είναι εντελώς διαφορετικό.
Αυτό το πρόβλημα είναι ακόμη πιο εμφανές στις ανθρωπιστικές και κοινωνικές επιστήμες. επειδή τα σημαντικά αποτελέσματα σε αυτούς τους τομείς (βιβλία, μεταφράσεις, κριτικές) υποεκπροσωπούνται στις βάσεις δεδομένων παραπομπών. Το να μετράς τον αντίκτυπο ενός ιστορικού ή μελετητή της λογοτεχνίας μόνο με τον αριθμό των αναφορών σημαίνει παρανόηση της φύσης του έργου. Ο βιβλιοθηκάριος είναι ένας οδηγός που εξηγεί τα όρια αυτών των κριτηρίων στους διαχειριστές και τους ερευνητές.
Προσοχή: Μην παρουσιάζετε ένα βιβλιομετρικό μέτρο ως τελική κρίση σχετικά με την ακαδημαϊκή αξία ενός ατόμου ή την ποιότητα ενός τμήματος. Οι αρχές της υπεύθυνης ερευνητικής αξιολόγησης τονίζουν ότι τα μέτρα πρέπει να συμπληρώνουν την ποιοτική αξιολόγηση και όχι να την αντικαθιστούν.
τρεις μίνι θήκες
Περίπτωση 1 — Περιοχή χαρτογραφημένη. Ένας βιβλιοθηκάριος ήθελε να δείξει σε μια ερευνητική ομάδα βασική εργασία στον τομέα της. Αντλησε δεδομένα από 200 δημοσιεύσεις από μια βάση δεδομένων πραγματικών αναφορών. Ο YZ συνόψισε αυτά τα δεδομένα σε θεματικές ομάδες και τόνισε τις 10 μελέτες με τις περισσότερες αναφορές. Ο αναλυτής επαλήθευσε κάθε σύμπλεγμα και αναγνωριστικό στη βάση δεδομένων. η ομάδα κατάλαβε γρήγορα τη δομή της περιοχής.
Περίπτωση 2 — Έπιασε ψεύτικο h-index. Ένας διευθυντής ρώτησε το AI για τον δείκτη h ενός ερευνητή. Το AI είπε "42". Ο βιβλιοθηκάριος εξέτασε την πραγματική βάση δεδομένων: η σωστή τιμή ήταν 19. Το AI είχε φτιάξει τον αριθμό. Αυτό έδειξε ότι οι μετρήσεις δεν πρέπει ποτέ να λαμβάνονται από τη μνήμη AI αλλά από πραγματικά δεδομένα.
Περίπτωση 3 — Αποτράπηκε η λανθασμένη σύγκριση. Μια μονάδα ήθελε να κατανείμει κεφάλαια συγκρίνοντας δύο κεφάλαια με βάση τον μέσο αριθμό των αναφορών τους. Ο βιβλιοθηκάριος εξήγησε ότι το ένα από τα τμήματα ήταν η ιατρική (καλλιέργεια υψηλών αναφορών) και το άλλο ήταν οι ανθρωπιστικές επιστήμες (βαρύ βιβλίο, κουλτούρα χαμηλής αναφοράς) και ότι αυτή η σύγκριση θα ήταν άδικη. Η αξιολόγηση υποστηρίχθηκε με ποιοτικά κριτήρια που έλαβαν υπόψη τις διαφορές στο πεδίο.
Οπτικοί χάρτες και παγίδες ανάγνωσης
Ένα εργαλείο που χρησιμοποιείται συχνά στη βιβλιομετρία είναι οι χάρτες δικτύου (π.χ. δίκτυα συν-παραπομπών ή συγγραφέων), οι οποίοι δείχνουν σχέσεις μεταξύ δημοσιεύσεων ή συγγραφέων ανά κόμβους και συνδέσμους. Αυτοί οι χάρτες καθιστούν ορατή τη δομή, τις συστάδες και τα γεφυρώματα μιας περιοχής. Το AI μπορεί να συγκεντρώσει τα υποκείμενα πραγματικά δεδομένα και να βοηθήσει στην ερμηνεία αυτών των χαρτών. Όμως, οι οπτικοί χάρτες, αν και ισχυροί, μπορεί επίσης να είναι παραπλανητικοί: ένας μεγάλος, κεντρικά ορατός κόμβος μπορεί να μην είναι ο «πιο σημαντικός» αλλά απλώς ο «πιο συνδεδεμένος». Το μέγεθος ενός συμπλέγματος μπορεί να αντικατοπτρίζει μόνο τον όγκο της δημοσίευσης και όχι την αξία αυτού του χώρου. Επιπλέον, ο τρόπος με τον οποίο σχεδιάζεται ο χάρτης (ποιο όριο, ποια χρονική περίοδος, ποια βάση δεδομένων) αλλάζει εντελώς το αποτέλεσμα. Επομένως, όταν παρουσιάζεται μια βιβλιομετρική απεικόνιση ως βάση για μια απόφαση, είναι επιτακτική ανάγκη να δηλώνετε με σαφήνεια σε ποια δεδομένα βασίζεται, σε ποιες παραμέτρους και σε ποια χρονική περίοδο. Εάν ένα σχόλιο που δημιουργείται από την τεχνητή νοημοσύνη χαρακτηρίζει έναν κόμβο στον χάρτη ως «αρχηγό» ή «με τη μεγαλύτερη επιρροή», ελέγξτε αν αυτός ο χαρακτηρισμός υποστηρίζεται από πραγματικά δεδομένα.
Συμβουλή: Μην πέσετε στην παγίδα "κέντρο = κορυφή" όταν ερμηνεύετε έναν χάρτη δικτύου. Η κεντρικότητα υποδεικνύει μόνο την πυκνότητα σύνδεσης. Η αρχική συμβολή ή η ποιότητα ενός έργου δεν είναι ορατή στον χάρτη και μπορεί να γίνει κατανοητή μόνο με την ανάγνωση του περιεχομένου.
Τέσσερα πρότυπα με δυνατότητα αντιγραφής
1) Συνοψίζοντας τα πραγματικά δεδομένα παραπομπών:
Παρακάτω είναι η λίστα δημοσιεύσεων και οι αριθμοί παραπομπών που πήρα από μια πραγματική βάση δεδομένων αναφορών. Χωρίστε τα σε θεματικές ομάδες και συνοψίστε κάθε ομάδα σε μία μόνο πρόταση. Απλώς χρησιμοποιήστε τα δεδομένα που έδωσα, μην προσθέτετε/δημιουργείτε νέες δημοσιεύσεις ή πλήθος αναφορών. Δεδομένα: [εδώ]
2) Σήμανση τάσης και μοτίβου:
Επισημάνετε τις αξιοσημείωτες τάσεις (αύξηση, μείωση, συγκέντρωση συνεργασίας) στα δεδομένα δημοσίευσης/αναφορών ανά έτος παρακάτω. Βασίστε κάθε παρατήρηση σε δεδομένα, μην κάνετε εικασίες. Δεδομένα: [εδώ]
3) Προειδοποίηση ερμηνείας κριτηρίων:
Ερμηνεύστε το ακόλουθο βιβλιομετρικό κριτήριο, αναφέροντας και τα όριά του: για ποιο θέμα παρέχει πληροφορίες, για ποιο θέμα δεν παρέχει πληροφορίες, για ποιο θέμα είναι επιδεκτικό κακής χρήσης; Κριτήρια και πλαίσιο: [εδώ]
4) Έλεγχος διαφοράς περιοχής:
Μπορούν να συγκριθούν απευθείας τα δεδομένα παραπομπών των δύο παρακάτω ομάδων; Αξιολογήστε τις διαφορές στην κουλτούρα παραπομπών μεταξύ των πεδίων και εξηγήστε εάν η σύγκριση είναι δίκαιη. Δεδομένα: [εδώ]
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή:
Καταχωρίστε τα άρθρα με τη μεγαλύτερη επιρροή και τον αριθμό των αναφορών αυτού του συγγραφέα.
Το AI δημιουργεί κατασκευασμένους τίτλους και αριθμούς αναφορών από την παγκόσμια μνήμη του χωρίς να έχει πρόσβαση στα πραγματικά δεδομένα. Αποτέλεσμα: μια πειστική αλλά ψεύτικη ανάλυση.
Ισχυρή προτροπή:
Ο ρόλος σας: βοηθός βιβλιομετρίας. Παρακάτω είναι οι αναφορές δημοσίευσης και οι αριθμοί παραπομπών που άντλησα από τη βάση δεδομένων πραγματικών παραπομπών. Ταξινομήστε αυτά τα δεδομένα από τον τομέα που αναφέρεται περισσότερο στον χαμηλότερο, χωρίστε τα σε συμπλέγματα θεμάτων και συνοψίστε κάθε σύμπλεγμα. Μην παρεκκλίνετε από τα δεδομένα που έχω δώσει, μην κάνετε κανέναν αριθμό ή ετικέτα. Προσθέστε μια σύντομη σημείωση σχετικά με τα όρια των κριτηρίων. Δεδομένα: [εδώ]
Ισχυρή προτροπή. Περιορίζει την τεχνητή νοημοσύνη σε πραγματικά δεδομένα, απαγορεύει την κατασκευή και μας υπενθυμίζει τα όρια αναφοράς.
Πίνακας κριτηρίων και ορίων
κριτήριο
Τι δείχνει
Τι δεν φαίνεται
Προσοχή
Αριθμός αναφορών
Χρήση/ορατότητα
ποιότητα, ακρίβεια
Εξαρτάται από την κουλτούρα της περιοχής
h-index
Παραγωγικότητα + αντίκτυπος
αξία του ατόμου
Ευαίσθητο στη διάρκεια της σταδιοδρομίας
Συντελεστής επιρροής
Μέσος όρος του περιοδικού
Αξία μεμονωμένου άρθρου
Κριτήρια επιπέδου περιοδικού
δίκτυο συνεργασίας
Με ποιον συνεργάστηκε
Ποσοστό συνεισφοράς
Ο ρόλος στο δίκτυο ασαφής
Συνήθη λάθη
- Ζητώντας τον αριθμό παραπομπών από το AI. Οι αριθμοί σχηματίζονται εκτός της πραγματικής βάσης δεδομένων.
- Νομίζοντας ότι το κριτήριο είναι ένα μέτρο ποιότητας. Η παραπομπή υποδεικνύει τη χρήση, όχι την ποιότητα.
- Άμεση σύγκριση περιοχών. Οι κουλτούρες απόδοσης είναι διαφορετικές, δεν είναι δίκαιο.
- Μέτρηση των ανθρωπιστικών επιστημών με απόδοση. Οι εκροές με βαρύ βιβλίο υποεκπροσωπούνται στις βάσεις δεδομένων.
- Αξιολόγηση ατόμων με κριτήρια. Η απόφαση πρόσληψης/προαγωγής δεν πρέπει να βασίζεται σε ένα μόνο κριτήριο.
Συνοπτικά
Στη βιβλιομετρία και την ανάλυση παραπομπών, η τεχνητή νοημοσύνη είναι ένας ισχυρός βοηθός που συγκεντρώνει πραγματικά δεδομένα, επισημαίνει τις τάσεις και συνοψίζει. Ποτέ, όμως, μην λαμβάνετε αριθμούς παραπομπών και bylines από τη μνήμη AI, γιατί την αποτελεί. Οι μετρήσεις δείχνουν τη χρήση και την ορατότητα, όχι την ποιότητα. δεν μπορεί να συγκριθεί μεταξύ των τομέων. υποεκπροσωπείται στις ανθρωπιστικές επιστήμες και δεν μπορεί να χρησιμοποιηθεί μόνο του για την αξιολόγηση ατόμων. Ο βιβλιοθηκάριος είναι ένας υπεύθυνος οδηγός που εξηγεί τα όρια αυτών των κριτηρίων και τα εξισορροπεί με την ποιοτική αξιολόγηση.
Εργασία εφαρμογής
Πάρτε μια μικρή λίστα δημοσιεύσεων (10-15 εγγραφές, με πλήθος αναφορών) από μια πραγματική βάση δεδομένων αναφορών. Αποκτήστε το σύμπλεγμα AI και συνοψίστε με το πρότυπο "Σύνοψη δεδομένων πραγματικών παραπομπών" και, στη συνέχεια, επικυρώστε τις αναφορές και τις μετρήσεις στη βάση δεδομένων. Στη συνέχεια, εκτυπώστε τα όρια μιας μέτρησης της επιλογής σας (π.χ. h-index) με το πρότυπο "Προειδοποίηση ερμηνείας κριτηρίων" και σχεδιάστε πώς θα το εξηγήσετε σε έναν διαχειριστή.
λίστα ελέγχου
- [ ] Έδωσα τους αριθμούς παραπομπών και τις παραπομπές από την πραγματική βάση δεδομένων, δεν είχα δημιουργηθεί από AI.
- [ ] Παρουσίασα τις μετρήσεις ως δείκτες χρήσης/ορατότητας και όχι ποιότητας.
- [ ] Έλαβα υπόψη τη διαφορά στην κουλτούρα παραπομπών μεταξύ των πεδίων.
- [ ] Έλαβα υπόψη την υποεκπροσώπηση των ανθρωπιστικών επιστημών.
- [ ] Δεν χρησιμοποίησα μόνο το κριτήριο για την αξιολόγηση ατόμων.