ביבליומטריה, ניתוח ציטוטים והערכת השפעת מחקר

רווחים:

• היכולת ליישם לעולם לא לקחת את ספירת הציטוטים והציטוטים מזיכרון ה-AI תוך קיבוץ וסיכום הנתונים שנלקחו ממסד הנתונים האמיתי של הציטוטים עם AI
• יכולת להבין שמדדים כמו ציטוט, אינדקס h וגורם השפעה מצביעים על שימוש אך לא על איכות, ועל חוסר ההשוואה ביניהם בין תחומים.
• היכולת לשקול את הגבולות האתיים של שימוש בקריטריונים ביבליומטריים בלבד בהערכת אנשים ולאזן אותם עם הערכה איכותית

ספריית אוניברסיטה מודדת את תפוקת המחקר של המוסד שלה; חוקר כדי למצוא את המחקרים המשפיעים ביותר על תחום; מנהל עשוי לרצות להעריך את הנראות המדעית של מחלקה. מאחורי העבודה הזו עומדת ביבליומטריה: התחום שבוחן מספרית פרסומים מדעיים ויחסי הציטוטים ביניהם. ביחידה זו תלמדו כיצד להשתמש בבינה מלאכותית בניתוח ציטוטים, מיפוי פרסומים והערכת השפעה; אבל תלמד כיצד לנווט בין הגבולות והמלכודות האתיות של מדדים מספריים.

בואו נגדיר את המושגים. ציטוט הוא התייחסות מדעית של פרסום אחד לפרסום אחר; מספר הציטוטים נחשב כאינדיקטור לכמות השימוש ביצירה. מדד h הוא מדד המשלב הן את הפרודוקטיביות והן את ההשפעה של חוקר (אם מספר h של פרסומים קיבל כל אחד לפחות h ציטוטים, מדד h הוא h). גורם השפעה הוא מדד המראה את רמת הציטוט הממוצעת של כתב עת. מדדים אלו שימושיים, אך אף אחד מהם אינו מדדים ישירים של "איכות"; שמירה על הבחנה זו היא המהות של הביבליומטריה.

שלב אחר שלב: ניתוח ביבליומטרי אחראי

1. הבהרו את השאלה. "מהם המחקרים הבסיסיים של תחום זה?", "מהם הפרסומים המצוטטים ביותר של המוסד שלנו?", "כיצד שני התחומים הללו מצטלבים?" כל שאלה דורשת ניתוח אחר.

2. השתמש בנתונים אמינים. ניתוח ציטוטים אמין רק כמו מקור הנתונים. AI יכול להרכיב ספירות ציטוטים או רשימות פרסומים; לכן, חיוני לעבוד עם נתונים ממסד נתונים של ציטוטים אמיתיים. השתמש ב-AI כדי לפרש ולסכם נתונים אמיתיים, לא כדי ליצור נתונים.

3. יש לסמן את התבניות. AI עוזר לסכם אשכולות נושאים, רשתות שיתופיות או מגמות לאורך זמן במערך גדול של פרסומים. זה מפנה את תשומת הלב של האנליטיקאי האנושי לנקודות חשובות.

4. פרש את הקריטריון בהקשר. ספירת ציטוטים נמוכה אינה מעידה על כך שהיצירה חסרת ערך; התחום עשוי להיות קטן, הנושא חדש, או שהפרסום חדש מאוד. לעולם אל תפרש את המספר ללא הקשר.

5. שימו לב לגבול האתי. אין להשתמש באמצעים ביבליומטריים לבד כדי לקבל החלטות לגבי גיוס, קידום או מימון של אנשים. מספרים אינם מודדים את ערכם של אנשים; התעללות בהם היא גם לא הוגנת וגם מזיקה.

טיפ: כאשר AI יבצע ניתוח ציטוטים, ספק את ספירת הציטוטים ואת ציטוטי הפרסום ממסד הנתונים האמיתי; תן ל-AI פשוט לארגן, לקבץ ולפרש את הנתונים האלה. "מהו מדד ה-h של הסופר הזה?" בקשה ישירה עלולה לגרום למספר מומצא.

מגבלות של קריטריונים ומניפולציה

מכיוון שמדדים ביבליומטריים נראים חזקים, הם פתוחים להתעללות. ניתן לנפח מספרי ציטוטים במגוון דרכים: ציטוט עצמי מופרז (ציטוט של יצירה משלו), טבעות ציטוט (קבוצות של אנשים המצטטות הדדיות זו את זו), או תרבות הציטוטים של התחום עצמו. יתרה מכך, הקריטריונים אינם ברי השוואה בין תחומים: סביבת הציטוט של מאמר רפואי ומאמר פילוסופיה שונה לחלוטין.

בעיה זו בולטת עוד יותר במדעי הרוח והחברה; מכיוון שתפוקות משמעותיות בתחומים אלו (ספרים, תרגומים, ביקורות) מיוצגות בחסר במאגרי ציטוטים. למדוד את ההשפעה של היסטוריון או חוקר ספרות רק על פי מספר הציטוטים פירושו הבנה לא נכונה של אופי היצירה. הספרנית היא מדריך המסביר את גבולות הקריטריונים הללו למנהלים ולחוקרים.

זהירות: אין להציג מדד ביבליומטרי כשיפוט סופי לגבי הכשרון האקדמי של הפרט או איכות המחלקה. עקרונות של הערכת מחקר אחראית מדגישים כי מדדים צריכים להשלים הערכה איכותנית, לא להחליף אותה.

שלושה מיני תיקים

מקרה 1 - אזור ממופה. ספרן רצה להראות לקבוצת מחקר עבודה בסיסית בתחומם. הוא שלף נתונים מ-200 פרסומים ממאגר ציטוטים אמיתי; YZ סיכם את הנתונים הללו לאשכולות נושאים והדגיש את 10 המחקרים המצוטטים ביותר. האנליסט אימת כל אשכול ומזהה במסד הנתונים; הקבוצה קלטה במהירות את מבנה האזור.

מקרה 2 - מדד h מזויף נתפס. מנהל שאל את ה-AI על מדד h של חוקר; ה-AI אמר "42". הספרנית הסתכלה על מסד הנתונים בפועל: הערך הנכון היה 19; ה-AI הרכיב את המספר. זה הראה שאסור לקחת מדדים מזיכרון AI אלא מנתונים אמיתיים.

מקרה 3 - נמנעה השוואה שגויה. יחידה אחת רצתה להקצות כספים על ידי השוואת שני פרקים על סמך מספר הציטוטים הממוצע שלהם. הספרנית הסבירה שאחת המחלקות היא רפואה (תרבות ציטוט גבוהה) והשנייה היא מדעי הרוח (תרבות כבדה בספרים, תרבות ציטוט נמוכה), ושהשוואה זו תהיה לא הוגנת. ההערכה נתמכה בקריטריונים איכותיים שלקחו בחשבון הבדלי שדה.

מפות חזותיות ומלכודות קריאה

כלי בשימוש תכוף בביבליומטריה הוא מפות רשת (למשל רשתות ציטוט משותף או שיתוף מחברים), המציגות קשרים בין פרסומים או מחברים לפי צמתים וקישורים. מפות אלה מציגות את המבנה, הצבירים ועבודות הגשרים של אזור; AI יכול לצבור את הנתונים האמיתיים הבסיסיים ולעזור לפרש את המפות הללו. אבל מפות ויזואליות, על אף שהן חזקות, יכולות גם להטעות: צומת גדול הנראה למרכז אולי אינו ה"חשוב ביותר" אלא רק ה"מחובר ביותר"; גודלו של אשכול יכול לשקף רק את נפח הפרסום, לא את הערך של החלל הזה. בנוסף, אופן הציור של המפה (איזה סף, איזה פרק זמן, איזה מסד נתונים) משנה לחלוטין את התוצאה. לכן, כאשר מציגים הדמיה ביבליומטרית כבסיס להחלטה, חובה לציין בבירור על אילו נתונים היא מבוססת, על אילו פרמטרים ובאיזה פרק זמן. אם הערה שנוצרה בינה מלאכותית מתאימה לצומת במפה כ"מנהיג" או "המשפיע ביותר", בדוק אם האפיון הזה נתמך בנתונים אמיתיים.

טיפ: אל תיפול למלכודת "מרכז = עליון" בעת פירוש מפת רשת. מרכזיות מעידה רק על צפיפות החיבור; התרומה המקורית או האיכות של יצירה אינה נראית במפה וניתן להבין אותה רק על ידי קריאת התוכן.

ארבע תבניות הניתנות להעתקה

1) סיכום נתוני ציטוט בפועל:

להלן רשימת הפרסומים ומספרי הציטוטים שלקחתי ממאגר ציטוטים אמיתי. חלקו אותם לאשכולות נושאים וסכם כל אשכול במשפט אחד. פשוט השתמש בנתונים שסיפקתי, אל תוסיף/תמציא פרסומים חדשים או ספירת ציטוטים. נתונים: [כאן]

2) סימון מגמה ודפוס:

הדגש מגמות בולטות (עלייה, ירידה, ריכוז שיתוף פעולה) בנתוני הפרסום/הציטוטים המבוססים על השנה למטה. לבסס כל תצפית על נתונים, אל תעלה השערות. נתונים: [כאן]

3) אזהרת פרשנות קריטריונים:

פרשו את הקריטריון הביבליומטרי הבא, תוך ציון גבולותיו: באיזה נושא הוא מספק מידע, באיזה נושא הוא אינו מספק מידע, באיזה נושא הוא פתוח לשימוש לרעה? קריטריונים והקשר: [כאן]

4) בקרת הבדלי שטח:

האם ניתן להשוות ישירות את נתוני הציטוטים של שתי הקבוצות הבאות? העריכו את ההבדלים בתרבות הציטוטים בין התחומים והסבירו האם ההשוואה הוגנת. נתונים: [כאן]

הנחיה חלשה / הנחיה חזקה

הנחיה חלשה:

רשום את המאמרים והציטוטים המשפיעים ביותר של מחבר זה.

ה-AI מייצר כותרות מומצאות וספירות ציטוטים מהזיכרון הגלובלי שלו מבלי לגשת לנתונים האמיתיים. תוצאה: ניתוח משכנע אך מזויף.

הנחיה עוצמתית:

תפקידך: עוזר ביבליומטרי. להלן ציטוטי הפרסומים ומספרי הציטוטים ששלפתי ממאגר הציטוטים האמיתיים. מיין נתונים אלה מהדומיין המצוטט ביותר לנמוך ביותר, חלק אותם לאשכולות נושאים וסכם כל אשכול. אין לסטות מהנתונים שנתתי, אל תמציא מספרים או תוויות. הוסף הערה קצרה לגבי גבולות הקריטריונים. נתונים: [כאן]

הנחיה עוצמתית; זה מגביל את הבינה המלאכותית לנתונים אמיתיים, אוסר על ייצור ומזכיר לנו מגבלות בנצ'מרק.

טבלת קריטריונים ומגבלות

קריטריון

מה מראה

מה לא מופיע

תשומת לב

מספר ציטוטים

שימוש/נראות

איכות, דיוק

תלוי בתרבות האזור

h-index

פרודוקטיביות+השפעה

ערך הפרט

רגיש לאורך הקריירה

גורם השפעה

ממוצע יומן

ערך מאמר בודד

קריטריונים ברמת יומן

רשת שיתוף פעולה

מי עבד עם

שיעור תרומה

תפקיד ברשת לא ברור

טעויות נפוצות

• מבקש את ספירת הציטוטים מ-AI. מספרים מורכבים מחוץ למסד הנתונים האמיתי.
• חושב שהקריטריון הוא מדד לאיכות. ציטוט מציין שימוש, לא איכות.
• השוואה ישירה בין אזורים. תרבויות ייחוס שונות, זה לא הוגן.
• מדידת מדעי הרוח לפי ייחוס. תפוקות כבדות ספרים מיוצגות בחסר במסדי נתונים.
• הערכת אנשים עם קריטריונים. החלטת הגיוס/קידום לא צריכה להתבסס על קריטריון אחד.

לסיכום

בביבליומטריה ובניתוח ציטוטים, AI הוא עוזר רב עוצמה המאגד נתונים אמיתיים, מסמן מגמות ומסכם; אבל לעולם אל תיקח מספרי ציטוטים ושורות ביניים מזיכרון הבינה המלאכותית, כי זה מרכיב אותו. מדדים מראים שימוש ונראות, לא איכות; לא ניתן להשוות בין תחומים; הוא מיוצג בחסר במדעי הרוח ולא ניתן להשתמש בו לבד כדי להעריך אנשים. הספרן הוא מדריך אחראי המסביר את גבולות הקריטריונים הללו ומאזן אותם עם הערכה איכותית.

משימת יישום

קח רשימה קטנה של פרסומים (10-15 רשומות, עם ספירת ציטוטים) ממאגר ציטוטים אמיתי. קח את אשכול הבינה המלאכותית וסכם עם התבנית "סיכום נתוני ציטוטים אמיתיים", ולאחר מכן אמת את הציטוטים וספירה כנגד מסד הנתונים. לאחר מכן הדפיסו את המגבלות של מדד לבחירתכם (למשל מדד h) עם התבנית "אזהרת פרשנות קריטריונים" ותכננו כיצד תסבירו זאת למנהל.

רשימת בדיקה

• [ ] סיפקתי את מספרי הציטוטים והציטוטים ממסד הנתונים האמיתי, לא הרכיבו אותם על ידי AI.
• [ ] הצגתי את המדדים כאינדיקטורים לשימוש/נראות, לא לאיכות.
• [ ] לקחתי בחשבון את ההבדל בתרבות הציטוטים בין התחומים.
• [ ] לקחתי בחשבון את תת הייצוג של מדעי הרוח.
• [ ] לא השתמשתי בקריטריון בלבד בהערכת אנשים.