المكاسب:
- القدرة على تنفيذ عدم أخذ عدد الاستشهادات والاستشهادات مطلقًا من ذاكرة الذكاء الاصطناعي أثناء تجميع وتلخيص البيانات المأخوذة من قاعدة بيانات الاستشهادات الحقيقية باستخدام الذكاء الاصطناعي
- القدرة على فهم أن المقاييس مثل الاستشهاد ومؤشر h وعامل التأثير تشير إلى الاستخدام وليس الجودة، وعدم إمكانية مقارنتها عبر المجالات.
- القدرة على النظر في الحدود الأخلاقية لاستخدام المعايير الببليومترية وحدها في تقييم الأفراد وموازنتها مع التقييم النوعي
تقوم مكتبة الجامعة بقياس المخرجات البحثية لمؤسستها؛ باحث للعثور على الدراسات الأكثر تأثيرا في هذا المجال؛ قد يرغب المدير في تقييم الرؤية العلمية للقسم. وراء هذا العمل هناك القياسات الببليومترية: وهو المجال الذي يدرس عدديًا المنشورات العلمية وعلاقات الاقتباس بينها. في هذه الوحدة، ستتعلم كيفية استخدام الذكاء الاصطناعي في تحليل الاستشهادات ورسم خرائط المنشورات وتقييم التأثير؛ لكنك ستتعلم كيفية تجاوز الحدود والمزالق الأخلاقية للمقاييس الرقمية.
دعونا نحدد المفاهيم. الاستشهاد هو مرجع علمي من منشور إلى منشور آخر؛ يعتبر عدد الاستشهادات مؤشرا على مدى استخدام العمل. مؤشر h هو مقياس يجمع بين إنتاجية الباحث وتأثيره (إذا حصل كل عدد من المنشورات على استشهادات h على الأقل، فإن مؤشر h هو h). عامل التأثير هو مقياس يوضح متوسط مستوى الاقتباس في المجلة. هذه المقاييس مفيدة، ولكن لا يوجد منها مقاييس مباشرة للجودة؛ إن وضع هذا التمييز في الاعتبار هو جوهر القياسات الببليومترية.
خطوة بخطوة: التحليل الببليومتري المسؤول
1. وضح السؤال. "ما هي الدراسات الأساسية في هذا المجال؟"، "ما هي منشورات مؤسستنا الأكثر استشهادا؟"، "كيف يتقاطع هذان المجالان؟" كل سؤال يتطلب تحليلا مختلفا.
2. استخدم بيانات موثوقة. لا يمكن الاعتماد على تحليل الاستشهادات إلا بقدر موثوقية مصدر البيانات. يمكن للذكاء الاصطناعي إنشاء عدد من الاستشهادات أو قوائم المنشورات؛ ولذلك، فمن الضروري العمل مع البيانات من قاعدة بيانات الاقتباسات الحقيقية. استخدم الذكاء الاصطناعي لتفسير وتلخيص البيانات الحقيقية، وليس لتوليد البيانات.
3. قم بتمييز الأنماط. يساعد الذكاء الاصطناعي في تلخيص مجموعات المواضيع أو الشبكات التعاونية أو الاتجاهات بمرور الوقت في مجموعة كبيرة من المنشورات. وهذا يوجه انتباه المحلل البشري إلى نقاط مهمة.
4. تفسير المعيار في السياق. لا يشير عدد الاستشهادات المنخفض إلى أن العمل لا قيمة له؛ قد يكون المجال صغيراً، أو قد يكون الموضوع جديداً، أو قد يكون المنشور جديداً جداً. لا تفسر الرقم أبدًا بدون سياق.
5. مراقبة الحدود الأخلاقية. لا ينبغي استخدام المقاييس الببليومترية وحدها لاتخاذ قرارات بشأن توظيف الأفراد أو ترقيتهم أو تمويلهم. الأرقام لا تقيس قيمة الأشخاص؛ إن إساءة معاملتهم أمر غير عادل وضار.
نصيحة: عند قيام الذكاء الاصطناعي بإجراء تحليل للاقتباس، قم بتوفير عدد الاستشهادات واستشهادات المنشورات من قاعدة البيانات الحقيقية؛ اسمح للذكاء الاصطناعي بتنظيم هذه البيانات وتجميعها وتفسيرها ببساطة. "ما هو مؤشر h لهذا الكاتب؟" السؤال المباشر قد يؤدي إلى رقم مختلق.
حدود المعايير والتلاعب
ولأن المقاييس الببليومترية تبدو قوية، فهي عرضة لإساءة الاستخدام. يمكن تضخيم أرقام الاستشهادات بعدة طرق: الاقتباس الذاتي المفرط (الاستشهاد بعمل الفرد)، أو حلقات الاقتباس (مجموعات من الأشخاص يستشهدون ببعضهم البعض بشكل متبادل)، أو ثقافة الاقتباس الخاصة بالمجال. علاوة على ذلك، فإن المعايير غير قابلة للمقارنة عبر المجالات: بيئة الاقتباس للمقالة الطبية والمقالة الفلسفية مختلفة تمامًا.
وتتجلى هذه المشكلة بشكل أوضح في العلوم الإنسانية والاجتماعية؛ لأن المخرجات المهمة في هذه المجالات (الكتب والترجمات والمراجعات) ممثلة تمثيلاً ناقصًا في قواعد بيانات الاستشهادات. إن قياس تأثير المؤرخ أو الباحث الأدبي فقط من خلال عدد الاستشهادات هو إساءة فهم طبيعة العمل. أمين المكتبة هو دليل يشرح حدود هذه المعايير للمسؤولين والباحثين.
تحذير: لا تقدم مقياسًا ببليومتريًا كحكم نهائي حول الجدارة الأكاديمية للفرد أو جودة القسم. تؤكد مبادئ تقييم البحوث المسؤولة على أن التدابير يجب أن تكمل التقييم النوعي، وليس أن تحل محله.
ثلاث حالات صغيرة
الحالة 1 - المنطقة المعينة. أراد أمين مكتبة أن يُظهر لمجموعة بحثية العمل الأساسي في مجال تخصصه. لقد سحبت بيانات من 200 منشور من قاعدة بيانات استشهادات حقيقية؛ لخص YZ هذه البيانات في مجموعات موضوعية وسلط الضوء على الدراسات العشر الأكثر استشهادًا. قام المحلل بالتحقق من كل مجموعة ومعرف في قاعدة البيانات؛ أدركت المجموعة بسرعة هيكل المنطقة.
الحالة 2 - تم اكتشاف مؤشر h المزيف. سأل أحد المديرين الذكاء الاصطناعي عن مؤشر h الخاص بالباحث؛ وقال الذكاء الاصطناعي "42". نظر أمين المكتبة إلى قاعدة البيانات الفعلية: القيمة الصحيحة كانت 19؛ لقد قام الذكاء الاصطناعي بتكوين الرقم. أظهر هذا أنه لا ينبغي أبدًا أخذ المقاييس من ذاكرة الذكاء الاصطناعي، بل من بيانات حقيقية.
الحالة 3 - تم منع المقارنة غير الصحيحة. أرادت إحدى الوحدات تخصيص الأموال من خلال مقارنة فصلين بناءً على متوسط عدد الاستشهادات الخاصة بهما. وأوضح أمين المكتبة أن أحد الأقسام هو الطب (ثقافة الاستشهاد العالي) والآخر هو العلوم الإنسانية (ثقافة الكتب الثقيلة، ثقافة الاستشهاد المنخفض)، وأن هذه المقارنة ستكون غير عادلة. تم دعم التقييم بمعايير نوعية أخذت في الاعتبار الاختلافات الميدانية.
الخرائط البصرية ومصائد القراءة
من الأدوات المستخدمة بشكل متكرر في القياسات المرجعية خرائط الشبكة (على سبيل المثال، شبكات الاستشهاد المشترك أو التأليف المشترك)، والتي تظهر العلاقات بين المنشورات أو المؤلفين عن طريق العقد والروابط. توضح هذه الخرائط البنية والمجموعات والجسور في المنطقة؛ يمكن للذكاء الاصطناعي تجميع البيانات الحقيقية الأساسية والمساعدة في تفسير هذه الخرائط. لكن الخرائط المرئية، على الرغم من قوتها، يمكن أن تكون مضللة أيضًا: فقد لا تكون العقدة الكبيرة المرئية مركزيًا هي "الأكثر أهمية" ولكنها فقط "الأكثر ارتباطًا"؛ يمكن أن يعكس حجم المجموعة حجم النشر فقط، وليس قيمة تلك المساحة. بالإضافة إلى ذلك، فإن كيفية رسم الخريطة (أي عتبة، أي فترة زمنية، أي قاعدة بيانات) تغير النتيجة تمامًا. لذلك، عند تقديم تصور ببليومتري كأساس لاتخاذ القرار، من الضروري أن نذكر بوضوح البيانات التي يعتمد عليها، وما هي المعلمات وعلى مدى أي فترة زمنية. إذا كان التعليق الذي تم إنشاؤه بواسطة الذكاء الاصطناعي يؤهل عقدة على الخريطة باعتبارها "القائدة" أو "الأكثر تأثيرًا"، فتحقق لمعرفة ما إذا كان هذا التوصيف مدعومًا ببيانات حقيقية.
نصيحة: لا تقع في فخ "center = top" عند تفسير خريطة الشبكة. تشير المركزية فقط إلى كثافة الاتصال؛ المساهمة الأصلية أو جودة العمل غير مرئية على الخريطة ولا يمكن فهمها إلا من خلال قراءة المحتوى.
أربعة قوالب قابلة للنسخ
1) تلخيص بيانات الاقتباس الفعلية:
فيما يلي قائمة المنشورات وأرقام الاستشهادات التي أخذتها من قاعدة بيانات استشهادات حقيقية. قسمها إلى مجموعات موضوعية ولخص كل مجموعة في جملة واحدة. ما عليك سوى استخدام البيانات التي قدمتها، ولا تقم بإضافة/إنشاء منشورات جديدة أو أعداد الاستشهادات. البيانات: [هنا]
2) تحديد الاتجاه والنمط:
قم بتسليط الضوء على الاتجاهات الملحوظة (الزيادة والنقصان وتركيز التعاون) في بيانات النشر/الاقتباس على أساس العام أدناه. قم ببناء كل ملاحظة على البيانات، ولا تتكهن. البيانات: [هنا]
3) تحذير تفسير المعايير:
قم بتفسير المعيار الببليومتري التالي، مع ذكر حدوده أيضًا: في أي موضوع يقدم معلومات، وفي أي موضوع لا يقدم معلومات، وفي أي موضوع يكون عرضة لإساءة الاستخدام؟ المعايير والسياق: [هنا]
4) التحكم في فرق المساحة:
هل يمكن مقارنة بيانات الاقتباس للمجموعتين التاليتين مباشرة؟ قم بتقييم الاختلافات في ثقافة الاقتباس بين الحقول وشرح ما إذا كانت المقارنة عادلة. البيانات: [هنا]
موجه ضعيف / موجه قوي
حث ضعيف:
قم بإدراج المقالات الأكثر تأثيراً لهذا المؤلف وعدد الاستشهادات.
يقوم الذكاء الاصطناعي بإنشاء عناوين واقتباسات مختلقة من ذاكرته العالمية دون الوصول إلى البيانات الحقيقية. النتيجة: تحليل مقنع ولكنه زائف.
مطالبة قوية:
دورك: مساعد القياسات الببليومترية. فيما يلي استشهادات المنشورات وأرقام الاستشهادات التي قمت بسحبها من قاعدة بيانات الاستشهادات الحقيقية. قم بفرز هذه البيانات من المجال الأكثر اقتباسًا إلى المجال الأدنى، وتقسيمها إلى مجموعات موضوعية، وتلخيص كل مجموعة. لا تحيد عن البيانات التي قدمتها، ولا تصنع أي أرقام أو تسميات. أضف ملاحظة قصيرة حول حدود المعايير. البيانات: [هنا]
موجه قوي؛ فهو يقيد الذكاء الاصطناعي بالبيانات الحقيقية، ويحظر التصنيع، ويذكرنا بالحدود المعيارية.
جدول المعايير والحدود
المعيار
ما يظهر
ما لا يظهر
انتبه
عدد الاستشهادات
الاستخدام/الرؤية
الجودة والدقة
يعتمد على ثقافة المنطقة
مؤشر ح
الإنتاجية + التأثير
قيمة الفرد
حساسة لطول الحياة المهنية
عامل التأثير
متوسط المجلة
قيمة المقالة الواحدة
معايير مستوى المجلة
شبكة التعاون
الذين عملوا مع
معدل المساهمة
الدور في الشبكة غير واضح
الأخطاء الشائعة
- طلب عدد الاقتباسات من منظمة العفو الدولية. الأرقام مصنوعة خارج قاعدة البيانات الحقيقية.
- الاعتقاد بأن المعيار هو مقياس الجودة. الاقتباس يشير إلى الاستخدام وليس الجودة.
- مقارنة المناطق مباشرة ثقافات الإسناد مختلفة، وهذا ليس عادلا.
- قياس العلوم الإنسانية عن طريق الإسناد. إن المخرجات ذات الكتب الثقيلة ممثلة تمثيلا ناقصا في قواعد البيانات.
- تقييم الأفراد بالمعايير. يجب ألا يعتمد قرار التوظيف/الترقية على معيار واحد.
باختصار
في القياسات الببليومترية وتحليل الاستشهادات، يعد الذكاء الاصطناعي مساعدًا قويًا يجمع البيانات الحقيقية ويحدد الاتجاهات ويلخصها؛ لكن لا تأخذ أبدًا أرقام الاقتباسات والأسماء الثانوية من ذاكرة الذكاء الاصطناعي، لأنها تختلقها. تظهر المقاييس الاستخدام والرؤية، وليس الجودة؛ لا يمكن مقارنتها عبر المجالات؛ يتم تمثيلها بشكل ناقص في العلوم الإنسانية ولا يمكن استخدامها وحدها لتقييم الأفراد. أمين المكتبة هو المرشد المسؤول الذي يشرح حدود هذه المعايير ويوازنها مع التقييم النوعي.
مهمة التطبيق
خذ قائمة صغيرة بالمنشورات (10-15 سجلاً، مع عدد الاستشهادات) من قاعدة بيانات الاستشهادات الحقيقية. احصل على مجموعة الذكاء الاصطناعي وقم بتلخيصها باستخدام قالب "تلخيص بيانات الاقتباس الحقيقي"، ثم تحقق من صحة الاستشهادات والتعدادات مقابل قاعدة البيانات. ثم اطبع حدود المقياس الذي تختاره (مثل مؤشر h) باستخدام قالب "تحذير تفسير المعايير" وخطط لكيفية شرح ذلك للمدير.
قائمة مرجعية
- [ ] لقد قدمت أرقام الاستشهادات والاستشهادات من قاعدة البيانات الحقيقية، ولم أقم باختلاقها بواسطة الذكاء الاصطناعي.
- [ ] لقد قدمت المقاييس كمؤشرات للاستخدام/الرؤية، وليس للجودة.
- [ ] أخذت في الاعتبار الاختلاف في ثقافة الاقتباس بين المجالات.
- [ ] أخذت في الاعتبار نقص تمثيل العلوم الإنسانية.
- [ ] لم أستخدم المعيار وحده في تقييم الأفراد.