บรรณานุกรม การวิเคราะห์การอ้างอิง และการประเมินผลกระทบการวิจัย

กำไร:

• ความสามารถในการนำไปใช้โดยไม่ต้องนับจำนวนการอ้างอิงและการอ้างอิงจากหน่วยความจำ AI ในขณะที่จัดกลุ่มและสรุปข้อมูลที่นำมาจากฐานข้อมูลการอ้างอิงจริงด้วย AI
• ความสามารถในการทำความเข้าใจว่าตัวชี้วัด เช่น การอ้างอิง ดัชนี h และปัจจัยผลกระทบ บ่งบอกถึงการใช้งานแต่ไม่ใช่คุณภาพ และความไม่เท่าเทียมกันในสาขาต่างๆ
• ความสามารถในการพิจารณาขีดจำกัดทางจริยธรรมของการใช้เกณฑ์บรรณานุกรมเพียงอย่างเดียวในการประเมินบุคคลและสร้างสมดุลให้กับการประเมินเชิงคุณภาพ

ห้องสมุดมหาวิทยาลัยจะวัดผลการวิจัยของสถาบัน นักวิจัยเพื่อค้นหาการศึกษาที่มีอิทธิพลมากที่สุดในสาขานั้น ผู้จัดการอาจต้องการประเมินการมองเห็นทางวิทยาศาสตร์ของแผนกต่างๆ เบื้องหลังงานนี้คือบรรณานุกรม: สาขาที่ตรวจสอบสิ่งพิมพ์ทางวิทยาศาสตร์เชิงตัวเลขและความสัมพันธ์ในการอ้างอิงระหว่างสิ่งตีพิมพ์เหล่านี้ In this unit, you will learn how to use artificial intelligence in citation analysis, publication mapping and impact assessment; แต่คุณจะได้เรียนรู้วิธีนำทางขีดจำกัดและข้อผิดพลาดทางจริยธรรมของการวัดเชิงตัวเลข

เรามากำหนดแนวคิดกัน การอ้างอิงคือการอ้างอิงทางวิทยาศาสตร์ที่จัดทำโดยสิ่งพิมพ์หนึ่งไปยังสิ่งพิมพ์อื่น จำนวนการอ้างอิงถือเป็นตัวบ่งชี้ว่ามีการใช้งานไปมากน้อยเพียงใด ดัชนี h คือการวัดที่รวมทั้งประสิทธิภาพการทำงานและผลกระทบของนักวิจัย (หากแต่ละสิ่งพิมพ์มีจำนวน h ได้รับการอ้างอิงอย่างน้อย h ดัชนี h จะเป็น h) Impact Factor คือการวัดที่แสดงระดับการอ้างอิงเฉลี่ยของวารสาร ตัวชี้วัดเหล่านี้มีประโยชน์ แต่ไม่มีการวัด "คุณภาพ" โดยตรง การคำนึงถึงความแตกต่างนี้คือแก่นแท้ของบรรณานุกรม

ทีละขั้นตอน: การวิเคราะห์บรรณานุกรมอย่างรับผิดชอบ

1. ชี้แจงคำถาม "การศึกษาพื้นฐานของสาขานี้คืออะไร", "สิ่งพิมพ์ใดของสถาบันของเราที่ได้รับการอ้างถึงมากที่สุด", "ทั้งสองสาขานี้ตัดกันอย่างไร" คำถามแต่ละข้อต้องมีการวิเคราะห์ที่แตกต่างกัน

2. ใช้ข้อมูลที่เชื่อถือได้ การวิเคราะห์การอ้างอิงมีความน่าเชื่อถือพอๆ กับแหล่งข้อมูลเท่านั้น AI สามารถสร้างจำนวนการอ้างอิงหรือรายการสิ่งพิมพ์ได้ ดังนั้นจึงจำเป็นอย่างยิ่งที่จะต้องทำงานกับข้อมูลจากฐานข้อมูลการอ้างอิงจริง ใช้ AI เพื่อตีความและสรุปข้อมูลจริง ไม่ใช่เพื่อสร้างข้อมูล

3. มีรูปแบบการทำเครื่องหมาย AI ช่วยสรุปกลุ่มหัวข้อ เครือข่ายการทำงานร่วมกัน หรือแนวโน้มในช่วงเวลาต่างๆ ในสิ่งพิมพ์ชุดใหญ่ สิ่งนี้จะนำความสนใจของนักวิเคราะห์ที่เป็นมนุษย์ไปยังจุดสำคัญ

4. ตีความเกณฑ์ตามบริบท จำนวนการอ้างอิงที่ต่ำไม่ได้บ่งชี้ว่างานนั้นไร้ค่า ฟิลด์อาจมีขนาดเล็ก หัวข้ออาจเป็นเรื่องใหม่ หรือสิ่งพิมพ์อาจใหม่มาก อย่าตีความตัวเลขโดยไม่มีบริบท

5. สังเกตขอบเขตทางจริยธรรม ไม่ควรใช้มาตรการทางบรรณานุกรมเพียงอย่างเดียวในการตัดสินใจเกี่ยวกับการจ้างงาน เลื่อนตำแหน่ง หรือให้ทุนแก่บุคคล ตัวเลขไม่ได้วัดคุณค่าของคน การใช้ในทางที่ผิดนั้นทั้งไม่ยุติธรรมและเป็นอันตราย

เคล็ดลับ: เมื่อให้ AI ทำการวิเคราะห์การอ้างอิง ให้จัดเตรียมจำนวนการอ้างอิงและการอ้างอิงสิ่งพิมพ์จากฐานข้อมูลจริง ปล่อยให้ AI จัดระเบียบ จัดกลุ่ม และตีความข้อมูลนี้ได้อย่างง่ายดาย "ดัชนี h ของนักเขียนคนนี้คืออะไร" การถามโดยตรงอาจส่งผลให้มีการแต่งหมายเลขขึ้นมา

ขีดจำกัดของเกณฑ์และการยักย้าย

เนื่องจากการวัดทางบรรณานุกรมดูมีประสิทธิภาพ จึงสามารถนำไปใช้ในทางที่ผิดได้ จำนวนการอ้างอิงสามารถสูงเกินจริงได้หลายวิธี: การอ้างอิงตนเองมากเกินไป (อ้างอิงงานของตัวเอง) วงการอ้างอิง (กลุ่มคนที่อ้างอิงซึ่งกันและกัน) หรือวัฒนธรรมการอ้างอิงของสาขานั้นเอง นอกจากนี้ เกณฑ์ไม่สามารถเปรียบเทียบได้ในแต่ละสาขา: สภาพแวดล้อมในการอ้างอิงของบทความทางการแพทย์และบทความเกี่ยวกับปรัชญานั้นแตกต่างกันโดยสิ้นเชิง

ปัญหานี้เห็นได้ชัดเจนยิ่งขึ้นในสาขามนุษยศาสตร์และสังคมศาสตร์ เนื่องจากผลงานที่มีนัยสำคัญในสาขาเหล่านี้ (หนังสือ การแปล บทวิจารณ์) ไม่ค่อยมีการนำเสนอในฐานข้อมูลการอ้างอิง การวัดผลกระทบของนักประวัติศาสตร์หรือนักวิชาการด้านวรรณกรรมด้วยจำนวนการอ้างอิงเพียงอย่างเดียว ถือเป็นการเข้าใจผิดเกี่ยวกับธรรมชาติของงานชิ้นนี้ บรรณารักษ์เป็นแนวทางที่อธิบายขีดจำกัดของเกณฑ์เหล่านี้ให้ผู้บริหารและนักวิจัยทราบ

ข้อควรระวัง: อย่านำเสนอการวัดทางบรรณานุกรมเพื่อตัดสินขั้นสุดท้ายเกี่ยวกับคุณวุฒิการศึกษาของแต่ละบุคคลหรือคุณภาพของแผนก หลักการประเมินการวิจัยอย่างรับผิดชอบเน้นย้ำว่ามาตรการควรเสริมการประเมินเชิงคุณภาพ ไม่ใช่แทนที่

มินิเคสสามอัน

กรณีที่ 1 — แมปพื้นที่ บรรณารักษ์ต้องการแสดงผลงานพื้นฐานในสาขาของตนแก่กลุ่มวิจัย โดยดึงข้อมูลจากสิ่งพิมพ์ 200 ฉบับจากฐานข้อมูลการอ้างอิงจริง YZ สรุปข้อมูลนี้เป็นกลุ่มหัวข้อและเน้นการศึกษาที่มีการอ้างอิงมากที่สุด 10 ประการ นักวิเคราะห์ตรวจสอบแต่ละคลัสเตอร์และตัวระบุในฐานข้อมูล กลุ่มก็รีบคว้าโครงสร้างของพื้นที่อย่างรวดเร็ว

กรณีที่ 2 — ตรวจพบดัชนี h ปลอม ผู้จัดการถาม AI เกี่ยวกับดัชนี h ของนักวิจัย AI บอกว่า "42" บรรณารักษ์ดูฐานข้อมูลจริง: ค่าที่ถูกต้องคือ 19; AI ได้ประกอบตัวเลขขึ้นมาแล้ว นี่แสดงให้เห็นว่าการวัดไม่ควรนำมาจากหน่วยความจำ AI แต่มาจากข้อมูลจริง

กรณีที่ 3 — ป้องกันการเปรียบเทียบที่ไม่ถูกต้อง หน่วยหนึ่งต้องการจัดสรรเงินทุนโดยการเปรียบเทียบสองบทตามจำนวนการอ้างอิงโดยเฉลี่ย บรรณารักษ์อธิบายว่าแผนกหนึ่งเป็นแผนกการแพทย์ (วัฒนธรรมการอ้างอิงสูง) และอีกแผนกคือมนุษยศาสตร์ (วัฒนธรรมการอ้างอิงต่ำและมีหนังสือหนัก) และการเปรียบเทียบนี้จะไม่ยุติธรรม การประเมินได้รับการสนับสนุนจากเกณฑ์เชิงคุณภาพที่คำนึงถึงความแตกต่างของสาขา

แผนที่ภาพและกับดักการอ่าน

เครื่องมือที่ใช้บ่อยในบรรณานุกรมคือแผนที่เครือข่าย (เช่น เครือข่ายการอ้างอิงร่วมหรือเครือข่ายการเขียนร่วม) ซึ่งแสดงความสัมพันธ์ระหว่างสิ่งพิมพ์หรือผู้เขียนตามโหนดและลิงก์ แผนที่เหล่านี้ทำให้มองเห็นโครงสร้าง กลุ่ม และงานสะพานของพื้นที่ได้ AI สามารถรวบรวมข้อมูลจริงที่ซ่อนอยู่และช่วยตีความแผนที่เหล่านี้ But visual maps, while powerful, can also be misleading: a large, centrally visible node may not be the "most important" but just the "most connected"; ขนาดของคลัสเตอร์สามารถสะท้อนถึงปริมาณการตีพิมพ์เท่านั้น ไม่ใช่มูลค่าของพื้นที่นั้น นอกจากนี้ วิธีการวาดแผนที่ (เกณฑ์ใด ช่วงเวลาใด ฐานข้อมูลใด) จะเปลี่ยนผลลัพธ์โดยสิ้นเชิง ดังนั้น เมื่อนำเสนอการแสดงภาพข้อมูลบรรณานุกรมเป็นพื้นฐานสำหรับการตัดสินใจ จึงจำเป็นต้องระบุอย่างชัดเจนว่าข้อมูลใดที่อิงตาม พารามิเตอร์ใด และในช่วงเวลาใด หากความคิดเห็นที่สร้างโดย AI รับรองว่าโหนดบนแผนที่เป็น “ผู้นำ” หรือ “มีอิทธิพลมากที่สุด” ให้ตรวจสอบเพื่อดูว่าข้อมูลจริงรองรับลักษณะเฉพาะนั้นหรือไม่

เคล็ดลับ: อย่าตกหลุมพราง "center = top" เมื่อตีความแผนที่เครือข่าย ความเป็นศูนย์กลางบ่งบอกถึงความหนาแน่นของการเชื่อมต่อเท่านั้น ผลงานต้นฉบับหรือคุณภาพของงานจะไม่ปรากฏบนแผนที่และสามารถเข้าใจได้โดยการอ่านเนื้อหาเท่านั้น

เทมเพลตที่สามารถคัดลอกได้สี่แบบ

1) สรุปข้อมูลการอ้างอิงจริง:

ด้านล่างนี้คือรายการสิ่งพิมพ์และหมายเลขอ้างอิงที่ฉันนำมาจากฐานข้อมูลการอ้างอิงจริง แบ่งออกเป็นกลุ่มหัวข้อและสรุปแต่ละกลุ่มในประโยคเดียว เพียงใช้ข้อมูลที่ฉันให้ไว้ อย่าเพิ่ม/สร้างสิ่งพิมพ์ใหม่หรือจำนวนการอ้างอิง ข้อมูล: [ที่นี่]

2) การทำเครื่องหมายแนวโน้มและรูปแบบ:

เน้นแนวโน้มที่โดดเด่น (เพิ่มขึ้น ลดลง ความเข้มข้นของการทำงานร่วมกัน) ในข้อมูลสิ่งพิมพ์/การอ้างอิงตามปีด้านล่าง ยึดทุกการสังเกตจากข้อมูล อย่าคาดเดา ข้อมูล: [ที่นี่]

3) คำเตือนการตีความเกณฑ์:

ตีความเกณฑ์บรรณานุกรมต่อไปนี้โดยระบุข้อจำกัด: หัวข้อใดที่ให้ข้อมูล, หัวข้อใดที่ไม่ได้ให้ข้อมูล, หัวข้อใดที่เปิดให้นำไปใช้ในทางที่ผิด? เกณฑ์และบริบท: [ที่นี่]

4) การควบคุมความแตกต่างของพื้นที่:

ข้อมูลการอ้างอิงของสองกลุ่มต่อไปนี้สามารถเปรียบเทียบได้โดยตรงหรือไม่ ประเมินความแตกต่างในวัฒนธรรมการอ้างอิงระหว่างสาขาต่างๆ และอธิบายว่าการเปรียบเทียบนั้นยุติธรรมหรือไม่ ข้อมูล: [ที่นี่]

พรอมต์อ่อน / พรอมต์แรง

พรอมต์ที่อ่อนแอ:

แสดงรายการบทความที่มีอิทธิพลมากที่สุดของผู้เขียนคนนี้และจำนวนการอ้างอิง

AI สร้างชื่อที่สร้างขึ้นและจำนวนการอ้างอิงจากหน่วยความจำทั่วโลกโดยไม่ต้องเข้าถึงข้อมูลจริง ผลลัพธ์: การวิเคราะห์ที่น่าเชื่อถือแต่หลอกลวง

พรอมต์อันทรงพลัง:

บทบาทของคุณ: ผู้ช่วยบรรณานุกรม ด้านล่างนี้คือข้อมูลอ้างอิงสิ่งพิมพ์และหมายเลขอ้างอิงที่ฉันดึงมาจากฐานข้อมูลการอ้างอิงจริง จัดเรียงข้อมูลนี้จากโดเมนที่มีการอ้างอิงมากที่สุดไปต่ำสุด แบ่งออกเป็นกลุ่มหัวข้อ และสรุปแต่ละคลัสเตอร์ อย่าเบี่ยงเบนไปจากข้อมูลที่ผมให้มา อย่าสร้างตัวเลขหรือป้ายกำกับใดๆ เพิ่มหมายเหตุสั้นๆ เกี่ยวกับขีดจำกัดของเกณฑ์ ข้อมูล: [ที่นี่]

พรอมต์อันทรงพลัง; โดยจำกัด AI ไว้เฉพาะข้อมูลจริง ห้ามการประดิษฐ์ และเตือนเราถึงขีดจำกัดของเกณฑ์มาตรฐาน

ตารางเกณฑ์และขีดจำกัด

เกณฑ์

แสดงให้เห็นอะไร

อะไรไม่แสดง.

ความสนใจ

จำนวนการอ้างอิง

การใช้งาน/การมองเห็น

คุณภาพความถูกต้อง

ขึ้นอยู่กับวัฒนธรรมของพื้นที่

ดัชนี H

ผลผลิต+ผลกระทบ

คุณค่าของแต่ละบุคคล

มีความอ่อนไหวต่อความยาวอาชีพ

ปัจจัยผลกระทบ

ค่าเฉลี่ยวารสาร

มูลค่าของบทความเดียว

เกณฑ์ระดับวารสาร

เครือข่ายความร่วมมือ

ใครเคยร่วมงานด้วย

อัตราการมีส่วนร่วม

Role in the network unclear

ข้อผิดพลาดทั่วไป

• การขอนับการอ้างอิงจาก AI ตัวเลขถูกสร้างขึ้นนอกฐานข้อมูลจริง
• โดยคิดว่าเกณฑ์เป็นตัววัดคุณภาพ การอ้างอิงบ่งบอกถึงการใช้งาน ไม่ใช่คุณภาพ
• เปรียบเทียบพื้นที่โดยตรง วัฒนธรรมการระบุแหล่งที่มาแตกต่างกัน จึงไม่ยุติธรรม
• การวัดมนุษยศาสตร์โดยการระบุแหล่งที่มา ผลลัพธ์ที่มีปริมาณหนังสือมากมีน้อยในฐานข้อมูล
• การประเมินบุคคลด้วยเกณฑ์ การตัดสินใจจ้างงาน/เลื่อนตำแหน่งไม่ควรใช้เกณฑ์เดียว

โดยสรุป

ในการวิเคราะห์บรรณานุกรมและการอ้างอิง AI เป็นตัวช่วยอันทรงพลังที่จัดกลุ่มข้อมูลจริง ระบุแนวโน้ม และสรุป แต่อย่านำหมายเลขอ้างอิงและบรรทัดทางย่อยจากหน่วยความจำ AI เพราะมันประกอบขึ้นมา เมตริกแสดงการใช้งานและการมองเห็น ไม่ใช่คุณภาพ ไม่สามารถเปรียบเทียบข้ามโดเมนได้ มีบทบาทน้อยในสาขามนุษยศาสตร์และไม่สามารถใช้โดยลำพังเพื่อประเมินบุคคลได้ บรรณารักษ์เป็นไกด์ที่รับผิดชอบซึ่งจะอธิบายขีดจำกัดของเกณฑ์เหล่านี้และสร้างสมดุลกับการประเมินเชิงคุณภาพ

งานสมัคร

นำรายการสิ่งพิมพ์เล็กๆ น้อยๆ (10-15 รายการ พร้อมจำนวนการอ้างอิง) จากฐานข้อมูลการอ้างอิงจริง มีคลัสเตอร์ AI และสรุปด้วยเทมเพลต “สรุปข้อมูลการอ้างอิงจริง” จากนั้นตรวจสอบความถูกต้องของการอ้างอิงและนับเทียบกับฐานข้อมูล จากนั้นพิมพ์ขีดจำกัดของหน่วยเมตริกที่คุณเลือก (เช่น ดัชนี h) ด้วยเทมเพลต "คำเตือนการตีความเกณฑ์" และวางแผนว่าคุณจะอธิบายให้ผู้จัดการทราบอย่างไร

รายการตรวจสอบ

• [ ] ฉันระบุหมายเลขอ้างอิงและการอ้างอิงจากฐานข้อมูลจริง ฉันไม่ได้จัดทำโดย AI
• [ ] ฉันนำเสนอหน่วยเมตริกเป็นตัวบ่งชี้การใช้งาน/การมองเห็น ไม่ใช่คุณภาพ
• [ ] ฉันคำนึงถึงความแตกต่างในวัฒนธรรมการอ้างอิงระหว่างสาขาต่างๆ
• [ ] ฉันคำนึงถึงการเป็นตัวแทนของมนุษยศาสตร์น้อยเกินไป
• [ ] ฉันไม่ได้ใช้เกณฑ์เพียงอย่างเดียวในการประเมินรายบุคคล