การวัด-การประเมิน และการออกแบบรูบริก: เกณฑ์ ระดับ และความสม่ำเสมอ

กำไร:

• ความสามารถในการเข้าใจประเภทรูบริกเชิงวิเคราะห์และแบบองค์รวม เกณฑ์ และแนวคิดระดับความสำเร็จ และออกแบบรูบริกที่โปร่งใสโดยได้รับการสนับสนุนจากปัญญาประดิษฐ์
• ความสามารถในการสร้างตัวชี้วัดที่สอดคล้องกับความสำเร็จและน้ำหนักคะแนนสำหรับงานด้านประสิทธิภาพ พอร์ตโฟลิโอ และการประเมินโครงการ
• ความสามารถในการเข้าใจว่าการตัดสินใจให้คะแนนและการประเมินผลขั้นสุดท้ายเป็นของครู ปัญญาประดิษฐ์ไม่สามารถให้คะแนนเพียงอย่างเดียวได้ และความสอดคล้องนั้นต้องได้รับการตรวจสอบโดยครู

เป็นเรื่องง่ายที่จะบอกนักเรียนว่า "โครงการนี้ได้คะแนน 70"; แต่นักเรียนถามว่า “ทำไม 70?” หรือวัตถุหลัก คุณต้องมีพื้นฐานที่ยุติธรรมและสามารถป้องกันได้ พื้นฐานนี้คือรูบริก: เครื่องมือให้คะแนนที่แสดงล่วงหน้าตามเกณฑ์และระดับประสิทธิภาพที่จะมีการประเมิน (โครงการ องค์ประกอบ การนำเสนอ ผลงาน) รูบริกที่ดีจะบอกนักเรียนว่า "คาดหวังอะไรจากคุณ" และทำให้การให้คะแนนของครูมีความสม่ำเสมอและโปร่งใส AI ร่างตัวชี้วัดที่เกี่ยวข้องกับความสำเร็จและคำจำกัดความระดับอย่างรวดเร็ว คุณเป็นผู้กำหนดการจัดตำแหน่ง ความเป็นธรรม และน้ำหนัก มีขอบเขตที่ชัดเจน: การให้เกรดและการประเมินขั้นสุดท้ายเป็นการตัดสินใจที่ส่งผลกระทบต่อนักเรียน ความรับผิดชอบและการอนุมัติขั้นสุดท้ายเป็นของครู AI ไม่สามารถทำคะแนนเพียงอย่างเดียวได้

ประเภทรูบริกและส่วนประกอบ

มีสองประเภทพื้นฐาน รูบริกเชิงวิเคราะห์แบ่งประสิทธิภาพออกเป็นเกณฑ์แยกกัน เช่น "เนื้อหา" "การจัดองค์กร" "ภาษาและการแสดงออก" "การเขียน" ในเรียงความ และให้คะแนนแต่ละเกณฑ์ตามระดับความสำเร็จที่แยกกัน (เช่น 4=ดีมาก 3=ดี 2=ปรับปรุง 1=เริ่มต้น) ให้ข้อเสนอแนะโดยละเอียดแต่ต้องใช้เวลาในการเตรียมตัวและให้คะแนน รูบริกแบบองค์รวมให้ระดับทั่วไปเพียงระดับเดียวแก่การศึกษาทั้งหมด มันเร็วแต่ไม่ได้แสดงว่าขาดตรงไหน

องค์ประกอบของรูบริกเชิงวิเคราะห์ ได้แก่ เกณฑ์ (สิ่งที่เราประเมิน) ระดับ (ดีแค่ไหน) คำจำกัดความระดับของแต่ละเซลล์ (ตัวบ่งชี้ที่เป็นรูปธรรมของระดับนั้น) และน้ำหนัก (เปอร์เซ็นต์ของคะแนนคือเกณฑ์ใด) คำจำกัดความของระดับดีสามารถสังเกตได้: ไม่ใช่ "เขียนได้ดี" แต่ "ไม่เกิน 2 ตัวพิมพ์ผิดและย่อหน้าตามลำดับตรรกะ"

เคล็ดลับ: แบ่งปันรูบริกกับนักเรียนก่อนเริ่มงาน Rubric ไม่ใช่เครื่องมือบันทึกย่อที่น่าประหลาดใจ แต่เป็นแผนที่การเรียนรู้ หากนักเรียนรู้ว่าต้องทำงานอะไร เขาก็จะผลิตผลงานที่ดีขึ้น

ความสม่ำเสมอและความเป็นธรรม

คุณค่าที่แท้จริงของรูบริกคือความสม่ำเสมอ เมื่อครูสองคนให้คะแนนงานเดียวกันในเวลาที่ต่างกัน ผลลัพธ์ควรจะใกล้เคียงกัน สิ่งนี้เรียกว่าความน่าเชื่อถือของผู้ประเมิน AI อาจจัดทำโครงร่างรูบริก แต่ครูให้ความสอดคล้อง: เป็นหน้าที่ของครูที่จะต้องทำให้คำอธิบายระดับเป็นรูปธรรมเพียงพอ "ปรับเทียบ" กรณีศึกษาบางกรณีด้วยรูบริก (การให้คะแนนทดลอง) และเพื่อชี้แจงกฎเกณฑ์ในกรณีส่วนน้อย

เพื่อประโยชน์ของความเป็นธรรม รูบริกไม่ควรให้คะแนนสิ่งที่ไม่เกี่ยวข้องกับผลลัพธ์ (ความสวยงามของลายมือ เนื้อหาที่นักเรียนต้องการการเข้าถึงทางเศรษฐกิจและสังคม) บางครั้ง AI จะเพิ่มเกณฑ์การไม่บรรลุผล เช่น "สุนทรียภาพในการนำเสนอ"; มีความจำเป็นต้องแยกแยะออก

ทีละขั้นตอน: การออกแบบรูบริกด้วย AI

1. ให้งานและความสำเร็จ รูบริกจะวัดอะไรขึ้นอยู่กับผลลัพธ์ใด
2. เลือกประเภท หากคุณต้องการคำติชมโดยละเอียด เชิงวิเคราะห์ หากคุณต้องการการตัดสินทั่วไปอย่างรวดเร็วแบบองค์รวม
3. ถามเกณฑ์ แต่กรองออก เกณฑ์ 3-5 เกี่ยวกับความสำเร็จ ลบสิ่งที่ไม่เกี่ยวข้องออก
4. คำจำกัดความระดับคอนกรีต ขอตัวชี้วัดที่สังเกตได้
5. ลดน้ำหนัก. เกณฑ์ไหนสำคัญกว่ากัน? ให้ยอดรวมเป็น 100
6. ปรับเทียบ ให้คะแนนตัวอย่างการศึกษา 1-2 รายการพร้อมเกณฑ์การให้คะแนนและความสม่ำเสมอของการทดสอบ
7. ตัดสินใจขั้นสุดท้าย แม้ว่า AI จะแนะนำคะแนนตัวอย่างแต่ครูก็ให้คะแนนปลายภาค

มินิเคสสามอัน

กรณีที่ 1 — การดึงเกณฑ์การไม่บรรลุผลสำเร็จ ครูชาวตุรกีขอให้ AI ช่วยหาเกณฑ์การวิเคราะห์สำหรับเรียงความ AI เสนอเกณฑ์ 5 ข้อ แต่เกณฑ์หนึ่งคือ "ความงามของลายมือ" ซึ่งเป็นเกณฑ์ที่ไม่เกี่ยวข้องกับผลลัพธ์และลงโทษนักเรียนที่เขียนด้วยลายมือไม่ได้รับการพัฒนาอย่างไม่ยุติธรรม ครูหยิบมันออกมาแล้วแทนที่ด้วย "การพัฒนาความคิด" รูบริกมีทั้งความยุติธรรมและความสำเร็จสอดคล้องกัน

กรณีที่ 2 — การคอนกรีต ในรูบริกแรกของครูคนหนึ่ง ระดับต่างๆ จะเป็นนามธรรม เช่น "ดีมาก / ดี / ยุติธรรม"; นักเรียนสองคนได้ทำงานที่คล้ายคลึงกันในระดับที่แตกต่างกัน เขาบอกให้ AI “เขียนแต่ละระดับใหม่ด้วยตัวบ่งชี้ที่สังเกตได้” เมื่อคำจำกัดความที่เป็นรูปธรรม เช่น "ดี = อย่างน้อย 3 ตัวอย่างและย่อหน้าสรุปที่ชัดเจน" มาถึง ความสอดคล้องก็เพิ่มขึ้นและการคัดค้านก็ลดลง

กรณีที่ 3 — การสอบเทียบ ในการประเมินโครงการ ครูให้คะแนนโครงการตัวอย่าง 3 โครงการด้วยรูบริกที่ AI สร้างขึ้นเป็นอันดับแรก AI เสนอ 85 ให้กับใครบางคน ครูพบว่าโปรเจ็กต์เดียวกันคือรูบริก 72 เนื่องจาก AI ตีความเกณฑ์หนึ่งอย่างไม่เห็นแก่ตัวเกินไป ครูชี้แจงคำอธิบายระดับและกำหนดเกรดสุดท้ายด้วยตนเอง AI เร่งร่าง; อาจารย์จึงตัดสินใจ

เทมเพลตที่คัดลอกได้

1) โครงร่างรูบริกเชิงวิเคราะห์:

บทบาทของคุณ: [วิชา] ครู งาน: "[เขียนงานการปฏิบัติงาน]", ความสำเร็จ: "[ความสำเร็จ]", [X. ระดับ]. สร้างรูบริกการวิเคราะห์ด้วยเกณฑ์ 4 ข้อ ให้แต่ละเกณฑ์เกี่ยวข้องกับผลลัพธ์ (เพิ่มเกณฑ์ที่ไม่มีวัตถุประสงค์ เช่น การเขียนด้วยลายมือและสุนทรียภาพ) เขียนระดับความสำเร็จ 4 ระดับและตัวบ่งชี้ที่สังเกตได้สำหรับแต่ละระดับ ชั่งน้ำหนักเกณฑ์เพื่อให้ผลรวมเป็น 100

2) คำจำกัดความระดับคอนกรีตที่เป็นรูปธรรม:

คำอธิบายระดับของรูบริกต่อไปนี้เป็นนามธรรมมาก ("ดี" "ยุติธรรม") เขียนใหม่แต่ละระดับด้วยตัวบ่งชี้ที่สังเกตได้และนับได้ (เช่น "ไม่เกิน 2 ข้อผิดพลาด" "อย่างน้อย 3 ตัวอย่าง") รูบริก: [วาง]

3) รูบริกแบบองค์รวม (การประเมินอย่างรวดเร็ว):

เขียนรูบริกแบบองค์รวม 4 ระดับสำหรับ "[งาน]" ให้แต่ละระดับอธิบายลักษณะทั่วไปของงานได้อย่างสังเกตได้ในย่อหน้าเดียว กำไร: "[กำไร]" ให้ช่วงบันทึกด้วย

4) การตรวจสอบการสอบเทียบ:

ด้านล่างนี้เป็นรูบริกและงานของนักเรียน ตามรูบริก ให้ระบุระดับของคุณในแต่ละการวัดพร้อมเหตุผล ให้สิ่งนี้เป็นข้อเสนอแนะ; ฉันจะให้เกรดสุดท้าย ทำเครื่องหมายเกณฑ์ที่ยังไม่ชัดเจน รูบริก + การศึกษา: [วาง]

พรอมต์อ่อน / พรอมต์แข็งแกร่ง

พรอมต์ที่อ่อนแอ:

เขียนรูบริกสำหรับโครงการ

ไม่มีงาน ความสำเร็จ ประเภท จำนวนเกณฑ์ น้ำหนัก รูบริกการไม่บรรลุผลและเป็นนามธรรมปรากฏขึ้น

พรอมต์อันทรงพลัง:

บทบาทของคุณ: ครูวิทยาศาสตร์ ภารกิจ: "นักเรียนค้นคว้าแหล่งพลังงานหมุนเวียนและเตรียมโปสเตอร์" วัตถุประสงค์: "นักเรียนอธิบายหลักการทำงานและข้อดีของแหล่งพลังงาน" ชั้นประถมศึกษาปีที่ 7 เกณฑ์การวิเคราะห์ที่มี 4 เกณฑ์ ได้แก่ ความถูกต้องของเนื้อหา ความชัดเจนของคำอธิบาย การใช้แหล่งที่มา ลำดับ เพิ่มเกณฑ์การไม่บรรลุผล ให้แต่ละระดับสามารถสังเกตได้ ผลรวมของน้ำหนักคือ 100

คุณสมบัติ

รูบริกเชิงวิเคราะห์

รูบริกแบบองค์รวม

จำนวนเกณฑ์

หลายคะแนนแยกกัน

การตัดสินทั่วไปเดี่ยว

ข้อเสนอแนะ

รายละเอียดตามเกณฑ์

ทั่วไป

ความเร็ว

ช้า

รวดเร็ว

เหมาะสมที่สุด

การพัฒนากระบวนการ/ทักษะ

ภาพรวมโดยย่อ

การมีส่วนร่วมของเอไอ

เกณฑ์ + โครงร่างระดับ

ร่างย่อหน้าระดับ

ข้อผิดพลาดทั่วไป

• มาตรการไม่บรรลุผล การให้คะแนนสิ่งที่ไม่เกี่ยวข้องกับผลลัพธ์ เช่น ลายมือ ความสวยงาม และการเข้าถึงวัสดุ ถือเป็นการเอาชนะความยุติธรรม
• คำจำกัดความระดับนามธรรม คำจำกัดความเช่น “ดี/ยุติธรรม” นำไปสู่ความไม่สอดคล้องกันและการคัดค้าน ใช้ตัวบ่งชี้ที่สังเกตได้
• แสดงรูบริกในภายหลัง การไม่แบ่งปันก่อนทำภารกิจจะทำให้นักเรียนขาดเป้าหมาย
• ทำให้ได้เกรด AI AI อาจแนะนำคะแนนตัวอย่าง แต่ครูให้เกรดสุดท้าย การควบคุมความสม่ำเสมอเป็นของครู
• กำลังข้ามการสอบเทียบ การใช้รูบริกโดยไม่ลองใช้กับกรณีศึกษาจะให้ผลลัพธ์ที่น่าประหลาดใจ

ข้อควรระวัง: การให้ AI นักเรียนทำงานแล้วพูดว่า "ให้คะแนน" เป็นเรื่องที่น่าดึงดูดแต่ก็มีความเสี่ยง งานของนักเรียนอาจมีข้อมูลส่วนบุคคล (ไม่ระบุชื่อ) และคะแนนของ AI อาจไม่สอดคล้องกัน/มีอคติ ใช้ AI เพื่อเสนอแนะประเด็นและร่างข้อเสนอแนะ คุณตัดสินใจ.

โดยสรุป

รูบริกเป็นเครื่องมือที่ทำให้การประเมินมีความโปร่งใส สม่ำเสมอ และป้องกันได้ รูบริกเชิงวิเคราะห์ให้ผลป้อนกลับโดยละเอียดตามเกณฑ์ รูบริกแบบองค์รวมให้การตัดสินทั่วไปอย่างรวดเร็ว AI ร่างตัวชี้วัดที่เกี่ยวข้องกับความสำเร็จ คำจำกัดความระดับที่เป็นรูปธรรม และน้ำหนักอย่างรวดเร็ว แต่เป็นความรับผิดชอบของครูที่จะต้องแยกแยะเกณฑ์การไม่บรรลุผล ทำให้ระดับที่สังเกตได้ สอบเทียบ และให้คะแนนขั้นสุดท้าย เกรดคือการตัดสินใจที่ส่งผลต่อนักเรียน ไม่ได้มอบหมายให้ AI

งานสมัคร

สร้างรูบริกเกณฑ์ 4 เกณฑ์ด้วยเทมเพลต "โครงร่างรูบริกเชิงวิเคราะห์" สำหรับงานด้านประสิทธิภาพที่คุณจะมอบให้เร็วๆ นี้ ลบเกณฑ์การไม่บรรลุผลและทำให้คำจำกัดความของระดับสามารถสังเกตได้ จากนั้นทดสอบความสอดคล้องโดยให้คะแนนการศึกษาตัวอย่าง 2 เรื่อง (หรือสมมุติฐาน) ด้วยรูบริกนี้ ประเมินว่าคะแนนของการศึกษาทั้งสองสะท้อนถึงคุณสมบัติที่แท้จริงหรือไม่ และทำการปรับเปลี่ยนเกณฑ์การให้คะแนนของคุณ

รายการตรวจสอบ

• [ ] เกณฑ์การบรรลุผลทั้งหมดเกี่ยวข้องกันหรือไม่ (ไม่มีเกณฑ์การไม่บรรลุผล)
• [ ] คำจำกัดความของระดับสามารถสังเกตได้และเป็นรูปธรรมหรือไม่
• [ ] ฉันกำหนดน้ำหนักและผลรวมของมันคือ 100?
• [ ] ฉันจะแชร์รูบริกกับนักเรียนก่อนเริ่มงานหรือไม่
• [ ] ฉันได้ปรับเทียบรูบริกกับงานตัวอย่างและให้คะแนนขั้นสุดท้ายด้วยตัวเองหรือไม่