การผลิตคำถามและการสอบ

กำไร:

• ความสามารถในการให้ปัญญาประดิษฐ์สร้างคำถามแบบเลือกตอบ สิ่งรบกวนสมาธิตามข้อผิดพลาดทั่วไป และแนวทางแก้ไขโดยการระบุหัวข้อ ระดับ และการกระจายความยาก
• ความสามารถในการตรวจจับข้อผิดพลาดของคีย์ผิดและข้อผิดพลาดของตัวเลือกที่ถูกต้องหลาย/ศูนย์โดยการตรวจสอบคำถามและคำตอบแต่ละคีย์อย่างอิสระ โดยเฉพาะอย่างยิ่งเป็นกลุ่มด้วย SymPy
• ความสามารถในการประเมินคุณภาพของสิ่งรบกวนสมาธิ สมดุลของคำถามที่ไม่คลุมเครือและยาก และอนุมัติแต่ละคำถามก่อนทำการสอบ

Preparing exam and practice questions is one of the most time-consuming tasks in mathematics education: setting questions of appropriate difficulty, designing plausible distractors (wrong but plausible options), preparing the answer key, and balancing difficulty take hours. ปัญญาประดิษฐ์สามารถเร่งกระบวนการนี้ให้เร็วขึ้น โดยสร้างคำถามที่หลากหลาย ตัวเลือกแบบปรนัย และคีย์คำตอบจากหัวข้อเดียว แต่ความถูกต้องของคำถามแต่ละข้อที่เกิดขึ้นและความปราศจากข้อผิดพลาดของคำตอบแต่ละข้อจะต้องได้รับการตรวจสอบอย่างอิสระ คีย์ไม่ถูกต้องหมายความว่านักเรียนเสียคะแนนอย่างไม่ยุติธรรม ในหน่วยการเรียนรู้นี้ คุณจะได้เรียนรู้วิธีใช้ AI เป็นพันธมิตรในการสร้างคำถาม และวิธีกลั่นกรองคำถามแต่ละข้อ

คำจำกัดความบางประการ ตัวกวนใจคือตัวเลือกในคำถามแบบปรนัยที่ไม่ถูกต้องแต่สอดคล้องกับข้อผิดพลาดทั่วไปที่นักเรียนอาจทำ สิ่งรบกวนสมาธิที่ดีไม่ใช่การสุ่ม สะท้อนถึงข้อผิดพลาดทั่วไป (ข้อผิดพลาดในการลงชื่อ ความสับสนของกฎ) คีย์คำตอบคือรายการคำตอบที่ถูกต้องสำหรับคำถาม สมดุลความยากคือการกระจายคำถามง่าย-ยาก-ยากในข้อสอบอย่างเหมาะสม

การมีส่วนร่วมของ AI ในการสร้างคำถาม

• รูปแบบคำถาม: คำถามที่คล้ายกันหลายข้อจากรูปแบบ (การเปลี่ยนตัวเลข)
• การออกแบบตัวเบี่ยงเบนความสนใจ: ตัวเลือกที่ไม่ถูกต้องอย่างเป็นไปได้โดยพิจารณาจากข้อผิดพลาดทั่วไป
• โครงร่างหลักแนวทางแก้ไข: แนวทางแก้ไขทีละขั้นตอนสำหรับแต่ละปัญหา
• Difficulty rating: Classifying questions as easy/medium/difficult.
• ครอบคลุมหัวเรื่อง: ชุดคำถามที่ครอบคลุมหัวข้อย่อยต่างๆ ของหลักสูตร
• Bloom Taxonomy Fit: คำถามตามระดับความรู้ความเข้าใจ เช่น การจดจำ การประยุกต์ การวิเคราะห์

ทีละขั้นตอน: สร้างชุดคำถามที่เชื่อถือได้

1. ระบุหัวข้อ ระดับ และจำนวนคำถาม เช่น "มัธยมเกรด 10 สมการกำลังสอง คำถามปรนัย 10 ข้อ"

2. ถามประเภทคำถามและการกระจายความยาก ขอให้แจกแจงเช่น "4 ง่าย 4 กลาง 2 ยาก"

3. ตอบคำถามแต่ละข้ออย่างอิสระ แก้คำถามแต่ละข้อด้วยตัวเองหรือด้วย SymPy เปรียบเทียบกับคีย์คำตอบที่ YZ ให้ไว้ ขั้นตอนนี้ไม่สามารถต่อรองได้

4. ตรวจหาสิ่งรบกวนสมาธิ ตัวเลือกที่ผิด ผิดจริงหรือ? บางครั้ง AI ก็สร้างตัวเลือกที่ถูกต้องมากกว่าหนึ่งตัวเลือก หรือตัวเบี่ยงเบนความสนใจนั้นถูกต้องจริงๆ ตรวจสอบแต่ละตัวเลือก

5. รับประกันว่ามีคำตอบที่ถูกต้องเพียงข้อเดียว ในหลายตัวเลือก ต้องมีหนึ่งตัวเลือกที่ถูกต้อง ต้องไม่มีศูนย์หรือมากกว่าหนึ่งข้อที่ถูกต้อง

6. ตรวจสอบความไม่แน่นอนและความซ้ำซ้อน คำถามไม่ชัดเจนใช่ไหม? คำถามทั้งสองนี้วัดสิ่งเดียวกันหรือไม่? Are the numbers reasonable (e.g. if the root should be negative)?

ข้อควรพิจารณา: AI ทำข้อผิดพลาดที่พบบ่อยที่สุดสองข้อเมื่อสร้างคำถามแบบเลือกตอบ: (1) ตัวเลือกที่ทำเครื่องหมายว่า "จริง" นั้นผิดจริง ๆ (2) มีมากกว่าหนึ่งตัวเลือกที่ถูกต้อง หรือไม่มีตัวเลือกใดเลยที่ถูกเลย อย่าใช้คำถามใดๆ โดยไม่ได้ตอบคำถามแต่ละข้อแยกจากกัน และประเมินตัวเลือกทั้งสี่ตัวเลือกแยกกันว่าเป็นจริง/เท็จ

แผนภูมิการควบคุมคุณภาพคำถาม

การควบคุม

คำถาม

จะต้องค้นหาอะไร

ความแม่นยำ

คีย์คำตอบถูกต้องหรือไม่?

การยืนยันโดยโซลูชั่นอิสระ

จริงเท่านั้น

มีเพียง 1 ตัวเลือกเท่านั้นใช่ไหม?

อีก 3 คนคงผิด

คุณภาพที่เสียสมาธิ

ข้อผิดพลาดเป็นไปได้หรือไม่?

ควรเป็นไปตามข้อผิดพลาดทั่วไป

ความชัดเจน

คำถามไม่ชัดเจนใช่ไหม?

ไม่ควรมีความไม่แน่นอน

การปฏิบัติตามระดับ

ความยากเหมาะสมกับเป้าหมายหรือไม่?

ไม่ง่ายเกินไปหรือยากเกินไป

ขอบเขต

นำเสนอหัวข้อได้ดีหรือไม่?

หัวข้อย่อยมีความสมดุล

มินิเคสสามอัน

กรณีที่ 1 — รหัสผิด ครูจัดทำชุดคำถามแบบเลือกตอบจำนวน 12 ข้อ เมื่อเขาแก้ไขแต่ละคำถามด้วย SymPy เขาพบว่าใน 3 คำถามจากทั้งหมด 12 ข้อ ตัวเลือกที่ AI ทำเครื่องหมายว่า "ถูกต้อง" นั้นไม่ถูกต้อง — คำตอบที่ถูกต้องจริงเป็นอีกทางเลือกหนึ่ง ครูปรับกุญแจให้ตรง หากใช้ชุดนี้โดยไม่มีการตรวจสอบ ทั้งชั้นเรียนจะถูกประเมินอย่างไม่ยุติธรรมด้วยคำถาม 3 ข้อ

กรณีที่ 2 — สองตัวเลือกที่ถูกต้อง ในคำถามหนึ่ง AI ​​ใส่ทั้ง "x = 2" และ "x = 2 หรือ x = −2"; ทั้งสองมีความจริงในแง่หนึ่ง และคำถามก็ไม่ชัดเจน ครูจัดเรียงตัวเลือกใหม่และเหลือคำตอบที่ถูกต้องเพียงคำตอบเดียว ผู้รบกวนจะต้องไม่ถูกต้องอย่างชัดเจน

กรณีที่ 3 — สิ่งรบกวนสมาธิที่อ่อนแอ ในชั้นเรียนวิศวกรรม AI ได้ใส่สิ่งที่รบกวนสมาธิที่ไม่เกี่ยวข้อง เช่น "42", "aksaray", "blue", "17" ฯลฯ ไว้ในคำถาม คำตอบที่ถูกต้องคือ "17" อย่างชัดเจน ครูถามถึงตัวเบี่ยงเบนตัวเลขโดยพิจารณาจากข้อผิดพลาดในการคำนวณทั่วไป (เช่น ค่าที่เกิดจากข้อผิดพลาดของเครื่องหมาย) และคำถามก็กลายเป็นตัวแยกแยะอย่างแท้จริง ผู้ล่อลวงที่ดีแสดงถึงเส้นทางที่ผิดพลาดอย่างแท้จริง

เทมเพลตที่สามารถคัดลอกได้สี่แบบ

1) ชุดคำถามแบบเลือกตอบ:

สร้างคำถาม [n] MULTIPLE CHOICE ใน [หัวข้อ] ระดับ:[ระดับ] ความยาก: [x ง่าย, y ปานกลาง, z ยาก] ให้แต่ละคำถามมี 4 ทางเลือก ให้ 1 ถูกต้องและอีก 3 รายการเป็นตัวเบี่ยงเบนความสนใจที่เป็นไปได้โดยพิจารณาจากข้อผิดพลาดทั่วไป เขียนวิธีแก้ปัญหาทีละขั้นตอนและคำตอบที่ถูกต้องสำหรับคำถามแต่ละข้อ ฉันจะตรวจสอบทั้งหมดด้วย SymPy

2) รูปแบบคำถาม (จากรูปแบบ):

ใช้คำถามนี้เป็น PATTERN: [คำถามตัวอย่าง] สร้าง [n] เวอร์ชันที่แตกต่างกันโดยวัดแนวคิดเดียวกัน แต่มีตัวเลข/บริบทที่แตกต่างกัน แก้คำตอบสำหรับแต่ละเวอร์ชันทีละขั้นตอน ให้คำตอบแตกต่างกันออกไป

3) การสร้างคีย์โซลูชัน:

สร้างวิธีแก้ปัญหาแบบทีละขั้นตอนและคำตอบสุดท้ายสำหรับคำถามแต่ละข้อด้านล่าง ระบุกฎที่คุณใช้ ทำเครื่องหมายวิธีแก้ปัญหาที่คุณไม่แน่ใจ ฉันจะตรวจสอบแต่ละคำตอบอย่างอิสระ คำถาม: [ที่นี่]

4) การปรับปรุงสิ่งรบกวนจิตใจ:

ทบทวนสิ่งรบกวนสมาธิสำหรับคำถามแบบเลือกตอบนี้ อธิบายว่าข้อผิดพลาดทั่วไปของนักเรียนแต่ละคนสอดคล้องกับสิ่งที่เบี่ยงเบนความสนใจไม่ถูกต้อง แทนที่สิ่งรบกวนสมาธิที่ไม่เกี่ยวข้องหรือไม่ถูกต้องอย่างเห็นได้ชัดด้วยสิ่งรบกวนสมาธิตามข้อผิดพลาดที่เกิดขึ้นจริง คำถาม: [ที่นี่]

พรอมต์อ่อน / พรอมต์แรง

อ่อนแอ: "ขอคำถามอนุพันธ์ 10 ข้อหน่อย"

ผลลัพธ์: ระดับที่ไม่แน่นอน, การกระจายความยากแบบสุ่ม, รหัสคำตอบที่ไม่ได้รับการยืนยัน, ชุดสิ่งรบกวนสมาธิแบบสุ่ม (ถ้ามี)

แข็งแกร่ง: "สร้างคำถามอนุพันธ์แบบเลือกตอบ 10 ข้อสำหรับโรงเรียนมัธยมศึกษาปีที่ 12: ง่าย 4 ข้อ (กฎพื้นฐาน), กลาง 4 ข้อ (กฎลูกโซ่/ผลิตภัณฑ์), ยาก 2 ข้อ (ฟังก์ชันผสม) ให้มีคำถาม 4 ข้อในแต่ละคำถาม ถูก 1 ข้อพอดี ส่วนที่เหลือเป็นตัวเบี่ยงเบนความสนใจตามข้อผิดพลาดทั่วไป (ลืมอนุพันธ์ภายใน ลงชื่อผิดพลาด) แก้คำถามแต่ละข้อทีละขั้นตอนและระบุคำตอบที่ถูกต้อง"

ผลลัพธ์: ชุดที่มีระดับ สมดุล สิ่งรบกวนสมาธิมีความหมาย และทุกคำตอบสามารถตรวจสอบได้

ข้อผิดพลาดทั่วไป

• ไม่ตรวจสอบคีย์คำตอบ สิ่งที่ AI บอกว่า "ถูก" มักจะผิดเสมอ แก้คำถามแต่ละข้ออย่างอิสระ
• มากกว่าหนึ่ง/ศูนย์เป็นตัวเลือกที่ถูกต้อง ในการเลือกปรนัยจะต้องมีความจริงข้อเดียวเท่านั้น ตรวจสอบแต่ละตัวเลือกแยกกัน
• ผู้รบกวนที่อ่อนแอ ตัวเลือกที่ไม่เกี่ยวข้องหรือไม่ถูกต้องอย่างเห็นได้ชัดทำให้คำถามไม่ชัดเจน
• ไม่ระบุการกระจายความยาก พวกเขาทั้งหมดดูเหมือนจะมีความยากเหมือนกัน ไม่สามารถประเมินระดับได้
• การทำซ้ำและการทับซ้อนกัน คำถามที่ต่างกันอาจวัดแนวคิดเดียวกัน ตรวจสอบยอดเงินความคุ้มครอง
• การแสดงออกที่คลุมเครือ คำถามที่มีความหมายซ้ำซ้อนทำให้นักเรียนเข้าใจผิดอย่างไม่ยุติธรรม

เคล็ดลับ: วิธีที่มีประสิทธิภาพที่สุดในการตรวจสอบชุดคำถามคือการเขียนโค้ดที่แก้ไขคำถามทั้งหมดพร้อมกันด้วย SymPy บอก AI ​​ว่า "เขียนโค้ดที่แก้ปัญหาทั้ง 10 ประการด้วย SymPy" เรียกใช้โค้ด และเปรียบเทียบผลลัพธ์ของ SymPy กับคีย์คำตอบของ AI จำนวนมาก ด้วยวิธีนี้ คุณจะตรวจสอบคำถามทั้ง 10 ข้อ ไม่ใช่ทีละข้อ แต่โดยรวมและกำหนดไว้

โดยสรุป

AI เร่งความเร็วคำถามทางคณิตศาสตร์และการสร้างข้อสอบได้อย่างมาก: การแปรผันของคำถาม การออกแบบตัวเบี่ยงเบนความสนใจ รหัสคำตอบ ระดับความยาก แต่แต่ละคำถามและแต่ละคีย์คำตอบจะต้องได้รับการตรวจสอบอย่างอิสระ โดยควรตรวจสอบแบบเป็นกลุ่มด้วย SymPy ข้อผิดพลาดที่พบบ่อยที่สุดคือคำตอบที่ผิด ตัวเลือกที่ถูกต้องหลายข้อ/ศูนย์ และสิ่งรบกวนสมาธิที่อ่อนแอ การระบุหัวข้อ ระดับ และความยากตั้งแต่เริ่มต้นจะเพิ่มคุณภาพ คำถามที่ไม่ได้รับการตรวจสอบไม่ควรเข้าสอบ

งานสมัคร

เลือกหัวข้อ ให้ AI ​​สร้างคำถามแบบเลือกตอบ 8-10 ข้อ + วิธีแก้ปัญหาพร้อมแจกแจงความยากด้วยเทมเพลตที่ 1 จากนั้นจำได้จากหน่วยที่ 4 ให้ AI เขียนโค้ดที่ตอบทุกคำถามด้วย SymPy แล้วรันโค้ด เปรียบเทียบผลลัพธ์ SymPy กับรหัสคำตอบของ YZ ตรวจสอบว่ามีตัวเลือกที่ถูกต้องเพียงข้อเดียวในแต่ละคำถามและผู้รบกวนนั้นไม่ถูกต้องจริงๆ ค้นหาและแก้ไขข้อผิดพลาดหรือสิ่งรบกวนสมาธิที่อ่อนแออย่างน้อยหนึ่งข้อ

รายการตรวจสอบ

• [ ] ฉันได้ระบุหัวข้อ ระดับ และความยากไว้อย่างชัดเจน
• [ ] ฉันแก้ไขคำถามแต่ละข้อแยกกัน (ควรใช้แบบกลุ่มกับ SymPy)
• [ ] ฉันเปรียบเทียบคีย์คำตอบกับผลลัพธ์ของ SymPy
• [ ] ฉันตรวจสอบแล้วว่าในแต่ละคำถามมีตัวเลือกที่ถูกต้องเพียงหนึ่งตัวเลือก
• [ ] ฉันตรวจสอบว่าสิ่งรบกวนสมาธินั้นเกิดจากข้อผิดพลาดทั่วไปและจริงๆ แล้วผิด
• [ ] I made sure there were no vague statements and no repetitive questions.