Đơn vị 5 / 11

Sản xuất câu hỏi và câu hỏi: Chất lượng viết mục và đánh lạc hướng

Lợi nhuận:

  • Khả năng đưa ra các câu hỏi trắc nghiệm, mở và tư duy ở cấp độ cao hơn phù hợp với thành tích với sự hỗ trợ của trí tuệ nhân tạo
  • Khả năng kiểm soát chất lượng câu hỏi bằng cách áp dụng các nguyên tắc đánh lạc hướng tốt (phương án sai nhưng hợp lý), câu trả lời đúng duy nhất và độ khó của câu hỏi.
  • Hiểu được nguy cơ trí tuệ nhân tạo tạo ra đáp án sai, câu hỏi không khách quan hoặc thiên vị và có thể thấy giáo viên phải xác minh từng mục.

Các kỳ thi và câu hỏi là những công cụ chính để giáo viên đánh giá việc học; Nhưng viết câu hỏi hay khó hơn bạn nghĩ. Gốc mơ hồ, các lựa chọn tương tự và ngôn ngữ đưa ra manh mối sẽ làm giảm giá trị đo lường của câu hỏi. AI nhanh chóng tạo ra một số lượng lớn các đề cương câu hỏi liên quan đến kết quả; Bạn giám sát chất lượng, xác minh đáp án và duy trì sự liên kết đạt được. Trong phần này, chúng ta sẽ đề cập đến cách viết bài hay và tạo bài kiểm tra chất lượng bằng AI. Giới hạn rất rõ ràng: AI có thể tạo ra các đáp án sai, các câu hỏi không khách quan hoặc thiên vị; Giáo viên kiểm tra từng mục.

Giải phẫu vấn đề và nguyên tắc của những câu hỏi hay

Một câu hỏi trắc nghiệm có hai phần: phần thân (thân câu hỏi) — vấn đề chính đang được hỏi; và các lựa chọn - một là câu trả lời đúng, những lựa chọn còn lại là câu trả lời gây phân tâm. Một phương pháp đánh lạc hướng tốt, mặc dù sai, nhưng có vẻ hợp lý đối với những học sinh chưa hoàn toàn nắm vững môn học; Nó thường dựa trên một quan niệm sai lầm phổ biến. Một quan niệm sai lầm phổ biến như “Mặt trăng tự tạo ra ánh sáng” là một yếu tố gây phân tâm mạnh mẽ. Một câu đánh lạc hướng vô nghĩa hoặc không liên quan ("Mặt trăng là pho mát") khiến câu hỏi trở nên dễ dàng hơn và ít đặc biệt hơn.

Nguyên tắc đặt câu hỏi hay: (1) Thân câu hỏi một điều gì đó đơn giản và rõ ràng; (2) chỉ có một câu trả lời đúng; (3) các tùy chọn có độ dài tương tự và tương thích về mặt ngữ pháp với gốc (tùy chọn dài hơn nói chung là đúng, không đưa ra manh mối); (4) Tránh lựa chọn “tất cả/không” nếu có thể; (5) nếu gốc âm (“is not”) thì được nhấn mạnh; (6) câu hỏi đo lường mức độ đạt được—đặt câu hỏi gợi nhớ để phân tích việc đạt được điểm chưa đạt.

Độ khó của mục là độ khó của câu hỏi; Sự phân biệt đối xử là vấn đề phân biệt những người biết với những người không biết đến mức nào. Một bài thi tốt là sự kết hợp của nhiều câu hỏi có độ khó khác nhau.

Mẹo: Khi đặt câu hỏi từ AI, hãy nêu tên quan niệm sai lầm mục tiêu: nói "những yếu tố gây phân tâm nên dựa trên 3 quan niệm sai lầm phổ biến này". Bằng cách này, bạn sẽ có được những yếu tố gây phân tâm trong giảng dạy chứ không phải những yếu tố ngẫu nhiên.

Các loại câu hỏi

Trắc nghiệm: Đo nhanh, tự động chấm điểm; nhưng việc đo lường tư duy bậc cao đòi hỏi phải thiết kế cẩn thận. Câu trả lời mở/ngắn: Thể hiện nhận định của chính học sinh; Nó được chấm điểm bằng phiếu tự đánh giá (đơn vị thứ 6). Đúng-sai: Nhanh nhưng có yếu tố may mắn cao. Sự phù hợp: Tốt cho mối quan hệ giữa khái niệm và định nghĩa. Câu hỏi tư duy bậc cao: Các câu hỏi dựa trên tình huống hỏi “tại sao/như thế nào/đánh giá”; Nó đo lường lợi ích phân tích-đánh giá. AI tạo ra bản thiết kế cho tất cả chúng; Công việc của bạn là chọn loại đo lường kết quả nào.

Từng bước: Sản xuất câu đố bằng AI

  1. Đưa ra mức tăng và mức Bloom. Câu hỏi nên đo lường mức độ đó.
  2. Chỉ định loại và số lượng. "6 câu trắc nghiệm + 2 câu mở".
  3. Đặt tên cho chiến lược đánh lạc hướng. Nó nên dựa trên những quan niệm sai lầm nào?
  4. Yêu cầu chìa khóa và lời biện minh. Câu trả lời đúng cho mỗi câu hỏi và tại sao những câu hỏi khác đều sai.
  5. Xác minh khóa theo cách thủ công. Tự mình giải quyết từng câu hỏi; Liệu ranh giới được AI đánh dấu có thực sự đúng?
  6. Kiểm tra căn chỉnh và sai lệch. Câu hỏi có đo lường được lợi ích không? Có thành kiến ​​về văn hóa/giới tính không?
  7. Cân bằng khó khăn. Điều chỉnh hỗn hợp dễ-trung bình-khó.

ba trường hợp nhỏ

Trường hợp 1 - Chìa khóa sai. Một giáo viên khoa học làm bài kiểm tra 10 câu hỏi từ AI. Chìa khóa của câu hỏi thứ 3 được đánh dấu là “B”, nhưng khi giáo viên giải được, anh ta thấy rằng đáp án đúng là “C” – AI cho rằng kẻ đánh lạc hướng của chính nó là đúng. Nếu thầy không sửa thì coi như học sinh biết sai. Việc giải chìa khóa bằng tay đã lưu toàn bộ bài kiểm tra.

Trường hợp 2 - Hiệu chỉnh bộ phân tâm yếu. Trong bài kiểm tra đầu tiên của giáo viên, những câu gây phân tâm là vô nghĩa và học sinh phải loại bỏ và tìm ra câu trả lời đúng. Anh ấy đã yêu cầu AI tái tạo "những yếu tố gây phân tâm dựa trên những quan niệm sai lầm phổ biến sau: X, Y, Z." Sự phân biệt đối xử gia tăng trong bài kiểm tra mới; điểm trung bình của lớp phản ánh tốt hơn việc học tập thực tế.

Trường hợp 3 - Đạt được sự liên kết. Kết quả của một giáo viên lịch sử ở mức độ phân tích ("liên hệ nguyên nhân") nhưng AI lại đưa ra các câu hỏi gợi nhớ ("kể ngày tháng"). Giáo viên đã cập nhật lời nhắc là "ở cấp độ phân tích tiếp thu; đặt các câu hỏi tình huống nhằm thiết lập mối quan hệ nhân quả." Các câu hỏi đã trở thành thước đo thành tích.

Mẫu có thể sao chép

1) Bộ trắc nghiệm dựa trên thành tích:

Vai trò của bạn: [môn học] giáo viên. Tăng: "[tăng]" ([Cấp độ nở hoa]),[X. lớp học]. Viết 6 câu hỏi trắc nghiệm để đo lường kết quả này. Cho mỗi câu hỏi có 4 phương án lựa chọn; Yêu cầu những yếu tố gây phân tâm dựa trên những quan niệm sai lầm phổ biến sau: [viết những quan niệm sai lầm]. Đối với mỗi câu hỏi, hãy giải thích câu trả lời đúng và tại sao MỖI lựa chọn là đúng/sai trong một phần khóa riêng. Hỗn hợp dễ-trung bình-khó.

2) Xác minh khóa trả lời:

Giải quyết từng câu hỏi trắc nghiệm bên dưới. Đối với mỗi câu hỏi: (a) câu trả lời đúng bạn tìm thấy, (b) lý do, (c) nó có khớp với khóa đã đánh dấu không. Đánh dấu những điểm không nhất quán một cách rõ ràng là "MÁY ĐẠI". Câu hỏi và chìa khóa: [dán]

3) Câu hỏi (kịch bản) cấp cao:

"[chủ đề]", [X. class], viết 3 câu hỏi tình huống ở cấp độ phân tích-đánh giá. Hãy để mỗi câu hỏi đưa ra một tình huống ngắn gọn và yêu cầu học sinh biện minh/so sánh. Đừng để nó được giải quyết bằng trái tim. Thêm câu trả lời mẫu và mẹo đánh giá.

4) Kiểm toán thiên vị và tuân thủ:

Kiểm tra các câu hỏi sau để biết: thành kiến về giới tính/văn hóa/khu vực, lợi thế/bất lợi không công bằng đối với một nhóm cụ thể, bối cảnh không phù hợp. Gắn cờ các mục có vấn đề và đề xuất giải pháp thay thế trung lập. Câu hỏi: [dán]

Dấu nhắc yếu / Dấu nhắc mạnh

Dấu nhắc yếu:

Viết 10 câu hỏi về phân số.

Cấp độ, kết quả, loại, chiến lược đánh lạc hướng, không có chìa khóa; Chất lượng và sự liên kết của nó được để lại cho cơ hội.

Lời nhắc mạnh mẽ:

Vai trò của bạn: giáo viên toán. Kết quả học tập: “Học sinh cộng hai phân số khác mẫu số” (ứng dụng). lớp 5. 6 câu hỏi trắc nghiệm, 4 lựa chọn. Những yếu tố gây phân tâm nên dựa trên những quan niệm sai lầm sau: cộng trực tiếp cả tử số và mẫu số, giữ nguyên tử số và cộng mẫu số. Đưa ra mô tả chìa khóa và lựa chọn cho mỗi câu hỏi. Trộn dễ-trung bình-khó.

Loại câu hỏi

Mức độ nó đo lường

sức mạnh

Chú ý

trắc nghiệm

Mọi cấp độ (tùy theo thiết kế)

Điểm nhanh, tự động

Chất lượng phân tâm

kết thúc mở

sự hiểu biết-sáng tạo

biểu thức ban đầu

Cần một phiếu tự đánh giá

đúng-sai

nhớ

rất nhanh

Yếu tố may mắn cao

Dựa trên kịch bản

Phân tích-đánh giá

ngăn cản việc ghi nhớ

Đánh vần khó, AI giúp

Những lỗi thường gặp

  • Không xác minh chìa khóa. Sai lầm thường xuyên nhất và không công bằng nhất; AI tạo sai chìa khóa, học sinh nào biết sẽ bị thiệt hại.
  • Kẻ gây phân tâm vô nghĩa. Tùy chọn hợp lý giúp đơn giản hóa câu hỏi miễn phí.
  • Mức tăng không khớp. Ghi nhớ câu hỏi để thu thập phân tích; trượt mục tiêu.
  • Ngôn ngữ đưa ra manh mối. Thực tế là tùy chọn dài nhất/chi tiết nhất luôn đúng sẽ dạy cho học sinh các mẫu.
  • Nhìn ra sự thiên vị. Bối cảnh quen thuộc của một nền văn hóa/nhóm cụ thể mang lại cho một số học sinh một lợi thế không công bằng.
Thận trọng: AI đôi khi tạo ra các câu hỏi mơ hồ trong đó có nhiều hơn một lựa chọn có thể được coi là "đúng". Anh ấy trả lời từng mục bằng câu hỏi "Có một sự thật duy nhất và không thể chối cãi?" Kiểm tra nó bằng cách nói; Nếu không, hãy làm rõ gốc.

Tóm lại

Một câu hỏi hay sẽ đo lường mức độ đạt được bằng một phần thân bài rõ ràng và những yếu tố gây phân tâm hợp lý. AI nhanh chóng tạo ra một số lượng lớn các dàn ý câu hỏi, các yếu tố phân tâm và chìa khóa phụ thuộc vào việc tiếp thu; Nếu bạn nói ra những quan niệm sai lầm của mục tiêu, những người đánh lạc hướng sẽ được hướng dẫn. Tuy nhiên, AI có thể tạo ra các khóa sai, yếu tố gây phân tâm yếu, không thể tiếp thu hoặc các câu hỏi thiên vị. Giải từng mục để xác minh khóa, kiểm tra căn chỉnh và độ lệch; Bài kiểm tra cuối cùng là của giáo viên.

Nhiệm vụ ứng dụng

Để có kết quả, hãy tạo 6 câu hỏi với mẫu "Bộ câu hỏi trắc nghiệm dựa trên kết quả"; Hãy tự xác định chiến lược đánh lạc hướng. Sau đó tự mình giải từng câu hỏi và so sánh với key của AI trước khi sử dụng mẫu "Answer key verify". Sửa bất kỳ sự không phù hợp. Cuối cùng, hãy viết một phiên bản của tình huống nâng cao một trong những câu hỏi lên cấp độ phân tích.

danh sách kiểm tra

  • [ ] Tôi có đặt câu hỏi theo mức độ Bloom của kết quả học tập không?
  • [ ] Tôi có căn cứ vào những quan niệm sai lầm thực tế để gây phân tâm không?
  • [ ] Tôi đã xác minh được chìa khóa của mỗi câu hỏi bằng cách tự mình giải chưa?
  • [ ] Tôi có chắc là có một câu trả lời đúng và không thể nghi ngờ được không?
  • [ ] Tôi đã kiểm tra độ thiên vị và độ tuổi phù hợp chưa?