Yunit 8 / 11

Paggawa ng Tanong at Pagsusulit

Mga nadagdag:

  • Ang kakayahang magkaroon ng artificial intelligence ay gumagawa ng maraming pagpipiliang mga tanong, mga distractor batay sa mga tipikal na error, at mga solution key sa pamamagitan ng pagtukoy ng paksa, antas, at pamamahagi ng kahirapan.
  • Kakayahang mahuli ang maling key at maramihang/zero na tamang opsyon na mga error sa pamamagitan ng hiwalay na pagpapatunay sa bawat tanong at answer key, mas mabuti nang maramihan, gamit ang SymPy
  • Kakayahang suriin ang kalidad ng mga nakakagambala, ang hindi malabo at kahirapan na balanse ng mga tanong, at aprubahan ang bawat tanong bago kumuha ng pagsusulit.

Ang paghahanda ng mga tanong sa pagsusulit at pagsasanay ay isa sa pinakamatagal na gawain sa edukasyon sa matematika: pagtatakda ng mga tanong ng naaangkop na kahirapan, pagdidisenyo ng mga posibleng distractor (mali ngunit makatotohanang mga opsyon), paghahanda ng susi sa pagsagot, at ang kahirapan sa pagbabalanse ay tumatagal ng ilang oras. Maaaring pabilisin ng artificial intelligence ang prosesong ito — pagbuo ng dose-dosenang mga variation ng tanong, mga opsyon sa maramihang pagpipilian, at mga solution key mula sa isang paksa. Ngunit ang katumpakan ng bawat tanong na ginawa at ang error-freeness ng bawat answer key ay dapat na independiyenteng ma-verify; Ang maling susi ay nangangahulugan na ang mga mag-aaral ay hindi patas na nawalan ng mga puntos. Sa unit na ito matututunan mo kung paano gamitin ang AI bilang isang kasosyo sa pagbuo ng tanong at kung paano i-moderate ang bawat tanong.

Ilang mga kahulugan. Ang distractor ay isang opsyon sa isang multiple choice na tanong na hindi tama ngunit tumutugma sa isang karaniwang pagkakamali na maaaring gawin ng mag-aaral. Ang isang mahusay na distractor ay hindi random; Sinasalamin ang isang karaniwang error (error sa pag-sign, pagkalito sa panuntunan). Ang susi sa pagsagot ay isang listahan ng mga tamang sagot sa mga tanong. Ang balanse ng kahirapan ay ang naaangkop na pamamahagi ng mga tanong na madaling-medium-mahirap sa isang pagsusulit.

Kontribusyon ng AI sa pagbuo ng tanong

  • Pagkakaiba-iba ng tanong: Maramihang magkakatulad na tanong mula sa isang pattern (pagpapalit ng mga numero).
  • Distractor na disenyo: Malamang na hindi tamang mga pagpipilian batay sa mga karaniwang error.
  • Outline ng pangunahing solusyon: Hakbang-hakbang na solusyon sa bawat problema.
  • Rating ng kahirapan: Pag-uuri ng mga tanong bilang madali/katamtaman/mahirap.
  • Saklaw ng paksa: Mga hanay ng mga tanong na sumasaklaw sa iba't ibang mga sub-paksa ng isang syllabus.
  • Bloom taxonomy fit: Tanong ayon sa cognitive level tulad ng pag-alala, paglalapat, pagsusuri.

Hakbang-hakbang: pagbuo ng maaasahang hanay ng mga tanong

1. Tukuyin ang paksa, antas at bilang ng mga tanong. Tulad ng "10th grade high school, quadratic equation, 10 multiple choice questions."

2. Magtanong ng uri ng tanong at pamamahagi ng kahirapan. Humingi ng pamamahagi tulad ng "4 easy, 4 medium, 2 hard."

3. Sagutin ang bawat tanong nang nakapag-iisa. Lutasin ang bawat tanong sa iyong sarili o sa SymPy; Ikumpara ito sa answer key na ibinigay ng YZ. Ang hakbang na ito ay hindi mapag-usapan.

4. Tingnan kung may mga nakakagambala. Mali ba talaga ang mga maling pagpipilian? Minsan ang AI ay gumagawa ng higit sa isang tamang opsyon, o ang isang distractor ay talagang tama. Suriin ang bawat opsyon.

5. Garantiyang may eksaktong isang tamang sagot. Sa maramihang pagpipilian, eksaktong isang opsyon ang dapat na tama; Dapat walang zero o higit sa isang tama.

6. Suriin para sa kawalan ng katiyakan at pagdoble. Univocal ba ang tanong? Pareho ba ang sukat ng dalawang tanong? Makatwiran ba ang mga numero (hal. kung dapat negatibo ang ugat)?

Pansin: Ang AI ay gumagawa ng dalawang pinakakaraniwang pagkakamali kapag bumubuo ng mga tanong na maramihang pagpipilian: (1) ang opsyon na minarkahan nitong "totoo" ay talagang mali, (2) higit sa isang opsyon ang tama, o wala sa mga ito ang tama. Huwag gumamit ng anumang tanong nang hindi nireresolba ang bawat tanong nang hiwalay at hiwalay na sinusuri ang bawat isa sa apat na opsyon bilang totoo/mali.

Tsart ng kontrol sa kalidad ng tanong

kontrol

Tanong

kung ano ang hahanapin

katumpakan

Tama ba ang answer key?

Pagkumpirma sa pamamagitan ng independiyenteng solusyon

totoo lang

1 option lang ba ang tama?

Ang iba pang 3 ay dapat na mali

Kalidad ng distractor

Posible ba ang mga pagkakamali?

Dapat ay batay sa karaniwang error

Kalinawan

Univocal ba ang tanong?

Dapat walang katiyakan

Pagsunod sa antas

Ang kahirapan ba ay angkop sa layunin?

Hindi masyadong madali o masyadong mahirap

Saklaw

Maayos bang kinakatawan ang paksa?

Ang mga subtopic ay balanse

tatlong mini case

Case 1 — Maling key. Isang guro ang gumawa ng multiple choice set ng 12 katanungan. Nang malutas niya ang bawat tanong sa SymPy, nalaman niya na sa 3 sa 12 tanong, ang opsyon na minarkahan ng AI na "tama" ay hindi tama — ang aktwal na tamang sagot ay isa pang opsyon. Inayos ng guro ang mga susi. Kung ginamit ang set na ito nang walang pag-verify, ang buong klase ay nasuri nang hindi patas sa 3 tanong.

Case 2 — Dalawang tamang opsyon. Sa isang tanong, ang AI ​​ay inilagay sa parehong "x = 2" at "x = 2 o x = −2"; Parehong totoo sa isang kahulugan, at ang tanong ay hindi malinaw. Inayos muli ng guro ang mga opsyon at nag-iwan lamang ng isang tamang sagot. Ang mga distraktor ay dapat na malinaw na mali.

Kaso 3 — Mahinang distractor. Sa isang klase sa engineering, inilagay ng AI ang mga hindi nauugnay na distractor tulad ng "42", "aksaray", "blue", "17" atbp. sa isang tanong; Ang tamang sagot ay malinaw na "17". Humingi ang guro ng mga numerical distractor batay sa karaniwang mga error sa pagkalkula (hal., value na nagreresulta mula sa sign error), at ang mga tanong ay naging totoong discriminator. Ang mabuting distractor ay kumakatawan sa isang tunay na maling landas.

Apat na maaaring kopyahin na mga template

1) Multiple choice question set:

Bumuo ng [n] MULTIPLE CHOICE na mga tanong sa [paksa]. Antas:[antas]. Pinagkakahirapan: [x madali, y katamtaman, z mahirap]. Hayaang may 4 na opsyon ang bawat tanong; Hayaang tama ang EXACT 1 at ang iba pang 3 ay mga kapani-paniwalang distractor batay sa mga karaniwang pagkakamali. Isulat din ang hakbang-hakbang na solusyon at tamang sagot para sa bawat tanong. Ive-verify ko silang lahat sa SymPy.

2) Pagkakaiba-iba ng tanong (mula sa pattern):

Kunin ang tanong na ito bilang PATTERN: [sample question]. Bumuo ng [n] iba't ibang bersyon na sumusukat sa parehong konsepto ngunit may iba't ibang numero/konteksto. Lutasin ang mga sagot para sa bawat bersyon nang hakbang-hakbang. Hayaang magkaiba ang mga sagot sa bawat isa.

3) Pagbuo ng susi ng solusyon:

Gumawa ng HAKBANG-HAKBANG na solusyon at huling sagot para sa bawat tanong sa ibaba. Tukuyin ang panuntunang ginagamit mo. Markahan ang solusyon na hindi ka sigurado; Independyente kong ibe-verify ang bawat sagot. Mga Tanong: [dito]

4) Pagpapabuti ng distractor:

Suriin ang mga distractor para sa multiple choice na tanong na ito. Ipaliwanag kung ALING karaniwang error ng mag-aaral ang katumbas ng bawat maling distractor. Palitan ang mga hindi nauugnay o halatang maling distractor ng mga batay sa aktwal na mga error. Tanong: [dito]

Mahinang prompt / Malakas na prompt

Mahina: "Gawin mo ako ng 10 derivative na tanong."
Resulta: Hindi tiyak na antas, random na pamamahagi ng kahirapan, hindi na-verify na answer key, random na hanay ng mga distractor (kung mayroon man).
Strong: "Gumawa ng 10 multiple choice derivative na tanong para sa ika-12 na baitang ng mataas na paaralan: 4 na madaling (pangunahing mga panuntunan), 4 na daluyan (chain/product rule), 2 mahirap (compound functions). Hayaang mayroong 4 na pagpipilian sa bawat tanong, eksaktong 1 tama, ang iba ay mga distractor batay sa mga tipikal na pagkakamali (nalilimutan ang panloob na derivative, ipahiwatig ang bawat hakbang na sagot sa pag-sign ng tanong).
Resulta: Ang isang set na antas, balanse, nakakagambala ay makabuluhan at bawat sagot ay naa-audit.

Mga karaniwang pagkakamali

  • Hindi bini-verify ang answer key. Ang sinasabi ng AI na "tama" ay kadalasang mali; Lutasin ang bawat tanong nang nakapag-iisa.
  • Higit sa isa/zero ang tamang opsyon. Sa maramihang pagpipilian ay dapat mayroong eksaktong isang katotohanan; Suriin ang bawat opsyon nang hiwalay.
  • Mga mahihinang distractor. Ang mga walang katuturan o malinaw na hindi tamang mga pagpipilian ay ginagawang hindi malinaw ang tanong.
  • Hindi tinukoy ang pamamahagi ng kahirapan. Lahat sila ay lumilitaw na pareho ang kahirapan; Ang pagsusuri sa antas ay hindi maaaring gawin.
  • Pag-uulit at magkakapatong. Maaaring sukatin ng iba't ibang tanong ang parehong konsepto; Suriin ang balanse sa saklaw.
  • Malabong ekspresyon. Ang mga tanong na may dobleng kahulugan ay hindi patas na nililinlang ang mga mag-aaral.
Tip: Ang pinakamabisang paraan upang ma-validate ang isang hanay ng mga tanong ay ang pagsulat ng code na lumulutas sa lahat ng tanong nang sabay-sabay sa SymPy. Sabihin sa AI "magsulat ng code na lumulutas sa bawat isa sa 10 problemang ito sa SymPy", patakbuhin ang code, at maramihang ihambing ang mga resulta ng SymPy sa answer key ng AI. Sa ganitong paraan, suriin mo ang 10 tanong hindi isa-isa, ngunit sama-sama at deterministiko.

Sa buod

Kapansin-pansing pinapabilis ng AI ang tanong sa matematika at pagbuo ng pagsusulit: pagkakaiba-iba ng tanong, disenyo ng distractor, key ng solusyon, rating ng kahirapan. Ngunit ang bawat tanong at bawat answer key ay dapat na independiyenteng mapatunayan — mas mainam na maramihang na-verify sa SymPy. Ang pinakakaraniwang error ay maling answer key, multiple/zero correct na opsyon, at mahinang distractor. Ang pagtukoy sa paksa, antas at pamamahagi ng kahirapan mula sa simula ay nagpapataas ng kalidad. Ang anumang hindi na-verify na mga tanong ay hindi dapat pumasok sa pagsusulit.

Gawain ng aplikasyon

Pumili ng paksa. Hayaang gumawa ang AI ng 8-10 multiple choice na tanong + mga solusyon na may partikular na kahirapan sa pamamahagi gamit ang 1st template. Pagkatapos, sa pag-alala mula sa yunit 4, ipasulat sa AI ang isang code na lumulutas sa lahat ng mga tanong sa SymPy at patakbuhin ang code. Ihambing ang mga resulta ng SymPy sa answer key ng YZ. I-verify na may eksaktong isang tamang pagpipilian sa bawat tanong at na ang mga nakakagambala ay talagang mali. Maghanap at itama ang hindi bababa sa isang error o mahinang distractor.

checklist

  • [ ] Malinaw kong sinabi ang paksa, antas at pamamahagi ng kahirapan.
  • [ ] Nalutas ko ang bawat tanong nang nakapag-iisa (mas mainam na batch sa SymPy).
  • [ ] Inihambing ko ang answer key sa mga resulta ng SymPy.
  • [ ] Na-verify ko na may eksaktong isang tamang opsyon sa bawat tanong.
  • [ ] Sinuri ko na ang mga nakakagambala ay nakabatay sa karaniwang mga pagkakamali at talagang mali.
  • [ ] Sinigurado kong walang malabong pahayag at walang paulit-ulit na tanong.