Vienetas 8 / 11

Klausimų ir egzaminų gamyba

Pelnas:

  • Galimybė turėti dirbtinį intelektą, nurodant temą, lygį ir sunkumų pasiskirstymą, pateikti klausimus su keliais atsakymų variantais, trikdžius pagal tipines klaidas ir sprendimo raktus.
  • Galimybė užfiksuoti neteisingą klavišą ir kelias/nulis teisingų parinkčių klaidų nepriklausomai patvirtinant kiekvieną klausimo ir atsakymo klavišą, pageidautina masiškai, naudojant SymPy
  • Gebėjimas įvertinti blaškiklių kokybę, klausimų vienareikšmiškumą ir sudėtingumo pusiausvyrą bei pritarti kiekvienam klausimui prieš egzaminą.

Egzamino ir praktikos klausimų ruošimas yra viena iš daugiausiai laiko reikalaujančių matematikos ugdymo užduočių: tinkamo sunkumo klausimų nustatymas, tikėtinų trukdžių (klaidingų, bet tikėtinų variantų) kūrimas, atsakymo rakto paruošimas ir sunkumų balansavimas trunka valandas. Dirbtinis intelektas gali pagreitinti šį procesą – sugeneruoti dešimtis klausimų variantų, kelių pasirinkimų variantų ir sprendimo raktų iš vienos temos. Tačiau kiekvieno pateikto klausimo tikslumas ir kiekvieno atsakymo rakto klaidų nebuvimas turi būti nepriklausomai patikrintas; Neteisingas raktas reiškia, kad mokiniai nesąžiningai praranda taškus. Šiame skyriuje sužinosite, kaip dirbtinį intelektą naudoti kaip klausimų generavimo partnerį ir kaip moderuoti kiekvieną klausimą.

Keletas apibrėžimų. Išblaškymas – tai parinktis klausime su keliais atsakymų variantais, kuri nėra teisinga, bet atitinka įprastą mokinio klaidą. Geras atitraukiklis nėra atsitiktinis; Atspindi tipinę klaidą (ženklo klaida, taisyklių painiava). Atsakymo raktas yra teisingų atsakymų į klausimus sąrašas. Sunkumo pusiausvyra – tai tinkamas lengvų–vidutinio sudėtingumo klausimų paskirstymas egzamino metu.

AI indėlis į klausimų generavimą

  • Klausimo variantas: keli panašūs klausimai pagal šabloną (keičiant skaičius).
  • Distraktoriaus dizainas: tikėtinai neteisingi pasirinkimai, pagrįsti įprastomis klaidomis.
  • Sprendimo pagrindų metmenys: žingsnis po žingsnio kiekvienos problemos sprendimas.
  • Sunkumo įvertinimas: Klasifikuokite klausimus į lengvus / vidutinius / sudėtingus.
  • Dalyko aprėptis: klausimų rinkiniai, apimantys skirtingas programos potemes.
  • „Bloom“ taksonomijos tinkamumas: Klausimas pagal pažinimo lygius, tokius kaip prisiminimas, taikymas, analizė.

Žingsnis po žingsnio: sukurkite patikimą klausimų rinkinį

1. Nurodykite temą, lygį ir klausimų skaičių. Kaip „10 klasės vidurinė mokykla, kvadratinės lygtys, 10 klausimų su atsakymų variantais“.

2. Paklauskite klausimo tipo ir sunkumo paskirstymo. Paprašykite paskirstymo, pvz., „4 lengvi, 4 vidutiniai, 2 sunkūs“.

3. Išspręskite kiekvieną klausimą savarankiškai. Išspręskite kiekvieną klausimą patys arba su SymPy; Palyginkite jį su YZ pateiktu atsakymo klavišu. Šis žingsnis yra nediskutuojamas.

4. Patikrinkite, ar nėra trukdžių. Ar tikrai neteisingi variantai? Kartais AI pateikia daugiau nei vieną teisingą parinktį arba iš tikrųjų yra teisingas blaškiklis. Patikrinkite kiekvieną parinktį.

5. Garantuojame, kad yra tiksliai vienas teisingas atsakymas. Kelių pasirinkimų atveju teisingas turi būti tiksliai vienas variantas; Neturi būti nulio arba daugiau nei vienas teisingas.

6. Patikrinkite, ar nėra neapibrėžtumo ir dubliavimosi. Ar klausimas vienareikšmis? Ar abu klausimai matuoja tą patį? Ar skaičiai pagrįsti (pvz., jei šaknis turėtų būti neigiama)?

Dėmesio: AI daro dvi dažniausiai pasitaikančias klaidas generuodamas klausimus su keliais pasirinkimais: (1) parinktis, pažymėta „teisinga“, iš tikrųjų yra neteisinga, (2) teisinga yra daugiau nei viena parinktis arba nė viena iš jų nėra teisinga. Nenaudokite jokio klausimo, neišspręsdami kiekvieno klausimo atskirai ir neįvertinę kiekvieno iš keturių variantų kaip teisingi / klaidingi.

Klauskite kokybės kontrolės diagramos

kontroliuoti

Klausimas

ko ieškoti

tikslumu

Ar teisingas atsakymo raktas?

Patvirtinimas nepriklausomu sprendimu

tik tiesa

Ar teisingas tik 1 variantas?

Kiti 3 turi būti neteisingi

Distraktoriaus kokybė

Ar klaidos tikėtinos?

Turėtų būti pagrįsta tipine klaida

Aiškumas

Ar klausimas vienareikšmis?

Neturėtų būti netikrumo

Lygio atitiktis

Ar sunkumas atitinka tikslą?

Nei per lengva, nei per sunku

Taikymo sritis

Ar tema gerai pristatoma?

Potemės subalansuotos

trys mini dėklai

1 atvejis – neteisingas klavišas. Mokytojas parengė 12 klausimų rinkinį. Išspręsdamas kiekvieną klausimą naudodamas SymPy, jis nustatė, kad 3 iš 12 klausimų AI parinktis, pažymėta „teisinga“, buvo neteisinga – tikrasis teisingas atsakymas buvo kita galimybė. Mokytojas ištiesino klavišus. Jei šis rinkinys būtų buvęs naudojamas be patikrinimo, visa klasė būtų įvertinta nesąžiningai 3 klausimais.

2 atvejis. Du teisingi variantai. Viename klausime AI įvedė ir „x = 2“, ir „x = 2 arba x = −2“; Abu tam tikra prasme buvo teisingi, o klausimas buvo neaiškus. Mokytojas pertvarkė variantus ir paliko tik vieną teisingą atsakymą. Atitraukikliai turi būti aiškiai neteisingi.

3 atvejis – silpnas blaškiklis. Inžinerijos klasėje AI į klausimą įtraukė nereikšmingus blaškiklius, tokius kaip „42“, „aksaray“, „mėlyna“, „17“ ir kt.; Akivaizdu, kad teisingas atsakymas buvo „17“. Mokytojas paprašė skaitinių išblaškiklių, remdamasis tipinėmis skaičiavimo klaidomis (pvz., reikšmė, gauta dėl ženklo klaidos), ir klausimai tapo tikrais diskriminatoriais. Geras išblaškytojas reiškia tikrą klaidingą kelią.

Keturi kopijuojami šablonai

1) Klausimų rinkinys su keliais pasirinkimais:

Sugeneruokite [n] MULTIPLE CHOICE klausimų [tema]. Lygis: [lygis]. Sunkumas: [x lengvas, y vidutinis, z sunkus]. Tegul kiekvienas klausimas turi 4 variantus; Tegul TIKSLAS 1 yra teisingas, o kiti 3 yra tikėtini trikdžiai, pagrįsti tipinėmis klaidomis. Taip pat parašykite žingsnis po žingsnio sprendimą ir teisingą atsakymą į kiekvieną klausimą. Aš patikrinsiu juos visus su SymPy.

2) Klausimo variantas (pagal šabloną):

Priimkite šį klausimą kaip PATTERNĄ: [klausimo pavyzdys]. Sugeneruokite [n] skirtingų versijų, kurios matuoja tą pačią koncepciją, bet su skirtingais skaičiais / kontekstu. Žingsnis po žingsnio spręskite kiekvienos versijos atsakymus. Tegul atsakymai skiriasi vienas nuo kito.

3) Sprendimo raktų generavimas:

Pateikite žingsnis po žingsnio sprendimą ir galutinį atsakymą į kiekvieną toliau pateiktą klausimą. Nurodykite naudojamą taisyklę. Pažymėkite sprendimą, dėl kurio nesate tikri; Kiekvieną atsakymą patikrinsiu savarankiškai. Klausimai: [čia]

4) Distraktoriaus tobulinimas:

Peržiūrėkite šio klausimo su atsakymų variantais trikdžius. Paaiškinkite KURIĄ tipinę mokinio klaidą atitinka kiekvienas neteisingas atitraukiklis. Pakeiskite nesvarbius arba akivaizdžius neteisingus atitraukiklius tokiais, kurie pagrįsti tikrosiomis klaidomis. Klausimas: [čia]

Silpnas raginimas / Stiprus raginimas

Silpnas: „Pateik man 10 išvestinių klausimų“.
Rezultatas: neapibrėžtas lygis, atsitiktinis sunkumo pasiskirstymas, nepatikrintas atsakymo raktas, atsitiktinis trukdžių rinkinys (jei yra).
Stiprus: "Sukurkite 10 išvestinių klausimų iš kelių atsakymų 12-ajai vidurinės mokyklos klasei: 4 lengvi (pagrindinės taisyklės), 4 vidutiniai (grandinės/produkto taisyklė), 2 sunkūs (sudėtinės funkcijos). Tegul kiekviename klausime būna 4 pasirinkimai, tiksliai 1 teisingas, kiti yra atitraukikliai, pagrįsti tipinėmis klaidomis (pamirškite vidinę išvestinę, pažymėkite atsakymo klaida). Išspręskite kiekvieną klausimą žingsnis po žingsnio.
Rezultatas: lygis, subalansuotas rinkinys, trukdantys veiksniai yra prasmingi ir kiekvienas atsakymas yra patikrinamas.

Dažnos klaidos

  • Nepatvirtina atsakymo rakto. Tai, ką AI sako „teisinga“, dažnai yra neteisinga; Išspręskite kiekvieną klausimą savarankiškai.
  • Daugiau nei vienas/nulis yra teisingas pasirinkimas. Kelių pasirinkimų atveju turi būti tiksliai viena tiesa; Patikrinkite kiekvieną parinktį atskirai.
  • Silpni blaškikliai. Dėl nereikšmingų ar akivaizdžiai neteisingų variantų klausimas nėra išskirtinis.
  • Nenurodomas sudėtingumo pasiskirstymas. Atrodo, kad jie visi turi tą patį sunkumą; Lygio vertinimo atlikti negalima.
  • Kartojimas ir sutapimas. Skirtingi klausimai gali išmatuoti tą pačią sąvoką; Patikrinkite padengimo balansą.
  • Neaiški išraiška. Dvigubos reikšmės klausimai nesąžiningai klaidina mokinius.
Patarimas: Veiksmingiausias būdas patvirtinti klausimų rinkinį yra parašyti kodą, kuris iš karto išsprendžia visus klausimus naudojant SymPy. Pasakykite AI „parašykite kodą, kuris išsprendžia kiekvieną iš šių 10 SymPy problemų“, paleiskite kodą ir masiškai palyginkite SymPy rezultatus su AI atsakymo klavišu. Tokiu būdu jūs patikrinate 10 klausimų ne po vieną, o kartu ir deterministiškai.

Apibendrinant

Dirbtinis intelektas labai pagreitina matematikos klausimų ir egzaminų generavimą: klausimo variantas, blaškiklio dizainas, sprendimo raktas, sunkumų įvertinimas. Bet kiekvienas klausimas ir kiekvienas atsakymo raktas turi būti atskirai patvirtintas – pageidautina masiškai patvirtinti naudojant SymPy. Dažniausios klaidos yra neteisingas atsakymo klavišas, kelios / nulio teisingos parinktys ir silpni trikdžiai. Nuo pat pradžių nurodant temą, lygį ir sunkumo pasiskirstymą, kokybė didėja. Nepatvirtinti klausimai neturėtų patekti į egzaminą.

Taikymo užduotis

Pasirinkite temą. Tegul dirbtinis intelektas pateikia 8–10 klausimų su keliais atsakymų variantais + sprendimus su tam tikro sunkumo paskirstymu, naudodamas 1-ąjį šabloną. Tada, prisimindami iš 4 bloko, leiskite AI parašyti kodą, kuris išspręs visus klausimus su SymPy ir paleiskite kodą. Palyginkite SymPy rezultatus su YZ atsakymo klavišu. Patikrinkite, ar kiekviename klausime yra tiksliai vienas teisingas pasirinkimas ir ar atitraukiantys veiksniai iš tikrųjų yra neteisingi. Raskite ir ištaisykite bent vieną klaidą arba silpną atitraukiklį.

kontrolinis sąrašas

  • [ ] Aiškiai nurodžiau dalyką, lygį ir sunkumo pasiskirstymą.
  • [ ] Kiekvieną klausimą išsprendžiau savarankiškai (geriausia paketu su SymPy).
  • [ ] Atsakymo klavišą palyginau su SymPy rezultatais.
  • [ ] Patikrinau, kad kiekviename klausime yra tiksliai vienas teisingas variantas.
  • [ ] Patikrinau, ar atitraukikliai buvo pagrįsti tipinėmis klaidomis ir iš tikrųjų buvo neteisingi.
  • [ ] Įsitikinau, kad nėra neaiškių teiginių ir pasikartojančių klausimų.