Üksus 8 / 11

Küsimuste ja eksamite tootmine

Kasu:

  • Võimalus lasta tehisintellektil koostada valikvastustega küsimusi, tüüpilistel vigadel põhinevaid segajaid ja lahendusvõtmeid, määrates teema, taseme ja raskusastme jaotuse.
  • Võimalus tuvastada vale võti ja mitu/null õiget valikuvigu, valideerides SymPy abil iga küsimuse ja vastuse võtme iseseisvalt, eelistatavalt hulgi
  • Oskus hinnata segajate kvaliteeti, küsimuste ühemõttelisust ja keerukuse tasakaalu ning iga küsimust enne eksami sooritamist heaks kiita.

Eksami- ja praktikaküsimuste ettevalmistamine on matemaatikaõppes üks aeganõudvamaid ülesandeid: sobiva raskusastmega küsimuste püstitamine, usutavate segajate (valed, kuid usutavad variandid) kujundamine, vastusevõtme ettevalmistamine ja raskuste tasakaalustamine võtavad tunde. Tehisintellekt võib seda protsessi kiirendada – genereerida ühest teemast kümneid küsimuste variatsioone, valikvastustega valikuid ja lahendusvõtmeid. Kuid iga esitatud küsimuse täpsust ja iga vastusevõtme veavabadust tuleb iseseisvalt kontrollida; Vale võti tähendab, et õpilased kaotavad ebaõiglaselt punkte. Selles üksuses saate teada, kuidas kasutada tehisintellekti küsimuste genereerimise partnerina ja kuidas iga küsimust modereerida.

Mõned määratlused. Distractor on valikvastustega küsimuse valik, mis ei ole õige, kuid vastab tavalisele veale, mida õpilane võib teha. Hea segaja ei ole juhuslik; Peegeldab tüüpilist viga (märgiviga, reeglite segadus). Vastusevõti on küsimuste õigete vastuste loend. Raskuste tasakaal on kerge-keskmise raskusega küsimuste sobiv jaotus eksamil.

AI panus küsimuste genereerimisel

  • Küsimuse variatsioon: mitu sarnast küsimust mustrist (numbreid muutes).
  • Distraktori disain: tõenäoliselt valed valikud, mis põhinevad levinud vigadel.
  • Lahendusvõti: iga probleemi samm-sammuline lahendus.
  • Raskusaste: küsimuste liigitamine lihtsateks/keskmisteks/rasketeks.
  • Õppeaine katvus: küsimuste komplektid, mis hõlmavad ainekava erinevaid alateemasid.
  • Bloomi taksonoomia sobivus: küsimus vastavalt kognitiivsetele tasemetele, nagu meeldejätmine, rakendamine, analüüsimine.

Samm-sammult: usaldusväärse küsimuste komplekti loomine

1. Täpsustage küsimuste teema, tase ja arv. Nagu "10. klassi keskkool, ruutvõrrandid, 10 valikvastustega küsimust".

2. Küsi küsimuse tüüpi ja raskuste jaotust. Küsige jaotust nagu "4 kerget, 4 keskmist, 2 rasket".

3. Lahenda iga küsimus iseseisvalt. Lahendage iga küsimus ise või SymPy abil; Võrrelge seda YZ pakutava vastuseklahviga. See samm ei ole läbiräägitav.

4. Kontrollige häireid. Kas valed valikud on tõesti valed? Mõnikord pakub tehisintellekt rohkem kui ühe õige valiku või on distractor tegelikult õige. Kontrollige iga valikut.

5. Garantii, et on täpselt üks õige vastus. Valikvaliku korral peab õige olema täpselt üks valik; Õigeid ei tohi olla nulli ega rohkem kui üks.

6. Kontrollige ebakindlust ja dubleerimist. Kas küsimus on ühemõtteline? Kas need kaks küsimust mõõdavad sama asja? Kas arvud on mõistlikud (nt kui juur peaks olema negatiivne)?

Tähelepanu: tehisintellekt teeb valikvastustega küsimuste loomisel kaks kõige levinumat viga: (1) valik, mille ta märkis "tõene", on tegelikult vale, (2) õige on rohkem kui üks valik või ükski neist pole õige. Ärge kasutage ühtegi küsimust, ilma et oleksite iga küsimust iseseisvalt lahendanud ja iga nelja valikuvõimalust eraldi õigeks/valeks hindanud.

Küsige kvaliteedikontrolli diagrammi

kontrolli

küsimus

mida otsida

täpsust

Kas vastuse võti on õige?

Kinnitus sõltumatu lahendusega

ainult tõsi

Kas ainult 1 variant on õige?

Ülejäänud 3 peavad olema valed

Distraktori kvaliteet

Kas vead on usutavad?

Peaks põhinema tüüpilisel veal

Selgus

Kas küsimus on ühemõtteline?

Ebakindlust ei tohiks olla

Vastavus tasemele

Kas raskusaste on eesmärgile vastav?

Ei liiga lihtne ega liiga raske

Ulatus

Kas teema on hästi esindatud?

Alateemad on tasakaalus

kolm minikarpi

Juhtum 1 — vale klahv. Õpetaja koostas valikvastustega 12 küsimusest koosneva komplekti. Kui ta SymPy abil iga küsimust lahendas, leidis ta, et 12-st küsimusest kolmes oli AI-i poolt "õigeks" märgitud valik vale – tegelik õige vastus oli teine ​​võimalus. Õpetaja ajas võtmed sirgu. Kui seda komplekti oleks kasutatud kontrollimata, oleks kogu klassi kolme küsimuse puhul ebaõiglaselt hinnatud.

2. juhtum – kaks õiget varianti. Ühes küsimuses pani AI nii "x = 2" kui ka "x = 2 või x = −2"; Mõlemad olid teatud mõttes tõesed ja küsimus jäi ebaselgeks. Õpetaja pani valikud ümber ja jättis ainult ühe õige vastuse. Distractors peavad olema selgelt valed.

Juhtum 3 – nõrk segaja. Inseneriklassis pani AI küsimuse alla ebaolulised segajad, nagu "42", "aksaray", "sinine", "17" jne; Õige vastus oli ilmselgelt "17". Õpetaja küsis tüüpiliste arvutusvigade (nt märgiveast tulenev väärtus) põhjal arvulisi distraktoreid ja küsimustest said tõelised diskrimineerijad. Hea segaja tähistab tõelist valeteed.

Neli kopeeritavat malli

1) Valikvastustega küsimuste komplekt:

Looge [n] MITME VALIKU küsimust [teema] kohta. Tase: [tase]. Raskusaste: [x lihtne, y keskmine, z raske]. Igal küsimusel olgu 4 võimalust; Olgu TÄPNE 1 õige ja ülejäänud 3 on tüüpiliste vigade põhjal usutavad segajad. Kirjutage igale küsimusele ka samm-sammult lahendus ja õige vastus. Kontrollin neid kõiki SymPy abil.

2) Küsimuse variatsioon (mustrist):

Võtke seda küsimust MUSTrina: [näidisküsimus]. Loo [n] erinevat versiooni, mis mõõdavad sama kontseptsiooni, kuid erineva arvu/kontekstiga. Lahendage iga versiooni vastused samm-sammult. Olgu vastused üksteisest erinevad.

3) Lahenduse võtme genereerimine:

Koostage igale allolevale küsimusele samm-sammult lahendus ja lõplik vastus. Täpsustage kasutatav reegel. Märkige lahendus, milles te pole kindel; Kontrollin iga vastust iseseisvalt. Küsimused: [siin]

4) Distraktori täiustamine:

Vaadake selle valikvastustega küsimuse segajad üle. Selgitage, MILLE tüüpilisele õpilaste veale vastab iga vale segaja. Asendage ebaolulised või ilmselged valed segajad sellistega, mis põhinevad tegelikel vigadel. küsimus: [siin]

Nõrk viip / Tugev viip

Nõrk: "Tehke mulle 10 tuletatud küsimust."
Tulemus: ebakindel tase, juhusliku raskusastme jaotus, kontrollimata vastuse võti, juhuslik segajate komplekt (kui neid on).
Tugev: "Toota 10 valikvastustega tuletisküsimust gümnaasiumi 12. klassile: 4 lihtsat (põhireeglid), 4 keskmist (ahel/produktireegel), 2 rasket (liitfunktsioonid). Olgu igas küsimuses 4 valikut, täpselt 1 õige, teised on tüüpiliste vigade põhjal segajad (sisemise tuletise unustamine, märgiviga). Lahenda iga küsimus sammhaaval.
Tulemus: komplekt, mis on tasane, tasakaalustatud, segajad on tähendusrikkad ja iga vastus on auditeeritav.

Levinud vead

  • Vastuse klahvi ei kontrollita. See, mida tehisintellekt ütleb, on "õige", on sageli vale; Lahendage iga küsimus iseseisvalt.
  • Rohkem kui üks/null on õige valik. Valikvalikus peab olema täpselt üks tõde; Kontrollige iga valikut eraldi.
  • Nõrgad segajad. Ebaolulised või ilmselgelt valed valikud muudavad küsimuse eristamatuks.
  • Raskuste jaotust ei täpsustata. Kõik need tunduvad olevat sama raskusastmega; Taseme hindamist teha ei saa.
  • Kordamine ja kattumine. Erinevad küsimused võivad mõõta sama mõistet; Kontrollige katte tasakaalu.
  • Ebamäärane väljend. Kahetähenduslikud küsimused eksitavad õpilasi ebaõiglaselt.
Näpunäide. Kõige tõhusam viis küsimuste komplekti kinnitamiseks on kirjutada kood, mis lahendab SymPy abil kõik küsimused korraga. Öelge tehisintellektile "kirjutage kood, mis lahendab kõik need 10 SymPy probleemi", käivitage kood ja võrrelge SymPy tulemusi hulgi tehisintellekti vastuseklahviga. Nii kontrollite 10 küsimust mitte ükshaaval, vaid kollektiivselt ja deterministlikult.

Kokkuvõttes

AI kiirendab dramaatiliselt matemaatikaküsimuste ja eksamite genereerimist: küsimuste varieerimine, distraktori kujundus, lahendusvõti, raskusaste. Kuid iga küsimus ja iga vastusevõti peavad olema iseseisvalt kinnitatud – eelistatavalt hulgikontrollitud SymPy abil. Levinumad vead on vale vastuse klahv, mitu/null õiget valikut ja nõrgad segajad. Teema, taseme ja raskusastme jaotuse täpsustamine algusest peale tõstab kvaliteeti. Kontrollimata küsimused ei tohiks eksamile siseneda.

Rakenduse ülesanne

Valige teema. Laske tehisintellektil 1. malliga koostada 8–10 valikvastustega küsimust + teatud raskusastmega lahendusi. Seejärel, mäletades üksusest 4, laske tehisintellektil kirjutada kood, mis lahendab SymPy abil kõik küsimused, ja käivitage kood. Võrrelge SymPy tulemusi YZ vastuseklahviga. Kontrollige, kas igas küsimuses on täpselt üks õige valik ja kas segajad on tegelikult valed. Otsige üles ja parandage vähemalt üks viga või nõrk segaja.

kontrollnimekiri

  • [ ] Olen selgelt välja öelnud teema, taseme ja raskusastme jaotuse.
  • [ ] Lahendasin iga küsimuse iseseisvalt (soovitavalt SymPy abil paketti).
  • [ ] Võrdlesin vastuseklahvi SymPy tulemustega.
  • [ ] Kontrollisin, et igas küsimuses oleks täpselt üks õige variant.
  • [ ] Kontrollisin, et segajad põhinesid tüüpilistel vigadel ja olid tegelikult valed.
  • [ ] Jälgisin, et ei oleks ebamääraseid väiteid ega korduvaid küsimusi.