Dobički:
- Zmožnost, da umetna inteligenca ustvari vprašanja z več izbirami, distraktorje na podlagi tipičnih napak in ključe rešitev z določitvijo teme, ravni in porazdelitve težavnosti.
- Sposobnost lovljenja napačnega ključa in večkratnih/nič pravilnih napak možnosti z neodvisnim preverjanjem vsakega ključa vprašanja in odgovora, po možnosti v velikem obsegu, s SymPy
- Sposobnost ocenjevanja kakovosti distraktorjev, nedvoumnosti in težavnostne uravnoteženosti vprašanj ter potrditve posameznega vprašanja pred pristopom k izpitu.
Priprava izpitnih in vadbenih vprašanj je ena izmed najbolj zamudnih nalog pri izobraževanju matematike: postavljanje vprašanj ustrezne težavnosti, oblikovanje verjetnih distraktorjev (napačne, a verjetne možnosti), priprava ključa za odgovore in uravnavanje težavnosti traja ure. Umetna inteligenca lahko pospeši ta proces – z generiranjem na desetine variant vprašanj, možnosti več izbir in ključev rešitev iz ene teme. Toda točnost vsakega proizvedenega vprašanja in brezhibnost vsakega odgovornega ključa je treba neodvisno preveriti; Napačen ključ pomeni, da učenci neupravičeno izgubijo točke. V tej enoti se boste naučili, kako uporabljati AI kot partnerja za ustvarjanje vprašanj in kako moderirati vsako vprašanje.
Nekaj definicij. Motilec je možnost v vprašanju z več možnimi odgovori, ki ni pravilna, vendar ustreza pogosti napaki, ki jo učenec morda naredi. Dober distraktor ni naključen; Odraža tipično napako (napaka znaka, zmeda pravila). Ključ za odgovore je seznam pravilnih odgovorov na vprašanja. Težavnostno razmerje je ustrezna porazdelitev lahkih-srednje-težkih vprašanj na izpitu.
Prispevek AI k ustvarjanju vprašanj
- Različica vprašanja: Več podobnih vprašanj iz vzorca (spreminjanje številk).
- Zasnova distraktorja: Verjetno nepravilne izbire na podlagi pogostih napak.
- Oris ključne rešitve: korak za korakom rešitev vsake težave.
- Ocena težavnosti: Razvrščanje vprašanj na lahka/srednja/težka.
- Pokritost predmeta: Nizi vprašanj, ki pokrivajo različne podteme učnega načrta.
- Ujemanje Bloomove taksonomije: Vprašanje glede na kognitivne ravni, kot so pomnjenje, uporaba, analiza.
Korak za korakom: ustvarjanje zanesljivega sklopa vprašanj
1. Določite temo, stopnjo in število vprašanj. Kot "10. razred srednje šole, kvadratne enačbe, 10 izbirnih vprašanj."
2. Vprašajte za vrsto vprašanja in porazdelitev težavnosti. Zahtevajte porazdelitev, kot je "4 lahke, 4 srednje, 2 težke."
3. Reši vsako vprašanje samostojno. Vsako vprašanje rešite sami ali s SymPy; Primerjaj ga s ključem za odgovor, ki ga je ponudil YZ. O tem koraku se ni mogoče pogajati.
4. Preverite distraktorje. Ali so napačne možnosti res napačne? Včasih umetna inteligenca proizvede več kot eno pravilno možnost ali pa je distraktor dejansko pravilen. Preverite vsako možnost.
5. Zagotovite, da je natanko en pravilen odgovor. Pri večkratni izbiri mora biti natanko ena možnost pravilna; Ne sme biti nič ali več kot ena pravilna.
6. Preverite negotovost in podvajanje. Ali je vprašanje enoznačno? Ali obe vprašanji merita isto? Ali so številke razumne (npr. če bi moral biti koren negativen)?
Pozor: AI naredi dve najpogostejši napaki pri ustvarjanju vprašanj z več izbirami: (1) možnost, ki jo je označil kot "true", je dejansko napačna, (2) več kot ena možnost je pravilna ali nobena od njih ni pravilna. Ne uporabljajte nobenega vprašanja, ne da bi rešili vsako vprašanje posebej in ocenili vsako od štirih možnosti ločeno kot drži/ne drži.
Diagram nadzora kakovosti vprašanj
nadzor
vprašanje
kaj iskati
natančnost
Ali je ključ za odgovor pravilen?
Potrditev z neodvisno rešitvijo
samo res
Ali je samo ena možnost pravilna?
Ostali 3 se morajo motiti
Kakovost distraktorja
Ali so napake verjetne?
Temeljiti mora na tipični napaki
Jasnost
Ali je vprašanje enoznačno?
Negotovosti ne sme biti
Skladnost ravni
Ali je težavnost primerna cilju?
Niti prelahko niti pretežko
Področje uporabe
Ali je tema dobro zastopana?
Podteme so uravnotežene
trije mini kovčki
1. primer — Napačen ključ. Učitelj je pripravil niz 12 vprašanj z več možnimi odgovori. Ko je rešil vsako vprašanje s SymPy, je ugotovil, da je bila pri 3 od 12 vprašanj možnost, ki jo je AI označil kot "pravilno", napačna - dejanski pravilni odgovor je bila druga možnost. Učitelj je poravnal ključe. Če bi bil ta niz uporabljen brez preverjanja, bi bil celoten razred nepravično ocenjen v 3 vprašanjih.
Primer 2 — Dve pravilni možnosti. V enem vprašanju je AI vnesel tako "x = 2" kot "x = 2 ali x = −2"; Oboje je bilo v nekem smislu resnično in vprašanje je bilo nejasno. Učitelj je prerazporedil možnosti in pustil le en pravilen odgovor. Distraktorji morajo biti očitno nepravilni.
Primer 3 – Šibek distraktor. V inženirskem razredu je umetna inteligenca postavila nepomembne distraktorje, kot so "42", "aksaray", "blue", "17" itd. v vprašanje; Pravilen odgovor je bil očitno "17". Učitelj je prosil za numerične distraktorje na podlagi tipičnih računskih napak (npr. vrednost, ki izhaja iz napake predznaka), in vprašanja so postala pravi diskriminatorji. Dober distraktor predstavlja pravo lažno pot.
Štiri predloge za kopiranje
1) Nabor vprašanj z več izbirami:
Ustvari [n] vprašanj Z VEČ IZBIRAMI na [tema]. Raven: [raven]. Težavnost: [x lahko, y srednje, z težko]. Vsako vprašanje naj ima 4 možnosti; Naj bo NAtančno 1 pravilno, ostali 3 pa verjetni distraktorji na podlagi tipičnih napak. Za vsako vprašanje napišite tudi rešitev po korakih in pravilen odgovor. Vse bom preveril s SymPy.
2) Različica vprašanja (iz vzorca):
Vzemite to vprašanje kot PATTERN: [vzorčno vprašanje]. Ustvarite [n] različnih različic, ki merijo isti koncept, vendar z različnimi številkami/kontekstom. Rešite odgovore za vsako različico korak za korakom. Naj se odgovori med seboj razlikujejo.
3) Generiranje ključa rešitve:
Pripravite rešitev STEP-BY-STEP in končni odgovor za vsako od spodnjih vprašanj. Določite pravilo, ki ga uporabljate. Označite rešitev, o kateri niste prepričani; Vsak odgovor bom samostojno preveril. Vprašanja: [tukaj]
4) Izboljšanje distraktorja:
Preglejte distraktorje za to vprašanje z več odgovori. Pojasnite, KATERI tipični napaki učencev ustreza posamezen napačen distraktor. Zamenjajte nepomembne ali očitno nepravilne distraktorje s tistimi, ki temeljijo na dejanskih napakah. Vprašanje: [tukaj]
Šibek poziv/močan poziv
Slabo: "Postavi mi 10 izpeljanih vprašanj."
Rezultat: Negotova stopnja, naključna porazdelitev težavnosti, nepreverjen ključ odgovora, naključen nabor motilcev (če obstajajo).
Strong: "Izdelajte 10 vprašanj z izbirno izpeljavo za 12. razred srednje šole: 4 lahka (osnovna pravila), 4 srednja (pravilo verige/zmnožka), 2 težka (sestavljene funkcije). V vsakem vprašanju naj bodo 4 izbire, natanko 1 pravilna, druge so motilci na podlagi tipičnih napak (pozabite na notranjo izpeljanko, napaka v predznaku). Vsako vprašanje rešite korak za korakom in navedite pravilen odgovor."
Rezultat: nabor, ki je raven, uravnotežen, motilci so smiselni in vsak odgovor je mogoče preveriti.
Pogoste napake
- Ne preverjam ključa odgovora. Kar AI pravi, da je "prav", je pogosto napačno; Rešite vsako vprašanje samostojno.
- Več kot ena/nič je pravilna možnost. Pri večkratni izbiri mora biti natanko ena resnica; Preverite vsako možnost posebej.
- Šibki distraktorji. Zaradi nepomembnih ali očitno nepravilnih možnosti je vprašanje nejasno.
- Ne določa porazdelitve težavnosti. Zdi se, da so vsi enako težavni; Ocene ravni ni mogoče izvesti.
- Ponavljanje in prekrivanje. Različna vprašanja lahko merijo isti koncept; Preverite stanje kritja.
- Nejasen izraz. Vprašanja z dvojnim pomenom nepravično zavajajo študente.
Nasvet: Najučinkovitejši način za preverjanje nabora vprašanj je pisanje kode, ki s SymPy reši vsa vprašanja hkrati. Povejte umetni inteligenci »napiši kodo, ki reši vsako od teh 10 težav s SymPy«, zaženite kodo in množično primerjajte rezultate SymPy s ključem odgovora umetne inteligence. Na ta način ne preverjate 10 vprašanj eno za drugim, ampak skupno in deterministično.
Če povzamem
Umetna inteligenca dramatično pospeši ustvarjanje matematičnih vprašanj in izpitov: variacije vprašanj, zasnova distraktorja, ključ rešitve, ocena težavnosti. Toda vsako vprašanje in vsak ključ odgovora morata biti neodvisno potrjena – po možnosti množično preverjena s SymPy. Najpogostejše napake so napačen ključ odgovora, več/nič pravilnih možnosti in šibki distraktorji. Določitev teme, stopnje in težavnostne distribucije od začetka poveča kakovost. Vsa nepreverjena vprašanja ne smejo sodelovati na izpitu.
Aplikacijska naloga
Izberite temo. Umetna inteligenca naj izdela 8–10 vprašanj z več izbirami + rešitve z določeno porazdelitvijo težavnosti s 1. predlogo. Nato, če se spomnimo iz 4. enote, naj AI napiše kodo, ki reši vsa vprašanja s SymPy, in zažene kodo. Primerjajte rezultate SymPy s ključem odgovorov YZ. Preverite, ali je pri vsakem vprašanju točno ena pravilna izbira in ali so motilci dejansko napačni. Poiščite in popravite vsaj eno napako ali šibek distraktor.
kontrolni seznam
- [ ] Jasno sem navedel predmet, stopnjo in težavnostno porazdelitev.
- [ ] Vsako vprašanje sem rešil neodvisno (po možnosti paketno s SymPy).
- [ ] Ključ odgovora sem primerjal z rezultati SymPy.
- [ ] Preveril sem, da je v vsakem vprašanju natanko ena pravilna možnost.
- [ ] Preveril sem, da distraktorji temeljijo na tipičnih napakah in so dejansko napačni.
- [ ] Poskrbel sem, da ni bilo nejasnih izjav in ponavljajočih se vprašanj.