Ieguvumi:
- Iespēja mākslīgajam intelektam radīt jautājumus ar atbilžu variantiem, traucētājus, pamatojoties uz tipiskām kļūdām, un risinājuma atslēgas, norādot tēmu, līmeni un grūtības sadalījumu.
- Spēja uztvert nepareizu taustiņu un vairākas/nulles pareizas opcijas kļūdas, neatkarīgi apstiprinot katru jautājuma un atbildes taustiņu, vēlams lielapjomā, ar SymPy
- Spēja novērtēt traucētāju kvalitāti, jautājumu nepārprotamību un sarežģītības līdzsvaru un apstiprināt katru jautājumu pirms eksāmena kārtošanas.
Eksāmenu un prakses jautājumu sagatavošana ir viens no laikietilpīgākajiem uzdevumiem matemātikas izglītībā: atbilstošas grūtības pakāpes jautājumu izvirzīšana, ticamu traucētāju (nepareizu, bet ticamu variantu) konstruēšana, atbildes atslēgas sagatavošana un grūtību līdzsvarošana aizņem stundas. Mākslīgais intelekts var paātrināt šo procesu — no vienas tēmas ģenerējot desmitiem jautājumu variantu, atbilžu variantus un risinājuma atslēgas. Taču katra uzdotā jautājuma precizitāte un katras atbildes atslēgas kļūdīšanās ir jāpārbauda neatkarīgi; Nepareiza atslēga nozīmē, ka skolēni negodīgi zaudē punktus. Šajā nodaļā jūs uzzināsit, kā izmantot AI kā jautājumu ģenerēšanas partneri un kā regulēt katru jautājumu.
Dažas definīcijas. Traucējums ir izvēles iespēja jautājumam ar atbilžu variantiem, kas nav pareizs, bet atbilst bieži sastopamai kļūdai, ko students var pieļaut. Labs traucētājs nav nejaušs; Atspoguļo tipisku kļūdu (zīmes kļūda, noteikumu neskaidrības). Atbilžu atslēga ir pareizo atbilžu saraksts uz jautājumiem. Grūtības līdzsvars ir vieglu, vidēji grūtu jautājumu atbilstošs sadalījums eksāmenā.
AI ieguldījums jautājumu ģenerēšanā
- Jautājuma variācija: vairāki līdzīgi jautājumi no modeļa (mainot skaitļus).
- Distraktora dizains: ticami nepareizas izvēles, kuru pamatā ir izplatītas kļūdas.
- Risinājuma atslēgas izklāsts: katras problēmas soli pa solim risinājums.
- Grūtības pakāpe: jautājumu klasificēšana kā viegli/vidēji/grūti.
- Priekšmeta aptvērums: jautājumu kopas, kas aptver dažādas mācību programmas apakštēmas.
- Blūma taksonomijas atbilstība: jautājums atbilstoši kognitīvajiem līmeņiem, piemēram, atcerēšanās, pielietošana, analīze.
Soli pa solim: ģenerējiet uzticamu jautājumu kopu
1. Norādiet tēmu, līmeni un jautājumu skaitu. Piemēram, "10. klases vidusskola, kvadrātvienādojumi, 10 jautājumi ar atbilžu variantiem".
2. Jautājiet par jautājuma veidu un grūtību sadalījumu. Pieprasiet izplatīšanu, piemēram, "4 viegli, 4 vidēji, 2 grūti".
3. Atrisiniet katru jautājumu patstāvīgi. Atrisiniet katru jautājumu pats vai ar SymPy; Salīdziniet to ar YZ sniegto atbildes taustiņu. Šis solis nav apspriežams.
4. Pārbaudiet, vai nav traucētāju. Vai tiešām nepareizie varianti ir nepareizi? Dažreiz AI rada vairāk nekā vienu pareizo opciju, vai arī traucētājs patiesībā ir pareizs. Pārbaudiet katru opciju.
5. Garantija, ka ir tieši viena pareizā atbilde. Atbilžu variantos pareizai jābūt tieši vienai opcijai; Pareizā vērtība nedrīkst būt nulle vai vairāk par vienu.
6. Pārbaudiet nenoteiktību un dublēšanos. Vai jautājums ir viennozīmīgs? Vai abi jautājumi mēra vienu un to pašu? Vai skaitļi ir saprātīgi (piemēram, ja saknei jābūt negatīvai)?
Uzmanību: AI pieļauj divas visbiežāk sastopamās kļūdas, ģenerējot jautājumus ar atbilžu variantiem: (1) opcija, kas atzīmēta ar "patiesa", patiesībā ir nepareiza, (2) vairāk nekā viena opcija ir pareiza, vai arī neviena no tām nav pareiza. Neizmantojiet nevienu jautājumu, neatrisinot katru jautājumu atsevišķi un novērtējot katru no četrām iespējām atsevišķi kā patiesu/nepatiesu.
Jautājuma kvalitātes kontroles diagramma
kontrole
Jautājums
ko meklēt
precizitāte
Vai atbildes atslēga ir pareiza?
Apstiprinājums ar neatkarīgu risinājumu
tikai patiesība
Vai tikai 1 iespēja ir pareiza?
Pārējiem 3 jābūt nepareiziem
Distraktora kvalitāte
Vai kļūdas ir ticamas?
Jābalstās uz tipisku kļūdu
Skaidrība
Vai jautājums ir viennozīmīgs?
Nedrīkst būt nekādas neskaidrības
Līmeņa atbilstība
Vai grūtības ir atbilstošas mērķim?
Ne par vieglu, ne par grūtu
Darbības joma
Vai tēma ir labi pārstāvēta?
Apakštēmas ir līdzsvarotas
trīs mini futrāļi
1. gadījums — nepareiza atslēga. Skolotājs sagatavoja 12 jautājumu komplektu ar atbilžu variantiem. Atrisinot katru jautājumu ar SymPy, viņš atklāja, ka 3 no 12 jautājumiem AI opcija, ko AI bija atzīmējusi ar "pareizu", bija nepareiza — faktiskā pareizā atbilde bija vēl viena iespēja. Skolotājs iztaisnoja atslēgas. Ja šī kopa būtu izmantota bez pārbaudes, visa klase būtu novērtēta netaisnīgi 3 jautājumos.
2. gadījums — divas pareizas iespējas. Vienā jautājumā AI ievietoja gan “x = 2”, gan “x = 2 vai x = −2”; Abas savā ziņā bija patiesas, un jautājums bija neskaidrs. Skolotāja pārkārtoja variantus un atstāja tikai vienu pareizo atbildi. Traucējumiem jābūt nepārprotami nepareiziem.
3. gadījums — vājš traucētājs. Inženierzinātņu klasē AI jautājumā ievietoja neatbilstošus traucētājus, piemēram, "42", "aksaray", "zils", "17" utt.; Pareizā atbilde acīmredzami bija "17". Skolotājs prasīja skaitliskos traucētājus, pamatojoties uz tipiskām aprēķinu kļūdām (piemēram, vērtību, kas izriet no zīmes kļūdas), un jautājumi kļuva par patiesiem diskriminētājiem. Labais traucētājs ir patiess maldīgs ceļš.
Četras kopējamas veidnes
1) Jautājumu komplekts ar atbilžu variantiem:
Ģenerējiet [n] MULTIPLE CHOICE jautājumus par [tēmu]. Līmenis:[līmenis]. Grūtības pakāpe: [x viegla, y vidēja, z grūta]. Katram jautājumam ir 4 iespējas; Ļaujiet, lai precīzs 1 ir pareizs, bet pārējie 3 ir ticami traucētāji, kuru pamatā ir tipiskas kļūdas. Uzrakstiet arī soli pa solim risinājumu un pareizo atbildi katram jautājumam. Es tos visus pārbaudīšu ar SymPy.
2) Jautājuma variācija (no modeļa):
Uztveriet šo jautājumu kā RAKSTU: [jautājuma paraugs]. Ģenerējiet [n] dažādas versijas ar vienu un to pašu koncepciju, bet ar dažādiem skaitļiem/kontekstu. Soli pa solim atrisiniet atbildes katrai versijai. Lai atbildes atšķiras viena no otras.
3) Risinājuma atslēgas ģenerēšana:
Izveidojiet soli pa solim risinājumu un galīgo atbildi uz katru no tālāk norādītajiem jautājumiem. Norādiet izmantoto noteikumu. Atzīmējiet risinājumu, par kuru neesat pārliecināts; Es neatkarīgi pārbaudīšu katru atbildi. Jautājumi: [šeit]
4) Distraktora uzlabošana:
Pārskatiet šī atbilžu variantu jautājuma traucējošos faktorus. Paskaidrojiet, KURAI tipiskai studenta kļūdai atbilst katrs nepareizais traucētājs. Nomainiet neatbilstošos vai acīmredzami nepareizos traucējošos līdzekļus ar tādiem, kuru pamatā ir faktiskās kļūdas. Jautājums: [šeit]
Vāja uzvedne / spēcīga uzvedne
Vāji: "Uzdodiet man 10 atvasinātus jautājumus."
Rezultāts: nenoteikts līmenis, nejaušības sarežģītības sadalījums, nepārbaudīta atbildes atslēga, nejauša traucētāju kopa (ja tāda ir).
Spēcīgi: "Izveidojiet 10 atvasinātus jautājumus ar atbilžu variantiem vidusskolas 12. klasei: 4 viegli (pamatnoteikumi), 4 vidēji (ķēdes/produkta noteikums), 2 grūti (saliktās funkcijas). Lai katrā jautājumā ir 4 izvēles iespējas, precīzi 1 pareiza, pārējie ir traucētāji, pamatojoties uz tipiskām kļūdām (aizmirstot iekšējo atvasinājumu, soli pa solim norādiet pareizo atbildi).
Rezultāts: komplekts, kas ir līdzens, līdzsvarots, traucējošie faktori ir jēgpilni un katra atbilde ir pārbaudāma.
Biežas kļūdas
- Netiek pārbaudīta atbildes atslēga. Tas, ko AI saka, ka ir "pareizi", bieži vien ir nepareizi; Atrisiniet katru jautājumu neatkarīgi.
- Vairāk nekā viens/nulle ir pareizā iespēja. Atbilžu variantos ir jābūt tieši vienai patiesībai; Pārbaudiet katru opciju atsevišķi.
- Vāji traucētāji. Neatbilstošas vai acīmredzami nepareizas iespējas padara jautājumu nešķirošu.
- Grūtības sadalījuma nenorādīšana. Šķiet, ka tiem visiem ir vienādas grūtības; Līmeņa novērtējumu nevar veikt.
- Atkārtošanās un pārklāšanās. Dažādi jautājumi var mērīt vienu un to pašu jēdzienu; Pārbaudiet seguma bilanci.
- Neskaidra izteiksme. Jautājumi ar dubultu nozīmi negodīgi maldina skolēnus.
Padoms. Visefektīvākais veids, kā pārbaudīt jautājumu kopu, ir uzrakstīt kodu, kas vienlaikus atrisina visus jautājumus, izmantojot SymPy. Pastāstiet AI “rakstiet kodu, kas atrisina katru no šīm 10 problēmām ar SymPy”, palaidiet kodu un lielapjoma salīdziniet SymPy rezultātus ar AI atbildes taustiņu. Tādā veidā jūs pārbaudāt 10 jautājumus nevis pa vienam, bet gan kolektīvi un deterministiski.
Rezumējot
AI dramatiski paātrina matemātikas jautājumu un eksāmenu ģenerēšanu: jautājumu variācijas, izkliedētāja dizains, risinājuma atslēga, grūtības pakāpe. Taču katram jautājumam un katrai atbildes atslēgai ir jābūt neatkarīgi apstiprinātai — vēlams lielapjoma verifikācijai, izmantojot SymPy. Visbiežāk sastopamās kļūdas ir nepareiza atbildes atslēga, vairākas pareizas/nulles iespējas un vāji traucējoši faktori. Tēmas, līmeņa un grūtības sadalījuma norādīšana jau no paša sākuma palielina kvalitāti. Nepārbaudīti jautājumi nedrīkst tikt iekļauti eksāmenā.
Lietojumprogrammas uzdevums
Izvēlieties tēmu. Lieciet AI izveidot 8–10 jautājumus ar atbilžu variantiem + risinājumus ar noteiktu sarežģītības sadalījumu, izmantojot pirmo veidni. Pēc tam, atceroties no 4. vienības, lieciet AI uzrakstīt kodu, kas atrisina visus jautājumus ar SymPy, un palaidiet kodu. Salīdziniet SymPy rezultātus ar YZ atbildes taustiņu. Pārbaudiet, vai katrā jautājumā ir tieši viena pareizā izvēle un vai traucētāji patiešām ir nepareizi. Atrodiet un izlabojiet vismaz vienu kļūdu vai vāju traucētāju.
kontrolsaraksts
- [ ] Esmu skaidri norādījis priekšmetu, līmeni un grūtības sadalījumu.
- [ ] Katru jautājumu atrisināju neatkarīgi (vēlams pakešu ar SymPy).
- [ ] Es salīdzināju atbildes taustiņu ar SymPy rezultātiem.
- [ ] Es pārbaudīju, vai katrā jautājumā ir tieši viens pareizais variants.
- [ ] Es pārbaudīju, vai traucētāji ir balstīti uz tipiskām kļūdām un tiešām ir nepareizi.
- [ ] Es pārliecinājos, ka nav neskaidru apgalvojumu un atkārtotu jautājumu.