Unità 8 / 11

Produzzjoni ta' Mistoqsijiet u Eżamijiet

Qligħ:

  • Kapaċità li l-intelliġenza artifiċjali tipproduċi mistoqsijiet b'għażla multipla, distraturi bbażati fuq żbalji tipiċi, u ċwievet tas-soluzzjoni billi tispeċifika s-suġġett, il-livell u d-distribuzzjoni tad-diffikultà.
  • Kapaċità li jaqbdu ċavetta ħażina u żbalji multipli/zero ta' għażliet korretti billi tivvalida b'mod indipendenti kull mistoqsija u ċavetta ta' tweġiba, preferibbilment bl-ingrossa, b'SymPy
  • Kapaċità li tevalwa l-kwalità ta 'distractors, in-nuqqas ta' ambigwità u l-bilanċ tad-diffikultà tal-mistoqsijiet, u tapprova kull mistoqsija qabel ma tieħu l-eżami.

Il-preparazzjoni tal-mistoqsijiet tal-eżami u l-prattika hija waħda mill-aktar kompiti li jieħdu l-ħin fl-edukazzjoni tal-matematika: it-twaqqif ta’ mistoqsijiet ta’ diffikultà xierqa, it-tfassil ta’ distraturi plawżibbli (għażliet żbaljati iżda plawżibbli), il-preparazzjoni tat-tweġibiet ewlenin, u l-ibbilanċjar tad-diffikultà jieħdu sigħat. L-intelliġenza artifiċjali tista 'tħaffef dan il-proċess — tiġġenera għexieren ta' varjazzjonijiet ta 'mistoqsijiet, għażliet ta' għażla multipla, u ċwievet tas-soluzzjoni minn suġġett wieħed. Iżda l-eżattezza ta 'kull mistoqsija prodotta u l-ħelsien ta' żbalji ta 'kull tweġibiet għandhom jiġu vverifikati b'mod indipendenti; Ċavetta mhux korretta tfisser li l-istudenti jitilfu l-punti b'mod inġust. F'din l-unità inti titgħallem kif tuża l-AI bħala sieħeb tal-ġenerazzjoni tal-mistoqsijiet u kif timmodera kull mistoqsija.

Ftit definizzjonijiet. Distractor huwa għażla f'mistoqsija b'għażla multipla li mhix korretta iżda tikkorrispondi għal żball komuni li l-istudent jista 'jagħmel. A distractor tajjeb mhux każwali; Jirrifletti żball tipiku (żball tas-sinjali, konfużjoni tar-regoli). It-tweġibiet ewlenin hija lista ta 'tweġibiet korretti għall-mistoqsijiet. Il-bilanċ tad-diffikultà huwa d-distribuzzjoni xierqa ta 'mistoqsijiet faċli-medju-diffiċli f'eżami.

Kontribuzzjoni tal-AI għall-ġenerazzjoni tal-mistoqsijiet

  • Varjazzjoni tal-mistoqsija: Mistoqsijiet simili multipli minn mudell (tbiddel in-numri).
  • Disinn ta' distractor: Għażliet plawżibbilment żbaljati bbażati fuq żbalji komuni.
  • Kontorn ewlieni tas-soluzzjoni: Soluzzjoni pass pass għal kull problema.
  • Klassifikazzjoni tad-diffikultà: Tikklassifika l-mistoqsijiet bħala faċli/medju/diffiċli.
  • Kopertura tas-suġġett: Settijiet ta' mistoqsijiet li jkopru sotto-suġġetti differenti ta' sillabu.
  • Tassonomija tal-blowm tajjeb: Mistoqsija skont il-livelli konjittivi bħal tiftakar, applikazzjoni, analiżi.

Pass pass: jiġġeneraw sett affidabbli ta 'mistoqsijiet

1. Speċifika s-suġġett, il-livell u n-numru ta’ mistoqsijiet. Bħal "l-10 iskola sekondarja, ekwazzjonijiet kwadratiċi, 10 mistoqsijiet b'għażla multipla."

2. Staqsi għat-tip ta' mistoqsija u d-distribuzzjoni tad-diffikultà. Staqsi għal distribuzzjoni bħal "4 faċli, 4 medji, 2 iebsa."

3. Issolvi kull mistoqsija b'mod indipendenti. Issolvi kull mistoqsija lilek innifsek jew b'SymPy; Qabbelha mat-tweġiba mogħtija minn YZ. Dan il-pass mhuwiex negozjabbli.

4. Iċċekkja għal distractors. Għażliet ħżiena huma tassew żbaljati? Xi drabi l-AI tipproduċi aktar minn għażla waħda korretta, jew distractor huwa fil-fatt korrett. Iċċekkja kull għażla.

5. Garanzija li hemm eżattament tweġiba waħda korretta. Fl-għażla multipla, eżattament għażla waħda għandha tkun korretta; M'għandux ikun hemm żero jew aktar minn wieħed korrett.

6. Iċċekkja għal inċertezza u duplikazzjoni. Il-mistoqsija hija univoka? Iż-żewġ mistoqsijiet ikejlu l-istess ħaġa? In-numri huma raġonevoli (eż. jekk l-għerq għandu jkun negattiv)?

Attenzjoni: AI tagħmel żewġ żbalji l-aktar komuni meta tiġġenera mistoqsijiet b'għażla multipla: (1) l-għażla li mmarkat bħala "veru" hija fil-fatt żbaljata, (2) aktar minn għażla waħda hija korretta, jew l-ebda waħda minnhom ma hija korretta. Tużax l-ebda mistoqsija mingħajr ma ssolvi kull mistoqsija b'mod indipendenti u tevalwa kull waħda mill-erba' għażliet separatament bħala vera/falza.

Mistoqsija kontroll tal-kwalità chart

kontroll

Mistoqsija

x'għandek tfittex

preċiżjoni

It-tweġiba hija korretta?

Konferma b'soluzzjoni indipendenti

veru biss

Għażla waħda biss hija korretta?

It-3 l-oħra għandhom ikunu żbaljati

Kwalità distractor

L-iżbalji huma plawsibbli?

Għandha tkun ibbażata fuq żball tipiku

Ċarezza

Il-mistoqsija hija univoka?

M'għandu jkun hemm l-ebda inċertezza

Konformità tal-livell

Id-diffikultà hija xierqa għall-għan?

La faċli wisq u lanqas diffiċli wisq

Ambitu

Is-suġġett huwa rappreżentat tajjeb?

Is-sottosuġġetti huma bilanċjati

tliet każijiet żgħar

Każ 1 — Ċavetta żbaljata. Għalliem ipproduċa sett ta’ 12-il mistoqsija b’għażla multipla. Meta solva kull mistoqsija b'SymPy, sab li fi 3 mit-12-il mistoqsija, l-għażla li l-AI kienet immarkat "korretta" kienet żbaljata - it-tweġiba korretta attwali kienet għażla oħra. L-għalliem iddritta ċ-ċwievet. Kieku dan is-sett intuża mingħajr verifika, il-klassi kollha kienet tkun evalwata b'mod inġust fi 3 mistoqsijiet.

Każ 2 — Żewġ għażliet korretti. F'mistoqsija waħda, l-AI poġġiet kemm "x = 2" kif ukoll "x = 2 jew x = -2"; It-tnejn kienu veri f'ċertu sens, u l-mistoqsija ma kinitx ċara. L-għalliem rranġat mill-ġdid l-għażliet u ħalla tweġiba waħda korretta biss. Dawk li jfixklu għandhom ikunu b'mod ċar żbaljati.

Każ 3 — Distratur dgħajjef. Fi klassi ta 'inġinerija, l-AI poġġiet distraturi irrilevanti bħal "42", "aksaray", "blu", "17" eċċ. f'mistoqsija; It-tweġiba t-tajba kienet ovvjament "17". L-għalliem talab distraturi numeriċi bbażati fuq żbalji ta’ kalkolu tipiċi (eż., valur li jirriżulta minn żball tas-sinjali), u l-mistoqsijiet saru diskriminaturi veri. Id-distratur tajjeb jirrappreżenta triq falza vera.

Erba' mudelli li jistgħu jiġu kkupjati

1) Sett ta' mistoqsijiet b'għażla multipla:

Iġġenera [n] mistoqsijiet GĦAŻLA MULTIPLA dwar [tema]. Livell:[livell]. Diffikultà: [x faċli, y medju, z iebes]. Ħalli kull mistoqsija jkollha 4 għażliet; Ħalli EŻATT 1 ikun korrett u t-3 l-oħra huma distraturi plawżibbli bbażati fuq żbalji tipiċi. Ikteb ukoll soluzzjoni pass pass u tweġiba korretta għal kull mistoqsija. Se nivverifikahom kollha b'SymPy.

2) Varjazzjoni tal-mistoqsija (mill-mudell):

Ħu din il-mistoqsija bħala PATTERN: [kampjun ta' mistoqsija]. Iġġenera [n] verżjonijiet differenti li jkejlu l-istess kunċett iżda b'numri/kuntest li jvarjaw. Issolvi t-tweġibiet għal kull verżjoni pass pass. Ħalli t-tweġibiet ikunu differenti minn xulxin.

3) Ġenerazzjoni taċ-ċavetta tas-soluzzjoni:

Ipproduċi soluzzjoni PASS B’PASS u tweġiba finali għal kull waħda mill-mistoqsijiet t’hawn taħt. Speċifika r-regola li tuża. Immarka s-soluzzjoni li m'intix ċert biha; Se nivverifika b'mod indipendenti kull tweġiba. Mistoqsijiet: [hawn]

4) Titjib tad-distractor:

Irrevedi d-distraturi għal din il-mistoqsija b'għażla multipla. Spjega lil LIEMA żball tipiku ta’ student kull distratur mhux korrett jikkorrispondi għalih. Ibdel distraturi mhux rilevanti jew ovvji mhux korretti b'dawk ibbażati fuq żbalji attwali. Mistoqsija: [hawn]

Pront dgħajjef / Pront qawwi

Dgħajjef: "Do me 10 mistoqsijiet derivattivi."
Riżultat: Livell inċert, distribuzzjoni każwali tad-diffikultà, ċavetta tat-tweġiba mhux verifikata, sett każwali ta’ distraturi (jekk hemm).
Qawwija: "Ipproduċi 10 mistoqsijiet derivattivi b'għażla multipla għat-12-il grad tal-iskola sekondarja: 4 faċli (regoli bażiċi), 4 medji (regola tal-katina/prodott), 2 diffiċli (funzjonijiet komposti). Ħalli jkun hemm 4 għażliet f'kull mistoqsija, eżattament 1 korretta, l-oħrajn huma distractors ibbażati fuq żbalji tipiċi (jinsa d-derivattiv ta 'ġewwa, sinjal pass pass, żball mistoqsija korretta ."
Riżultat: Sett li huwa livell, bilanċjat, distractors huma sinifikanti u kull tweġiba hija verifikabbli.

Żbalji komuni

  • Mhux qed jivverifika t-tweġiba. Dak li tgħid l-AI huwa "tajjeb" ħafna drabi huwa ħażin; Issolvi kull mistoqsija b'mod indipendenti.
  • Aktar minn wieħed/żero hija l-għażla t-tajba. Fl-għażla multipla għandu jkun hemm eżattament verità waħda; Iċċekkja kull għażla separatament.
  • Distraturi dgħajfa. Għażliet irrilevanti jew ovvjament mhux korretti jagħmlu l-mistoqsija mhux distintiva.
  • Ma tispeċifikax id-distribuzzjoni tad-diffikultà. Dawn kollha jidhru li huma l-istess diffikultà; Evalwazzjoni tal-livell ma tistax issir.
  • Ripetizzjoni u koinċidenza. Mistoqsijiet differenti jistgħu jkejlu l-istess kunċett; Iċċekkja l-bilanċ tal-kopertura.
  • Espressjoni vaga. Mistoqsijiet b’tifsiriet doppji jqarrqu lill-istudenti b’mod inġust.
Tip: L-aktar mod effiċjenti biex jiġi vvalidat sett ta’ mistoqsijiet huwa li tikteb kodiċi li jsolvi l-mistoqsijiet kollha f’daqqa ma’ SymPy. Għid lill-AI "ikteb il-kodiċi li ssolvi kull waħda minn dawn l-10 problemi b'SymPy", ħaddem il-kodiċi, u qabbel bl-ingrossa r-riżultati ta' SymPy mat-tweġiba tal-AI. Dan il-mod, inti tiċċekkja l-10 mistoqsijiet mhux waħda waħda, iżda kollettivament u deterministiku.

Fil-qosor

L-AI tħaffef b'mod drammatiku l-ġenerazzjoni tal-mistoqsijiet u l-eżamijiet tal-matematika: varjazzjoni tal-mistoqsijiet, disinn ta 'distractor, ċavetta tas-soluzzjoni, klassifikazzjoni tad-diffikultà. Iżda kull mistoqsija u kull ċavetta tat-tweġiba għandhom jiġu vvalidati b'mod indipendenti — preferibbilment ivverifikati bl-ingrossa b'SymPy. L-iżbalji l-aktar komuni huma ċavetta tat-tweġiba żbaljata, għażliet multipli/żero korretti, u distraturi dgħajfa. L-ispeċifikazzjoni tas-suġġett, il-livell u d-distribuzzjoni tad-diffikultà mill-bidu żżid il-kwalità. Kwalunkwe mistoqsija mhux verifikata m'għandhiex tidħol fl-eżami.

Kompitu ta' applikazzjoni

Agħżel suġġett. Ħalli l-AI tipproduċi 8-10 mistoqsijiet b'għażla multipla + soluzzjonijiet b'ċerta diffikultà distribuzzjoni bl-ewwel mudell. Imbagħad, ftakar mill-unità 4, qabbad lill-AI tikteb kodiċi li ssolvi l-mistoqsijiet kollha b'SymPy u tħaddem il-kodiċi. Qabbel ir-riżultati ta' SymPy mat-tweġiba ta' YZ. Ivverifika li hemm eżattament għażla waħda korretta f'kull mistoqsija u li d-distractors huma fil-fatt żbaljati. Sib u kkoreġi mill-inqas żball wieħed jew distractor dgħajjef.

lista ta' kontroll

  • [ ] Iddikjarajt b'mod ċar is-suġġett, il-livell u d-distribuzzjoni tad-diffikultà.
  • [ ] I solvut kull mistoqsija b'mod indipendenti (preferibbilment lott ma SymPy).
  • [ ] Qabbilt it-tweġiba mar-riżultati ta' SymPy.
  • [ ] Ivverifikajt li hemm eżattament għażla waħda korretta f'kull mistoqsija.
  • [ ] Iċċekkjt ​​li d-distractors kienu bbażati fuq żbalji tipiċi u fil-fatt kienu żbaljati.
  • [ ] Żgurajt li ma kienx hemm dikjarazzjonijiet vagi u l-ebda mistoqsijiet ripetittivi.