Enheder
1. Introduktion til kunstig intelligens i matematik: roller, grænser, validering af hvert trin og etik 2. Problemløsningssupport og trin-for-trin kontrol 3. Proof Draft Generation og Proof Verification 4. Symbolsk beregning: Styring af kunstig intelligens med SymPy 5. Numerisk beregning, Python og kodegenerering 6. Matematisk visualisering 7. Produktion af kursusmateriale 8. Spørge- og eksamensproduktion 9. Hallucination, almindelige matematiske fejl og verifikationsdisciplinen 10. LaTeX, notation og matematisk skrivning 11. Etik, akademisk integritet, grænser og end-to-end workflow
Enhed 8 / 11

Spørge- og eksamensproduktion

Gevinster:

  • Evnen til at have kunstig intelligens producerer multiple choice-spørgsmål, distraktorer baseret på typiske fejl og løsningsnøgler ved at specificere emne, niveau og sværhedsgrad.
  • Evne til at fange forkert nøgle og flere/nul korrekte valgmulighedsfejl ved uafhængigt at validere hver spørgsmål og svar nøgle, helst i bulk, med SymPy
  • Evne til at evaluere kvaliteten af distraktorer, entydigheden og sværhedsgraden af spørgsmål og godkende hvert spørgsmål, før du tager eksamen.

At forberede eksamens- og øvespørgsmål er en af ​​de mest tidskrævende opgaver i matematikundervisningen: at stille spørgsmål af passende sværhedsgrad, designe plausible distraktorer (forkerte, men plausible muligheder), forberede svarnøglen og balanceringsbesvær tager timer. Kunstig intelligens kan fremskynde denne proces - generere snesevis af spørgsmålsvariationer, flervalgsmuligheder og løsningsnøgler fra ét emne. Men nøjagtigheden af ​​hvert fremstillet spørgsmål og fejlfriheden af ​​hver svarnøgle skal verificeres uafhængigt; En forkert nøgle betyder, at elever uretfærdigt mister point. I denne enhed lærer du, hvordan du bruger kunstig intelligens som en spørgsmålsgenereringspartner, og hvordan du modererer hvert spørgsmål.

Et par definitioner. En distraktor er en mulighed i et multiple choice-spørgsmål, der ikke er korrekt, men svarer til en almindelig fejl, eleven kan begå. En god distraktor er ikke tilfældig; Afspejler en typisk fejl (tegnfejl, regelforvirring). Svarnøglen er en liste over rigtige svar på spørgsmålene. Sværhedsgrad er den passende fordeling af lette-middel-svære spørgsmål i en eksamen.

Bidrag af AI til generering af spørgsmål

  • Spørgsmålsvariation: Flere ens spørgsmål fra et mønster (ændring af tallene).
  • Distraktordesign: Sandsynligvis forkerte valg baseret på almindelige fejl.
  • Løsningsnøgleoversigt: Trin-for-trin løsning på hvert problem.
  • Sværhedsgrad: Klassificering af spørgsmål som let/middel/svært.
  • Emnedækning: Sæt af spørgsmål, der dækker forskellige underemner i en pensum.
  • Bloom taksonomi pasform: Spørgsmål i henhold til kognitive niveauer såsom at huske, anvende, analysere.

Trin for trin: Generering af et pålideligt sæt spørgsmål

1. Angiv emne, niveau og antal spørgsmål. Som "10. klasse gymnasiet, andengradsligninger, 10 multiple choice-spørgsmål."

2. Bed om spørgsmålstype og sværhedsfordeling. Bed om en distribution som "4 nemme, 4 mellemstore, 2 svære."

3. Løs hvert spørgsmål selvstændigt. Løs hvert spørgsmål selv eller med SymPy; Sammenlign det med svartasten leveret af YZ. Dette trin er ikke til forhandling.

4. Tjek for distraktorer. Er forkerte muligheder virkelig forkerte? Nogle gange producerer AI mere end én korrekt mulighed, eller en distraktor er faktisk korrekt. Marker hver mulighed.

5. Garanterer, at der er præcis ét rigtigt svar. I multiple choice skal præcis én mulighed være korrekt; Der må ikke være nul eller mere end én korrekt.

6. Tjek for usikkerhed og dobbeltarbejde. Er spørgsmålet entydigt? Måler de to spørgsmål det samme? Er tallene rimelige (f.eks. hvis roden skal være negativ)?

Opmærksomhed: AI laver to mest almindelige fejl, når de genererer multiple choice-spørgsmål: (1) den mulighed, den markerede "sand", er faktisk forkert, (2) mere end én mulighed er korrekt, eller ingen af ​​dem er korrekte. Brug ikke noget spørgsmål uden at løse hvert spørgsmål uafhængigt og vurdere hver af de fire muligheder separat som sand/falsk.

Spørgsmål kvalitetskontrol diagram

kontrol

Spørgsmål

hvad man skal søge efter

nøjagtighed

Er svartasten korrekt?

Bekræftelse ved uafhængig løsning

kun sandt

Er kun 1 mulighed korrekt?

De andre 3 må være forkerte

Distraktor kvalitet

Er fejlene plausible?

Bør være baseret på typiske fejl

Klarhed

Er spørgsmålet entydigt?

Der bør ikke være nogen usikkerhed

Overholdelse af niveauer

Passer sværhedsgraden til målet?

Hverken for let eller for svært

Omfang

Er emnet godt repræsenteret?

Underemner er afbalancerede

tre minisager

Tilfælde 1 — Forkert nøgle. En lærer lavede et multiple choice-sæt med 12 spørgsmål. Da han løste hvert spørgsmål med SymPy, fandt han ud af, at i 3 af de 12 spørgsmål, var den mulighed, AI'en havde markeret "korrekt", forkert - det faktiske rigtige svar var en anden mulighed. Læreren rettede nøglerne. Hvis dette sæt var blevet brugt uden verifikation, ville hele klassen være blevet vurderet uretfærdigt i 3 spørgsmål.

Tilfælde 2 — To rigtige muligheder. I et spørgsmål satte AI både "x = 2" og "x = 2 eller x = -2" ind; Begge var sande i en vis forstand, og spørgsmålet var uklart. Læreren omarrangerede valgmulighederne og efterlod kun ét rigtigt svar. Distraktorer skal være klart forkerte.

Tilfælde 3 — Svag distraktor. I en ingeniørklasse placerede AI irrelevante distraktorer som "42", "aksaray", "blå", "17" osv. i et spørgsmål; Det rigtige svar var åbenbart "17". Læreren bad om numeriske distraktorer baseret på typiske regnefejl (f.eks. værdi som følge af fortegnsfejl), og spørgsmålene blev sande diskriminatorer. Den gode distraktor repræsenterer en sand falsk vej.

Fire kopierbare skabeloner

1) Flervalgsspørgsmål:

Generer [n] MULTIPLE CHOICE-spørgsmål om [emne]. Niveau: [niveau]. Sværhedsgrad: [x let, y medium, z hård]. Lad hvert spørgsmål have 4 muligheder; Lad PRÆCIS 1 være korrekt, og de 3 andre er plausible distraktorer baseret på typiske fejl. Skriv også trin for trin løsning og korrekt svar til hvert spørgsmål. Jeg vil verificere dem alle med SymPy.

2) Spørgsmålsvariation (fra mønster):

Tag dette spørgsmål som MØNSTER: [eksempelspørgsmål]. Generer [n] forskellige versioner, der måler det samme koncept, men med varierende tal/kontekst. Løs svarene for hver version trin for trin. Lad svarene være forskellige fra hinanden.

3) Generering af løsningsnøgler:

Lav en TRIN-FOR-TRIN-løsning og et endeligt svar på hvert af spørgsmålene nedenfor. Angiv den regel, du bruger. Marker den løsning, du er usikker på; Jeg vil uafhængigt verificere hvert svar. Spørgsmål: [her]

4) Distraktor forbedring:

Gennemgå distraktorerne for dette multiple choice-spørgsmål. Forklar HVILKEN typisk elevfejl hver forkert distraktor svarer til. Erstat irrelevante eller åbenlyse ukorrekte distraktorer med dem baseret på faktiske fejl. Spørgsmål: [her]

Svag prompt / Stærk prompt

Svag: "Gør mig 10 afledte spørgsmål."
Resultat: Usikkert niveau, tilfældig fordeling af sværhedsgrad, ubekræftet svarnøgle, tilfældigt sæt distraktorer (hvis nogen).
Stærk: "Producer 10 multiple choice-afledte spørgsmål til 12. klasse i gymnasiet: 4 lette (grundlæggende regler), 4 mellemstore (kæde-/produktregel), 2 svære (sammensatte funktioner). Lad der være 4 valgmuligheder i hvert spørgsmål, præcis 1 korrekt, de andre er distraktorer baseret på typiske fejl (glemmer den indre afledte, fortegn svar for trin for hvert spørgsmål."
Resultat: Et sæt, der er jævnt, afbalanceret, distraktorer er meningsfulde, og hvert svar kan auditeres.

Almindelige fejl

  • Bekræfter ikke svarnøglen. Hvad AI siger er "rigtigt" er ofte forkert; Løs hvert spørgsmål uafhængigt.
  • Mere end en/nul er den rigtige mulighed. I multiple choice skal der være præcis én sandhed; Kontroller hver mulighed separat.
  • Svage distraktorer. Irrelevante eller åbenlyst forkerte valgmuligheder gør spørgsmålet upræcist.
  • Uden at specificere sværhedsgraden. De synes alle at have samme vanskelighed; Niveauevaluering kan ikke foretages.
  • Gentagelse og overlapning. Forskellige spørgsmål kan måle det samme koncept; Tjek dækningsbalancen.
  • Uklart udtryk. Spørgsmål med dobbelt betydning vildleder eleverne uretfærdigt.
Tip: Den mest effektive måde at validere et sæt spørgsmål på er at skrive kode, der løser alle spørgsmålene på én gang med SymPy. Fortæl AI'en "skriv kode, der løser hvert af disse 10 problemer med SymPy", kør koden, og bulk sammenlign SymPy-resultaterne med AI'ens svarnøgle. På denne måde tjekker du de 10 spørgsmål ikke ét efter ét, men kollektivt og deterministisk.

Sammenfattende

AI fremskynder dramatisk generering af matematiske spørgsmål og eksamener: spørgsmålsvariation, distraktordesign, løsningsnøgle, sværhedsgrad. Men hvert spørgsmål og hver svarnøgle skal valideres uafhængigt - helst masseverificeret med SymPy. De mest almindelige fejl er forkert svartast, flere/nul korrekte muligheder og svage distraktorer. Angivelse af emne, niveau og sværhedsgrad fra begyndelsen øger kvaliteten. Eventuelle ubekræftede spørgsmål bør ikke deltage i eksamen.

Ansøgningsopgave

Vælg et emne. Få AI til at producere 8-10 multiple choice-spørgsmål + løsninger med en vis sværhedsgrad med den 1. skabelon. Husk derefter fra enhed 4, og få AI til at skrive en kode, der løser alle spørgsmålene med SymPy, og køre koden. Sammenlign SymPy-resultater med YZ's svarnøgle. Bekræft, at der er nøjagtigt et korrekt valg i hvert spørgsmål, og at distraktorerne faktisk er forkerte. Find og ret mindst én fejl eller svag distraktor.

tjekliste

  • [ ] Jeg har tydeligt angivet emne, niveau og sværhedsgradsfordeling.
  • [ ] Jeg løste hvert spørgsmål uafhængigt (helst batch med SymPy).
  • [ ] Jeg sammenlignede svarnøglen med SymPy-resultaterne.
  • [ ] Jeg bekræftede, at der er nøjagtig én korrekt mulighed i hvert spørgsmål.
  • [ ] Jeg tjekkede, at distraktorerne var baseret på typiske fejl og faktisk var forkerte.
  • [ ] Jeg sørgede for, at der ikke var nogen vage udsagn og ingen gentagne spørgsmål.
Tidligere Næste