Dobici:
- Sposobnost da umjetna inteligencija proizvede pitanja s višestrukim izborom, distraktore na temelju tipičnih pogrešaka i ključeve rješenja određivanjem teme, razine i distribucije težine.
- Sposobnost hvatanja pogrešnog ključa i višestrukih/nula ispravnih pogrešaka opcija neovisnom provjerom valjanosti svakog ključa pitanja i odgovora, po mogućnosti skupno, uz SymPy
- Sposobnost ocjenjivanja kvalitete distraktora, jednoznačnosti i ravnoteže težine pitanja te odobravanja svakog pitanja prije pristupanja ispitu.
Priprema pitanja za ispit i vježbu jedan je od zadataka koji oduzimaju najviše vremena u matematičkom obrazovanju: postavljanje pitanja odgovarajuće težine, osmišljavanje vjerojatnih distraktora (pogrešnih, ali vjerojatnih opcija), priprema ključa odgovora i balansiranje težine traju satima. Umjetna inteligencija može ubrzati ovaj proces — generiranje desetaka varijacija pitanja, višestrukih opcija izbora i ključeva rješenja iz jedne teme. Ali točnost svakog proizvedenog pitanja i nepogrešivost svakog ključa odgovora moraju se neovisno provjeriti; Netočan ključ znači da učenici nepravedno gube bodove. U ovoj ćete jedinici naučiti kako koristiti AI kao partnera za generiranje pitanja i kako moderirati svako pitanje.
Nekoliko definicija. Distraktor je opcija u pitanju s višestrukim izborom koja nije točna, ali odgovara uobičajenoj pogrešci koju učenik može učiniti. Dobar distraktor nije slučajan; Odražava tipičnu pogrešku (pogrešku u znaku, zabunu u pravilu). Ključ za odgovore je popis točnih odgovora na pitanja. Ravnoteža težine je odgovarajuća raspodjela lakih-srednje-teških pitanja na ispitu.
Doprinos AI stvaranju pitanja
- Varijanta pitanja: Više sličnih pitanja iz uzorka (mijenjajući brojeve).
- Dizajn distraktora: Vjerojatno netočni izbori temeljeni na uobičajenim pogreškama.
- Pregled ključa rješenja: Korak po korak rješenje za svaki problem.
- Ocjena težine: Klasificiranje pitanja kao laka/srednja/teška.
- Pokrivenost predmeta: Skupovi pitanja koja pokrivaju različite podteme nastavnog plana i programa.
- Bloomova taksonomija odgovara: Pitanje prema kognitivnim razinama kao što su pamćenje, primjena, analiza.
Korak po korak: generiranje pouzdanog skupa pitanja
1. Navedite temu, razinu i broj pitanja. Kao "10. razred srednje škole, kvadratne jednadžbe, 10 pitanja s višestrukim izborom."
2. Zatražite vrstu pitanja i distribuciju težine. Zatražite distribuciju poput "4 laka, 4 srednja, 2 teška."
3. Riješite svako pitanje samostalno. Riješite svako pitanje sami ili pomoću SymPyja; Usporedite ga s ključem za odgovor koji je dao YZ. O ovom koraku se ne može pregovarati.
4. Provjerite distraktore. Jesu li pogrešne opcije stvarno pogrešne? Ponekad AI proizvodi više od jedne točne opcije ili je distraktor zapravo točan. Provjerite svaku opciju.
5. Jamčimo da postoji točno jedan točan odgovor. Kod višestrukog izbora, točno jedna opcija mora biti točna; Ne smije biti nula ili više od jedan točnih.
6. Provjerite postoji li nesigurnost i dupliciranje. Je li pitanje jednoznačno? Mjere li ta dva pitanja istu stvar? Jesu li brojevi razumni (npr. ako bi korijen trebao biti negativan)?
Pažnja: AI čini dvije najčešće pogreške prilikom generiranja pitanja s višestrukim izborom: (1) opcija koju je označio kao "točno" zapravo je pogrešna, (2) više od jedne opcije je točno ili nijedna od njih nije točna. Nemojte koristiti nijedno pitanje bez da ste riješili svako pitanje zasebno i ocijenili svaku od četiri opcije odvojeno kao točno/netočno.
Pitanje dijagram kontrole kvalitete
kontrola
Pitanje
što tražiti
točnost
Je li ključ odgovora točan?
Potvrda neovisnim rješenjem
jedino istinito
Je li samo 1 opcija točna?
Ostale 3 moraju biti u krivu
Kvaliteta distraktora
Jesu li pogreške vjerojatne?
Treba se temeljiti na tipičnoj pogrešci
Jasnoća
Je li pitanje jednoznačno?
Ne bi trebalo biti neizvjesnosti
Usklađenost razine
Je li težina primjerena cilju?
Ni prelako ni preteško
Opseg
Je li tema dobro zastupljena?
Podteme su uravnotežene
tri mini kućišta
Slučaj 1 — Pogrešan ključ. Učitelj je izradio skup od 12 pitanja s višestrukim izborom. Kad je riješio svako pitanje pomoću SymPyja, otkrio je da je u 3 od 12 pitanja opcija koju je umjetna inteligencija označila kao "točna" bila netočna - stvarni točan odgovor bila je druga opcija. Učitelj je ispravio ključeve. Da je ovaj skup korišten bez provjere, cijeli razred bio bi nepravedno ocijenjen u 3 pitanja.
Slučaj 2 — Dvije točne opcije. U jednom pitanju, AI je stavio i "x = 2" i "x = 2 ili x = −2"; Obje su bile istinite u određenom smislu, a pitanje je bilo nejasno. Učiteljica je presložila opcije i ostavila samo jedan točan odgovor. Distraktori moraju biti jasno neispravni.
Slučaj 3 — Slab distraktor. U razredu strojarstva, AI je stavio nebitne distraktore kao što su "42", "aksaray", "blue", "17" itd. u pitanje; Točan odgovor očito je bio "17". Učitelj je tražio numeričke distraktore na temelju tipičnih računskih pogrešaka (npr. vrijednost koja proizlazi iz pogreške predznaka), a pitanja su postala pravi diskriminatori. Dobar distraktor predstavlja pravi lažni put.
Četiri predloška za kopiranje
1) Skup pitanja s višestrukim izborom:
Generiraj [n] pitanja S VIŠE IZBORA na [tema]. Razina: [razina]. Težina: [x lako, y srednje, z teško]. Neka svako pitanje ima 4 opcije; Neka TOČNO 1 bude točno, a ostala 3 su vjerojatni distraktori temeljeni na tipičnim pogreškama. Također napišite korak po korak rješenje i točan odgovor za svako pitanje. Sve ću ih provjeriti sa SymPyjem.
2) Varijacija pitanja (iz uzorka):
Uzmite ovo pitanje kao PATTERN: [uzorak pitanja]. Generirajte [n] različitih verzija koje mjere isti koncept, ali s različitim brojevima/kontekstom. Riješite odgovore za svaku verziju korak po korak. Neka se odgovori razlikuju jedni od drugih.
3) Generiranje ključa rješenja:
Napravite KORAK PO KORAK rješenje i konačni odgovor za svako od pitanja u nastavku. Navedite pravilo koje koristite. Označite rješenje u koje niste sigurni; Svaki odgovor ću samostalno provjeriti. Pitanja: [ovdje]
4) Poboljšanje distraktora:
Pregledajte distraktore za ovo pitanje s višestrukim izborom. Objasnite KOJOJ tipičnoj pogrešci učenika odgovara svaki netočni distraktor. Zamijenite irelevantne ili očito netočne distraktore onima koji se temelje na stvarnim pogreškama. Pitanje: [ovdje]
Slab upit / Jak upit
Slab: "Postavi mi 10 izvedenih pitanja."
Rezultat: Neodređena razina, slučajna raspodjela težine, neprovjereni ključ odgovora, slučajni skup distraktora (ako ih ima).
Strong: "Napravite 10 izvodnih pitanja s višestrukim izborom za 12. razred srednje škole: 4 laka (osnovna pravila), 4 srednja (pravilo lanca/proizvoda), 2 teška (složene funkcije). Neka budu 4 izbora u svakom pitanju, točno 1 točan, ostali su distraktori temeljeni na tipičnim pogreškama (zaboravljanje unutarnje izvedenice, pogreška predznaka). Riješite svako pitanje korak po korak i navedite točan odgovor."
Rezultat: Skup koji je ravan, uravnotežen, distraktori su smisleni i svaki odgovor je revizijski.
Uobičajene greške
- Ne provjerava ključ odgovora. Ono što AI kaže da je "ispravno" često je pogrešno; Riješite svako pitanje zasebno.
- Više od jedan/nula je ispravna opcija. U višestrukom izboru mora postojati točno jedna istina; Provjerite svaku opciju zasebno.
- Slabi distraktori. Nerelevantne ili očito netočne opcije čine pitanje nejasnim.
- Ne navodi se distribucija težine. Čini se da su sve iste poteškoće; Ne može se izvršiti procjena razine.
- Ponavljanje i preklapanje. Različita pitanja mogu mjeriti isti koncept; Provjerite stanje pokrivenosti.
- Nejasan izraz. Pitanja s dvostrukim značenjem nepravedno dovode učenike u zabludu.
Savjet: najučinkovitiji način za provjeru valjanosti skupa pitanja je pisanje koda koji rješava sva pitanja odjednom pomoću SymPy-a. Recite umjetnoj inteligenciji "napiši kod koji rješava svaki od ovih 10 problema sa SymPyjem", pokrenite kôd i grupno usporedite rezultate SymPyja s ključem odgovora umjetne inteligencije. Na ovaj način provjeravate 10 pitanja ne jedno po jedno, već skupno i deterministički.
Ukratko
AI dramatično ubrzava generiranje matematičkih pitanja i ispita: varijacije pitanja, dizajn distraktora, ključ rješenja, ocjena težine. Ali svako pitanje i svaki ključ odgovora moraju biti neovisno potvrđeni — po mogućnosti grupno potvrđeni pomoću SymPyja. Najčešće pogreške su pogrešan ključ odgovora, više/nula točnih opcija i slabi distraktori. Određivanje teme, razine i distribucije težine od samog početka povećava kvalitetu. Sva neprovjerena pitanja ne bi trebala ući u ispit.
Zadatak aplikacije
Odaberite temu. Neka AI proizvede 8-10 pitanja s višestrukim izborom + rješenja s određenom distribucijom težine s 1. predloškom. Zatim, prisjetivši se jedinice 4, neka AI napiše kod koji rješava sva pitanja sa SymPy i pokrene kod. Usporedite SymPy rezultate s YZ ključem odgovora. Provjerite postoji li točno jedan točan odgovor u svakom pitanju i jesu li distraktori zapravo netočni. Pronađite i ispravite barem jednu pogrešku ili slab distraktor.
popis za provjeru
- [ ] Jasno sam naveo predmet, razinu i distribuciju težine.
- [ ] Svako sam pitanje riješio zasebno (po mogućnosti grupno sa SymPy-em).
- [ ] Usporedio sam ključ odgovora s rezultatima SymPyja.
- [ ] Provjerio sam da postoji točno jedna točna opcija u svakom pitanju.
- [ ] Provjerio sam da se distraktori temelje na tipičnim pogreškama i da su zapravo pogrešni.
- [ ] Pobrinuo sam se da nema nejasnih izjava i pitanja koja se ponavljaju.