Dobici:
- Sposobnost posjedovanja umjetne inteligencije proizvodi pitanja s višestrukim izborom, distraktore zasnovane na tipičnim greškama i ključeve rješenja specificiranjem teme, nivoa i distribucije težine.
- Sposobnost hvatanja pogrešnog ključa i višestrukih/nula grešaka u ispravnim opcijama nezavisnom potvrđivanjem svakog ključa pitanja i odgovora, po mogućnosti skupa, uz SymPy
- Sposobnost evaluacije kvaliteta distraktora, nedvosmislenosti i ravnoteže težine pitanja, te odobravanje svakog pitanja prije polaganja ispita.
Priprema pitanja za ispit i vježbu jedan je od najzahtjevnijih zadataka u matematičkom obrazovanju: postavljanje pitanja odgovarajuće težine, dizajniranje vjerodostojnih distraktora (pogrešne, ali vjerodostojne opcije), priprema ključa za odgovor i balansiranje težine zahtijevaju sate. Umjetna inteligencija može ubrzati ovaj proces — generiranje desetina varijacija pitanja, višestrukih opcija izbora i ključeva rješenja iz jedne teme. Ali tačnost svakog postavljenog pitanja i bez greške u svakom ključu odgovora moraju biti nezavisno verifikovani; Netačan ključ znači da učenici nepravedno gube bodove. U ovoj jedinici ćete naučiti kako koristiti AI kao partnera za generiranje pitanja i kako moderirati svako pitanje.
Nekoliko definicija. Distraktor je opcija u pitanju sa višestrukim izborom koja nije tačna, ali odgovara uobičajenoj grešci koju učenik može napraviti. Dobar distraktor nije slučajan; Odražava tipičnu grešku (greška u znaku, zbrka pravila). Ključ odgovora je lista tačnih odgovora na pitanja. Ravnoteža poteškoće je odgovarajuća distribucija lakih-srednje-teških pitanja na ispitu.
Doprinos AI generiranju pitanja
- Varijacija pitanja: Više sličnih pitanja iz uzorka (promjena brojeva).
- Dizajn distraktora: Uvjerljivo netačni izbori zasnovani na uobičajenim greškama.
- Opis ključnog rješenja: Rješenje korak po korak za svaki problem.
- Ocjena težine: Klasifikacija pitanja kao laka/srednja/teška.
- Pokrivenost predmeta: Skupovi pitanja koji pokrivaju različite podteme nastavnog plana i programa.
- Bloomova taksonomija odgovara: Pitanja prema kognitivnim nivoima kao što su pamćenje, primjena, analiza.
Korak po korak: generiranje pouzdanog skupa pitanja
1. Navedite temu, nivo i broj pitanja. Kao "10. razred srednje škole, kvadratne jednačine, 10 pitanja sa više odgovora."
2. Pitajte za vrstu pitanja i distribuciju težine. Zatražite distribuciju poput "4 lake, 4 srednje, 2 teške."
3. Svako pitanje riješite samostalno. Riješite svako pitanje sami ili sa SymPyjem; Uporedite ga sa ključem za odgovor koji vam daje YZ. O ovom koraku se ne može pregovarati.
4. Provjerite ima li distraktora. Da li su pogrešne opcije zaista pogrešne? Ponekad AI proizvede više od jedne ispravne opcije ili je distraktor zapravo ispravan. Provjerite svaku opciju.
5. Garantujemo da postoji tačno jedan tačan odgovor. U višestrukom izboru, tačno jedna opcija mora biti tačna; Ne smije biti nula ili više tačnih.
6. Provjerite ima li nesigurnosti i dupliranja. Je li pitanje jednoznačno? Da li ova dva pitanja mjere istu stvar? Jesu li brojevi razumni (npr. ako bi korijen trebao biti negativan)?
Pažnja: AI pravi dvije najčešće greške kada generira pitanja sa višestrukim izborom: (1) opcija koju je označila kao "tačno" je zapravo pogrešna, (2) više od jedne opcije je tačna ili nijedna od njih nije tačna. Nemojte koristiti nijedno pitanje, a da svako pitanje ne riješite nezavisno i da svaku od četiri opcije posebno ocijenite kao istinito/netačno.
Pitajte grafikon kontrole kvaliteta
kontrolu
Pitanje
šta tražiti
tačnost
Da li je ključ za odgovor tačan?
Potvrda nezavisnim rješenjem
samo istina
Da li je samo 1 opcija tačna?
Ostala 3 mora da su pogrešna
Kvalitet distraktora
Da li su greške prihvatljive?
Trebalo bi da se zasniva na tipičnoj grešci
Jasnoća
Je li pitanje jednoznačno?
Ne bi trebalo biti neizvjesnosti
Usklađenost nivoa
Da li je težina primjerena cilju?
Ni prelako ni preteško
Obim
Da li je tema dobro zastupljena?
Podteme su izbalansirane
tri mini kofera
Slučaj 1 — Pogrešan ključ. Nastavnik je napravio skup od 12 pitanja sa višestrukim odgovorima. Kada je riješio svako pitanje pomoću SymPyja, otkrio je da je u 3 od 12 pitanja opcija koju je AI označila kao "tačno" bila netačna - stvarni tačan odgovor je bila druga opcija. Učitelj je ispravio ključeve. Da je ovaj skup korišten bez provjere, cijeli razred bi bio nepravedno ocijenjen u 3 pitanja.
Slučaj 2 — Dvije ispravne opcije. U jednom pitanju, AI je stavio i “x = 2” i “x = 2 ili x = −2”; I jedno i drugo je bilo tačno u izvesnom smislu, a pitanje je bilo nejasno. Nastavnik je preuredio opcije i ostavio samo jedan tačan odgovor. Distraktori moraju biti očigledno netačni.
Slučaj 3 — Slab distraktor. Na času inženjerstva, AI je stavio nebitne distraktore kao što su "42", "aksaray", "plavo", "17" itd. u pitanje; Tačan odgovor je očigledno bio "17". Nastavnik je tražio numeričke distraktore zasnovane na tipičnim greškama u proračunu (npr. vrijednost koja je rezultat greške predznaka), a pitanja su postala pravi diskriminatori. Dobar distraktor predstavlja pravi lažni put.
Četiri šablona za kopiranje
1) Set pitanja sa više odgovora:
Generirajte [n] pitanja sa VIŠE IZBORA na [temu]. Nivo: [nivo]. Poteškoća: [x lako, y srednje, z teško]. Neka svako pitanje ima 4 opcije; Neka TAČNO 1 bude tačno, a druga 3 su uvjerljivi distraktori zasnovani na tipičnim greškama. Također napišite korak po korak rješenje i tačan odgovor za svako pitanje. Sve ću ih provjeriti sa SymPyjem.
2) Varijacija pitanja (iz uzorka):
Uzmite ovo pitanje kao OBRAZAC: [uzorak pitanja]. Generirajte [n] različitih verzija koje mjere isti koncept, ali s različitim brojevima/kontekstom. Riješite odgovore za svaku verziju korak po korak. Neka odgovori budu različiti jedni od drugih.
3) Generisanje ključa rješenja:
Izradite KORAK PO KORAK rješenje i konačan odgovor za svako od pitanja u nastavku. Navedite pravilo koje koristite. Označite rješenje u koje niste sigurni; Svaki odgovor ću samostalno provjeriti. Pitanja: [ovdje]
4) Poboljšanje distraktora:
Pregledajte distraktore za ovo pitanje s više odgovora. Objasnite KOJOJ tipičnoj grešci učenika odgovara svaki netačan distraktor. Zamijenite nebitne ili očigledne neispravne distraktore onim zasnovanim na stvarnim greškama. Pitanje: [ovdje]
Slaba prompt / Jaka prompt
Slabo: "Daj mi 10 izvedenih pitanja."
Rezultat: Nesiguran nivo, slučajna distribucija težine, neprovjereni ključ odgovora, nasumični skup distraktora (ako ih ima).
Snažno: "Napravi 10 izvedenih pitanja sa više odgovora za 12. razred srednje škole: 4 laka (osnovna pravila), 4 srednja (pravilo lanca/proizvoda), 2 teška (složene funkcije). Neka u svakom pitanju budu 4 izbora, tačno 1 tačan, ostali su distraktori zasnovani na tipičnim greškama (zaboravljanje unutrašnjeg izvoda, označavanje korak po korak).
Rezultat: Nivo, izbalansiran set, distraktori su smisleni i svaki odgovor se može revidirati.
Uobičajene greške
- Ne provjerava se ključ za odgovor. Ono što AI kaže da je "ispravno" često je pogrešno; Svako pitanje riješite samostalno.
- Više od jedan/nula je ispravna opcija. U višestrukom izboru mora postojati tačno jedna istina; Provjerite svaku opciju posebno.
- Slabi distraktori. Nebitne ili očigledno netačne opcije čine pitanje nerazgovjetnim.
- Ne navodi distribuciju težine. Čini se da su sve iste teškoće; Ne može se izvršiti evaluacija nivoa.
- Ponavljanje i preklapanje. Različita pitanja mogu mjeriti isti koncept; Provjerite stanje pokrića.
- Nejasan izraz. Pitanja dvostrukog značenja nepravedno dovode učenike u zabludu.
Savjet: Najefikasniji način za validaciju skupa pitanja je pisanje koda koji rješava sva pitanja odjednom uz SymPy. Recite AI-ju da "napiše kod koji rješava svaki od ovih 10 problema sa SymPy-jem", pokrenite kod i uporedite rezultate SymPy-a s ključem za odgovor AI-a. Na ovaj način provjeravate 10 pitanja ne jedno po jedno, već zbirno i deterministički.
Ukratko
AI dramatično ubrzava generisanje matematičkih pitanja i ispita: varijacije pitanja, dizajn distraktora, ključ rješenja, ocjena težine. Ali svako pitanje i svaki ključ odgovora moraju biti nezavisno potvrđeni - po mogućnosti grupno verifikovani sa SymPy. Najčešće greške su pogrešan ključ za odgovor, višestruke/nula tačne opcije i slabi distraktori. Određivanje teme, nivoa i distribucije težine od početka povećava kvalitet. Neprovjerena pitanja ne smiju ulaziti u ispit.
Zadatak aplikacije
Odaberite temu. Neka AI proizvede 8-10 pitanja sa višestrukim izborom + rješenja s određenom distribucijom poteškoća s 1. šablonom. Zatim, prisjećajući se iz jedinice 4, neka AI napiše kod koji rješava sva pitanja sa SymPyjem i pokrene kod. Uporedite SymPy rezultate sa YZ-ovim ključem za odgovor. Proverite da li postoji tačno jedan tačan izbor u svakom pitanju i da su distraktori zapravo netačni. Pronađite i ispravite barem jednu grešku ili slab distraktor.
kontrolna lista
- [ ] Jasno sam naveo predmet, nivo i distribuciju težine.
- [ ] Svako pitanje sam rješavao samostalno (po mogućnosti batch sa SymPy).
- [ ] Uporedio sam ključ odgovora sa SymPy rezultatima.
- [ ] Provjerio sam da postoji tačno jedna ispravna opcija u svakom pitanju.
- [ ] Provjerio sam da su distraktori zasnovani na tipičnim greškama i da su zapravo pogrešni.
- [ ] Pobrinuo sam se da nema nejasnih izjava i pitanja koja se ponavljaju.