Dobici:
- Sposobnost generiranja pitanja s višestrukim izborom, otvorenih pitanja i pitanja više razine razmišljanja u skladu s postignućima uz podršku umjetne inteligencije
- Sposobnost kontrole kvalitete pitanja primjenom načela dobrog distraktora (pogrešna, ali vjerojatna opcija), jednog točnog odgovora i težine zadataka.
- Razumjeti rizik da umjetna inteligencija proizvede ključeve pogrešnih odgovora, neobjektivna ili pristrana pitanja i moći vidjeti da učitelj mora provjeriti svaku stavku.
Ispiti i kvizovi primarni su alati pomoću kojih nastavnik mjeri učenje; Ali pisanje dobrih pitanja je teže nego što mislite. Dvosmisleni korijen, slične opcije i jezik koji daje naznake oduzimaju mjernu vrijednost pitanja. AI brzo generira velik broj nacrta pitanja vezanih uz ishod; Vi pratite kvalitetu, provjeravate ključ odgovora i održavate usklađenost postignuća. U ovoj jedinici obradit ćemo dobro pisanje članaka i izradu kvalitetnih kvizova pomoću umjetne inteligencije. Granica je jasna: AI može proizvesti netočne ključeve odgovora, neobjektivna ili pristrana pitanja; Učitelj provjerava svaku stavku.
Anatomija materije i principi dobrih pitanja
Pitanje s višestrukim izborom ima dva dijela: osnovu (osnovu pitanja) — glavno pitanje koje se postavlja; i opcije — jedan je točan odgovor, drugi su distraktori. Dobar distraktor, iako je pogrešan, čini se vjerojatnim učeniku koji nije u potpunosti savladao predmet; Općenito se temelji na uobičajenoj zabludi. Uobičajena pogrešna predodžba poput "Mjesec proizvodi vlastitu svjetlost" moćno je ometanje. Besmislica ili nevažan distraktor ("Mjesec je sir") olakšava pitanje i čini ga manje karakterističnim.
Načela dobrih pitanja: (1) Temelj pita nešto jedno i jasno; (2) postoji samo jedan točan odgovor; (3) opcije su slične duljine i gramatički su kompatibilne s korijenom (dulja opcija općenito je točna, ne daju naslutiti); (4) opcije "sve/ništa" izbjegavaju se ako je moguće; (5) ako je osnova niječna ("nije"), naglašena je; (6) pitanja mjere razinu postignuća—postavljanje pitanja za prisjećanje na analizu postignuća promašuje cilj.
Poteškoća predmeta je koliko je teško pitanje; Diskriminacija je pitanje koliko dijeli one koji znaju od onih koji ne znaju. Dobar ispit je kombinacija zadataka različite težine.
Savjet: Kada postavljate pitanja umjetnoj inteligenciji, navedite ciljnu zabludu: recite "ometači bi se trebali temeljiti na ove 3 uobičajene zablude." Na taj način dobivate distraktore s uputama, a ne one nasumične.
Vrste pitanja
Višestruki izbor: brzo mjerenje, automatski bodovanje; ali mjerenje razmišljanja višeg reda zahtijeva pažljiv dizajn. Otvoreni/kratki odgovor: Pokazuje vlastitu izjavu učenika; Boduje se rubrikom (6. jedinica). Točno-netočno: Brz, ali visok faktor sreće. Podudaranje: Dobro za odnos koncepta i definicije. Pitanja za razmišljanje višeg reda: Stavke temeljene na scenariju koje pitaju "zašto/kako/ocijeniti"; Mjeri dobitke analize-evaluacije. AI proizvodi nacrte za sve njih; Vaš je posao odabrati koja vrsta mjeri koji ishod.
Korak po korak: Izrada kviza s umjetnom inteligencijom
- Dajte dobit i razinu Blooma. Pitanje bi trebalo mjeriti tu razinu.
- Navedite vrstu i broj. "6 s višestrukim izborom + 2 otvorena".
- Imenujte strategiju distraktora. Na kojim se zabludama treba temeljiti?
- Zatražite ključeve i opravdanje. Točan odgovor na svako pitanje i zašto ostali nisu u pravu.
- Ručno potvrdite ključ. Svako pitanje riješite sami; Je li crta označena umjetnom inteligencijom doista istinita?
- Usklađivanje i provjera pristranosti. Dobiva li pitanje mjera? Postoji li kulturološka/rodna predrasuda?
- Ravnoteža težine. Prilagodite mješavinu lako-srednje-tvrdo.
tri mini kućišta
Slučaj 1 — Pogrešan ključ. Učitelj prirodoslovlja riješio je kviz od 10 pitanja iz AI-ja. Ključ trećeg pitanja bio je označen s "B", ali kada ga je učitelj riješio, vidio je da je točan odgovor "C" — AI je mislio da je vlastiti distraktor točan. Da ga učitelj nije ispravio, smatrao bi učenika koji je to znao u krivu. Ručno rješavanje ključa spasilo je cijeli kviz.
Slučaj 2 — Slaba korekcija distraktora. U prvom učiteljevom kvizu distraktori su bili besmisleni i učenici su ih morali eliminirati i pronaći točan odgovor. Dao je umjetnoj inteligenciji da reproducira "ometače na temelju ovih uobičajenih zabluda: X, Y, Z." U novom kvizu povećana diskriminacija; prosjek razreda bolje odražava stvarno učenje.
Slučaj 3 — Usklađivanje pojačanja. Ishod nastavnika povijesti bio je na razini analize ("povezuje uzroke"), ali AI je proizvela pitanja za prisjećanje ("recite datum"). Učitelj je ažurirao upit kao "na razini analize stjecanja; postavljajte scenarijska pitanja koja uspostavljaju uzročno-posljedičnu vezu." Pitanja su postala mjerilo postignuća.
Predlošci koji se mogu kopirati
1) Skup s višestrukim izborom na temelju postignuća:
Vaša uloga: [predmetni] nastavnik. Dobitak: "[dobitak]" ([Razina cvjetanja]),[X. razred]. Napišite 6 pitanja s višestrukim izborom koja mjere ovaj ishod. Neka svako pitanje ima 4 opcije; Neka se distraktori temelje na ovim uobičajenim zabludama: [napišite zablude]. Za svako pitanje objasnite točan odgovor i zašto je SVAKA opcija točno/netočno u zasebnom ključnom odjeljku. Mješovito laka-srednje teška.
2) Provjera ključa odgovora:
Riješite pitanja s višestrukim izborom u nastavku jedno po jedno. Za svako pitanje: (a) točan odgovor koji ste pronašli, (b) razlog, (c) odgovara li označenom ključu. Označite nedosljednosti jasno kao "KONTRADIKCIJA". Pitanja i ključ: [zalijepi]
3) Pitanje visoke razine (scenarij):
"[predmet]", [X. razred], napišite 3 pitanja temeljena na scenariju na razini analiza-evaluacija. Neka svako pitanje ukratko opiše situaciju i zamoli učenika za obrazloženje/usporedbu. Ne daj da se riješi napamet. Dodajte uzorke odgovora i savjete za ocjenjivanje.
4) Revizija pristranosti i usklađenosti:
Provjerite sljedeća pitanja za: pristranost prema spolu/kulturi/regiji, nepravednu prednost/nedostatak za određenu skupinu, neprikladan kontekst. Označite problematične stavke i predložite neutralnu alternativu. Pitanja: [zalijepi]
Slab upit / Jak upit
Slab upit:
Napiši 10 pitanja o razlomcima.
Razina, ishod, vrsta, strategija distraktora, bez ključa; Njegova kvaliteta i usklađenost prepušteni su slučaju.
Snažan upit:
Vaša uloga: profesor matematike. Ishod učenja: „Učenik zbraja dva razlomka s različitim nazivnicima“ (primjena). 5. razred. 6 pitanja s višestrukim izborom, 4 opcije. Distraktori bi se trebali temeljiti na sljedećim pogrešnim predodžbama: izravno zbrajanje i brojnika i nazivnika, održavanje konstantnosti brojnika i dodavanje nazivnika. Navedite ključ i opis opcije za svako pitanje. Miješati lako-srednje-teško.
Vrsta pitanja
Razina koju mjeri
snaga
Pažnja
višestruki izbor
Bilo koja razina (ovisno o dizajnu)
Brz, automatski rezultat
Kvaliteta distraktora
otvoren kraj
razumijevanje-stvaranje
izvorni izraz
Treba rubrika
istinito-netočno
sjetiti se
vrlo brzo
Faktor sreće je visok
Na temelju scenarija
Analiza-evaluacija
sprječava pamćenje
Pravopis je težak, AI pomaže
Uobičajene greške
- Ne provjerava se ključ. Najčešća i najnepoštenija pogreška; AI proizvodi krivi ključ, učenik koji ga zna bit će žrtva.
- Ometač besmislica. Nevjerojatna opcija besplatno pojednostavljuje pitanje.
- Neusklađenost razine pojačanja. Pitanje za pamćenje za prikupljanje analize; promašuje metu.
- Jezik koji daje tragove. Činjenica da je najduža/najdetaljnija opcija uvijek točna uči učenike obrascima.
- Previdna pristranost. Poznati kontekst određene kulture/skupine daje nekim učenicima nepravednu prednost.
Oprez: AI ponekad proizvodi dvosmislena pitanja gdje se više od jedne opcije može smatrati "točnom". Na svaku stavku odgovarao je pitanjem "Postoji li jedna jedina i nepobitna istina?" Testirajte tako što ćete reći; Inače, razjasnite korijen.
Ukratko
Dobro pitanje mjeri razinu postignuća s jasnim ishodištem i uvjerljivim distraktorima. AI brzo generira velik broj nacrta pitanja, distraktora i ključeva koji ovise o akviziciji; Ako meti kažete zablude, distraktori će biti poučni. Međutim, umjetna inteligencija može proizvesti pogrešne ključeve, slabe distraktore, nedokučiva ili pristrana pitanja. Riješite svaku stavku da potvrdite ključ, provjerite poravnanje i pristranost; Završni test je nastavnikov.
Zadatak aplikacije
Za ishod generirajte 6 pitanja pomoću predloška "Skup s višestrukim izborom na temelju ishoda"; Sami odredite strategiju distraktora. Zatim sami riješite svako pitanje i usporedite ga s ključem umjetne inteligencije prije upotrebe predloška "Provjera ključa odgovora". Ispravite sva neslaganja. Na kraju napišite verziju scenarija koja jedno od pitanja podiže na razinu analize.
popis za provjeru
- [ ] Jesam li postavio pitanja prema Bloomovoj razini ishoda učenja?
- [ ] Jesam li distraktore temeljio na stvarnim zabludama?
- [ ] Jesam li provjerio ključ svakog pitanja tako što sam ga sam riješio?
- [ ] Jesam li siguran da postoji samo jedan, neupitno točan odgovor?
- [ ] Jesam li provjerio pristranost i dob?