Dobički:
- Sposobnost generiranja odprtih vprašanj z več izbirami in vprašanj na višji ravni v skladu z dosežki s podporo umetne inteligence
- Sposobnost nadzora kakovosti vprašanja z uporabo načel dobrega distraktorja (napačna, a verjetna možnost), enega pravilnega odgovora in težavnosti nalog.
- Razumeti tveganje, da umetna inteligenca proizvede napačne ključe odgovorov, neobjektivna ali pristranska vprašanja, in biti sposoben videti, da mora učitelj preveriti vsako postavko.
Izpiti in kvizi so primarna orodja, s katerimi učitelj meri učenje; Toda pisanje dobrih vprašanj je težje, kot si mislite. Dvoumen koren, podobne možnosti in jezik, ki daje namige, zmanjšujejo vrednost merjenja vprašanja. AI hitro ustvari veliko število orisov vprašanj, povezanih z rezultati; Spremljate kakovost, preverjate ključ odgovora in vzdržujete usklajenost dosežkov. V tej enoti bomo obravnavali dobro pisanje člankov in izdelavo kakovostnih kvizov z AI. Omejitev je jasna: umetna inteligenca lahko ustvari napačne ključe odgovorov, neobjektivna ali pristranska vprašanja; Učitelj vsako postavko preveri.
Anatomija materije in načela dobrih vprašanj
Vprašanje z več izbirami ima dva dela: steblo (steblo vprašanja) — glavno vprašanje, ki se postavlja; in možnosti — eden je pravilen odgovor, drugi so moteči. Dober distraktor, čeprav je napačen, se zdi verjeten študentu, ki predmeta ni povsem obvladal; Na splošno temelji na običajnem napačnem prepričanju. Pogosta napačna predstava, kot je "Luna proizvaja lastno svetlobo", je močan motilec. Nesmisel ali nepomemben odvračalec ("Mesec je sir") olajša vprašanje in ga naredi manj značilnega.
Načela dobrih vprašanj: (1) steblo sprašuje nekaj enega in jasnega; (2) obstaja le en pravilen odgovor; (3) možnosti so podobne dolžine in so slovnično združljive s korenom (daljša možnost je na splošno pravilna, ne daje namig); (4) možnosti »vse/nobene« se izogibamo, če je mogoče; (5) če je nikalno (»ni«), je poudarjeno; (6) vprašanja merijo raven dosežka – postavljanje vprašanj o priklicu k analizi dosežka zgreši cilj.
Težavnost predmeta je, kako težko je vprašanje; Diskriminacija je vprašanje, koliko loči tiste, ki vedo, od tistih, ki ne vedo. Dober izpit je mešanica predmetov različnih težavnosti.
Namig: ko postavljate vprašanja AI, poimenujte ciljno napačno predstavo: recite "motilci bi morali temeljiti na teh 3 pogostih napačnih predstavah." Tako dobite poučne distraktorje, ne naključne.
Vrste vprašanj
Več možnosti: hitro merjenje, samodejno točkovanje; vendar merjenje razmišljanja višjega reda zahteva skrbno načrtovanje. Odprt/kratek odgovor: Prikazuje učenčevo lastno izjavo; Točkuje se z rubriko (6. enota). True-false: Hiter, a velik faktor sreče. Ujemanje: Dobro za razmerje koncept-definicija. Vprašanja za razmišljanje višjega reda: predmeti, ki temeljijo na scenariju in sprašujejo "zakaj/kako/oceniti"; Meri dobičke analize-ocenjevanja. AI izdela načrte za vse; Vaša naloga je izbrati, katera vrsta meri kateri rezultat.
Korak za korakom: Izdelava kviza z AI
- Podajte dobiček in stopnjo Blooma. Vprašanje bi moralo meriti to raven.
- Določite vrsto in številko. "6 izbirnih + 2 odprta".
- Poimenujte strategijo distraktorja. Na katerih napačnih predstavah naj bi temeljil?
- Prosite za ključe in utemeljitev. Pravilen odgovor na vsako vprašanje in zakaj se drugi motijo.
- Ročno preverite ključ. Vsako vprašanje rešite sami; Ali črta, ki jo označuje AI, res drži?
- Poravnava in preverjanje pristranskosti. Ali vprašanje meri dobiček? Ali obstaja kulturna/spolna pristranskost?
- Ravnovesje težavnosti. Prilagodite mešanico enostavno-srednje-trdo.
trije mini kovčki
1. primer — Napačen ključ. Učitelj naravoslovja je rešil kviz z 10 vprašanji AI. Ključ do 3. vprašanja je bil označen z "B", a ko ga je učitelj rešil, je videl, da je pravilen odgovor "C" - AI je mislil, da je njegov distraktor pravilen. Če ga učitelj ne bi popravljal, bi učenca, ki je to znal, imel za napačnega. Ročno reševanje ključa je rešilo celoten kviz.
2. primer – šibek popravek distraktorja. V učiteljevem prvem kvizu so bili distraktorji nesmiselni in učenci so jih morali odpraviti in najti pravilen odgovor. Umetni inteligenci je dal reproducirati "motilce na podlagi teh pogostih napačnih predstav: X, Y, Z." V novem kvizu se je povečala diskriminacija; povprečje razreda je bolje odražalo dejansko učenje.
Primer 3 – Poravnava ojačanja. Rezultat učitelja zgodovine je bil na ravni analize ("povezuje vzroke"), vendar je umetna inteligenca ustvarila vprašanja za priklic ("povej datum"). Učitelj je posodobil poziv kot "na ravni analize pridobivanja; zastavite scenarijska vprašanja, ki vzpostavljajo vzročno-posledično razmerje." Vprašanja so postala merilo dosežkov.
Kopirane predloge
1) Nabor več izbir na podlagi dosežka:
Vaša vloga: [predmetni] učitelj. Ojačanje: "[ojačanje]" ([Raven cvetenja]), [X. razred]. Napišite 6 vprašanj z več odgovori, ki merijo ta rezultat. Vsako vprašanje naj ima 4 možnosti; Naj distraktorji temeljijo na teh pogostih napačnih predstavah: [napišite napačne predstave]. Za vsako vprašanje razložite pravilen odgovor in zakaj je VSAKA možnost resnična/napačna v ločenem ključnem razdelku. Mešano lahka-srednje težka.
2) Preverjanje ključa odgovora:
Eno za drugo rešite spodnja vprašanja z več možnimi odgovori. Za vsako vprašanje: (a) pravilni odgovor, ki ste ga našli, (b) razlog, (c) ali se ujema z označenim ključem. Nedoslednosti jasno označite kot "KONTRADIKTORNOST". Vprašanja in ključ: [prilepi]
3) Vprašanje na visoki ravni (scenarij):
"[predmet]", [X. razred], napišite 3 vprašanja, ki temeljijo na scenariju, na ravni analize in ocenjevanja. Vsako vprašanje naj poda kratko situacijo in študenta prosi za utemeljitev/primerjavo. Naj se ne reši na pamet. Dodajte vzorčne odgovore in nasvete za vrednotenje.
4) Revizija pristranskosti in skladnosti:
Preverite naslednja vprašanja za: pristranskost glede spola/kulture/regije, nepošteno prednost/prikrajšanost za določeno skupino, neprimeren kontekst. Označite problematične predmete in predlagajte nevtralno alternativo. Vprašanja: [prilepi]
Šibek poziv/močan poziv
Šibek poziv:
Napiši 10 vprašanj o ulomkih.
Raven, rezultat, vrsta, strategija distraktorja, brez ključa; Njegova kakovost in usklajenost sta prepuščeni naključju.
Močan poziv:
Vaša vloga: učiteljica matematike. Učni rezultat: »Učenec sešteje dva ulomka z različnimi imenovalci« (aplikacija). 5. razred. 6 izbirnih vprašanj, 4 možnosti. Motilci bi morali temeljiti na naslednjih napačnih predstavah: neposredno seštevanje števcev in imenovalcev, ohranjanje konstante števca in dodajanje imenovalca. Navedite ključ in opis možnosti za vsako vprašanje. Mešajte enostavno-srednje težko.
Vrsta vprašanja
Raven, ki jo meri
moč
Pozor
več možnosti
Katera koli raven (odvisno od dizajna)
Hiter, samodejni rezultat
Kakovost distraktorja
odprto
razumevanje-ustvarjanje
izvirni izraz
Potrebujem rubriko
drži-ne drži
zapomni si
zelo hitro
Faktor sreče je visok
Temelji na scenariju
Analiza-ocenjevanje
preprečuje pomnjenje
Črkovanje je težko, AI pomaga
Pogoste napake
- Ne preverjanje ključa. Najpogostejša in najbolj nepoštena napaka; AI izdela napačen ključ, učenec, ki ga pozna, bo žrtev.
- Motilec nesmisel. Neverjetna možnost brezplačno poenostavi vprašanje.
- Neusklajenost ravni ojačanja. Zapomni si vprašanje za analizo; zgreši cilj.
- Jezik, ki daje namige. Dejstvo, da je najdaljša/najbolj podrobna možnost vedno pravilna, učence uči vzorcev.
- Spregled pristranskosti. Poznan kontekst določene kulture/skupine daje nekaterim študentom nepošteno prednost.
Pozor: umetna inteligenca včasih ustvari dvoumna vprašanja, pri katerih je več kot eno možnost mogoče označiti za "pravilno". Na vsako točko je odgovoril z vprašanjem "Ali obstaja ena sama in neizpodbitna resnica?" Preizkusite tako, da rečete; V nasprotnem primeru razjasnite koren.
Če povzamem
Dobro vprašanje meri stopnjo dosežka z jasnim steblom in verjetnimi motilci. AI hitro ustvari veliko število orisov vprašanj, distraktorjev in ključev, ki so odvisni od pridobitve; Če tarči poveste napačne predstave, bodo distraktorji poučni. Vendar lahko umetna inteligenca proizvede napačne ključe, šibke moteče dejavnike, nezadostna ali pristranska vprašanja. Rešite vsak element, da preverite ključ, preverite poravnavo in pristranskost; Končni test je učiteljev.
Aplikacijska naloga
Za izid ustvarite 6 vprašanj s predlogo »Množična izbira na podlagi izida«; Sami določite strategijo distraktorja. Nato sami rešite vsako vprašanje in ga primerjajte s ključem AI, preden uporabite predlogo »Preverjanje ključa odgovora«. Popravite morebitna neskladja. Na koncu napišite različico scenarija, ki eno od vprašanj dvigne na raven analize.
kontrolni seznam
- [ ] Ali sem postavil vprašanja glede na Bloomovo raven učnega izida?
- [ ] Ali sem distraktorje zasnoval na dejanskih napačnih predstavah?
- [ ] Ali sem preveril ključ vsakega vprašanja tako, da sem ga sam rešil?
- [ ] Ali sem prepričan, da obstaja en sam, nedvomno pravilen odgovor?
- [ ] Ali sem preveril pristranskost in starostno ustreznost?