Dobici:
- Sposobnost generiranja višestrukih izbora, otvorenih pitanja i pitanja višeg nivoa razmišljanja u skladu s dostignućima uz podršku umjetne inteligencije
- Sposobnost kontrole kvaliteta pitanja primjenom principa dobrog distraktora (pogrešna, ali vjerodostojna opcija), jednog tačnog odgovora i težine stavke.
- Shvatite rizik da umjetna inteligencija proizvede pogrešne ključeve odgovora, neobjektivna ili pristrasna pitanja i budite u stanju vidjeti da nastavnik mora provjeriti svaku stavku.
Ispiti i kvizovi su primarni alati pomoću kojih nastavnik mjeri učenje; Ali pisati dobra pitanja je teže nego što mislite. Dvosmislen korijen, slične opcije i jezik koji daje tragove umanjuju mjernu vrijednost pitanja. AI brzo generiše veliki broj obrisa pitanja vezanih za ishod; Nadzirete kvalitet, provjeravate ključ odgovora i održavate usklađenost postignuća. U ovoj jedinici ćemo pokriti dobro pisanje članaka i kvalitetnu izradu kvizova s AI. Granica je jasna: AI može proizvesti netačne ključeve odgovora, neobjektivna ili pristrasna pitanja; Nastavnik provjerava svaku stavku.
Anatomija materije i principi dobrih pitanja
Pitanje sa višestrukim izborom ima dva dijela: temelj (osnova pitanja) — glavno pitanje koje se postavlja; i opcije — jedan je tačan odgovor, drugi su distraktori. Dobar distraktor, iako je pogrešan, čini se prihvatljivim učeniku koji nije u potpunosti savladao predmet; Generalno se zasniva na uobičajenoj zabludi. Uobičajena zabluda kao što je "Mjesec proizvodi vlastitu svjetlost" moćan je distraktor. Glupost ili irelevantan distraktor ("Mjesec je sir") olakšava pitanje i čini ga manje prepoznatljivim.
Principi dobrih pitanja: (1) Stablo pita nešto jedno i jasno; (2) postoji samo jedan tačan odgovor; (3) opcije su slične dužine i gramatički su kompatibilne s korijenom (duža opcija je općenito ispravna, ne daju pojma); (4) opcije „sve/ništa“ se izbjegavaju ako je moguće; (5) ako je osnova negativna (“nije”), naglašava se; (6) pitanja mjere nivo postignuća – postavljanje pitanja prisjećanja radi analize postignuća promašuje cilj.
Težina stavke je koliko je teško pitanje; Diskriminacija je koliko pitanje razdvaja one koji znaju od onih koji ne znaju. Dobar ispit je kombinacija zadataka različite težine.
Savjet: Kada postavljate pitanja od AI-a, navedite ciljnu zabludu: recite "ometači bi trebali biti zasnovani na ove 3 uobičajene zablude." Na ovaj način dobijate distraktore instrukcije, a ne nasumične.
Vrste pitanja
Višestruki izbor: brza mjera, automatski se boduje; ali mjerenje razmišljanja višeg reda zahtijeva pažljiv dizajn. Otvoreni/kratak odgovor: Pokazuje vlastitu izjavu učenika; Boduje se rubrikom (6. jedinica). Tačno-netačno: Brz, ali veliki faktor sreće. Podudaranje: Dobro za odnos koncepta i definicije. Pitanja višeg reda razmišljanja: stavke zasnovane na scenariju koje pitaju "zašto/kako/procijeniti"; Mjeri dobitke od analize i procjene. AI proizvodi nacrte za sve njih; Vaš posao je da odaberete koji tip mjeri koji ishod.
Korak po korak: Izrada kvizova s AI
- Dajte nivo dobiti i Bloom. Pitanje bi trebalo da meri taj nivo.
- Navedite vrstu i broj. "6 višestrukih izbora + 2 otvorena".
- Navedite strategiju distraktora. Na kojim zabludama treba da se zasniva?
- Zatražite ključeve i opravdanje. Tačan odgovor na svako pitanje i zašto druga nisu u pravu.
- Provjerite ključ ručno. Svako pitanje riješite sami; Je li linija koju obilježava AI zaista istinita?
- Provjera poravnanja i pristranosti. Da li pitanje mjeri dobit? Postoji li kulturološka/rodna pristrasnost?
- Ravnoteža težine. Podesite miks lako-srednje-tvrdo.
tri mini kofera
Slučaj 1 — Pogrešan ključ. Nastavnik prirodnih nauka je uradio kviz od 10 pitanja od AI. Ključ trećeg pitanja bio je označen sa "B", ali kada ga je nastavnik riješio, vidio je da je tačan odgovor "C" - AI je smatrao da je njegov vlastiti distraktor ispravan. Da ga učitelj nije ispravio, smatrao bi pogrešnim učenika koji je to znao. Ručnim rješavanjem ključa sačuvan je cijeli kviz.
Slučaj 2 — Slaba korekcija distraktora. U prvom nastavnikovom kvizu, distraktori su bili besmisleni i učenici su morali da eliminišu i pronađu tačan odgovor. Dao je AI da reprodukuje "distraktore na osnovu ovih uobičajenih zabluda: X, Y, Z." Diskriminacija je povećana u novom kvizu; razredni prosjek bolje odražava stvarno učenje.
Slučaj 3 — Poravnanje pojačanja. Ishod nastavnika historije bio je na nivou analize ("povezani uzroci"), ali AI je proizvela pitanja prisjećanja ("navedite datum"). Nastavnik je ažurirao upit kao "na nivou analize nabavke; postavljajte pitanja scenarija koja uspostavljaju uzročno-posledični odnos." Pitanja su postala mjera postignuća.
Predlošci koji se mogu kopirati
1) Set sa više izbora na osnovu postignuća:
Vaša uloga: [predmetni] nastavnik. Dobitak: "[pojačanje]" ([nivo cvjetanja]), [X. razred]. Napišite 6 pitanja sa višestrukim izborom koja mjere ovaj ishod. Neka svako pitanje ima 4 opcije; Neka se distraktori zasnivaju na ovim uobičajenim zabludama: [napišite zablude]. Za svako pitanje objasnite tačan odgovor i zašto je SVAKA opcija tačna/netačna u posebnom ključnom odjeljku. Miješano lako-srednje-teško.
2) Odgovorite na verifikaciju ključa:
Riješite pitanja s više odgovora u nastavku jedno po jedno. Za svako pitanje: (a) tačan odgovor koji ste pronašli, (b) razlog, (c) da li odgovara označenom ključu. Jasno označite nedosljednosti kao "PROTIVRIJEČNOST". Pitanja i ključ: [zalijepi]
3) Pitanje visokog nivoa (scenarij):
"[predmet]", [X. razred], napišite 3 pitanja zasnovana na scenariju na nivou analize-evaluacije. Neka svako pitanje daje kratku situaciju i zamolite učenika za opravdanje/poređenje. Ne dozvolite da se to riješi napamet. Dodajte uzorke odgovora i savjete za evaluaciju.
4) Revizija pristranosti i usklađenosti:
Provjerite sljedeća pitanja za: pristrasnost spola/kulture/regiona, nepravednu prednost/nedostatak za određenu grupu, neprikladan kontekst. Označite problematične stavke i predložite neutralnu alternativu. Pitanja: [zalijepi]
Slaba prompt / Jaka prompt
Slab upit:
Napiši 10 pitanja o razlomcima.
Nivo, ishod, tip, strategija distraktora, bez ključa; Njegov kvalitet i usklađenost prepušteni su slučaju.
Snažan upit:
Vaša uloga: nastavnik matematike. Ishod učenja: "Učenik sabira dva razlomka sa različitim nazivnicima" (primjena). 5. razred. 6 pitanja sa više odgovora, 4 opcije. Distraktori bi se trebali zasnivati na sljedećim zabludama: direktno sabiranje brojila i nazivnika, održavanje brojila konstantnim i dodavanje nazivnika. Dajte ključ i opis opcija za svako pitanje. Pomiješajte lako-srednje-teško.
Vrsta pitanja
Nivo koji mjeri
snagu
Pažnja
višestruki izbor
Bilo koji nivo (ovisno o dizajnu)
Brz, automatski rezultat
Kvalitet distraktora
otvorenog kraja
stvarajući razumijevanje
originalan izraz
Trebam rubriku
tačno-netačno
zapamti
vrlo brzo
Faktor sreće je visok
Scenario based
Analiza-evaluacija
sprečava pamćenje
Pravopis je težak, AI pomaže
Uobičajene greške
- Ne provjeravam ključ. Najčešća i najnepravednija greška; AI proizvodi pogrešan ključ, učenik koji to zna bit će žrtva.
- Ometač gluposti. Nevjerojatna opcija pojednostavljuje pitanje besplatno.
- Neusklađenost nivoa pojačanja. Pamćenje pitanja za akviziciju analize; promašuje cilj.
- Jezik koji daje tragove. Činjenica da je najduža/najdetaljnija opcija uvijek tačna uči učenike uzorcima.
- Overlooking bias. Poznati kontekst određene kulture/grupe daje nekim učenicima nepravednu prednost.
Oprez: AI ponekad proizvodi dvosmislena pitanja gdje se više od jedne opcije može argumentirati kao "tačno". Na svaku stavku je odgovarao pitanjem "Postoji li ijedna i neosporna istina?" Testirajte tako što ćete reći; U suprotnom, pojasnite korijen.
Ukratko
Dobro pitanje mjeri nivo postignuća sa jasnim osnovom i uvjerljivim distraktorima. AI brzo generiše veliki broj obrisa pitanja, distraktora i ključeva koji zavise od akvizicije; Ako ciljate kažete zablude, distraktori će biti poučni. Međutim, AI može proizvesti pogrešne ključeve, slabe distraktore, van akvizicije ili pristrasna pitanja. Riješite svaku stavku da provjerite ključ, provjerite poravnanje i pristranost; Završni test je za nastavnika.
Zadatak aplikacije
Za ishod, generirajte 6 pitanja sa šablonom "Skup višestrukih izbora na osnovu ishoda"; Sami odredite strategiju distraktora. Zatim sami riješite svako pitanje i uporedite ga s ključem umjetne inteligencije prije korištenja šablona "Provjera ključa odgovora". Ispravite sve nepodudarnosti. Na kraju, napišite verziju scenarija koja jedno od pitanja podiže na nivo analize.
kontrolna lista
- [ ] Da li sam postavljao pitanja u skladu sa Bloom nivoom ishoda učenja?
- [ ] Da li sam distraktore bazirao na stvarnim zabludama?
- [ ] Jesam li provjerio ključ za svako pitanje tako što sam ga sam riješio?
- [ ] Da li sam siguran da postoji jedan, nesumnjivo tačan odgovor?
- [ ] Jesam li provjerio pristrasnost i primjerenost uzrastu?