Enhed 5 / 11

Spørgsmål og quizproduktion: Genstandsskrivning og distraktorkvalitet

Gevinster:

  • Evne til at generere multiple choice, åbne og højere niveau tænkespørgsmål i overensstemmelse med præstationer med støtte til kunstig intelligens
  • Evne til at kontrollere spørgsmålets kvalitet ved at anvende principperne om god distraktor (forkert, men plausibel mulighed), enkelt korrekt svar og emnesværhedsgrad.
  • Forstå risikoen for, at kunstig intelligens producerer forkerte svarnøgler, ikke-objektive eller forudindtaget spørgsmål, og være i stand til at se, at læreren skal verificere hvert punkt.

Eksamener og quizzer er de primære værktøjer, som læreren måler læring med; Men at skrive gode spørgsmål er sværere, end du tror. En tvetydig rod, lignende muligheder og et ledetrådssprog forringer måleværdien af ​​et spørgsmål. AI genererer hurtigt et stort antal resultatrelaterede spørgsmålsoversigter; Du overvåger kvaliteten, verificerer svarnøglen og vedligeholder opnåelsestilpasning. I denne enhed vil vi dække god artikelskrivning og kvalitetsquizproduktion med AI. Grænsen er klar: AI kan producere forkerte svarnøgler, ikke-objektive eller partiske spørgsmål; Læreren verificerer hvert punkt.

Matter anatomi og principper for gode spørgsmål

Et multiple choice-spørgsmål har to dele: stammen (spørgsmålsstammen) — hovedspørgsmålet, der stilles; og muligheder - et er det rigtige svar, de andre er distraktorer. En god distraktor, selvom den er forkert, virker plausibel for den studerende, der ikke har mestret faget fuldt ud; Det er generelt baseret på en almindelig misforståelse. En almindelig misforståelse som "Månen producerer sit eget lys" er en kraftig distraktor. En nonsens eller irrelevant distraktor ("Månen er en ost") gør spørgsmålet lettere og gør det mindre karakteristisk.

Principper for gode spørgsmål: (1) Stammen stiller noget enkelt og klart; (2) der er kun ét rigtigt svar; (3) mulighederne er af samme længde og er grammatisk kompatible med roden (den længere mulighed er generelt korrekt, giver ikke et fingerpeg); (4) "alle/ingen"-muligheder undgås, hvis det er muligt; (5) hvis stammen er negativ ("er ikke"), understreges det; (6) spørgsmål måler opnåelsesniveauet - at stille tilbagekaldelsesspørgsmål til analyseopnåelse misser målet.

Emne sværhedsgrad er, hvor svært spørgsmålet er; Diskrimination er, hvor meget spørgsmålet adskiller dem, der ved, fra dem, der ikke ved. En god eksamen er en blanding af emner af forskellig sværhedsgrad.

Tip: Når du stiller spørgsmål fra AI'en, skal du nævne målets misforståelse: sig "distraherere bør være baseret på disse 3 almindelige misforståelser." På denne måde får du instruktions-distraktorer, ikke tilfældige.

Spørgsmålstyper

Multiple choice: Hurtig måling, automatisk scoret; men måling af højere ordenstænkning kræver omhyggeligt design. Åbent/kort svar: Viser elevens eget udsagn; Det scores med rubrik (6. enhed). Sand-falsk: Hurtig, men høj lykkefaktor. Matching: God til koncept-definition forhold. Tænkespørgsmål af højere orden: Scenariebaserede emner, der spørger "hvorfor/hvordan/evaluer"; Det måler analyse-evalueringsgevinster. AI producerer tegninger til dem alle; Din opgave er at vælge, hvilken type der måler hvilket resultat.

Trin for trin: Quizproduktion med AI

  1. Giv forstærkningen og Bloom-niveauet. Spørgsmålet skal måle det niveau.
  2. Angiv type og nummer. "6 multiple choice + 2 åbne slutninger".
  3. Navngiv distraktorstrategien. Hvilke misforståelser skal det baseres på?
  4. Bed om nøgler og begrundelse. Det rigtige svar på hvert spørgsmål og hvorfor de andre tager fejl.
  5. Bekræft nøglen manuelt. Løs hvert spørgsmål selv; Er linjen markeret af AI virkelig sand?
  6. Justering og bias kontrol. Måler spørgsmålet gevinst? Er der kulturel/kønsmæssig skævhed?
  7. Sværhedsbalance. Juster blandingen af ​​let-middel-hård.

tre minisager

Tilfælde 1 — Forkert nøgle. En naturfagslærer tog en quiz med 10 spørgsmål fra AI. Nøglen til det 3. spørgsmål var markeret med "B", men da læreren løste det, så han, at det rigtige svar var "C" - AI'en troede, at dens egen distraktor var korrekt. Hvis læreren ikke havde rettet ham, ville han have anset den elev, der vidste det, forkert. At løse nøglen i hånden reddede hele quizzen.

Tilfælde 2 — Svag distraktorkorrektion. I en lærers første quiz var distraktorerne useriøse, og eleverne måtte eliminere og finde det rigtige svar. Han fik AI til at gengive "distraktioner baseret på disse almindelige misforståelser: X, Y, Z." Diskriminationen steg i den nye quiz; klassegennemsnittet bedre afspejlede den faktiske læring.

Tilfælde 3 — Forstærkningsjustering. En historielærers resultat var på analyseniveau ("relaterer årsager"), men AI producerede tilbagekaldelsesspørgsmål ("fortæl datoen"). Læreren opdaterede prompten som "på erhvervelsesanalyseniveau; stil scenariespørgsmål, der etablerer et årsag-virkningsforhold." Spørgsmål er blevet et mål for præstation.

Kopierbare skabeloner

1) Multiple choice sæt baseret på præstation:

Din rolle: [fag]lærer. Gain: "[gain]" ([Bloom-niveau]),[X. klasse]. Skriv 6 multiple choice-spørgsmål, der måler dette resultat. Lad hvert spørgsmål have 4 muligheder; Lad distraktorerne være baseret på disse almindelige misforståelser: [skriv misforståelserne]. For hvert spørgsmål skal du forklare det rigtige svar og hvorfor HVER valgmulighed er sand/falsk i et separat nøgleafsnit. Blandet let-middelsvært.

2) Bekræftelse af svarnøgle:

Løs multiple choice-spørgsmålene nedenfor et efter et. For hvert spørgsmål: (a) det rigtige svar, du fandt, (b) årsagen, (c) stemmer det overens med den markerede nøgle. Markér uoverensstemmelserne tydeligt som "MOTSTRÆDELSE". Spørgsmål og nøgle: [indsæt]

3) Spørgsmål på højt niveau (scenarie):

"[emne]", [X. klasse], skriv 3 scenariebaserede spørgsmål på analyse-evalueringsniveau. Lad hvert spørgsmål give en kort situation og bed eleven om begrundelse/sammenligning. Lad det ikke løses udenad. Tilføj eksempler på svar og evalueringstips.

4) Bias og compliance audit:

Tjek følgende spørgsmål for: køn/kultur/region-bias, unfair fordel/ulempe for en bestemt gruppe, upassende kontekst. Markér problematiske emner og foreslå et neutralt alternativ. Spørgsmål: [indsæt]

Svag prompt / Stærk prompt

Svag prompt:

Skriv 10 spørgsmål om brøker.

Niveau, resultat, type, distraktorstrategi, ingen nøgle; Dens kvalitet og tilpasning er overladt til tilfældighederne.

Kraftig prompt:

Din rolle: matematiklærer. Læringsudbytte: "Eleven tilføjer to brøker med forskellige nævnere" (anvendelse). 5. klasse. 6 multiple choice-spørgsmål, 4 muligheder. Distraktorer bør være baseret på følgende misforståelser: at tilføje både tællere og nævnere direkte, holde tælleren konstant og tilføje nævneren. Giv nøgle- og mulighedsbeskrivelse for hvert spørgsmål. Bland let-middelsvært.

Spørgsmålstype

Det niveau den måler

styrke

Opmærksomhed

multiple choice

Ethvert niveau (afhængigt af design)

Hurtig, automatisk score

Distraktor kvalitet

åben ende

forståelsesskabende

originalt udtryk

Har brug for en rubrik

sand-falsk

huske

meget hurtigt

Lykkefaktoren er høj

Scenario baseret

Analyse-evaluering

forhindrer memorering

Stavemåde er svært, AI hjælper

Almindelige fejl

  • Nøglen bekræftes ikke. Den hyppigste og mest uretfærdige fejl; AI producerer den forkerte nøgle, den studerende, der ved det, vil blive offer.
  • Nonsens distraktor. Den usandsynlige mulighed forenkler spørgsmålet gratis.
  • Forstærkningsniveau uoverensstemmelse. Huskespørgsmål til analyseoptagelse; misser målet.
  • Sprog der giver ledetråde. At den længste/mest detaljerede mulighed altid er korrekt lærer eleverne mønstre.
  • Overser bias. Den velkendte kontekst i en bestemt kultur/gruppe giver nogle elever en uretfærdig fordel.
Forsigtig: AI producerer nogle gange tvetydige spørgsmål, hvor mere end én mulighed kan argumenteres som "korrekt". Han besvarede hvert punkt med spørgsmålet "Er der en enkelt og indiskutabel sandhed?" Test det ved at sige; Ellers skal du afklare roden.

Sammenfattende

Et godt spørgsmål måler opnåelsesniveauet med en klar stilk og plausible distraktorer. AI genererer hurtigt et stort antal spørgsmålskonturer, distraktorer og nøgler, der afhænger af erhvervelse; Hvis du fortæller målets misforståelser, vil distraktorer være lærerige. Imidlertid kan AI producere forkerte nøgler, svage distraktorer, out-of-acquisition eller partiske spørgsmål. Løs hvert punkt for at verificere nøglen, kontrollere justering og bias; Den afsluttende prøve er lærerens.

Ansøgningsopgave

For et resultat, generer 6 spørgsmål med skabelonen "Multiple choice-sæt baseret på resultatet"; Angiv selv distraktorstrategien. Løs derefter hvert spørgsmål selv, og sammenlign det med AI'ens nøgle, før du bruger skabelonen "Besvar nøglebekræftelse". Ret eventuelle uoverensstemmelser. Skriv endelig en version af scenariet, der løfter et af spørgsmålene op på analyseniveau.

tjekliste

  • [ ] Stillede jeg spørgsmålene i henhold til Bloom-niveauet for læringsudbyttet?
  • [ ] Baserede jeg distraktorerne på faktiske misforståelser?
  • [ ] Har jeg bekræftet nøglen til hvert spørgsmål ved at løse det selv?
  • [ ] Er jeg sikker på, at der er et enkelt, utvivlsomt korrekt svar?
  • [ ] Har jeg tjekket for bias og aldersegnethed?