Enhet 6 / 11

Mätning-Utvärdering och Rubrik Design: Kriterier, Nivå och Konsistens

Vinster:

  • Förmåga att förstå analytiska och holistiska rubriktyper, kriterier och framgångsnivåkoncept och utforma en transparent rubrik med stöd av artificiell intelligens.
  • Förmåga att producera prestationsanpassade mätetal och poängvikter för prestationsuppgift, portfölj och projektutvärdering.
  • Förmåga att förstå att beslutet att sätta betyg och slutvärdering tillhör läraren, att artificiell intelligens inte kan göra poängsättningen ensam och att konsekvensen måste kontrolleras av läraren.

Det är lätt att säga till en elev "det här projektet fick 70"; men eleven frågar "varför 70?" eller föräldern invänder, måste du ha en rättvis och försvarbar grund. Denna grund är rubriken: ett poängverktyg som visar i förväg enligt vilka kriterier och på vilka nivåer en prestation (projekt, sammansättning, presentation, portfolio) kommer att utvärderas. En bra rubrik både talar om för eleven "vad som förväntas av dig" och gör lärarens poängsättning konsekvent och transparent. AI gör snabbt utkast till prestationsrelaterade mätvärden och nivådefinitioner; Du bestämmer anpassning, rättvisa och vikter. Gränsen är tydlig: Betyg och slutvärdering är ett beslut som berör eleven; Ansvaret och slutgiltigt godkännande ligger på läraren. AI kan inte göra mål ensam.

Rubriktyper och komponenter

Det finns två grundläggande typer. Den analytiska rubriken delar upp prestation i separata kriterier – till exempel "innehåll", "organisation", "språk och uttryck", "skrivande" i en uppsats – och betygsätter varje kriterium på olika prestationsnivåer (t.ex. 4=mycket bra, 3=bra, 2=förbättrar, 1=början). Ger detaljerad feedback men tar tid att förbereda och göra poäng. Den holistiska rubriken ger en enda generell nivå till hela studien; Den är snabb, men den visar inte var den kommer till kort.

Komponenterna i en analytisk rubrik är: kriterier (vad vi utvärderar), nivåer (hur bra), nivådefinition av varje cell (konkret indikator på den nivån) och vikter (vilken procentandel av poängen är vilket kriterium). Definitionen av bra nivå är observerbar: inte "välskrivet" utan "högst 2 stavfel och stycken i logisk ordning".

Tips: Dela rubriken med eleven INNAN uppgiften. Rubrik är inte ett verktyg för överraskningsanteckningar, utan en inlärningskarta; Om eleven vet vad han ska arbeta med, producerar han en bättre produkt.

Konsekvens och rättvisa

Det verkliga värdet av rubriken är konsekvens: när två lärare får samma arbete vid två olika tidpunkter bör resultatet bli likartat. Detta kallas bedömartillförlitlighet. AI kan producera rubrikens disposition, men läraren ger konsekvensen: det är lärarens uppgift att göra nivåbeskrivningarna tillräckligt konkreta, att "kalibrera" några fallstudier med rubriken (provpoäng) och att förtydliga regeln i marginella fall.

För rättvisans skull bör rubriken inte poängsätta saker som är irrelevanta för resultatet (handstilens skönhet, material som studenten behöver socioekonomisk tillgång till). AI lägger ibland till icke-uppnående kriterier som "presentationsestetik"; Det är nödvändigt att reda ut dem.

Steg för steg: Rubrikdesign med AI

  1. Ge uppgiften och prestationen. Vad rubriken kommer att mäta beror på vilket resultat.
  2. Välj genre. Om du vill ha detaljerad feedback, analytisk; om du vill ha snabb allmän bedömning, holistisk.
  3. Fråga efter kriterier, men filtrera dem. 3-5 kriterier för prestation; ta bort de irrelevanta.
  4. Definitioner på konkreta nivåer. Be om observerbara indikatorer.
  5. Gå ner i vikt. Vilket kriterium är viktigast? Låt summan vara 100.
  6. Kalibrera. Betyg 1-2 provstudier med rubriker och testkonsistens.
  7. Ta det slutliga beslutet. Även om AI föreslår ett provpoäng, ger läraren slutbetyget.

tre minifodral

Fall 1 — Extraktion av icke-uppfyllt kriterium. En turkisk lärare bad AI om en analytisk rubrik för en uppsats. AI föreslog 5 kriterier, men ett var "handskriftsskönhet" - ett kriterium som var irrelevant för resultatet och orättvist straffade studenten med underutvecklad handstil. Läraren tog ut den och ersatte den med "idéutveckling". Rubriken var både rättvis och prestationsanpassad.

Fall 2 — Konkretisering. I en lärares första rubrik var nivåerna abstrakta, som "mycket bra / bra / rättvist"; Två elever hade tagit olika nivåer av liknande arbete. Han sa till AI att "skriva om varje nivå med en observerbar indikator." När konkreta definitioner som "Bra = minst 3 exempel och ett tydligt slutstycke" kom ökade konsekvensen och invändningarna minskade.

Fall 3 — Kalibrering. I en projektutvärdering fick läraren först 3 exempel på projekt med rubriken framtagen av AI. AI erbjöd 85 till någon; Läraren fann samma projekt som en rubrik 72 eftersom AI hade tolkat ett kriterium för generöst. Läraren förtydligade nivåbeskrivningen och satte själv slutbetyg. AI påskyndade utkastet; Läraren tog beslutet.

Kopierbara mallar

1) Analytisk rubriköversikt:

Din roll: [ämnes]lärare. Uppgift: "[skriv prestationsuppgift]", prestation: "[prestation]", [X. klass]. Skapa en analytisk rubrik med 4 kriterier. Låt varje kriterium relateras till resultatet (LÄGG TILL icke-objektiva kriterier som handstil och estetik). Skriv 4 framgångsnivåer och en OBSERVERBAR indikator för varje nivå. Vikta kriterierna så att summan blir 100.

2) Konkretisera nivådefinitioner:

Nivåbeskrivningarna i följande rubrik är mycket abstrakta ("bra", "rättvist"). Skriv om varje nivå med observerbara, räknebara indikatorer (t.ex. "inte mer än 2 fel", "minst 3 exempel"). Rubrik: [klistra in]

3) Holistisk rubrik (snabb utvärdering):

Skriv en holistisk rubrik i fyra nivåer för "[uppgift]". Låt varje nivå observerbart beskriva arbetets allmänna karaktär i ett enda stycke. Vinst: "[vinst]". Ange även notintervall.

4) Kalibreringskontroll:

Nedan finns en rubrik och elevarbeten. Enligt rubriken, ange din nivå i varje mått, med motivering. Ge detta som ett FÖRSLAG; Jag ger slutbetyget. Markera eventuella kriterier som förblir otydliga. Rubrik + studie: [klistra in]

Svag prompt / Stark prompt

Svag uppmaning:

Skriv en rubrik för projektet.

Ingen uppgift, prestation, typ, antal kriterier, vikt; En icke-uppnående och abstrakt rubrik visas.

Kraftfull uppmaning:

Din roll: naturvetenskapslärare. Uppgift: "Eleven forskar om en förnybar energikälla och förbereder en affisch." Mål: "Eleven förklarar energikällans arbetsprincip och fördelar." 7:e klass. Analytisk rubrik med 4 kriterier: innehållsnoggrannhet, tydlig förklaring, användning av källor, ordning. Lägger till icke-uppfyllelsekriterier. Låt varje nivå vara observerbar; Summan av vikterna är 100.

funktion

Analytisk rubrik

holistisk rubrik

Antal kriterier

Flera, poäng separat

Enstaka allmän dom

Feedback

Detaljerad, kriteriebaserad

Allmänt

hastighet

långsam

snabbt

mest lämplig

Process/kompetensutveckling

Snabb överblick

Bidrag av AI

Kriterier + nivåöversikt

Nivå stycke utkast

Vanliga misstag

  • Åtgärd för icke-uppfyllelse. Att poängsätta saker som inte är relaterade till resultatet, såsom handstil, estetik och tillgång till material, motverkar rättvisa.
  • Abstrakt nivå definition. Definitioner som "bra/rättvist" leder till inkonsekvens och invändningar; Använd observerbar indikator.
  • Visar rubriken senare. Att inte dela innan uppgiften berövar eleven målet.
  • Att göra AI-graden. AI kan föreslå exempelpoäng, men läraren ger slutbetyget; Konsistenskontrollen är lärarens.
  • Hoppa över kalibrering. Att använda rubriken utan att pröva den med fallstudier ger överraskande resultat.
Varning: Det är frestande men riskabelt att ge AI-en ett studentarbete och säga "betyg" det. Elevarbeten kan innehålla personuppgifter (anonymisera) och AI:s poäng kan vara inkonsekvent/partisk. Använd AI för att FÖRESLÅ punkter och beskriva feedback; Du bestämmer.

Sammanfattningsvis

Rubric är verktyget som gör utvärderingen transparent, konsekvent och försvarbar. Analytisk rubrik ger kriteriebaserad detaljerad feedback, holistisk rubrik ger snabb allmän bedömning. AI utarbetar snabbt prestationsrelaterade mått, konkreta nivådefinitioner och vikter; Men det är lärarens ansvar att reda ut icke-prestationskriterier, göra nivåerna observerbara, kalibrera dem och sätta slutbetyg. Betyg är ett beslut som påverkar eleven; Det är inte delegerat till AI.

Applikationsuppgift

Skapa en rubrik med fyra kriterier med mallen "Analytisk rubriköversikt" för en prestationsuppgift som du kommer att ge snart. Ta bort eventuella icke-uppnående kriterier och gör nivådefinitioner observerbara. Testa sedan konsekvensen genom att poängsätta dina (eller hypotetiska) 2 provstudier med denna rubrik; Utvärdera om poängen för de två studierna återspeglar deras verkliga egenskaper och gör justeringar av din rubrik.

checklista

  • [ ] Är alla kriterier uppnådda relaterade (inga icke-uppnående kriterier)?
  • [ ] Är nivådefinitionerna observerbara och konkreta?
  • [ ] Jag bestämde vikterna och deras summa är 100?
  • [ ] Kommer jag att dela rubriken med eleven innan uppgiften?
  • [ ] Kalibrerade jag rubriken med provarbetet och gav själv slutbetyget?