Matavimas-vertinimas ir rubrikos dizainas: kriterijai, lygis ir nuoseklumas

Pelnas:

• Gebėjimas suprasti analitinių ir holistinių rubrikų tipus, kriterijus ir sėkmės lygio koncepcijas bei sukurti skaidrią rubriką su dirbtinio intelekto pagalba.
• Gebėjimas sukurti su pasiekimais suderintas metrikas ir taškų svorius, skirtus užduoties, aplanko ir projekto įvertinimui.
• Gebėjimas suprasti, kad sprendimas dėl balų skyrimo ir galutinio įvertinimo priklauso mokytojui, kad dirbtinis intelektas vienas balų negali atlikti, o nuoseklumą turi patikrinti mokytojas.

Lengva pasakyti studentui „šis projektas gavo 70“; bet studentas klausia "kodėl 70?" arba tėvai prieštarauja, turite turėti teisingą ir pagrįstą pagrindą. Šis pagrindas yra rubrika: balų vertinimo įrankis, kuris iš anksto parodo, pagal kokius kriterijus ir kokiais lygiais bus vertinamas spektaklis (projektas, kompozicija, pristatymas, portfolio). Gera rubrika mokiniui pasako „ko iš tavęs tikimasi“, o mokytojo balus daro nuoseklų ir skaidrų. AI greitai parengia su pasiekimais susijusias metrikas ir lygių apibrėžimus; Jūs nustatote lygiavimą, teisingumą ir svorį. Riba aiški: Įvertinimas ir galutinis įvertinimas yra sprendimas, turintis įtakos mokiniui; Atsakomybė ir galutinis patvirtinimas priklauso mokytojui. AI negali pelnyti vienas.

Rubrikų tipai ir komponentai

Yra du pagrindiniai tipai. Analitinė rubrika suskirsto našumą į atskirus kriterijus, pvz., „turinys“, „organizacija“, „kalba ir raiška“, „rašymas“ esė, ir įvertina kiekvieną kriterijų atskirais pasiekimų lygmenimis (pvz., 4 = labai gerai, 3 = gerai, 2 = tobulėja, 1 = pradžia). Pateikiamas išsamus atsiliepimas, tačiau pasiruošimas ir balų surinkimas užtrunka. Holistinė rubrika suteikia vieną bendrą viso tyrimo lygį; Tai greita, bet neparodo, kur jam trūksta.

Analitinės rubrikos komponentai yra šie: kriterijai (ką mes vertiname), lygiai (kaip gerai), kiekvienos ląstelės lygio apibrėžimas (konkretus to lygio rodiklis) ir svoriai (koks balo procentas yra kuris kriterijus). Pastebimas gero lygio apibrėžimas: ne „gerai parašyta“, o „ne daugiau kaip 2 rašybos klaidos ir pastraipos logiška tvarka“.

Patarimas: pasidalinkite rubrika su mokiniu PRIEŠ užduotį. Rubrika yra ne staigmenos pastabų įrankis, o mokymosi žemėlapis; Jei mokinys žino, ką dirbti, jis gamina geresnį produktą.

Nuoseklumas ir teisingumas

Tikroji rubrikos vertė yra nuoseklumas: kai du mokytojai įvertina tą patį darbą dviem skirtingais laikais, rezultatas turėtų būti panašus. Tai vadinama vertintojo patikimumu. AI gali sudaryti rubrikos kontūrą, tačiau mokytojas užtikrina nuoseklumą: mokytojo darbas yra pakankamai konkretizuoti lygių aprašymus, „sukalibruoti“ keletą atvejų analizės su rubrika (bandomasis balas) ir paaiškinti taisyklę ribiniais atvejais.

Sąžiningumo sumetimais, rubrikoje neturėtų būti vertinami dalykai, nesusiję su rezultatu (rašysenos grožis, medžiaga, prie kurios studentui reikia socialinės ir ekonominės prieigos). AI kartais prideda nepasiekimo kriterijus, tokius kaip „pateikimo estetika“; Būtina juos sutvarkyti.

Žingsnis po žingsnio: Rubrikos dizainas su AI

1. Pateikite užduotį ir pasiekimą. Tai, kas bus matuojama rubrikoje, priklauso nuo rezultato.
2. Pasirinkite žanrą. Jei norite išsamaus atsiliepimo, analitinio; jei norite greito bendro sprendimo, holistinio.
3. Klauskite kriterijų, bet filtruokite juos. 3-5 pasiekimų kriterijai; pašalinti nereikšmingus.
4. Konkretaus lygio apibrėžimai. Klauskite stebimų rodiklių.
5. Numesti svorio. Kuris kriterijus svarbesnis? Tegul bendra suma yra 100.
6. Kalibruoti. Įvertinkite 1–2 pavyzdinius tyrimus su rubrikomis ir patikrinkite nuoseklumą.
7. Priimk galutinį sprendimą. Net jei AI pasiūlo pavyzdinį balą, mokytojas pateikia galutinį įvertinimą.

trys mini dėklai

1 atvejis – nepasiekimo kriterijaus išskyrimas. Turkijos mokytojas paprašė dirbtinio intelekto analitinės rubrikos esė. AI pasiūlė 5 kriterijus, tačiau vienas iš jų buvo „rašysenos grožis“ – kriterijus, kuris neturėjo reikšmės rezultatui ir nesąžiningai nubaudė studentą dėl neišvystyto rašysenos. Mokytojas jį išėmė ir pakeitė „idėjų vystymu“. Rubrika buvo teisinga ir suderinta su pasiekimais.

2 atvejis – konkretizavimas. Vieno mokytojo pirmoje rubrikoje lygiai buvo abstraktūs, pvz., „labai geras / geras / teisingas“; Du studentai atliko skirtingo lygio panašų darbą. Jis liepė AI „perrašyti kiekvieną lygį su stebimu indikatoriumi“. Kai buvo pateikti konkretūs apibrėžimai, tokie kaip „Gerai = bent 3 pavyzdžiai ir aiški išvados pastraipa“, nuoseklumas padidėjo ir prieštaravimų sumažėjo.

3 atvejis – kalibravimas. Vertindamas projektą, mokytojas pirmiausia įvertino 3 projektų pavyzdžius pagal AI sukurtą rubriką. AI kažkam pasiūlė 85; Mokytojas tą patį projektą rado 72 rubrika, nes AI per dosniai interpretavo vieną kriterijų. Mokytojas patikslino lygių aprašymą ir pats skyrė galutinius pažymius. AI pagreitino juodraštį; Mokytojas priėmė sprendimą.

Kopijuojami šablonai

1) Analitinės rubrikos metmenys:

Jūsų vaidmuo: [dalyko] mokytojas. Užduotis: „[parašyti atlikimo užduotį]“, pasiekimas: „[pasiekimas]“, [X. klasė]. Sukurkite analitinę rubriką su 4 kriterijais. Tegul kiekvienas kriterijus yra susijęs su rezultatu (PRIDĖKITE neobjektyvius kriterijus, tokius kaip rašysena ir estetika). Kiekvienam lygiui parašykite 4 sėkmės lygius ir STEBĖJAMO rodiklį. Pasverkite kriterijus, kad bendra suma būtų 100.

2) Lygių apibrėžimų konkretizavimas:

Šios rubrikos lygių aprašymai yra labai abstraktūs („gerai“, „teisinga“). Perrašykite kiekvieną lygį naudodami stebimus, suskaičiuojamus rodiklius (pvz., „ne daugiau kaip 2 klaidos“, „bent 3 pavyzdžiai“). Rubrika: [įklijuoti]

3) Holistinė rubrika (greitas įvertinimas):

Parašykite 4 lygių holistinę rubriką „[užduočiai]“. Tegul kiekvienas lygis vienoje pastraipoje pastebimai apibūdina bendrą darbo pobūdį. Gain: "[gain]". Taip pat nurodykite pastabų diapazonus.

4) Kalibravimo patikrinimas:

Žemiau yra rubrika ir studentų darbai. Pagal rubriką nurodykite savo lygį kiekvienoje priemonėje, pagrįsdami. Pateikite tai kaip PASIŪLYMĄ; Duosiu galutinį pažymį. Pažymėkite visus neaiškius kriterijus. Rubrika + tyrimas: [įklijuoti]

Silpnas raginimas / Stiprus raginimas

Silpnas raginimas:

Parašykite projekto rubriką.

Nėra užduoties, pasiekimas, tipas, kriterijų skaičius, svoris; Atsiranda nepasiekimų ir abstrakti rubrika.

Galingas raginimas:

Jūsų vaidmuo: gamtos mokslų mokytojas. Užduotis: „Mokinys tiria atsinaujinantį energijos šaltinį ir parengia plakatą“. Tikslas: „Studentas paaiškina energijos šaltinio veikimo principą ir privalumus“. 7 klasė. Analitinė rubrika su 4 kriterijais: turinio tikslumas, paaiškinimo aiškumas, šaltinių naudojimas, tvarka. Nepasiekimo kriterijų pridėjimas. Tegul kiekvienas lygis yra stebimas; Svorių suma yra 100.

funkcija

Analitinė rubrika

holistinė rubrika

Kriterijų skaičius

Keletas, vertinamas atskirai

Vienas bendras sprendimas

Atsiliepimai

Išsamus, kriteriju pagrįstas

Generolas

greitis

lėtas

greitai

tinkamiausias

Proceso/įgūdžių ugdymas

Greita apžvalga

AI indėlis

Kriterijai + lygio metmenys

Lygio pastraipos juodraštis

Dažnos klaidos

• Nepasiekimo priemonė. Vertinant su rezultatu nesusijusius dalykus, pvz., rašyseną, estetiką ir prieigą prie medžiagų, pažeidžiamas sąžiningumas.
• Abstraktaus lygio apibrėžimas. Tokie apibrėžimai kaip „geras/sąžiningas“ sukelia nenuoseklumą ir prieštaravimą; Naudokite stebimą indikatorių.
• Rubrika bus rodoma vėliau. Nepasidalinimas prieš užduotį atima iš mokinio tikslą.
• AI klasės kūrimas. AI gali pasiūlyti pavyzdinius balus, tačiau mokytojas pateikia galutinį pažymį; Nuoseklumo kontrolė yra mokytojo.
• Praleidžiamas kalibravimas. Naudojant rubriką nebandant jos su atvejų tyrimais, gaunami stebinantys rezultatai.

Atsargiai: viliojanti, bet rizikinga duoti dirbtiniam intelektui studento darbą ir pasakyti „įvertink“. Mokinių darbuose gali būti asmeninių duomenų (anonimizuoti), o AI rezultatas gali būti nenuoseklus / šališkas. Naudokite dirbtinį intelektą, kad PASŪLYKITE taškus ir apibūdintumėte atsiliepimus; Jūs nuspręsite.

Apibendrinant

Rubrika yra priemonė, kuri daro vertinimą skaidrų, nuoseklų ir pateisinamą. Analitinė rubrika pateikia kriterijais pagrįstą išsamų grįžtamąjį ryšį, holistinė rubrika – greitą bendrą sprendimą. AI greitai parengia su pasiekimais susijusias metrikas, konkrečius lygių apibrėžimus ir svorius; Tačiau mokytojo pareiga yra išsiaiškinti nepasiekimo kriterijus, padaryti lygius stebimus, juos sukalibruoti ir duoti galutinį pažymį. Įvertinimas – sprendimas, turintis įtakos mokiniui; Ji nėra deleguota AI.

Taikymo užduotis

Sukurkite 4 kriterijų rubriką naudodami šabloną „Analitinės rubrikos kontūras“, skirtą atlikimo užduočiai, kurią netrukus duosite. Pašalinkite visus nepasiekimo kriterijus ir padarykite, kad būtų galima stebėti lygių apibrėžimus. Tada patikrinkite nuoseklumą įvertindami savo (arba hipotetinius) 2 pavyzdinius tyrimus pagal šią rubriką; Įvertinkite, ar abiejų tyrimų balai atspindi tikrąsias jų savybes, ir pakoreguokite savo rubriką.

kontrolinis sąrašas

• [ ] Ar visi kriterijai yra susiję su pasiekimu (nėra nepasiekimo kriterijų)?
• [ ] Ar lygio apibrėžimai yra pastebimi ir konkretūs?
• [ ] Nustačiau svorius ir jų suma yra 100?
• [ ] Ar prieš užduotį pasidalinsiu rubrika su mokiniu?
• [ ] Ar aš kalibravau rubriką su pavyzdiniu darbu ir pats daviau galutinį pažymį?