zisky:
- Schopnost porozumět analytickým a holistickým typům rubrik, kritériím a konceptům úrovně úspěchu a navrhnout transparentní rubriku s podporou umělé inteligence.
- Schopnost vytvářet metriky a bodové váhy sladěné s výsledky pro výkonnostní úkoly, portfolio a hodnocení projektů.
- Schopnost pochopit, že rozhodnutí o udělení známek a závěrečného hodnocení je na učiteli, že umělá inteligence nemůže udělat bodování sama a že konzistenci musí kontrolovat učitel.
Je snadné říct studentovi „tento projekt dostal 70“; ale student se ptá "proč 70?" nebo rodičovské objekty, musíte mít spravedlivý a obhajitelný základ. Tímto základem je rubrika: bodovací nástroj, který předem ukazuje, podle jakých kritérií a na jakých úrovních bude výkon (projekt, kompozice, prezentace, portfolio) hodnocen. Dobrá rubrika studentovi říká, „co se od vás očekává“, a zároveň činí hodnocení učitele konzistentním a transparentním. Umělá inteligence rychle navrhuje metriky a definice úrovní související s dosaženými výsledky; Vy určujete zarovnání, spravedlnost a váhy. Hranice je jasná: Známkování a závěrečné hodnocení je rozhodnutí, které má vliv na žáka; Odpovědnost a konečné schválení náleží učiteli. AI nemůže skórovat sama.
Typy rubrik a komponenty
Existují dva základní typy. Analytická rubrika rozděluje výkon do samostatných kritérií – například „obsah“, „organizace“, „jazyk a výraz“, „psaní“ v eseji – a hodnotí každé kritérium na samostatných úrovních úspěchu (např. 4 = velmi dobrý, 3 = dobrý, 2 = zlepšení, 1 = začátek). Poskytuje podrobnou zpětnou vazbu, ale vyžaduje čas na přípravu a skóre. Holistická rubrika dává celému studiu jedinou obecnou úroveň; Je rychlý, ale neukazuje, kde zaostává.
Složky analytické rubriky jsou: kritéria (co hodnotíme), úrovně (jak dobré), definice úrovně každé buňky (konkrétní ukazatel této úrovně) a váhy (jaké procento skóre je které kritérium). Definice dobré úrovně je pozorovatelná: ne „dobře napsané“, ale „ne více než 2 překlepy a odstavce v logickém pořadí“.
Tip: Sdílejte rubriku se studentem PŘED úkolem. Rubrika není nástroj pro poznámky k překvapení, ale učební mapa; Pokud student ví, na čem pracovat, vyrábí lepší produkt.
Důslednost a férovost
Skutečnou hodnotou rubriky je konzistentnost: když dva učitelé skórují stejnou práci ve dvou různých časech, výsledek by měl být podobný. Tomu se říká spolehlivost hodnotitele. Umělá inteligence může vytvořit osnovu rubriky, ale učitel zajišťuje konzistenci: úkolem učitele je učinit popisy úrovní dostatečně konkrétní, „zkalibrovat“ několik případových studií s rubrikou (hodnocení pokusů) a objasnit pravidlo v okrajových případech.
V zájmu spravedlnosti by rubrika neměla bodovat věci nepodstatné pro výsledek (krása rukopisu, materiál, ke kterému student potřebuje socioekonomický přístup). Umělá inteligence někdy přidává kritéria nedosažení, jako je „estetická prezentace“; Je nutné je vytřídit.
Krok za krokem: Návrh rubriky s umělou inteligencí
- Dejte úkol a úspěch. Co bude rubrika měřit, závisí na jakém výsledku.
- Vyberte žánr. Pokud chcete podrobnou zpětnou vazbu, analytickou; chcete-li rychlý obecný úsudek, holistický.
- Ptejte se na kritéria, ale filtrujte je. 3-5 kritérií týkajících se úspěchu; odstranit nepodstatné.
- Konkrétní definice úrovní. Požádejte o pozorovatelné ukazatele.
- Hubnout. Které kritérium je důležitější? Nechť je součet 100.
- Kalibrovat. Vyhodnoťte 1–2 vzorové studie pomocí rubrik a konzistence testu.
- Přijměte konečné rozhodnutí. I když AI navrhne vzorové skóre, učitel dá konečnou známku.
tři mini pouzdra
Případ 1 – Extrakce kritéria nesplnění. Turecký učitel požádal AI o analytickou rubriku pro esej. AI navrhla 5 kritérií, ale jedním byla „krása rukopisu“ – kritérium, které bylo pro výsledek irelevantní a nespravedlivě penalizovalo studenta nedostatečně vyvinutým rukopisem. Učitel to vyndal a nahradil „rozvojem myšlenky“. Rubrika byla spravedlivá a odpovídala dosaženým výsledkům.
Případ 2 – Konkretizace. V první rubrice jednoho učitele byly úrovně abstraktní, jako například „velmi dobrý / dobrý / spravedlivý“; Dva studenti absolvovali různé úrovně podobné práce. Řekl AI, aby „přepsala každou úroveň pozorovatelným indikátorem“. Když přišly konkrétní definice jako „Dobré = alespoň 3 příklady a jasný závěrový odstavec“, zvýšila se konzistence a ubylo námitek.
Případ 3 — Kalibrace. Při hodnocení projektu učitel nejprve ohodnotil 3 vzorové projekty s rubrikou vytvořenou AI. AI někomu nabídla 85; Učitel našel stejný projekt jako rubriku 72, protože AI vyložila jedno kritérium příliš velkoryse. Učitel upřesnil popis úrovně a sám přidělil konečné známky. AI zrychlila návrh; Učitel se rozhodl.
Kopírovatelné šablony
1) Přehled analytické rubriky:
Vaše role: [předmět] učitel. Úkol: "[zapsat výkonový úkol]", úspěch: "[úspěch]", [X. třída]. Vytvořte analytickou rubriku se 4 kritérii. Každé kritérium nechť souvisí s výsledkem (PŘIDAT neobjektivní kritéria, jako je rukopis a estetika). Napište 4 úrovně úspěšnosti a pro každou úroveň POZOROVATELNÝ indikátor. Zvažte kritéria tak, aby celkový počet byl 100.
2) Konkretizace definic úrovní:
Popisy úrovní v následující rubrice jsou velmi abstraktní („dobré“, „spravedlivé“). Přepište každou úroveň pomocí pozorovatelných, počitatelných ukazatelů (např. „ne více než 2 chyby“, „alespoň 3 příklady“). Rubrika: [vložit]
3) Holistická rubrika (rychlé vyhodnocení):
Napište 4úrovňovou holistickou rubriku pro „[úkol]“. Ať každá úroveň pozorovatelně popisuje obecnou povahu práce v jediném odstavci. Zisk: "[zisk]". Uveďte také rozsahy poznámek.
4) Kontrola kalibrace:
Níže je rubrika a práce studentů. Podle rubriky uveďte svou úroveň v každém taktu s odůvodněním. Dejte to jako NÁVRH; Dám konečnou známku. Označte všechna kritéria, která zůstávají nejasná. Rubrika + studie: [vložit]
Slabá výzva / Silná výzva
Slabá výzva:
Napište k projektu rubriku.
Žádný úkol, úspěch, typ, počet kritérií, váha; Objeví se rubrika nedosažení a abstraktní.
Výkonná výzva:
Vaše role: učitel přírodních věd. Úkol: "Žák zkoumá obnovitelný zdroj energie a připravuje plakát." Cíl: "Žák vysvětlí princip fungování a výhody zdroje energie." 7. třída. Analytická rubrika se 4 kritérii: obsahová přesnost, srozumitelnost vysvětlení, použití zdrojů, pořadí. Přidání kritérií nedosažení. Nechť je každá úroveň pozorovatelná; Součet vah je 100.
funkce
Analytická rubrika
holistická rubrika
Počet kritérií
Vícenásobné, bodováno samostatně
Jediný obecný soud
Zpětná vazba
Podrobné, založené na kritériích
Generál
rychlost
pomalý
rychle
nejvhodnější
Rozvoj procesu/dovedností
Rychlý přehled
Příspěvek AI
Kritéria + osnova úrovně
Návrh odstavce úrovně
Časté chyby
- Míra nedosažení. Bodování věcí, které nesouvisejí s výsledkem, jako je rukopis, estetika a přístup k materiálům, maří férovost.
- Abstraktní definice úrovně. Definice jako „dobré/spravedlivé“ vedou k nekonzistentnosti a námitkám; Použijte pozorovatelný indikátor.
- Rubrika se zobrazí později. Nesdílení před úkolem připravuje žáka o cíl.
- Vytvoření úrovně AI. Umělá inteligence může navrhnout vzorové skóre, ale konečnou známku udělí učitel; Kontrola důslednosti je věcí učitele.
- Přeskakování kalibrace. Použití rubriky bez vyzkoušení s případovými studiemi přináší překvapivé výsledky.
Pozor: Je lákavé, ale riskantní dát AI studentskou práci a říct ji „boduj“. Práce studentů mohou obsahovat osobní údaje (anonymizovat) a skóre AI může být nekonzistentní/objektivní. Použijte AI k NAVRHOVÁNÍ bodů a nastínění zpětné vazby; Vy rozhodnete.
V souhrnu
Rubrika je nástroj, díky kterému je hodnocení transparentní, konzistentní a obhajitelné. Analytická rubrika poskytuje podrobnou zpětnou vazbu na základě kritérií, holistická rubrika poskytuje rychlý obecný úsudek. Umělá inteligence rychle navrhuje metriky související s úspěchy, konkrétní definice úrovní a váhy; Ale je zodpovědností učitele, aby utřídil kritéria pro nedosažení, aby úrovně byly pozorovatelné, zkalibroval je a dal konečnou známku. Známka je rozhodnutí, které ovlivňuje žáka; Není delegováno na AI.
Aplikační úkol
Vytvořte rubriku se 4 kritérii se šablonou „Analytický přehled rubriky“ pro výkonový úkol, který brzy zadáte. Odstraňte všechna kritéria nedosažení a zajistěte, aby byly definice úrovní pozorovatelné. Poté otestujte konzistenci bodováním svých (nebo hypotetických) 2 vzorových studií pomocí této rubriky; Vyhodnoťte, zda skóre těchto dvou studií odráží jejich skutečné kvality, a upravte svou rubriku.
kontrolní seznam
- [ ] Souvisí dosažení všech kritérií (žádná kritéria nesplnění)?
- [ ] Jsou definice úrovní pozorovatelné a konkrétní?
- [ ] Určil jsem váhy a jejich součet je 100?
- [ ] Sdílím rubriku se studentem před úkolem?
- [ ] Kalibroval jsem rubriku s ukázkovou prací a dal jsem konečné hodnocení sám?