zisky:
- Schopnosť porozumieť analytickým a holistickým typom rubrik, kritériám a konceptom úrovne úspechu a navrhnúť transparentnú rubriku s podporou umelej inteligencie.
- Schopnosť vytvárať metriky a bodové váhy zosúladené s výsledkami pre výkonové úlohy, portfólio a hodnotenie projektov.
- Schopnosť pochopiť, že rozhodnutie udeľovať známky a záverečné hodnotenie patrí učiteľovi, že umelá inteligencia nemôže robiť bodovanie sama a že konzistentnosť musí kontrolovať učiteľ.
Je ľahké povedať študentovi „tento projekt dostal 70“; ale študent sa pýta "prečo 70?" alebo nadradený objekt, musíte mať spravodlivý a obhájiteľný základ. Týmto základom je rubrika: bodovací nástroj, ktorý vopred ukazuje, podľa akých kritérií a na akých úrovniach bude výkon (projekt, kompozícia, prezentácia, portfólio) hodnotený. Dobrá rubrika študentovi povie „čo sa od vás očakáva“ a zároveň robí hodnotenie učiteľa konzistentným a transparentným. AI rýchlo navrhne metriky a definície úrovní súvisiace s dosiahnutím; Vy určujete zarovnanie, spravodlivosť a váhy. Hranica je jasná: Známkovanie a záverečné hodnotenie je rozhodnutie, ktoré ovplyvňuje žiaka; Zodpovednosť a konečné schválenie patrí učiteľovi. AI nemôže skórovať sama.
Typy rubrik a komponenty
Existujú dva základné typy. Analytická rubrika rozdeľuje výkon do samostatných kritérií – napríklad „obsah“, „organizácia“, „jazyk a výraz“, „písanie“ v eseji – a hodnotí každé kritérium na samostatných úrovniach úspechu (napr. 4 = veľmi dobrý, 3 = dobrý, 2 = zlepšuje sa, 1 = začiatok). Poskytuje podrobnú spätnú väzbu, ale vyžaduje si čas na prípravu a skóre. Holistická rubrika poskytuje jedinú všeobecnú úroveň celej štúdii; Je rýchly, ale neukazuje, kde zaostáva.
Komponenty analytickej rubriky sú: kritériá (čo hodnotíme), úrovne (ako dobré), definícia úrovne každej bunky (konkrétny ukazovateľ danej úrovne) a váhy (aké percento skóre je ktorým kritériom). Definícia dobrej úrovne je pozorovateľná: nie „dobre napísané“, ale „nie viac ako 2 preklepy a odseky v logickom poradí“.
Tip: Zdieľajte rubriku so študentom PRED úlohou. Rubrika nie je nástrojom na prekvapenie, ale vzdelávacou mapou; Ak študent vie, na čom má pracovať, vyrába lepší produkt.
Dôslednosť a férovosť
Skutočnou hodnotou rubriky je konzistentnosť: keď dvaja učitelia dosiahnu rovnakú prácu v dvoch rôznych časoch, výsledok by mal byť podobný. Toto sa nazýva spoľahlivosť hodnotiteľa. Umelá inteligencia môže vytvoriť osnovu rubriky, ale učiteľ zabezpečuje konzistentnosť: úlohou učiteľa je urobiť popisy úrovní dostatočne konkrétne, „nakalibrovať“ niekoľko prípadových štúdií s rubrikou (skóre pokusov) a objasniť pravidlo v okrajových prípadoch.
V záujme spravodlivosti by rubrika nemala hodnotiť veci, ktoré nie sú relevantné pre výsledok (krása rukopisu, materiál, ku ktorému študent potrebuje socioekonomický prístup). AI niekedy pridáva kritériá nedosiahnutia, ako napríklad „estetická stránka prezentácie“; Je potrebné ich vytriediť.
Krok za krokom: Návrh rubriky s AI
- Dajte úlohu a úspech. To, čo bude rubrika merať, závisí od toho, aký výsledok.
- Vyberte žáner. Ak chcete podrobnú spätnú väzbu, analytickú; ak chcete rýchly všeobecný úsudok, holistický.
- Pýtajte sa na kritériá, ale filtrujte ich. 3-5 kritérií týkajúcich sa úspechu; odstráňte nepodstatné.
- Definície konkrétnych úrovní. Požiadajte o pozorovateľné ukazovatele.
- Schudnúť. Ktoré kritérium je dôležitejšie? Nech je súčet 100.
- Kalibrovať. Ohodnoťte 1-2 vzorové štúdie s rubrikami a konzistenciou testu.
- Prijmite konečné rozhodnutie. Aj keď AI navrhne vzorové skóre, učiteľ dá konečnú známku.
tri mini prípady
Prípad 1 – Extrakcia kritéria nedosiahnutia. Turecký učiteľ požiadal AI o analytickú rubriku na esej. AI navrhla 5 kritérií, ale jedným bola „krása rukopisu“ – kritérium, ktoré bolo irelevantné pre výsledok a nespravodlivo penalizovalo študenta nedostatočne vyvinutým rukopisom. Učiteľ ho vytiahol a nahradil ho „rozvojom nápadu“. Rubrika bola spravodlivá aj zhodná s výsledkami.
Prípad 2 – Konkretizácia. V prvej rubrike jedného učiteľa boli úrovne abstraktné, ako napríklad „veľmi dobrý/dobrý/spravodlivý“; Dvaja študenti absolvovali podobnú prácu na rôznych úrovniach. Povedal AI, aby „prepísala každú úroveň pozorovateľným indikátorom“. Keď prišli konkrétne definície ako „dobré = aspoň 3 príklady a odsek s jasným záverom“, konzistentnosť sa zvýšila a námietky sa znížili.
Prípad 3 – Kalibrácia. Pri hodnotení projektu učiteľ najskôr skóroval 3 vzorové projekty s rubrikou vytvorenou AI. AI niekomu ponúkla 85; Učiteľ našiel ten istý projekt rubriku 72, pretože AI vyložila jedno kritérium príliš veľkoryso. Učiteľ objasnil popis úrovne a sám pridelil konečné známky. AI urýchlila návrh; Učiteľ sa rozhodol.
Kopírovateľné šablóny
1) Analytický prehľad rubriky:
Vaša úloha: učiteľ [predmet]. Úloha: "[napísať výkonovú úlohu]", úspech: "[úspech]", [X. trieda]. Vytvorte analytickú rubriku so 4 kritériami. Nech každé kritérium súvisí s výsledkom (PRDAJTE neobjektívne kritériá, ako je rukopis a estetika). Napíšte 4 úrovne úspešnosti a pre každú úroveň pozorovateľný indikátor. Zvážte kritériá tak, aby celkový počet bol 100.
2) Konkretizovanie definícií úrovní:
Popisy úrovní v nasledujúcej rubrike sú veľmi abstraktné („dobré“, „spravodlivé“). Prepíšte každú úroveň pozorovateľnými, počítateľnými ukazovateľmi (napr. „nie viac ako 2 chyby“, „najmenej 3 príklady“). Rubrika: [prilepiť]
3) Holistická rubrika (rýchle vyhodnotenie):
Napíšte 4-úrovňovú holistickú rubriku pre „[úloha]“. Nech každá úroveň pozorovateľne opisuje všeobecnú povahu práce v jedinom odseku. Zisk: "[zisk]". Uveďte aj rozsahy poznámok.
4) Kontrola kalibrácie:
Nižšie je uvedená rubrika a študentské práce. Podľa rubriky uveďte svoju úroveň v každom opatrení s odôvodnením. Dajte to ako NÁVRH; Dám konečnú známku. Označte všetky kritériá, ktoré zostávajú nejasné. Rubrika + štúdium: [prilepiť]
Slabá výzva / Silná výzva
Slabá výzva:
Napíšte rubriku projektu.
Žiadna úloha, úspech, typ, počet kritérií, váha; Objaví sa rubrika nedosiahnutia a abstraktu.
Výkonná výzva:
Vaša úloha: učiteľ prírodných vied. Úloha: "Žiak skúma obnoviteľný zdroj energie a pripraví plagát." Cieľ: "Žiak vysvetlí princíp fungovania a výhody zdroja energie." 7. trieda. Analytická rubrika so 4 kritériami: presnosť obsahu, jasnosť vysvetlenia, použitie zdrojov, poradie. Pridanie kritérií nedosiahnutia. Nech je každá úroveň pozorovateľná; Súčet váh je 100.
vlastnosť
Analytická rubrika
holistická rubrika
Počet kritérií
Viacnásobné, bodované samostatne
Jediný všeobecný rozsudok
Spätná väzba
Podrobné, založené na kritériách
generál
rýchlosť
pomaly
rýchlo
najvhodnejšie
Rozvoj procesov/zručností
Rýchly prehľad
Príspevok AI
Kritériá + prehľad úrovní
Úroveň konceptu odseku
Časté chyby
- Miera nedosiahnutia. Bodovanie vecí, ktoré nesúvisia s výsledkom, ako je rukopis, estetika a prístup k materiálom, poráža spravodlivosť.
- Abstraktná definícia úrovne. Definície ako „dobré/spravodlivé“ vedú k nekonzistentnosti a námietkam; Použite pozorovateľný indikátor.
- Rubrika sa zobrazí neskôr. Nezdieľanie pred úlohou pripravuje žiaka o cieľ.
- Vytváranie úrovne AI. Umelá inteligencia môže navrhnúť vzorové skóre, ale konečnú známku dáva učiteľ; Kontrola dôslednosti je úlohou učiteľa.
- Preskočenie kalibrácie. Použitie rubriky bez toho, aby ste ju vyskúšali s prípadovými štúdiami, prináša prekvapivé výsledky.
Pozor: Je lákavé, ale riskantné dať AI študentskú prácu a povedať jej „bodujte“. Študentské práce môžu obsahovať osobné údaje (anonymizované) a skóre AI môže byť nekonzistentné/objektívne. Použite AI na NAVRHOVANIE bodov a načrtnutie spätnej väzby; Vy rozhodnete.
V súhrne
Rubrika je nástroj, ktorý robí hodnotenie transparentným, konzistentným a obhájiteľným. Analytická rubrika poskytuje podrobnú spätnú väzbu na základe kritérií, holistická rubrika poskytuje rýchly všeobecný úsudok. AI rýchlo navrhne metriky súvisiace s úspechom, konkrétne definície úrovní a váhy; Je však zodpovednosťou učiteľa vytriediť kritériá nedosiahnutia, zabezpečiť pozorovateľnosť úrovní, kalibrovať ich a udeliť konečnú známku. Známka je rozhodnutie, ktoré ovplyvňuje žiaka; Nie je delegovaná na AI.
Aplikačná úloha
Vytvorte rubriku so 4 kritériami pomocou šablóny „Náčrt analytickej rubriky“ pre výkonovú úlohu, ktorú čoskoro zadáte. Odstráňte akékoľvek kritériá nedosiahnutia a urobte pozorovateľné definície úrovní. Potom otestujte konzistenciu ohodnotením svojich (alebo hypotetických) 2 vzorových štúdií pomocou tejto rubriky; Vyhodnoťte, či skóre týchto dvoch štúdií odráža ich skutočné kvality, a upravte svoju rubriku.
kontrolný zoznam
- [ ] Súvisia všetky kritériá dosiahnutia (žiadne kritériá nedosiahnutia)?
- [ ] Sú definície úrovní pozorovateľné a konkrétne?
- [ ] Váhy som určil a ich súčet je 100?
- [ ] Budem pred úlohou zdieľať rubriku so študentom?
- [ ] Kalibroval som rubriku pomocou vzorovej práce a dal som konečnú známku sám?