Dobici:
- Sposobnost razumijevanja analitičkih i holističkih tipova rubrika, kriterija i koncepata razine uspjeha te dizajniranja transparentne rubrike uz podršku umjetne inteligencije.
- Sposobnost izrade metrike usklađene s postignućima i ponderiranja bodova za ocjenjivanje zadataka izvedbe, portfelja i projekta.
- Sposobnost razumijevanja da odluka o ocjenjivanju i konačnom ocjenjivanju pripada nastavniku, da umjetna inteligencija ne može sama vršiti bodovanje te da dosljednost mora provjeravati nastavnik.
Lako je reći studentu "ovaj je projekt dobio 70"; ali student pita "zašto 70?" ili se roditelj protivi, morate imati poštenu i branjivu osnovu. Ta osnova je rubrika: alat za bodovanje koji unaprijed pokazuje prema kojim će se kriterijima i na kojim razinama izvedba (projekt, sastav, prezentacija, portfelj) vrednovati. Dobra rubrika govori učeniku "što se od vas očekuje" i čini nastavnikovo bodovanje dosljednim i transparentnim. AI brzo izrađuje metrike vezane uz postignuća i definicije razina; Vi određujete usklađenost, pravednost i težine. Granica je jasna: ocjenjivanje i konačna evaluacija odluka je koja utječe na učenika; Odgovornost i konačno odobrenje pripada nastavniku. AI ne može postići sam.
Vrste i komponente rubrika
Postoje dvije osnovne vrste. Analitička rubrika raščlanjuje izvedbu na zasebne kriterije—na primjer, "sadržaj", "organizacija", "jezik i izražavanje", "pisanje" u eseju—i ocjenjuje svaki kriterij na različitim razinama postignuća (npr. 4=vrlo dobro, 3=dobro, 2=poboljšava se, 1=početak). Daje detaljne povratne informacije, ali treba vremena za pripremu i bodovanje. Holistička rubrika daje jednu opću razinu cijeloj studiji; Brz je, ali ne pokazuje gdje zaostaje.
Komponente analitičke rubrike su: kriteriji (što ocjenjujemo), razine (koliko dobro), definicija razine svake ćelije (konkretan pokazatelj te razine) i težine (koliki postotak rezultata je koji kriterij). Definicija dobre razine je vidljiva: ne "dobro napisano", već "ne više od 2 pogreške pri upisu i paragrafa u logičnom redoslijedu".
Savjet: podijelite rubriku s učenikom PRIJE zadatka. Rubrika nije alat za bilješke iznenađenja, već mapa učenja; Ako učenik zna na čemu treba raditi, proizvodi bolji proizvod.
Dosljednost i pravednost
Prava vrijednost rubrike je dosljednost: kada dva nastavnika postignu isti rezultat u dva različita vremena, rezultat bi trebao biti sličan. To se zove pouzdanost ocjenjivača. AI može proizvesti nacrt rubrike, ali učitelj osigurava dosljednost: učiteljev je posao učiniti opise razina dovoljno konkretnim, "kalibrirati" nekoliko studija slučaja s rubrikom (bodovanje pokusa) i razjasniti pravilo u rubnim slučajevima.
U interesu pravednosti, rubrika ne bi smjela bodovati stvari koje nisu bitne za ishod (ljepota rukopisa, materijal kojem učenik treba socioekonomski pristup). AI ponekad dodaje kriterije nepostignuća kao što je "estetika prezentacije"; Potrebno ih je srediti.
Korak po korak: Dizajn rubrike s umjetnom inteligencijom
- Navedite zadatak i postignuće. Što će rubrika mjeriti ovisi o ishodu.
- Odaberite žanr. Ako želite detaljnu povratnu informaciju, analitičku; ako želite brzu opću prosudbu, holističku.
- Zatražite kriterije, ali ih filtrirajte. 3-5 kriterija postignuća; uklonite nebitne.
- Konkretne definicije razine. Zatražite vidljive pokazatelje.
- Mršaviti. Koji je kriterij važniji? Neka zbroj bude 100.
- Kalibrirati. Ocijenite 1-2 uzorka studija s rubrikama i dosljednošću testa.
- Donesite konačnu odluku. Čak i ako umjetna inteligencija predloži ogledni rezultat, učitelj daje konačnu ocjenu.
tri mini kućišta
Slučaj 1 — Izdvajanje kriterija nepostizanja. Učitelj turskog je od AI-ja zatražio analitičku rubriku za esej. AI je predložio 5 kriterija, ali jedan je bio "ljepota rukopisa" — kriterij koji je bio irelevantan za ishod i nepravedno je kažnjavao učenika s nedovoljno razvijenim rukopisom. Učitelj ga je izvadio i zamijenio s "razvijanjem ideje". Rubrika je bila poštena i usklađena s postignućima.
Slučaj 2 — Konkretizacija. U prvoj rubrici jednog učitelja, razine su bile apstraktne, poput "vrlo dobro / dobro / zadovoljavajuće"; Dvoje učenika je pohađalo različite razine sličnog rada. Rekao je umjetnoj inteligenciji da "prepravi svaku razinu s vidljivim indikatorom". Kada su stigle konkretne definicije kao što je "Dobro = najmanje 3 primjera i jasan zaključak" dosljednost se povećala, a prigovori smanjili.
Slučaj 3 — Kalibracija. U evaluaciji projekta, učitelj je prvo ocijenio 3 ogledna projekta s rubrikom koju je izradio AI. AI je nekome ponudio 85; Učitelj je pronašao isti projekt kao rubriku 72 jer je umjetna inteligencija prevelikodušno protumačila jedan kriterij. Učitelj je pojasnio opis razine i sam dodijelio konačne ocjene. AI je ubrzao propuh; Učitelj je donio odluku.
Predlošci koji se mogu kopirati
1) Pregled analitičke rubrike:
Vaša uloga: [predmetni] nastavnik. Zadatak: "[napiši zadatak izvedbe]", postignuće: "[postignuće]", [X. razred]. Napravite analitičku rubriku s 4 kriterija. Neka svaki kriterij bude povezan s ishodom (DODAJTE neobjektivne kriterije kao što su rukopis i estetika). Napišite 4 razine uspjeha i UOČLJIV indikator za svaku razinu. Ponderirajte kriterije tako da ukupan broj bude 100.
2) Konkretiziranje definicija razine:
Opisi razina sljedeće rubrike vrlo su apstraktni ("dobro", "pristojno"). Prepišite svaku razinu s vidljivim, prebrojivim indikatorima (npr. "ne više od 2 pogreške", "najmanje 3 primjera"). Rubrika: [zalijepi]
3) Holistička rubrika (brza procjena):
Napišite holističku rubriku od 4 razine za "[zadatak]". Neka svaka razina vidljivo opisuje opću prirodu posla u jednom odlomku. Dobitak: "[dobitak]". Također navedite notne raspone.
4) Provjera kalibracije:
U nastavku je rubrika i studentski rad. Prema rubrici navedite svoju razinu u svakoj mjeri s obrazloženjem. Daj ovo kao PRIJEDLOG; Ja ću dati konačnu ocjenu. Označite sve kriterije koji su ostali nejasni. Rubrika + studija: [zalijepi]
Slab upit / Jak upit
Slab upit:
Napišite rubriku za projekt.
Nema zadatka, postignuća, vrste, broja kriterija, težine; Pojavljuje se apstraktna rubrika bez postignuća.
Snažan upit:
Vaša uloga: nastavnik prirodoslovlja. Zadatak: "Učenik istražuje obnovljivi izvor energije i priprema plakat." Cilj: "Učenik objašnjava princip rada i prednosti izvora energije." 7. razred. Analitička rubrika s 4 kriterija: točnost sadržaja, jasnoća objašnjenja, korištenje izvora, redoslijed. Dodavanje kriterija nepostizanja. Neka svaka razina bude vidljiva; Zbroj pondera je 100.
značajka
Analitička rubrika
holistička rubrika
Broj kriterija
Višestruko, boduje se odvojeno
Jedinstveni opći sud
Povratne informacije
Detaljno, temeljeno na kriterijima
generalno
brzina
sporo
brzo
najprikladniji
Razvoj procesa/vještina
Brzi pregled
Doprinos AI
Kriteriji + pregled razine
Razina nacrta odlomka
Uobičajene greške
- Mjera nepostizanja. Bodovanje stvari koje nisu povezane s ishodom, kao što su rukopis, estetika i pristup materijalima, pobjeđuje poštenje.
- Definicija apstraktne razine. Definicije poput "dobro/pošteno" dovode do nedosljednosti i prigovora; Koristite vidljivi indikator.
- Prikazivanje rubrike kasnije. Nedijeljenje prije zadatka lišava učenika cilja.
- Izrada AI ocjene. AI može predložiti uzorke rezultata, ali učitelj daje konačnu ocjenu; Kontrola dosljednosti je učiteljeva.
- Preskakanje kalibracije. Korištenje rubrike bez isprobavanja studija slučaja donosi iznenađujuće rezultate.
Oprez: primamljivo je, ali riskantno dati umjetnoj inteligenciji studentski rad i reći mu "ocjeni". Učenički rad može sadržavati osobne podatke (anonimiziraj) i AI rezultat može biti nedosljedan/pristran. Koristite umjetnu inteligenciju da PREDLOŽITE bodove i ocrtate povratne informacije; Vi odlučujete.
Ukratko
Rubrika je alat koji evaluaciju čini transparentnom, dosljednom i branjivom. Analitička rubrika pruža detaljne povratne informacije temeljene na kriterijima, holistička rubrika pruža brzu opću prosudbu. AI brzo izrađuje metrike povezane s postignućima, konkretne definicije razina i težine; Ali učiteljeva je odgovornost razvrstati kriterije nepostignuća, učiniti razine vidljivima, kalibrirati ih i dati konačnu ocjenu. Ocjena je odluka koja utječe na učenika; Nije delegiran AI-u.
Zadatak aplikacije
Stvorite rubriku s 4 kriterija s predloškom "Okvir analitičke rubrike" za zadatak izvedbe koji ćete uskoro dati. Uklonite sve kriterije nepostizanja i učinite definicije razine vidljivima. Zatim testirajte dosljednost bodovanjem svojih (ili hipotetskih) 2 uzorka studija s ovom rubrikom; Ocijenite odražavaju li rezultati dviju studija njihove prave kvalitete i prilagodite svoju rubriku.
popis za provjeru
- [ ] Jesu li svi kriteriji povezani s postignućima (nema kriterija nepostizanja)?
- [ ] Jesu li definicije razine vidljive i konkretne?
- [ ] Odredio sam težine i njihov je zbroj 100?
- [ ] Hoću li podijeliti rubriku s učenikom prije zadatka?
- [ ] Jesam li kalibrirao rubriku s oglednim radom i sam dao konačnu ocjenu?