Dobici:
- Sposobnost razumevanja analitičkih i holističkih tipova rubrika, kriterijuma i koncepata nivoa uspeha i dizajniranja transparentne rubrike uz podršku veštačke inteligencije.
- Sposobnost izrade metrike usklađene s postignućima i pondera bodova za procjenu zadatka učinka, portfelja i projekta.
- Sposobnost da se razume da odluka o davanju ocena i konačne ocene pripada nastavniku, da veštačka inteligencija ne može sama da vrši bodovanje i da doslednost nastavnik mora da proveri.
Lako je reći studentu "ovaj projekat je dobio 70"; ali student pita "zašto 70?" ili roditeljski objekti, morate imati poštenu i odbranjivu osnovu. Ova osnova je rubrika: alat za bodovanje koji unaprijed pokazuje prema kojim kriterijima i na kojim nivoima će se ocjenjivati izvedba (projekat, kompozicija, prezentacija, portfolio). Dobra rubrika istovremeno govori učeniku „šta se očekuje od vas“ i čini nastavnikovo bodovanje dosljednim i transparentnim. AI brzo izrađuje metrike vezane za postignuća i definicije nivoa; Vi određujete poravnanje, pravičnost i težine. Granica je jasna: ocjenjivanje i konačna evaluacija je odluka koja utiče na učenika; Odgovornost i konačno odobrenje pripada nastavniku. AI ne može postići sam.
Vrste i komponente rubrika
Postoje dvije osnovne vrste. Analitička rubrika raščlanjuje učinak na zasebne kriterije – na primjer, "sadržaj", "organizacija", "jezik i izraz", "pisanje" u eseju - i ocjenjuje svaki kriterij na odvojenim nivoima postignuća (npr. 4=veoma dobro, 3=dobro, 2=poboljšanje, 1=početak). Pruža detaljne povratne informacije, ali je potrebno vrijeme za pripremu i bodovanje. Holistička rubrika daje jedinstven opći nivo cijeloj studiji; Brz je, ali ne pokazuje gdje ne uspijeva.
Komponente analitičke rubrike su: kriterijumi (šta procenjujemo), nivoi (koliko dobro), definicija nivoa svake ćelije (konkretni pokazatelj tog nivoa) i težine (koji procenat rezultata je koji kriterijum). Definicija dobrog nivoa je vidljiva: ne "dobro napisano" već "ne više od 2 greške u kucanju i pasusa u logičnom redosledu".
Savjet: Podijelite rubriku sa učenikom PRIJE zadatka. Rubrika nije alat za beleške iznenađenja, već mapa za učenje; Ako učenik zna na čemu treba raditi, proizvodi bolji proizvod.
Dosljednost i pravičnost
Prava vrijednost rubrike je dosljednost: kada dva nastavnika postignu isti rad u dva različita vremena, rezultat bi trebao biti sličan. To se zove pouzdanost ocjenjivača. AI može proizvesti nacrt rubrike, ali nastavnik obezbjeđuje konzistentnost: zadatak nastavnika je da opise nivoa učini dovoljno konkretnim, da "kalibrira" nekoliko studija slučaja s rubrikom (probno bodovanje) i da razjasni pravilo u marginalnim slučajevima.
U interesu pravičnosti, rubrika ne bi trebala bodovati stvari koje su nebitne za ishod (ljepota rukopisa, materijal kojem je učeniku potreban socioekonomski pristup). AI ponekad dodaje kriterijume nedostizanja kao što je „estetika prezentacije“; Potrebno ih je srediti.
Korak po korak: Dizajn rubrike sa AI
- Dajte zadatak i postignuće. Šta će rubrika mjeriti ovisi o tome koji ishod.
- Odaberite žanr. Ako želite detaljne povratne informacije, analitičke; ako želite brzu opštu prosudbu, holistički.
- Tražite kriterije, ali ih filtrirajte. 3-5 kriterijuma u pogledu postignuća; ukloniti one nebitne.
- Definicije betonskih nivoa. Zatražite vidljive indikatore.
- Smršati. Koji je kriterijum važniji? Neka ukupno bude 100.
- Kalibriraj. Ocenite 1-2 uzorka studije sa rubrikama i konzistentnošću testa.
- Donesite konačnu odluku. Čak i ako AI predloži uzorak rezultata, nastavnik daje konačnu ocjenu.
tri mini kofera
Slučaj 1 — Ekstrakcija kriterijuma nepostizanja. Turski učitelj je zatražio od AI analitičku rubriku za esej. AI je predložio 5 kriterijuma, ali jedan je bio „lepota rukopisa“ — kriterijum koji je bio irelevantan za ishod i nepravedno je kažnjavao učenika sa nerazvijenim rukopisom. Nastavnik ga je izvadio i zamenio sa "razvijanje ideje". Rubrika je bila poštena i usklađena sa postignućima.
Slučaj 2 — Konkretizacija. U prvoj rubrici jednog nastavnika, nivoi su bili apstraktni, kao što je "veoma dobro / dobro / pošteno"; Dva učenika su pohađala različite nivoe sličnog rada. Rekao je AI da "prepiše svaki nivo sa vidljivim indikatorom." Kada su stigle konkretne definicije kao što su "Dobro = najmanje 3 primjera i paragraf sa jasnim zaključkom", konzistentnost se povećala, a prigovori su se smanjili.
Slučaj 3 — Kalibracija. U evaluaciji projekta, nastavnik je prvo postigao 3 uzorka projekta sa rubrikom koju je izradila AI. AI je nekome ponudio 85; Nastavnik je isti projekat smatrao rubrikom 72 jer je AI previše velikodušno protumačio jedan kriterij. Nastavnik je pojasnio opis nivoa i sam dodijelio konačne ocjene. AI je ubrzao nacrt; Nastavnik je doneo odluku.
Predlošci koji se mogu kopirati
1) Pregled analitičke rubrike:
Vaša uloga: [predmetni] nastavnik. Zadatak: "[pisati zadatak izvedbe]", postignuće: "[dostignuće]", [X. razred]. Napravite analitičku rubriku sa 4 kriterijuma. Neka svaki kriterijum bude povezan sa ishodom (DODAJTE neobjektivne kriterijume kao što su rukopis i estetika). Za svaki nivo napišite 4 nivoa uspjeha i POJEDLJIV indikator. Odmjerite kriterije tako da ukupan broj bude 100.
2) Konkretizirajuće definicije nivoa:
Opisi nivoa sledeće rubrike su veoma apstraktni („dobro“, „pošteno“). Prepišite svaki nivo s vidljivim, izbrojivim indikatorima (npr. "ne više od 2 greške", "najmanje 3 primjera"). Rubrika: [zalijepi]
3) Holistička rubrika (brza evaluacija):
Napišite holističku rubriku na 4 nivoa za "[zadatak]". Neka svaki nivo uočljivo opiše opštu prirodu rada u jednom pasusu. Dobitak: "[pojačanje]". Također navedite raspon nota.
4) Provjera kalibracije:
Ispod je rubrika i studentski rad. Prema rubrici, navedite svoj nivo u svakoj mjeri, s obrazloženjem. Dajte ovo kao PREDLOG; Ja ću dati konačnu ocjenu. Označite sve kriterije koji ostaju nejasni. Rubrika + studija: [zalijepi]
Slaba prompt / Jaka prompt
Slab upit:
Napišite rubriku za projekat.
Bez zadatka, postignuća, vrste, broja kriterijuma, težine; Pojavljuje se nedostignuća i apstraktna rubrika.
Snažan upit:
Vaša uloga: nastavnik prirodnih nauka. Zadatak: "Učenik istražuje obnovljivi izvor energije i priprema poster." Cilj: "Učenik objasni princip rada i prednosti izvora energije." 7. razred. Analitička rubrika sa 4 kriterija: tačnost sadržaja, jasnoća objašnjenja, korištenje izvora, redoslijed. Dodavanje kriterijuma za nedostizanje. Neka svaki nivo bude vidljiv; Zbir težina je 100.
karakteristika
Analitička rubrika
holistička rubrika
Broj kriterijuma
Višestruko, bodovano odvojeno
Jedinstvena opšta presuda
Povratne informacije
Detaljno, zasnovano na kriterijumima
Generale
brzina
sporo
brzo
najprikladniji
Razvoj procesa/vještina
Brzi pregled
Doprinos AI
Kriterijum + nacrt nivoa
Nivo nacrta paragrafa
Uobičajene greške
- Mjera nepostizanja. Bodovanje stvari koje nisu povezane s ishodom, kao što su rukopis, estetika i pristup materijalima, poražava pravednost.
- Definicija apstraktnog nivoa. Definicije poput “dobro/fer” dovode do nedosljednosti i prigovora; Koristite vidljivi indikator.
- Prikazivanje rubrike kasnije. Ne dijeljenje prije zadatka lišava učenika cilja.
- Pravljenje AI razreda. AI može predložiti uzorke bodova, ali nastavnik daje konačnu ocjenu; Kontrola dosljednosti je na nastavniku.
- Preskakanje kalibracije. Korištenje rubrike bez isprobavanja studija slučaja donosi iznenađujuće rezultate.
Oprez: primamljivo je, ali rizično dati umjetnoj inteligenciji studentski rad i reći ga "bodiraj". Studentski rad može sadržavati lične podatke (anonimizirati) i rezultat AI može biti nedosljedan/pristrasan. Koristite umjetnu inteligenciju da PREDLOŽITE bodove i ocrtate povratne informacije; Vi odlučujete.
Ukratko
Rubrika je alat koji evaluaciju čini transparentnom, dosljednom i odbranjivom. Analitička rubrika pruža detaljne povratne informacije zasnovane na kriterijumima, holistička rubrika pruža brzu opštu prosudbu. AI brzo izrađuje metrike vezane za postignuća, konkretne definicije nivoa i težine; Ali odgovornost je nastavnika da sredi kriterijume za nedostizanje, učini nivoe vidljivim, kalibriše ih i da konačnu ocjenu. Ocena je odluka koja utiče na učenika; Nije delegirano AI.
Zadatak aplikacije
Kreirajte rubriku od 4 kriterija s predloškom "Analitički nacrt rubrike" za zadatak izvedbe koji ćete uskoro dati. Uklonite sve kriterijume nedostizanja i učinite definicije nivoa vidljivim. Zatim testirajte konzistentnost bodujući svoja (ili hipotetička) 2 uzorka studije sa ovom rubrikom; Procijenite da li rezultati dvije studije odražavaju njihove prave kvalitete i prilagodite svoju rubriku.
kontrolna lista
- [ ] Da li su svi kriterijumi u vezi sa postignućem (nema kriterijuma za nedostizanje)?
- [ ] Jesu li definicije nivoa vidljive i konkretne?
- [ ] Odredio sam težine i njihov zbir je 100?
- [ ] Hoću li podijeliti rubriku sa učenikom prije zadatka?
- [ ] Da li sam kalibrirao rubriku sa uzorkom rada i sam dao konačnu ocjenu?