Ieguvumi:
- Spēja izprast analītisko un holistisko rubriku veidus, kritērijus un panākumu līmeņa koncepcijas un ar mākslīgā intelekta atbalstu veidot caurspīdīgu rubriku.
- Spēja izveidot sasniegumiem saskaņotu metriku un punktu svaru izpildes uzdevumu, portfolio un projektu novērtēšanai.
- Spēja saprast, ka lēmums par atzīmju likšanu un gala vērtējumu ir skolotājam, ka mākslīgais intelekts nevar veikt punktu skaitīšanu viens pats un ka konsekvence ir jāpārbauda skolotājam.
Studentam ir viegli pateikt "šis projekts ieguva 70"; bet students jautā "kāpēc 70?" vai vecāki iebilst, jums ir jābūt taisnīgam un attaisnojamam pamatojumam. Šis pamats ir rubrika: vērtēšanas rīks, kas iepriekš parāda, pēc kādiem kritērijiem un kādos līmeņos tiks vērtēts veikums (projekts, kompozīcija, prezentācija, portfolio). Laba rubrika gan stāsta skolēnam "ko no jums sagaida", gan padara skolotāja vērtējumu konsekventu un caurspīdīgu. AI ātri izstrādā ar sasniegumiem saistītus rādītājus un līmeņu definīcijas; Jūs nosakāt izlīdzinājumu, taisnīgumu un svarus. Robeža ir skaidra: Atzīmes un gala vērtēšana ir lēmums, kas ietekmē skolēnu; Atbildība un galīgais apstiprinājums ir skolotājam. AI nevar gūt punktus vienatnē.
Rubrikas veidi un sastāvdaļas
Ir divi pamata veidi. Analītiskā rubrikā sniegums ir sadalīts atsevišķos kritērijos, piemēram, "saturs", "organizācija", "valoda un izteiksme", "rakstīšana" esejā, un katrs kritērijs tiek vērtēts atsevišķos sasniegumu līmeņos (piemēram, 4 = ļoti labi, 3 = labi, 2 = uzlabojumi, 1 = sākums). Sniedz detalizētas atsauksmes, bet prasa laiku, lai sagatavotos un gūtu punktus. Holistiskā rubrika piešķir vienu vispārīgu līmeni visam pētījumam; Tas ir ātrs, bet tas neparāda, kur tas izpaliek.
Analītiskās rubrikas sastāvdaļas ir: kritēriji (ko mēs novērtējam), līmeņi (cik labi), katras šūnas līmeņa definīcija (konkrēts šī līmeņa rādītājs) un svari (cik procenti no punkta ir kurš kritērijs). Laba līmeņa definīcija ir novērojama: nevis "labi uzrakstīts", bet "ne vairāk kā 2 drukas kļūdas un rindkopas loģiskā secībā".
Padoms: PIRMS uzdevuma kopīgojiet rubriku ar studentu. Rubrika nav pārsteiguma piezīmju rīks, bet gan mācību karte; Ja skolēns zina, pie kā strādāt, viņš ražo labāku produktu.
Konsekvence un godīgums
Rubrikas patiesā vērtība ir konsekvence: ja divi skolotāji novērtē vienu un to pašu darbu divos dažādos laikos, rezultātam jābūt līdzīgam. To sauc par vērtētāja uzticamību. AI var izveidot rubrikas izklāstu, bet skolotājs nodrošina konsekvenci: skolotāja uzdevums ir padarīt līmeņu aprakstus pietiekami konkrētus, "kalibrēt" dažus gadījumu izpēti ar rubriku (izmēģinājuma vērtēšana) un precizēt noteikumu marginālos gadījumos.
Taisnīguma labad rubrikā nevajadzētu vērtēt lietas, kas nav saistītas ar rezultātu (rokraksta skaistums, materiāls, kuram studentam nepieciešama sociālekonomiska piekļuve). AI dažreiz pievieno nesasniegšanas kritērijus, piemēram, "prezentācijas estētiku"; Ir nepieciešams tos sakārtot.
Soli pa solim: Rubrikas dizains ar AI
- Dodiet uzdevumu un sasniegumu. Rubrikas mērīšana ir atkarīga no rezultāta.
- Izvēlieties žanru. Ja vēlaties detalizētu atgriezenisko saiti, analītisku; ja vēlaties ātru vispārēju spriedumu, holistisku.
- Pieprasiet kritērijus, bet filtrējiet tos. 3-5 kritēriji attiecībā uz sasniegumiem; noņemiet neatbilstošos.
- Konkrēta līmeņa definīcijas. Pieprasiet novērojamos rādītājus.
- Zaudēt svaru. Kurš kritērijs ir svarīgāks? Lai kopējā summa būtu 100.
- Kalibrēt. Novērtējiet 1–2 pētījumu paraugus ar rubrikām un pārbaudiet konsekvenci.
- Pieņemiet galīgo lēmumu. Pat ja mākslīgais intelekts piedāvā parauga punktu skaitu, skolotājs piešķir galīgo atzīmi.
trīs mini futrāļi
1. gadījums — nesasniegšanas kritērija iegūšana. Turcijas skolotājs lūdza AI analītisku rubriku esejai. AI piedāvāja 5 kritērijus, bet viens bija “rokraksta skaistums” — kritērijs, kam nebija nozīmes iznākumam un negodīgi sodīja studentu ar nepietiekami attīstītu rokrakstu. Skolotājs to izņēma un aizstāja ar "idejas attīstību". Rubrika bija gan godīga, gan saskaņota ar sasniegumiem.
2. gadījums — konkretizācija. Viena skolotāja pirmajā rubrikā līmeņi bija abstrakti, piemēram, "ļoti labi / labi / godīgi"; Divi skolēni bija veikuši dažādu līmeņu līdzīgu darbu. Viņš teica AI “pārrakstīt katru līmeni ar novērojamu indikatoru”. Kad tika iegūtas konkrētas definīcijas, piemēram, "labi = vismaz 3 piemēri un skaidra secinājuma rindkopa", konsekvence palielinājās un iebildumi samazinājās.
3. gadījums — kalibrēšana. Projekta novērtēšanā skolotājs vispirms novērtēja 3 projektu paraugus ar AI izveidoto rubriku. AI kādam piedāvāja 85; Skolotājs atrada šo pašu projektu rubriku 72, jo AI bija pārāk dāsni interpretējis vienu kritēriju. Skolotājs pats precizēja līmeņa aprakstu un ielika gala atzīmes. AI paātrināja melnrakstu; Skolotājs pieņēma lēmumu.
Kopējamas veidnes
1) Analītiskās rubrikas izklāsts:
Jūsu loma: [priekšmeta] skolotājs. Uzdevums: "[uzrakstīt izpildes uzdevumu]", sasniegums: "[sasniegums]", [X. klase]. Izveidojiet analītisko rubriku ar 4 kritērijiem. Lai katrs kritērijs ir saistīts ar rezultātu (PIEVIENOT neobjektīvus kritērijus, piemēram, rokrakstu un estētiku). Katram līmenim uzrakstiet 4 panākumu līmeņus un NOVĒROJAMO rādītāju. Nosveriet kritērijus, lai kopējais skaits būtu 100.
2) Līmeņu definīciju konkretizēšana:
Sekojošās rubrikas līmeņu apraksti ir ļoti abstrakti ("labi", "godīgi"). Pārrakstiet katru līmeni ar novērojamiem, saskaitāmiem rādītājiem (piemēram, "ne vairāk kā 2 kļūdas", "vismaz 3 piemēri"). Rubrika: [ielīmēt]
3) Holistiskā rubrika (ātrs novērtējums):
Uzrakstiet 4 līmeņu holistisku rubriku “[uzdevumam]”. Ļaujiet katram līmenim vienā rindkopā manāmi aprakstīt darba vispārējo raksturu. Ieguvums: "[guvums]". Norādiet arī piezīmju diapazonus.
4) Kalibrēšanas pārbaude:
Zemāk ir rubrika un studentu darbi. Atbilstoši rubrikai norādiet savu līmeni katrā mērā, pamatojot. Dodiet to kā IETEIKUMU; Es ielikšu gala atzīmi. Atzīmējiet visus kritērijus, kas paliek neskaidri. Rubrika + pētījums: [ielīmēt]
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Uzrakstiet projekta rubriku.
Nav uzdevuma, sasniegums, veids, kritēriju skaits, svars; Parādās nesasniegumu un abstrakta rubrika.
Spēcīga uzvedne:
Jūsu loma: dabaszinību skolotājs. Uzdevums: "Skolēns pēta atjaunojamo enerģijas avotu un sagatavo plakātu." Mērķis: "Students izskaidro enerģijas avota darbības principu un priekšrocības." 7. klase. Analītiskā rubrika ar 4 kritērijiem: satura precizitāte, skaidrojuma skaidrība, avotu izmantošana, kārtība. Nesasniegšanas kritēriju pievienošana. Lai katrs līmenis ir novērojams; Atsvaru summa ir 100.
funkciju
Analītiskā rubrika
holistiskā rubrika
Kritēriju skaits
Vairāki, gūti atsevišķi
Viens vispārējs spriedums
Atsauksmes
Detalizēts, uz kritērijiem balstīts
Ģenerālis
ātrumu
lēns
ātri
vispiemērotākais
Procesu/prasmju attīstība
Ātrs pārskats
AI ieguldījums
Kritēriji + līmeņa izklāsts
Līmeņa rindkopas projekts
Biežas kļūdas
- Nesasniegumu mērs. Ar rezultātu nesaistītu lietu vērtēšana, piemēram, rokraksts, estētika un piekļuve materiāliem, pārspēj godīgumu.
- Abstrakta līmeņa definīcija. Tādas definīcijas kā “labs/godīgs” rada nekonsekvenci un iebildumus; Izmantojiet novērojamo indikatoru.
- Rubrikas parādīšana vēlāk. Nedalīšana pirms uzdevuma atņem skolēnam mērķi.
- AI pakāpes izveidošana. AI var ieteikt parauga punktu skaitu, bet skolotājs dod galīgo atzīmi; Konsekvences kontrole ir skolotāja.
- Kalibrēšanas izlaišana. Rubrikas izmantošana, neizmēģinot to ar gadījumu izpēti, sniedz pārsteidzošus rezultātus.
Uzmanību: ir vilinoši, bet riskanti dot AI studenta darbu un pateikt "novērtējiet". Studentu darbi var saturēt personas datus (anonimizēt), un AI rezultāts var būt nekonsekvents/neobjektīvs. Izmantojiet AI, lai IETEIKTU punktus un izklāstītu atsauksmes; Jūs izlemjat.
Rezumējot
Rubrika ir rīks, kas padara novērtēšanu pārredzamu, konsekventu un aizsargājamu. Analītiskā rubrika nodrošina uz kritērijiem balstītu detalizētu atgriezenisko saiti, bet holistiskā rubrika nodrošina ātru vispārīgu spriedumu. AI ātri izstrādā ar sasniegumiem saistītus rādītājus, konkrētas līmeņu definīcijas un svarus; Bet skolotāja pienākums ir sakārtot nesasniegumu kritērijus, padarīt līmeņus novērojamus, kalibrēt un likt gala vērtējumu. Atzīme ir lēmums, kas skar skolēnu; Tas nav deleģēts AI.
Lietojumprogrammas uzdevums
Izveidojiet 4 kritēriju rubriku ar veidni “Analītiskās rubrikas izklāsts” izpildes uzdevumam, ko drīzumā sniegsiet. Noņemiet visus nesasniegšanas kritērijus un padariet līmeņa definīcijas redzamas. Pēc tam pārbaudiet konsekvenci, novērtējot savus (vai hipotētiskos) 2 pētījumu paraugus ar šo rubriku; Novērtējiet, vai abu pētījumu rezultāti atspoguļo to patiesās īpašības, un pielāgojiet savu rubriku.
kontrolsaraksts
- [ ] Vai visi kritēriji ir saistīti ar sasniegšanu (nav nesasniegšanas kritēriju)?
- [ ] Vai līmeņu definīcijas ir novērojamas un konkrētas?
- [ ] Es noteicu svarus un to summa ir 100?
- [ ] Vai es dalīšu rubriku ar skolēnu pirms uzdevuma veikšanas?
- [ ] Vai es kalibrēju rubriku ar paraugdarbu un pats ieliku galīgo vērtējumu?