Yunit 6 / 11

Pagsukat-Pagsusuri at Disenyo ng Rubric: Pamantayan, Antas at Pagkakatugma

Mga nadagdag:

  • Kakayahang maunawaan ang analytical at holistic na mga uri ng rubric, pamantayan at mga konsepto sa antas ng tagumpay at magdisenyo ng isang transparent na rubric na may suporta ng artificial intelligence.
  • Kakayahang gumawa ng mga sukatan na nakahanay sa tagumpay at mga timbang ng punto para sa gawain sa pagganap, portfolio at pagsusuri ng proyekto.
  • Kakayahang maunawaan na ang desisyon na magbigay ng mga marka at panghuling pagsusuri ay pagmamay-ari ng guro, na hindi kayang gawin ng artificial intelligence ang pagmamarka nang mag-isa, at ang pagkakapare-pareho ay dapat suriin ng guro.

Madaling sabihin sa isang mag-aaral na "ang proyektong ito ay nakakuha ng 70"; pero tanong ng estudyante "bakit 70?" o tinututulan ng magulang, dapat ay mayroon kang patas at mapagtatanggol na batayan. Ang batayan na ito ay ang rubric: isang tool sa pagmamarka na nagpapakita nang maaga ayon sa kung aling mga pamantayan at sa kung anong mga antas ang isang pagganap (proyekto, komposisyon, presentasyon, portfolio) ay susuriin. Ang isang magandang rubric ay parehong nagsasabi sa mag-aaral ng "kung ano ang inaasahan mula sa iyo" at ginagawang pare-pareho at transparent ang pagmamarka ng guro. Mabilis na binabalangkas ng AI ang mga sukatan na nauugnay sa pagkamit at mga kahulugan ng antas; Tinutukoy mo ang pagkakahanay, pagiging patas, at mga timbang. Malinaw ang hangganan: Ang pagmamarka at panghuling pagsusuri ay isang desisyon na nakakaapekto sa mag-aaral; Ang responsibilidad at huling pag-apruba ay pag-aari ng guro. Ang AI ay hindi makakapuntos nang mag-isa.

Mga uri at bahagi ng rubric

Mayroong dalawang pangunahing uri. Hinahati-hati ng analytical rubric ang pagganap sa magkakahiwalay na pamantayan—halimbawa, "nilalaman," "organisasyon," "wika at pagpapahayag," "pagsulat" sa isang sanaysay—at binibigyang-marka ang bawat pamantayan sa magkakahiwalay na antas ng tagumpay (hal., 4=napakahusay, 3=mahusay, 2=pagpapabuti, 1=simula). Nagbibigay ng detalyadong feedback ngunit nangangailangan ng oras upang maghanda at puntos. Ang holistic rubric ay nagbibigay ng isang pangkalahatang antas sa buong pag-aaral; Ito ay mabilis, ngunit hindi ito nagpapakita kung saan ito kulang.

Ang mga bahagi ng isang analytical rubric ay: pamantayan (kung ano ang sinusuri namin), mga antas (gaano kahusay), kahulugan ng antas ng bawat cell (kongkretong tagapagpahiwatig ng antas na iyon), at mga timbang (kung anong porsyento ng marka ang kriterya). Ang kahulugan ng magandang antas ay mapapansin: hindi "mahusay na pagkakasulat" ngunit "hindi hihigit sa 2 typo at mga talata sa lohikal na pagkakasunud-sunod".

Tip: Ibahagi ang rubric sa mag-aaral BAGO ang gawain. Ang rubric ay hindi isang tool ng surprise note, ngunit isang learning map; Kung alam ng mag-aaral kung ano ang gagawin, gumagawa siya ng isang mas mahusay na produkto.

Consistency at fairness

Ang tunay na halaga ng rubric ay consistency: kapag ang dalawang guro ay nakakuha ng parehong gawain sa dalawang magkaibang oras, ang resulta ay dapat magkatulad. Ito ay tinatawag na rater reliability. Maaaring gumawa ng balangkas ng rubric ang AI, ngunit ibinibigay ng guro ang pare-pareho: trabaho ng guro na gawing sapat na kongkreto ang mga paglalarawan sa antas, "i-calibrate" ang ilang case study gamit ang rubric (pagsusuri ng pagsubok), at linawin ang panuntunan sa mga marginal na kaso.

Sa interes ng pagiging patas, ang rubric ay hindi dapat magbigay ng mga bagay na walang kaugnayan sa kinalabasan (kagandahan ng sulat-kamay, materyal na kung saan ang mag-aaral ay nangangailangan ng socioeconomic access). Minsan nagdaragdag ang AI ng mga pamantayang hindi nakakamit tulad ng "estetika ng pagtatanghal"; Ito ay kinakailangan upang ayusin ang mga ito.

Hakbang-hakbang: Disenyo ng rubric na may AI

  1. Ibigay ang gawain at ang tagumpay. Ang susukatin ng rubric ay depende sa kung aling resulta.
  2. Pumili ng genre. Kung gusto mo ng detalyadong feedback, analytical; kung gusto mo ng mabilis na pangkalahatang paghuhusga, holistic.
  3. Humingi ng pamantayan, ngunit salain ang mga ito. 3-5 pamantayan tungkol sa tagumpay; tanggalin ang mga hindi nauugnay.
  4. Mga kahulugan sa antas ng kongkreto. Humingi ng mga nakikitang tagapagpahiwatig.
  5. Mawalan ng timbang. Aling pamantayan ang mas mahalaga? Hayaan ang kabuuan ay 100.
  6. Mag-calibrate. Puntos 1-2 sample na pag-aaral na may rubrics at pare-pareho sa pagsubok.
  7. Kunin ang pangwakas na desisyon. Kahit na magmungkahi ang AI ng sample na marka, ibibigay ng guro ang panghuling marka.

tatlong mini case

Case 1 — Non-attainment criterion extraction. Isang Turkish na guro ang humiling sa AI ng isang analytical rubric para sa isang sanaysay. Iminungkahi ng AI ang 5 pamantayan, ngunit ang isa ay "kagandahan ng sulat-kamay" — isang pamantayan na walang kaugnayan sa kinalabasan at hindi patas na pinarusahan ang mag-aaral na may hindi nabuong sulat-kamay. Inilabas ito ng guro at pinalitan ng "ide development." Ang rubric ay parehong patas at nakahanay sa tagumpay.

Kaso 2 — Concretization. Sa unang rubric ng isang guro, ang mga antas ay abstract, tulad ng "napakahusay / mabuti / patas"; Dalawang estudyante ang kumuha ng magkaibang antas ng magkatulad na gawain. Sinabi niya sa AI na "muling isulat ang bawat antas na may isang nakikitang tagapagpahiwatig." Nang dumating ang mga konkretong kahulugan gaya ng "Mahusay = hindi bababa sa 3 halimbawa at isang malinaw na talata ng konklusyon," tumaas ang pagkakapare-pareho at bumaba ang mga pagtutol.

Kaso 3 — Pag-calibrate. Sa isang pagsusuri ng proyekto, unang nakakuha ng 3 sample na proyekto ang guro gamit ang rubric na ginawa ng AI. Nag-alok ang AI ng 85 sa isang tao; Natagpuan ng guro ang parehong proyekto sa isang rubric 72 dahil ang AI ay masyadong binibigyang kahulugan ang isang pamantayan. Nilinaw ng guro ang paglalarawan ng antas at siya mismo ang nagtalaga ng mga huling marka. Pinabilis ng AI ang draft; Nagdesisyon ang guro.

Mga nakopyang template

1) Balangkas ng rubric ng analitikal:

Ang iyong tungkulin: guro ng [subject]. Gawain: "[write performance task]", achievement: "[achievement]", [X. klase]. Gumawa ng analytical rubric na may 4 na pamantayan. Hayaang ang bawat pamantayan ay nauugnay sa kinalabasan (ADD non-objective na pamantayan tulad ng sulat-kamay at aesthetics). Sumulat ng 4 na antas ng tagumpay at isang NABIBIGAY na tagapagpahiwatig para sa bawat antas. Timbangin ang pamantayan upang ang kabuuan ay 100.

2) Pagkonkreto ng mga kahulugan ng antas:

Ang mga paglalarawan sa antas ng sumusunod na rubric ay napaka abstract ("mabuti", "patas"). Isulat muli ang bawat antas na may napapansin, mabibilang na mga indicator (hal. "hindi hihigit sa 2 error", "kahit 3 halimbawa"). Rubric: [i-paste]

3) Holistic rubric (mabilis na pagsusuri):

Sumulat ng 4-level na holistic rubric para sa "[gawain]". Hayaang maobserbahan ng bawat antas ang pangkalahatang katangian ng gawain sa isang talata. Makakuha: "[makakuha]". Magbigay din ng mga hanay ng tala.

4) Pagsusuri sa pagkakalibrate:

Nasa ibaba ang isang rubric at gawain ng mag-aaral. Ayon sa rubric, sabihin ang iyong antas sa bawat sukat, nang may katwiran. Ibigay ito bilang isang SUGGESTION; Ibibigay ko ang huling grado. Markahan ang anumang pamantayan na nananatiling hindi malinaw. Rubric + pag-aaral: [paste]

Mahinang prompt / Malakas na prompt

Mahinang prompt:

Sumulat ng rubric para sa proyekto.

Walang gawain, tagumpay, uri, bilang ng pamantayan, timbang; May lalabas na rubric na hindi nakamit at abstract.

Napakahusay na prompt:

Ang iyong tungkulin: guro sa agham. Gawain: "Ang mag-aaral ay nagsasaliksik ng renewable energy source at naghahanda ng poster." Layunin: "Ipinapaliwanag ng mag-aaral ang prinsipyo ng pagtatrabaho at mga pakinabang ng pinagmumulan ng enerhiya." ika-7 baitang. Analytical rubric na may 4 na pamantayan: katumpakan ng nilalaman, kalinawan ng paliwanag, paggamit ng mga mapagkukunan, pagkakasunud-sunod. Pagdaragdag ng pamantayan sa hindi pagkamit. Hayaan ang bawat antas na maobserbahan; Ang kabuuan ng mga timbang ay 100.

tampok

Analytical rubric

holistic rubric

Bilang ng pamantayan

Maramihan, nakapuntos nang hiwalay

Isang pangkalahatang paghatol

Feedback

Detalyadong, batay sa pamantayan

Heneral

bilis

mabagal

mabilis

pinaka-angkop

Pagpapaunlad ng proseso/kasanayan

Mabilis na pangkalahatang-ideya

Kontribusyon ng AI

Pamantayan + balangkas ng antas

Draft ng talata sa antas

Mga karaniwang pagkakamali

  • Panukalang hindi nakamit. Ang pagmamarka ng mga bagay na hindi nauugnay sa kinalabasan, tulad ng sulat-kamay, aesthetics, at access sa mga materyales, ay nakakatalo sa pagiging patas.
  • Depinisyon ng antas ng abstract. Ang mga kahulugan tulad ng "mabuti/makatarungan" ay humahantong sa hindi pagkakapare-pareho at pagtutol; Gumamit ng nakikitang tagapagpahiwatig.
  • Ipinapakita ang rubric sa ibang pagkakataon. Ang hindi pagbabahagi bago ang gawain ay nag-aalis sa mag-aaral ng layunin.
  • Paggawa ng AI grade. Ang AI ay maaaring magmungkahi ng mga sample na marka, ngunit ang guro ay nagbibigay ng panghuling grado; Ang kontrol sa pagkakapare-pareho ay nasa guro.
  • Nilaktawan ang pagkakalibrate. Ang paggamit ng rubric nang hindi sinusubukan ito sa mga case study ay nagdudulot ng mga nakakagulat na resulta.
Babala: Nakatutukso ngunit mapanganib na bigyan ang AI ng gawain ng mag-aaral at sabihing "iskor" ito. Ang gawain ng mag-aaral ay maaaring maglaman ng personal na data (i-anonymize) at ang marka ng AI ay maaaring hindi pare-pareho/biased. Gamitin ang AI para MAGMAHUHAY ng mga puntos at magbalangkas ng feedback; Ikaw ang magdesisyon.

Sa buod

Ang rubric ay ang tool na ginagawang transparent, pare-pareho at mapagtatanggol ang pagsusuri. Ang analytical rubric ay nagbibigay ng criterion-based na detalyadong feedback, ang holistic rubric ay nagbibigay ng mabilis na pangkalahatang paghuhusga. Mabilis na binabalangkas ng AI ang mga sukatan na nauugnay sa tagumpay, mga kahulugan ng kongkretong antas, at mga timbang; Ngunit responsibilidad ng guro na ayusin ang mga pamantayan sa hindi pagkamit, gawin ang mga antas na maobserbahan, i-calibrate ang mga ito at ibigay ang panghuling grado. Ang grado ay isang desisyon na nakakaapekto sa mag-aaral; Hindi ito itinalaga sa AI.

Gawain ng aplikasyon

Gumawa ng 4-criteria rubric na may template na "Analytical rubric outline" para sa isang performance task na ibibigay mo sa lalong madaling panahon. Alisin ang anumang pamantayang hindi nakakamit at gawing napapansin ang mga kahulugan ng antas. Pagkatapos ay subukan ang pagkakapare-pareho sa pamamagitan ng pagmamarka ng iyong (o hypothetical) 2 sample na pag-aaral gamit ang rubric na ito; Suriin kung ang mga marka ng dalawang pag-aaral ay nagpapakita ng kanilang mga tunay na katangian at gumawa ng mga pagsasaayos sa iyong rubric.

checklist

  • [ ] May kaugnayan ba ang lahat ng pamantayan sa pagkamit (walang pamantayan sa hindi pagkamit)?
  • [ ] Ang mga kahulugan ba ng antas ay napapansin at kongkreto?
  • [ ] Natukoy ko ang mga timbang at ang kanilang kabuuan ay 100?
  • [ ] Ibabahagi ko ba ang rubric sa mag-aaral bago ang gawain?
  • [ ] Na-calibrate ko ba ang rubric gamit ang sample na gawain at ako mismo ang nagbigay ng huling marka?