Unit 6 / 11

Pengukuran-Penilaian dan Reka Bentuk Rubrik: Kriteria, Tahap dan Ketekalan

Keuntungan:

  • Keupayaan untuk memahami jenis rubrik analitikal dan holistik, kriteria dan konsep tahap kejayaan dan mereka bentuk rubrik telus dengan sokongan kecerdasan buatan.
  • Keupayaan untuk menghasilkan metrik sejajar pencapaian dan pemberat mata untuk tugasan prestasi, portfolio dan penilaian projek.
  • Keupayaan untuk memahami bahawa keputusan untuk memberikan gred dan penilaian akhir adalah milik guru, bahawa kecerdasan buatan tidak boleh melakukan pemarkahan sahaja, dan konsistensi itu mesti disemak oleh guru.

Sangat mudah untuk memberitahu pelajar "projek ini mendapat 70"; tetapi pelajar bertanya "mengapa 70?" atau objek ibu bapa, anda mesti mempunyai asas yang adil dan boleh dipertahankan. Asas ini ialah rubrik: alat pemarkahan yang menunjukkan terlebih dahulu mengikut kriteria dan pada tahap prestasi (projek, gubahan, pembentangan, portfolio) akan dinilai. Rubrik yang baik memberitahu pelajar "apa yang diharapkan daripada anda" dan menjadikan pemarkahan guru konsisten dan telus. AI dengan cepat merangka metrik berkaitan pencapaian dan definisi tahap; Anda menentukan penjajaran, keadilan dan berat. Sempadannya jelas: Penggredan dan penilaian akhir adalah keputusan yang memberi kesan kepada pelajar; Tanggungjawab dan kelulusan muktamad adalah milik guru. AI tidak boleh menjaringkan gol sahaja.

Jenis dan komponen rubrik

Terdapat dua jenis asas. Rubrik analisis membahagikan prestasi kepada kriteria yang berasingan—contohnya, "kandungan", "organisasi", "bahasa dan ungkapan", "penulisan" dalam esei—dan menjaringkan setiap kriteria pada tahap pencapaian yang berasingan (mis., 4=sangat baik, 3=baik, 2=meningkatkan, 1=permulaan). Menyediakan maklum balas terperinci tetapi mengambil masa untuk menyediakan dan menjaringkan gol. Rubrik holistik memberikan satu tahap umum kepada keseluruhan kajian; Ia pantas, tetapi ia tidak menunjukkan di mana ia gagal.

Komponen rubrik analitik ialah: kriteria (apa yang kita nilai), tahap (sejauh mana baik), takrifan tahap setiap sel (penunjuk konkrit tahap itu) dan pemberat (berapa peratusan skor adalah kriteria yang mana). Takrifan tahap baik boleh diperhatikan: bukan "ditulis dengan baik" tetapi "tidak lebih daripada 2 kesilapan taip dan perenggan mengikut susunan logik".

Petua: Kongsi rubrik dengan pelajar SEBELUM tugasan. Rubrik bukanlah alat nota kejutan, tetapi peta pembelajaran; Jika pelajar tahu apa yang perlu diusahakan, dia menghasilkan produk yang lebih baik.

Konsisten dan adil

Nilai sebenar rubrik ialah ketekalan: apabila dua guru menjaringkan kerja yang sama pada dua masa yang berbeza, hasilnya harus serupa. Ini dipanggil kebolehpercayaan penilai. AI boleh menghasilkan garis besar rubrik, tetapi guru menyediakan ketekalan: adalah tugas guru untuk membuat huraian tahap yang cukup konkrit, untuk "menentukur" beberapa kajian kes dengan rubrik (pemarkahan percubaan), dan untuk menjelaskan peraturan dalam kes marginal.

Demi keadilan, rubrik tidak seharusnya menjaringkan perkara yang tidak relevan dengan hasilnya (keindahan tulisan tangan, bahan yang pelajar perlukan akses sosioekonomi). AI kadangkala menambahkan kriteria bukan pencapaian seperti "estetika persembahan"; Ia adalah perlu untuk menyelesaikannya.

Langkah demi langkah: Reka bentuk rubrik dengan AI

  1. Berikan tugas dan pencapaian. Apa yang akan diukur oleh rubrik bergantung pada hasil yang mana.
  2. Pilih genre. Jika anda mahu maklum balas terperinci, analitikal; jika anda mahukan pertimbangan umum yang cepat, holistik.
  3. Minta kriteria, tetapi tapis mereka. 3-5 kriteria mengenai pencapaian; keluarkan yang tidak berkaitan.
  4. Definisi peringkat konkrit. Minta petunjuk yang boleh diperhatikan.
  5. Kurangkan berat badan. Kriteria mana yang lebih penting? Biarkan jumlahnya 100.
  6. Kalibrasi. Skor 1-2 sampel kajian dengan rubrik dan ketekalan ujian.
  7. Ambil keputusan muktamad. Walaupun AI mencadangkan skor sampel, guru memberikan gred akhir.

tiga kes mini

Kes 1 — Pengekstrakan kriteria bukan pencapaian. Seorang guru Turki meminta AI untuk rubrik analisis untuk esei. AI mencadangkan 5 kriteria, tetapi satu ialah "kecantikan tulisan tangan" — kriteria yang tidak relevan dengan hasil dan secara tidak adil menghukum pelajar dengan tulisan tangan yang kurang berkembang. Guru mengeluarkannya dan menggantikannya dengan "perkembangan idea." Rubrik adalah adil dan sejajar dengan pencapaian.

Kes 2 — Pemkonkretan. Dalam rubrik pertama seorang guru, tahapnya adalah abstrak, seperti "sangat baik / baik / adil"; Dua orang pelajar telah mengambil tahap kerja yang serupa. Dia memberitahu AI untuk "menulis semula setiap tahap dengan penunjuk yang boleh diperhatikan." Apabila definisi konkrit seperti "Baik = sekurang-kurangnya 3 contoh dan perenggan kesimpulan yang jelas" tiba, konsistensi meningkat dan bantahan berkurangan.

Kes 3 — Penentukuran. Dalam penilaian projek, guru terlebih dahulu menjaringkan 3 contoh projek dengan rubrik yang dihasilkan oleh AI. AI menawarkan 85 kepada seseorang; Guru mendapati projek yang sama rubrik 72 kerana AI telah mentafsir satu kriteria terlalu murah hati. Guru menjelaskan huraian tahap dan memberikan gred akhir sendiri. AI mempercepatkan draf; Guru membuat keputusan.

Templat yang boleh disalin

1) Garis besar rubrik analisis:

Peranan anda: guru [mata pelajaran]. Tugasan: "[tulis tugas prestasi]", pencapaian: "[pencapaian]", [X. kelas]. Buat rubrik analitik dengan 4 kriteria. Biarkan setiap kriteria berkaitan dengan hasil (TAMBAH kriteria bukan objektif seperti tulisan tangan dan estetika). Tulis 4 tahap kejayaan dan penunjuk BOLEH DIPERHATIKAN untuk setiap tahap. Timbang kriteria supaya jumlahnya ialah 100.

2) Mengukuhkan definisi peringkat:

Penerangan tahap rubrik berikut adalah sangat abstrak ("baik", "adil"). Tulis semula setiap tahap dengan penunjuk boleh diperhatikan dan boleh dikira (cth. "tidak lebih daripada 2 ralat", "sekurang-kurangnya 3 contoh"). Rubrik: [tampal]

3) Rubrik holistik (penilaian pantas):

Tulis rubrik holistik 4 peringkat untuk "[tugas]". Biarkan setiap peringkat dengan jelas menerangkan sifat umum kerja dalam satu perenggan. Keuntungan: "[keuntungan]". Juga berikan julat nota.

4) Pemeriksaan penentukuran:

Di bawah ialah rubrik dan hasil kerja pelajar. Menurut rubrik, nyatakan tahap anda dalam setiap ukuran, dengan justifikasi. Berikan ini sebagai CADANGAN; Saya akan memberikan gred akhir. Tandakan mana-mana kriteria yang masih tidak jelas. Rubrik + kajian: [tampal]

Gesaan lemah / Gesaan kuat

Gesaan yang lemah:

Tulis rubrik untuk projek itu.

Tiada tugas, pencapaian, jenis, bilangan kriteria, berat; Rubrik bukan pencapaian dan abstrak muncul.

Gesaan kuat:

Peranan anda: guru sains. Tugas: "Pelajar menyelidik sumber tenaga boleh diperbaharui dan menyediakan poster." Objektif: "Pelajar menerangkan prinsip kerja dan kelebihan sumber tenaga." darjah 7. Rubrik analisis dengan 4 kriteria: ketepatan kandungan, kejelasan penerangan, penggunaan sumber, susunan. Menambah kriteria bukan pencapaian. Biarkan setiap peringkat boleh diperhatikan; Jumlah berat ialah 100.

ciri

Rubrik analisis

rubrik holistik

Bilangan kriteria

Berbilang, dijaringkan secara berasingan

Penghakiman umum tunggal

Maklum balas

Terperinci, berdasarkan kriteria

Umum

kelajuan

lambat

cepat

paling sesuai

Pembangunan proses/kemahiran

Gambaran keseluruhan pantas

Sumbangan AI

Kriteria + garis besar tahap

Draf perenggan peringkat

Kesilapan biasa

  • Ukuran tidak tercapai. Menskor perkara yang tidak berkaitan dengan hasil, seperti tulisan tangan, estetika dan akses kepada bahan, mengalahkan keadilan.
  • Definisi tahap abstrak. Takrif seperti "baik/adil" membawa kepada ketidakkonsistenan dan bantahan; Gunakan penunjuk yang boleh diperhatikan.
  • Menunjukkan rubrik kemudian. Tidak berkongsi sebelum tugas menghalang pelajar daripada matlamat.
  • Membuat gred AI. AI mungkin mencadangkan skor sampel, tetapi guru memberikan gred akhir; Kawalan konsistensi adalah milik guru.
  • Melangkau penentukuran. Menggunakan rubrik tanpa mencubanya dengan kajian kes membawa hasil yang mengejutkan.
Awas: Adalah menggoda tetapi berisiko untuk memberikan AI hasil kerja pelajar dan mengatakan "skor" itu. Kerja pelajar mungkin mengandungi data peribadi (tanpa nama) dan skor AI mungkin tidak konsisten/berat sebelah. Gunakan AI untuk MENCADANGKAN mata dan menggariskan maklum balas; awak tentukan.

Secara ringkasnya

Rubrik ialah alat yang menjadikan penilaian telus, konsisten dan boleh dipertahankan. Rubrik analitik menyediakan maklum balas terperinci berasaskan kriteria, rubrik holistik menyediakan pertimbangan umum yang cepat. AI dengan cepat mendraf metrik berkaitan pencapaian, definisi tahap konkrit dan pemberat; Tetapi adalah menjadi tanggungjawab guru untuk menyusun kriteria bukan pencapaian, membuat tahap boleh diperhatikan, menentukurnya dan memberikan gred akhir. Gred ialah keputusan yang memberi kesan kepada pelajar; Ia tidak diwakilkan kepada AI.

Tugasan permohonan

Buat rubrik 4 kriteria dengan templat "Garis rubrik analitik" untuk tugas prestasi yang akan anda berikan tidak lama lagi. Alih keluar mana-mana kriteria bukan pencapaian dan jadikan definisi tahap boleh diperhatikan. Kemudian uji ketekalan dengan memberi markah (atau hipotetikal) 2 sampel kajian anda dengan rubrik ini; Nilaikan sama ada markah kedua-dua kajian mencerminkan kualiti sebenar mereka dan buat pelarasan pada rubrik anda.

senarai semak

  • [ ] Adakah semua kriteria pencapaian berkaitan (tiada kriteria bukan pencapaian)?
  • [ ] Adakah definisi tahap boleh diperhatikan dan konkrit?
  • [ ] Saya tentukan pemberat dan jumlahnya ialah 100?
  • [ ] Adakah saya akan berkongsi rubrik dengan pelajar sebelum tugasan?
  • [ ] Adakah saya menentukur rubrik dengan contoh kerja dan memberikan gred akhir sendiri?