Satuan 6 / 11

Evaluasi-Pengukuran dan Desain Rubrik: Kriteria, Tingkat dan Konsistensi

Keuntungan:

  • Kemampuan memahami jenis rubrik analitis dan holistik, kriteria dan konsep tingkat keberhasilan serta merancang rubrik transparan dengan dukungan kecerdasan buatan.
  • Kemampuan untuk menghasilkan metrik dan bobot poin yang selaras dengan pencapaian untuk tugas kinerja, portofolio, dan evaluasi proyek.
  • Kemampuan untuk memahami bahwa keputusan pemberian nilai dan evaluasi akhir adalah milik guru, bahwa kecerdasan buatan tidak dapat melakukan penilaian sendirian, dan konsistensi harus diperiksa oleh guru.

Sangat mudah untuk mengatakan kepada siswa "proyek ini mendapat nilai 70"; tetapi siswa tersebut bertanya “mengapa 70?” atau orang tua berkeberatan, Anda harus mempunyai dasar yang adil dan dapat dipertahankan. Dasarnya adalah rubrik: alat penilaian yang menunjukkan terlebih dahulu kriteria apa dan pada tingkat apa suatu kinerja (proyek, komposisi, presentasi, portofolio) akan dievaluasi. Rubrik yang baik memberi tahu siswa “apa yang diharapkan dari Anda” dan membuat penilaian guru konsisten dan transparan. AI dengan cepat menyusun metrik terkait pencapaian dan definisi level; Anda menentukan keselarasan, keadilan, dan bobot. Batasannya jelas: Penilaian dan evaluasi akhir adalah keputusan yang mempengaruhi siswa; Tanggung jawab dan persetujuan akhir ada di tangan guru. AI tidak bisa mencetak gol sendirian.

Jenis rubrik dan komponennya

Ada dua tipe dasar. Rubrik analitis mengelompokkan kinerja ke dalam kriteria yang terpisah—misalnya, "isi", "organisasi", "bahasa dan ekspresi", "penulisan" dalam sebuah esai—dan menilai setiap kriteria pada tingkat pencapaian yang berbeda (misalnya, 4=sangat baik, 3=baik, 2=meningkat, 1=awal). Memberikan umpan balik terperinci tetapi membutuhkan waktu untuk mempersiapkan dan menilai. Rubrik holistik memberikan satu tingkat umum pada keseluruhan kajian; Ini cepat, tetapi tidak menunjukkan kekurangannya.

Komponen rubrik analitik adalah: kriteria (apa yang kita evaluasi), level (seberapa baik), definisi level setiap sel (indikator konkrit level tersebut), dan bobot (berapa persentase skor yang menjadi kriteria mana). Definisi tingkat baik dapat diamati: tidak "ditulis dengan baik" tetapi "tidak lebih dari 2 kesalahan ketik dan paragraf dalam urutan yang logis".

Tip: Bagikan rubrik tersebut kepada siswa SEBELUM mengerjakan tugas. Rubrik bukanlah alat catatan kejutan, melainkan peta pembelajaran; Jika siswa mengetahui apa yang harus dikerjakan, dia menghasilkan produk yang lebih baik.

Konsistensi dan keadilan

Nilai sebenarnya dari rubrik ini adalah konsistensi: ketika dua guru menilai pekerjaan yang sama pada dua waktu yang berbeda, hasilnya harus sama. Hal ini disebut keandalan penilai. AI dapat menghasilkan garis besar rubrik, namun guru memberikan konsistensi: tugas guru adalah membuat deskripsi level cukup konkrit, "mengkalibrasi" beberapa studi kasus dengan rubrik (penilaian percobaan), dan memperjelas aturan dalam kasus-kasus marginal.

Demi keadilan, rubrik tidak boleh menilai hal-hal yang tidak relevan dengan hasil (keindahan tulisan tangan, materi yang memerlukan akses sosioekonomi siswa). AI terkadang menambahkan kriteria non-pencapaian seperti “estetika presentasi”; Kita perlu memilahnya.

Langkah demi langkah: Desain rubrik dengan AI

  1. Berikan tugas dan prestasinya. Apa yang akan diukur oleh rubrik tersebut bergantung pada hasil yang mana.
  2. Pilih genre. Jika Anda menginginkan umpan balik yang mendetail, analitis; jika Anda ingin penilaian umum yang cepat, holistik.
  3. Mintalah kriterianya, tapi saringlah kriterianya. 3-5 kriteria mengenai prestasi; hapus yang tidak relevan.
  4. Definisi tingkat konkrit. Mintalah indikator yang dapat diamati.
  5. Menurunkan berat badan. Kriteria mana yang lebih penting? Biarkan totalnya menjadi 100.
  6. Menyesuaikan. Skor 1-2 sampel penelitian dengan rubrik dan uji konsistensi.
  7. Ambil keputusan akhir. Sekalipun AI menyarankan skor sampel, guru memberikan nilai akhir.

tiga kasus mini

Kasus 1 — Ekstraksi kriteria non-pencapaian. Seorang guru Turki meminta AI untuk memberikan rubrik analitis untuk sebuah esai. AI mengusulkan 5 kriteria, namun salah satu kriterianya adalah “keindahan tulisan tangan” — sebuah kriteria yang tidak relevan dengan hasil dan memberikan sanksi yang tidak adil kepada siswa yang tulisan tangannya kurang berkembang. Guru mengeluarkannya dan menggantinya dengan "pengembangan ide". Rubriknya adil dan selaras dengan pencapaian.

Kasus 2 — Konkretisasi. Pada rubrik pertama salah satu guru, tingkatannya bersifat abstrak, seperti “sangat baik/baik/cukup”; Dua siswa telah mengambil tingkat pekerjaan serupa yang berbeda. Dia meminta AI untuk “menulis ulang setiap level dengan indikator yang dapat diamati.” Ketika definisi konkrit seperti "Baik = minimal 3 contoh dan paragraf kesimpulan yang jelas" diperoleh, konsistensi meningkat dan keberatan berkurang.

Kasus 3 — Kalibrasi. Dalam evaluasi proyek, guru terlebih dahulu menilai 3 proyek sampel dengan rubrik yang dihasilkan oleh AI. AI menawarkan 85 kepada seseorang; Guru menemukan proyek yang sama pada rubrik 72 karena AI telah menafsirkan satu kriteria terlalu berlebihan. Guru mengklarifikasi deskripsi level dan menetapkan sendiri nilai akhir. AI mempercepat rancangan tersebut; Guru membuat keputusan.

Templat yang dapat disalin

1) Garis besar rubrik analitis:

Peran Anda: guru [mata pelajaran]. Tugas: "[menulis tugas kinerja]", pencapaian: "[prestasi]", [X. kelas]. Buat rubrik analitis dengan 4 kriteria. Biarkan setiap kriteria dikaitkan dengan hasil (TAMBAHKAN kriteria non-objektif seperti tulisan tangan dan estetika). Tuliskan 4 tingkat keberhasilan dan indikator YANG DAPAT DIAMATI untuk setiap tingkat. Bobot kriterianya sehingga totalnya 100.

2) Mengkonkretkan definisi tingkat:

Deskripsi tingkatan pada rubrik berikut ini sangat abstrak (“baik”, “cukup”). Tulis ulang setiap level dengan indikator yang dapat diamati dan dihitung (misalnya, "tidak lebih dari 2 kesalahan", "setidaknya 3 contoh"). Rubrik: [tempel]

3) Rubrik holistik (evaluasi cepat):

Tulis rubrik holistik 4 tingkat untuk "[tugas]". Biarkan setiap tingkat menggambarkan sifat umum pekerjaan dalam satu paragraf. Keuntungan: "[keuntungan]". Berikan juga rentang nada.

4) Pemeriksaan kalibrasi:

Di bawah ini adalah rubrik dan hasil karya siswa. Berdasarkan rubrik, nyatakan level Anda pada setiap pengukuran, disertai justifikasinya. Berikan ini sebagai SARAN; Saya akan memberikan nilai akhir. Tandai kriteria apa pun yang masih belum jelas. Rubrik + kajian : [tempel]

Perintah lemah / Perintah kuat

Perintah yang lemah:

Tulis rubrik untuk proyek tersebut.

Tidak ada tugas, prestasi, jenis, jumlah kriteria, bobot; Muncul rubrik non-pencapaian dan abstrak.

Perintah yang kuat:

Peran Anda: guru sains. Tugas: “Siswa meneliti sumber energi terbarukan dan menyiapkan poster.” Tujuan : “Siswa menjelaskan prinsip kerja dan keunggulan sumber energi.” kelas 7. Rubrik analitik dengan 4 kriteria: keakuratan isi, kejelasan penjelasan, penggunaan sumber, keteraturan. Menambahkan kriteria non-pencapaian. Biarkan setiap level dapat diamati; Jumlah bobotnya adalah 100.

fitur

Rubrik analitis

rubrik holistik

Jumlah kriteria

Berganda, diberi skor secara terpisah

Penilaian umum tunggal

Umpan balik

Terperinci, berdasarkan kriteria

Umum

kecepatan

lambat

cepat

paling cocok

Pengembangan proses/keterampilan

Ikhtisar singkat

Kontribusi AI

Kriteria + garis besar level

Draf paragraf tingkat

Kesalahan umum

  • Ukuran non-pencapaian. Penilaian terhadap hal-hal yang tidak berhubungan dengan hasil, seperti tulisan tangan, estetika, dan akses terhadap materi, berarti mengalahkan keadilan.
  • Definisi tingkat abstrak. Definisi seperti “baik/adil” menyebabkan inkonsistensi dan keberatan; Gunakan indikator yang dapat diamati.
  • Menampilkan rubriknya nanti. Tidak berbagi sebelum tugas menghilangkan tujuan siswa.
  • Membuat nilai AI. AI mungkin menyarankan skor sampel, tetapi guru memberikan nilai akhir; Kontrol konsistensi adalah milik guru.
  • Melewatkan kalibrasi. Menggunakan rubrik tanpa mencobanya dengan studi kasus memberikan hasil yang mengejutkan.
Perhatian: Memberikan tugas siswa kepada AI dan mengatakan "nilai" itu menggoda, tetapi berisiko. Pekerjaan siswa mungkin berisi data pribadi (anonimkan) dan skor AI mungkin tidak konsisten/bias. Gunakan AI untuk MENYARANKAN poin dan menguraikan masukan; Anda yang memutuskan.

Singkatnya

Rubrik adalah alat yang menjadikan evaluasi transparan, konsisten, dan dapat dipertahankan. Rubrik analitis memberikan umpan balik terperinci berdasarkan kriteria, rubrik holistik memberikan penilaian umum yang cepat. AI dengan cepat menyusun metrik terkait pencapaian, definisi level konkrit, dan bobot; Namun merupakan tanggung jawab guru untuk memilah kriteria yang tidak dapat dicapai, membuat tingkatannya dapat diamati, mengkalibrasinya dan memberikan nilai akhir. Nilai adalah keputusan yang mempengaruhi siswa; Itu tidak didelegasikan ke AI.

Tugas aplikasi

Buat rubrik 4 kriteria dengan templat "Garis Besar Rubrik Analitik" untuk tugas kinerja yang akan segera Anda berikan. Hapus semua kriteria yang tidak dapat dicapai dan buat definisi tingkat dapat diamati. Kemudian uji konsistensi dengan menilai (atau hipotetis) 2 studi sampel Anda dengan rubrik ini; Evaluasi apakah skor kedua studi mencerminkan kualitas sebenarnya dan lakukan penyesuaian pada rubrik Anda.

daftar periksa

  • [ ] Apakah semua kriteria pencapaian saling berkaitan (tidak ada kriteria non-pencapaian)?
  • [ ] Apakah definisi tingkat dapat diamati dan konkrit?
  • [ ] Saya menentukan bobotnya dan jumlahnya 100?
  • [ ] Apakah saya akan membagikan rubrik tersebut kepada siswa sebelum mengerjakan tugas?
  • [ ] Apakah saya mengkalibrasi rubrik dengan contoh pekerjaan dan memberikan nilai akhir sendiri?