اندازه گیری-ارزیابی و طراحی روبریک: معیارها، سطح و سازگاری

سود:

• توانایی درک انواع روبریک های تحلیلی و کل نگر، معیارها و مفاهیم سطح موفقیت و طراحی یک روبریک شفاف با پشتیبانی از هوش مصنوعی.
• توانایی تولید معیارهای همتراز با دستاورد و وزن امتیاز برای کار عملکرد، نمونه کارها و ارزیابی پروژه.
• توانایی درک اینکه تصمیم گیری برای نمره دادن و ارزشیابی نهایی به معلم تعلق دارد، هوش مصنوعی به تنهایی نمی تواند نمره گذاری را انجام دهد و این سازگاری باید توسط معلم بررسی شود.

به راحتی می توان به دانش آموز گفت: «این پروژه 70 گرفت». اما دانش آموز می پرسد "چرا 70؟" یا مخالفت والدین، شما باید مبنای منصفانه و قابل دفاعی داشته باشید. این مبنا روبریک است: ابزار امتیازدهی که از قبل نشان می‌دهد که براساس کدام معیار و در چه سطوحی یک عملکرد (پروژه، ترکیب، ارائه، نمونه کارها) ارزیابی می‌شود. یک روبریک خوب هم به دانش آموز می گوید "از شما چه انتظاری می رود" و هم باعث می شود نمره معلم ثابت و شفاف باشد. هوش مصنوعی به سرعت معیارهای مربوط به دستیابی و تعاریف سطح را تهیه می کند. شما تراز، انصاف و وزن را تعیین می کنید. مرز مشخص است: نمره گذاری و ارزشیابی نهایی تصمیمی است که دانش آموز را تحت تأثیر قرار می دهد. مسئولیت و تایید نهایی بر عهده استاد می باشد. هوش مصنوعی به تنهایی نمی تواند امتیاز بگیرد.

انواع و اجزای روبریک

دو نوع اساسی وجود دارد. روبریک تحلیلی عملکرد را به معیارهای جداگانه تقسیم می کند - به عنوان مثال، "محتوا"، "سازمان"، "زبان و بیان"، "نوشتن" در یک مقاله - و به هر معیار در سطوح مختلف موفقیت نمره می دهد (به عنوان مثال، 4 = خیلی خوب، 3 = خوب، 2 = بهبود، 1 = شروع). بازخورد دقیق ارائه می دهد اما برای آماده سازی و امتیاز دادن به زمان نیاز دارد. روبریک کل نگر یک سطح کلی واحد را به کل مطالعه می دهد. سریع است، اما نشان نمی دهد که در کجا کوتاه می آید.

اجزای یک روبریک تحلیلی عبارتند از: معیارها (آنچه ما ارزیابی می کنیم)، سطوح (چقدر خوب)، تعریف سطح هر سلول (شاخص مشخص آن سطح) و وزن ها (چه درصدی از امتیاز کدام معیار است). تعریف سطح خوب قابل مشاهده است: نه "خوب نوشته شده" بلکه "بیش از 2 اشتباه تایپی و پاراگراف به ترتیب منطقی".

نکته: قبل از انجام کار، موضوع را با دانش آموز به اشتراک بگذارید. Rubric یک ابزار یادداشت غافلگیرکننده نیست، بلکه یک نقشه یادگیری است. اگر دانش آموز بداند روی چه چیزی کار کند، محصول بهتری تولید می کند.

سازگاری و انصاف

ارزش واقعی روبریک سازگاری است: وقتی دو معلم به یک کار در دو زمان مختلف نمره می دهند، نتیجه باید مشابه باشد. این قابلیت اطمینان ارزیاب نامیده می شود. هوش مصنوعی ممکن است طرح کلی روبریک را تولید کند، اما معلم سازگاری را ارائه می دهد: وظیفه معلم این است که توصیفات سطح را به اندازه کافی مشخص کند، چند مطالعه موردی را با عنوان (امتیاز آزمایشی) "کالیبره کند" و در موارد حاشیه ای قاعده را روشن کند.

به منظور رعایت انصاف، روبریک نباید به چیزهایی بی ربط به نتیجه امتیاز دهد (زیبایی دست خط، مطالبی که دانش آموز به دسترسی اجتماعی-اقتصادی به آن نیاز دارد). AI گاهی اوقات معیارهای غیر دستیابی مانند "زیبایی شناسی ارائه" را اضافه می کند. باید آنها را مرتب کرد.

گام به گام: طراحی روبریک با هوش مصنوعی

1. وظیفه و دستاورد را بدهید. اینکه روبریک چه چیزی را اندازه گیری می کند بستگی به نتیجه دارد.
2. ژانر را انتخاب کنید اگر می خواهید بازخورد دقیق، تحلیلی داشته باشید. اگر می خواهید قضاوت کلی سریع، کل نگر داشته باشید.
3. معیارها را بخواهید، اما آنها را فیلتر کنید. 3-5 معیار در مورد موفقیت; موارد نامربوط را حذف کنید
4. تعاریف سطح بتن از شاخص های قابل مشاهده بخواهید.
5. کاهش وزن. کدام معیار مهمتر است؟ مجموعاً 100 باشد.
6. کالیبره کردن امتیاز 1-2 مطالعات نمونه با روبریک و سازگاری آزمون.
7. تصمیم نهایی را بگیرید. حتی اگر هوش مصنوعی یک نمره نمونه را پیشنهاد کند، معلم نمره نهایی را می دهد.

سه کیف کوچک

مورد 1 - استخراج معیار عدم دستیابی. یک معلم ترک از هوش مصنوعی یک روبریک تحلیلی برای یک مقاله خواست. هوش مصنوعی 5 معیار را پیشنهاد کرد، اما یکی از آنها «زیبایی دست خط» بود - معیاری که به نتیجه بی ربط بود و دانش آموز را با دست خط توسعه نیافته به طور ناعادلانه جریمه می کرد. معلم آن را بیرون آورد و «توسعه ایده» را جایگزین آن کرد. روبریک هم منصفانه بود و هم با موفقیت.

مورد 2 - بتن ریزی. در اولین روبریک یکی از معلمان، سطوح انتزاعی بودند، مانند "خیلی خوب / خوب / منصفانه". دو دانش آموز سطوح مختلف کار مشابه را انجام داده بودند. او به هوش مصنوعی گفت "هر سطح را با یک شاخص قابل مشاهده بازنویسی کند." وقتی تعاریف عینی مانند "خوب = حداقل 3 مثال و یک پاراگراف نتیجه گیری واضح" رسید، سازگاری افزایش یافت و اعتراضات کاهش یافت.

مورد 3 - کالیبراسیون. در یک ارزیابی پروژه، معلم ابتدا 3 پروژه نمونه را با عنوان تولید شده توسط هوش مصنوعی به دست آورد. هوش مصنوعی 85 را به کسی پیشنهاد داد. معلم همان پروژه را عنوان 72 پیدا کرد زیرا هوش مصنوعی یک معیار را بیش از حد سخاوتمندانه تفسیر کرده بود. معلم توضیحات سطح را روشن کرد و نمرات نهایی را خودش تعیین کرد. هوش مصنوعی پیش نویس را تسریع کرد. معلم تصمیم گرفت.

قالب های قابل کپی

1) طرح کلی تحلیلی:

نقش شما: [موضوع] معلم. وظیفه: "[نوشتن وظیفه عملکرد]"، دستاورد: "[دستاورد]"، [X. کلاس]. یک روبریک تحلیلی با 4 معیار ایجاد کنید. اجازه دهید هر معیار با نتیجه مرتبط باشد (معیارهای غیر عینی مانند دست خط و زیبایی شناسی را اضافه کنید). 4 سطح موفقیت و یک شاخص قابل مشاهده برای هر سطح بنویسید. معیارها را وزن کنید تا مجموع آنها 100 شود.

2) تعاریف دقیق تر:

توضیحات سطح روبریک زیر بسیار انتزاعی است ("خوب"، "منصفانه"). هر سطح را با شاخص‌های قابل مشاهده و شمارش بازنویسی کنید (مثلاً "بیش از 2 خطا"، "حداقل 3 مثال"). موضوع: [رب]

3) موضوع کل نگر (ارزیابی سریع):

یک روبریک کل نگر 4 سطحی برای «[وظیفه]» بنویسید. اجازه دهید هر سطح به طور مشهود ماهیت کلی کار را در یک پاراگراف توضیح دهد. سود: «[به دست آوردن]». همچنین محدوده های یادداشت را ارائه دهید.

4) بررسی کالیبراسیون:

در زیر عنوان و کار دانشجویی آورده شده است. با توجه به روبریک، سطح خود را در هر معیار با توجیه بیان کنید. این را به عنوان یک پیشنهاد ارائه دهید. نمره نهایی را می دهم. هر معیاری را که نامشخص است علامت گذاری کنید. موضوع + مطالعه: [رب]

اعلان ضعیف / اعلان قوی

اعلان ضعیف:

یک روبریک برای پروژه بنویسید.

بدون تکلیف، دستاورد، نوع، تعداد معیارها، وزن. یک روبریک غیر دستیابی و انتزاعی ظاهر می شود.

اعلان قدرتمند:

نقش شما: معلم علوم وظیفه: "دانش آموز در مورد منبع انرژی تجدید پذیر تحقیق می کند و پوستر تهیه می کند." هدف: "دانش آموز اصل کار و مزایای منبع انرژی را توضیح می دهد." کلاس هفتم. روبریک تحلیلی با 4 معیار صحت محتوا، وضوح توضیح، استفاده از منابع، ترتیب. اضافه کردن معیارهای عدم دستیابی بگذارید هر سطح قابل مشاهده باشد. مجموع اوزان 100 است.

ویژگی

موضوع تحلیلی

روبریک کل نگر

تعداد معیارها

چندگانه، به طور جداگانه امتیاز داده شده است

قضاوت کلی واحد

بازخورد

جزئیات، بر اساس معیارها

ژنرال

سرعت

کند

سریع

مناسب ترین

توسعه فرآیند/مهارت

بررسی اجمالی سریع

سهم هوش مصنوعی

معیارها + طرح کلی سطح

پیش نویس پاراگراف سطح

اشتباهات رایج

• معیار عدم دستیابی امتیاز دادن به چیزهایی که به نتیجه مربوط نمی شود، مانند دست خط، زیبایی شناسی و دسترسی به مواد، انصاف را شکست می دهد.
• تعریف سطح انتزاعی تعاریفی مانند "خوب/منصفانه" منجر به تناقض و اعتراض می شود. از نشانگر قابل مشاهده استفاده کنید.
• بعداً روبریک نشان داده می شود. سهیم نشدن قبل از تکلیف دانش آموز را از هدف محروم می کند.
• ساختن درجه هوش مصنوعی هوش مصنوعی ممکن است نمرات نمونه را پیشنهاد کند، اما معلم نمره نهایی را می دهد. کنترل سازگاری در اختیار معلم است.
• رد شدن از کالیبراسیون استفاده از روبریک بدون امتحان آن با مطالعات موردی نتایج شگفت انگیزی به همراه دارد.

احتیاط: دادن کار دانشجویی به هوش مصنوعی و گفتن "امتیاز" وسوسه انگیز است اما خطرناک است. کار دانش‌آموز ممکن است حاوی داده‌های شخصی باشد (ناشناس) و امتیاز هوش مصنوعی ممکن است متناقض/سوگیرانه باشد. از هوش مصنوعی برای پیشنهاد نکات و طرح بازخورد استفاده کنید. شما تصمیم بگیرید

به طور خلاصه

روبریک ابزاری است که ارزیابی را شفاف، سازگار و قابل دفاع می کند. روبریک تحلیلی بازخورد دقیق مبتنی بر معیار را ارائه می دهد، روبریک کل نگر قضاوت عمومی سریع را ارائه می دهد. هوش مصنوعی به سرعت معیارهای مربوط به دستاوردها، تعاریف سطح مشخص و وزن ها را تهیه می کند. اما این وظیفه معلم است که معیارهای عدم دستیابی را مرتب کند، سطوح را قابل مشاهده کند، آنها را کالیبره کند و نمره نهایی را بدهد. نمره تصمیمی است که دانش آموز را تحت تأثیر قرار می دهد. به هوش مصنوعی واگذار نشده است.

وظیفه کاربردی

یک روبریک 4 معیاری با الگوی «طرح کلی روبریک تحلیلی» برای یک کار عملکردی که به زودی انجام خواهید داد، ایجاد کنید. معیارهای غیر دستیابی را حذف کنید و تعاریف سطح را قابل مشاهده کنید. سپس سازگاری را با نمره دادن به 2 مطالعه نمونه (یا فرضی) خود با این روبریک آزمایش کنید. ارزیابی کنید که آیا نمرات دو مطالعه ویژگی های واقعی آنها را منعکس می کند یا خیر و اصلاحاتی را در عنوان خود انجام دهید.

چک لیست

• [ ] آیا دستیابی به همه معیارها مرتبط است (بدون معیار عدم دستیابی)؟
• [ ] آیا تعاریف سطح قابل مشاهده و مشخص هستند؟
• [ ] اوزان را تعیین کردم و مجموع آنها 100 است؟
• [ ] آیا قبل از انجام کار، روبریک را با دانش آموز به اشتراک خواهم گذاشت؟
• [ ] آیا من روبریک را با نمونه کار کالیبره کردم و نمره نهایی را خودم دادم؟