Добивки:
- Способност да се разберат аналитички и холистички типови на рубрики, критериуми и концепти на ниво на успех и да се дизајнира транспарентна рубрика со поддршка на вештачка интелигенција.
- Способност да се произведат метрика усогласени со достигнувањата и тежини на поени за задача на изведба, портфолио и евалуација на проекти.
- Способност да се разбере дека одлуката за давање оценки и финалната евалуација му припаѓа на наставникот, дека вештачката интелигенција не може сама да го постигне бодувањето и дека доследноста мора да ја провери наставникот.
Лесно е да му кажеш на студентот „овој проект доби 70“; но студентот прашува "зошто 70?" или родителот приговара, мора да имате правична и одбранлива основа. Оваа основа е рубриката: алатка за бодување која однапред покажува според кои критериуми и на кои нивоа ќе се оценува изведбата (проект, состав, презентација, портфолио). Добрата рубрика му кажува на ученикот „што се очекува од тебе“ и го прави бодувањето на наставникот конзистентно и транспарентно. Вештачката интелигенција брзо подготвува метрика и дефиниции за нивоа поврзани со достигнувањата; Вие ја одредувате усогласеноста, правичноста и тежините. Границата е јасна: Оценувањето и финалната евалуација е одлука која влијае на ученикот; Одговорноста и конечното одобрување е на наставникот. ВИ не може сама да постигне гол.
Видови и компоненти на рубрики
Постојат два основни типа. Аналитичката рубрика ги разложува перформансите на посебни критериуми - на пример, „содржина“, „организација“, „јазик и израз“, „пишување“ во есејот - и го бодува секој критериум на одделни нивоа на постигнувања (на пр., 4=многу добро, 3=добро, 2=подобрување, 1=почеток). Обезбедува детални повратни информации, но потребно е време да се подготви и да постигне гол. Холистичката рубрика дава едно општо ниво на целата студија; Брз е, но не покажува каде паѓа.
Компонентите на аналитичката рубрика се: критериуми (што оценуваме), нивоа (колку е добро), дефиниција на ниво на секоја ќелија (конкретен индикатор за тоа ниво) и тежини (колкав процент од резултатот е кој критериум). Дефиницијата за добро ниво може да се забележи: не „добро напишано“, туку „не повеќе од 2 печатни грешки и параграфи по логичен редослед“.
Совет: Споделете ја рубриката со ученикот ПРЕД задачата. Рубриката не е алатка за белешки за изненадување, туку мапа за учење; Ако ученикот знае на што да работи, тој произведува подобар производ.
Доследност и правичност
Вистинската вредност на рубриката е конзистентноста: кога двајца наставници постигнуваат иста работа во две различни времиња, резултатот треба да биде сличен. Ова се нарекува доверливост на оценувачот. Вештачката интелигенција може да ја создаде контурата на рубриката, но наставникот ја обезбедува конзистентноста: задачата на наставникот е да ги направи описите на нивоата доволно конкретни, да „калибрира“ неколку студии на случај со рубриката (оценување на тестовите) и да го разјасни правилото во маргиналните случаи.
Во интерес на правичност, рубриката не треба да оценува работи кои не се важни за исходот (убавина на ракописот, материјал до кој на ученикот му е потребен социо-економски пристап). Вештачката интелигенција понекогаш додава критериуми за неостварување како „естетика на презентацијата“; Неопходно е да се средат.
Чекор по чекор: Дизајн на рубрика со вештачка интелигенција
- Дајте ја задачата и постигнувањето. Што ќе мери рубриката зависи од кој исход.
- Изберете жанр. Ако сакате детален фидбек, аналитички; ако сакате брзо општо расудување, холистички.
- Побарајте критериуми, но филтрирајте ги. 3-5 критериуми во однос на постигнувањата; отстранете ги небитните.
- Дефиниции за конкретни нивоа. Побарајте забележливи индикатори.
- Намалете ја тежината. Кој критериум е поважен? Вкупно нека биде 100.
- Калибрирајте. Оценете 1-2 примероци на студии со рубрики и конзистентност на тестот.
- Донесете ја конечната одлука. Дури и ако вештачката интелигенција предложи резултат на примерок, наставникот ја дава конечната оценка.
три мини футроли
Случај 1 - Извлекување на критериум за неостварување. Еден турски наставник побара од АИ аналитичка рубрика за есеј. Вештачката интелигенција предложи 5 критериуми, но еден беше „убавина на ракописот“ - критериум кој беше неважен за исходот и неправедно го казни ученикот со неразвиен ракопис. Наставникот го извадил и го заменил со „развој на идеја“. Рубриката беше и фер и усогласена со достигнувањата.
Случај 2 — Конкретизација. Во првата рубрика на еден наставник, нивоата беа апстрактни, како „многу добро / добро / фер“; Двајца студенти зазедоа различни нивоа на слична работа. Тој ѝ рекол на вештачката интелигенција „да го преработи секое ниво со показател што може да се набљудува“. Кога пристигнаа конкретни дефиниции како „Добро = најмалку 3 примери и јасен став за заклучок“, се зголеми доследноста, а приговорите се намалија.
Случај 3 - Калибрација. Во евалуацијата на проектот, наставникот прво постигна 3 примероци на проекти со рубриката произведена од АИ. ВИ понуди 85 на некого; Наставникот го најде истиот проект рубрика 72 бидејќи вештачката интелигенција премногу великодушно толкуваше еден критериум. Наставникот го појасни описот на нивото и сам си ги додели конечните оценки. ВИ го забрза нацртот; Наставникот ја донесе одлуката.
Шаблони за копирање
1) Преглед на аналитички рубрики:
Вашата улога: [предмет] наставник. Задача: „[напиши задача за изведба]“, достигнување: „[постигнување]“, [X. класа]. Направете аналитичка рубрика со 4 критериуми. Секој критериум нека биде поврзан со исходот (ДОДАЈ необјективни критериуми како што се ракопис и естетика). Напишете 4 нивоа на успех и забележлив индикатор за секое ниво. Измерете ги критериумите така што вкупниот број е 100.
2) Конкретизирање на дефинициите на нивоа:
Описите на нивоата на следната рубрика се многу апстрактни („добро“, „фер“). Повторно запишете го секое ниво со забележливи, пребројливи индикатори (на пр. „не повеќе од 2 грешки“, „најмалку 3 примери“). Рубрика: [паста]
3) Холистичка рубрика (брза евалуација):
Напишете холистичка рубрика од 4 нивоа за „[задача]“. Дозволете секое ниво да ја опише општата природа на работата во еден параграф. Добивка: „[добивка]“. Исто така, дајте опсег на белешки.
4) Проверка на калибрација:
Подолу е рубрика и студентска работа. Според рубриката наведете го вашето ниво во секоја мерка, со оправдување. Дајте го ова како ПРЕДЛОГ; Јас ќе ја дадам конечната оценка. Обележете ги сите критериуми што остануваат нејасни. Рубрика + студија: [паста]
Слаб промпт / Силен промпт
Слаба навестување:
Напишете рубрика за проектот.
Нема задача, достигнување, тип, број на критериуми, тежина; Се појавува неостварена и апстрактна рубрика.
Моќен потсетник:
Вашата улога: наставник по природни науки. Задача: „Ученикот истражува обновлив извор на енергија и подготвува постер“. Цел: „Ученикот го објаснува принципот на работа и предностите на изворот на енергија“. 7-мо одделение. Аналитичка рубрика со 4 критериуми: точност на содржината, јасност на објаснувањето, употреба на извори, редослед. Додавање критериуми за неостварување. Нека секое ниво може да се набљудува; Збирот на тежините е 100.
карактеристика
Аналитичка рубрика
холистичка рубрика
Број на критериуми
Повеќекратни, бодувани одделно
Единствена општа пресуда
Повратни информации
Детално, засновано на критериуми
Општо
брзина
бавно
брзо
најпогодни
Развој на процес/вештина
Брз преглед
Придонес на ВИ
Критериуми + преглед на ниво
Нацрт на пасус на ниво
Вообичаени грешки
- Мерка за неостварување. Оценувањето работи кои не се поврзани со исходот, како што се ракописот, естетиката и пристапот до материјалите, ја поразува правичноста.
- Дефиниција на апстрактно ниво. Дефинициите како „добро/фер“ водат до недоследност и приговор; Користете забележлив индикатор.
- Подоцна се прикажува рубриката. Несподелувањето пред задачата го лишува ученикот од целта.
- Изработка на оценка за вештачка интелигенција. ВИ може да предложи резултати од примероци, но наставникот ја дава конечната оценка; Контролата на конзистентноста е на наставникот.
- Прескокнување на калибрација. Користењето на рубриката без да се обиде со студии на случај носи изненадувачки резултати.
Внимание: Примамливо, но ризично е да се даде на ВИ на студентска работа и да се каже „постигне“. Работата на студентите може да содржи лични податоци (анонимизирање) и резултатот на вештачката интелигенција може да биде неконзистентен/пристрасен. Користете вештачка интелигенција за да ПРЕДЛОГАТЕ точки и да наведете повратни информации; Вие одлучувате.
Сумирано
Рубриката е алатка која ја прави евалуацијата транспарентна, конзистентна и одбранлива. Аналитичката рубрика обезбедува детални повратни информации засновани на критериуми, а холистичката рубрика обезбедува брзо општо расудување. Вештачката интелигенција брзо подготвува метрика поврзани со достигнувања, конкретни дефиниции за нивоа и тежини; Но, одговорноста на наставникот е да ги подреди критериумите за непостигнување, да ги направи нивоата забележливи, да ги калибрира и да ја даде конечната оценка. Оценката е одлука која влијае на ученикот; Не е делегиран на ВИ.
Задача за апликација
Направете рубрика со 4 критериуми со шаблонот „Аналитички преглед на рубриката“ за задача за изведба што ќе ја дадете наскоро. Отстранете ги сите критериуми за непостигнување и направете ги дефинициите на нивоата забележливи. Потоа тестирајте ја конзистентноста со бодување на вашите (или хипотетички) 2 примероци на студии со оваа рубрика; Оценете дали резултатите од двете студии ги одразуваат нивните вистински квалитети и направете прилагодувања на вашата рубрика.
листа за проверка
- [ ] Дали сите критериуми се поврзани со постигнувањето (нема критериуми за неостварување)?
- [ ] Дали дефинициите на нивоата се набљудуваат и се конкретни?
- [ ] Ги одредив тежините и нивниот збир е 100?
- [ ] Дали ќе ја споделам рубриката со ученикот пред задачата?
- [ ] Дали ја калибрирав рубриката со примерокот на работа и сам ја дадов конечната оценка?