Добици:
- Способност разумевања аналитичких и холистичких типова рубрика, критеријума и концепата нивоа успеха и дизајнирања транспарентне рубрике уз подршку вештачке интелигенције.
- Способност да се произведу метрике усклађене са постигнућем и пондери за процену задатка учинка, портфеља и пројекта.
- Способност разумевања да одлука о давању оцена и коначне оцене припада наставнику, да вештачка интелигенција не може сама да врши бодовање и да доследност наставник мора да проверава.
Лако је рећи ученику „овај пројекат је добио 70“; али студент пита "зашто 70?" или се родитељ противи, морате имати поштену и одбрањиву основу. Ова основа је рубрика: алат за бодовање који унапред показује по којим критеријумима и на ком нивоу ће се оцењивати перформанс (пројекат, композиција, презентација, портфолио). Добра рубрика истовремено говори ученику „шта се од вас очекује“ и чини наставниково бодовање доследним и транспарентним. АИ брзо израђује метрике и дефиниције нивоа у вези са постигнућем; Ви одређујете поравнање, правичност и тежине. Граница је јасна: Оцењивање и коначна евалуација је одлука која утиче на ученика; Одговорност и коначно одобрење припада наставнику. АИ не може постићи сам.
Врсте и компоненте рубрика
Постоје два основна типа. Аналитичка рубрика разлаже учинак на засебне критеријуме — на пример, „садржај“, „организација“, „језик и израз“, „писање“ у есеју — и оцењује сваки критеријум на одвојеним нивоима постигнућа (нпр. 4=веома добро, 3=добро, 2=побољшање, 1=почетак). Пружа детаљне повратне информације, али је потребно време за припрему и бодовање. Холистичка рубрика даје јединствен општи ниво целој студији; Брз је, али не показује где му недостаје.
Компоненте аналитичке рубрике су: критеријуми (шта процењујемо), нивои (колико добро), дефиниција нивоа сваке ћелије (конкретан индикатор тог нивоа) и тежине (који проценат резултата је који критеријум). Дефиниција доброг нивоа је видљива: не „добро написано“ већ „не више од 2 грешке у куцању и пасуса у логичном редоследу“.
Савет: Подели рубрику са учеником ПРЕ задатка. Рубрика није алат за белешке изненађења, већ мапа за учење; Ако ученик зна на чему треба да ради, производи бољи производ.
Доследност и правичност
Права вредност рубрике је доследност: када два наставника постигну исти рад у два различита времена, резултат би требало да буде сличан. Ово се зове поузданост оцењивача. АИ може да произведе нацрт рубрике, али наставник обезбеђује доследност: задатак наставника је да описе нивоа учини довољно конкретним, да „калибрише“ неколико студија случаја са рубриком (пробно бодовање) и да разјасни правило у маргиналним случајевима.
У интересу правичности, рубрика не треба да оцењује ствари које су небитне за исход (лепота рукописа, материјал коме је ученику потребан социоекономски приступ). АИ понекад додаје критеријуме непостизања као што је „естетика презентације“; Потребно их је средити.
Корак по корак: Дизајн рубрике са АИ
- Дајте задатак и постигнуће. Шта ће рубрика мерити зависи од тога који исход.
- Изаберите жанр. Ако желите детаљне повратне информације, аналитичке; ако желите брзо опште расуђивање, холистички.
- Тражите критеријуме, али их филтрирајте. 3-5 критеријума у погледу постигнућа; уклонити оне небитне.
- Дефиниције бетонског нивоа. Питајте за видљиве индикаторе.
- Изгубити тежину. Који је критеријум важнији? Нека укупно буде 100.
- Цалибрате. Оцените 1-2 узорка студије са рубрикама и конзистентношћу теста.
- Донесите коначну одлуку. Чак и ако АИ предложи узорак резултата, наставник даје коначну оцену.
три мини кофера
Случај 1 — Екстракција критеријума непостизања. Турски учитељ је тражио од АИ аналитичку рубрику за есеј. АИ је предложио 5 критеријума, али један је био „лепота рукописа“ — критеријум који је био ирелевантан за исход и неправедно је кажњавао ученика са неразвијеним рукописом. Наставник га је извадио и заменио са „развијање идеје“. Рубрика је била и поштена и усклађена са достигнућима.
Случај 2 — Конкретизација. У првој рубрици једног наставника, нивои су били апстрактни, као што је „веома добро/добро/фер”; Два ученика су похађала различите нивое сличног рада. Рекао је АИ да „препише сваки ниво са видљивим индикатором“. Када су стигле конкретне дефиниције као што су „Добро = најмање 3 примера и параграф са јасним закључком“, доследност се повећала, а примедбе су се смањиле.
Случај 3 — Калибрација. У евалуацији пројекта, наставник је прво постигао 3 узорка пројекта са рубриком коју је произвела АИ. АИ је некоме понудио 85; Наставник је исти пројекат сматрао рубриком 72 јер је вештачка интелигенција превише великодушно протумачила један критеријум. Наставник је појаснио опис нивоа и сам дао коначне оцене. АИ је убрзао нацрт; Наставник је донео одлуку.
Шаблони који се могу копирати
1) Преглед аналитичке рубрике:
Ваша улога: [предметни] наставник. Задатак: „[напишите задатак за извођење]“, постигнуће: „[достигнуће]“, [Кс. разред]. Направите аналитичку рубрику са 4 критеријума. Нека сваки критеријум буде повезан са исходом (ДОДАЈТЕ необјективне критеријуме као што су рукопис и естетика). За сваки ниво напишите 4 нивоа успеха и индикатор УПОТРЕБЉИВОГ. Одмерите критеријуме тако да укупан број буде 100.
2) Конкретизирајуће дефиниције нивоа:
Описи нивоа следеће рубрике су веома апстрактни („добро“, „поштено“). Препишите сваки ниво са видљивим, избројивим индикаторима (нпр. „не више од 2 грешке“, „најмање 3 примера“). Рубрика: [налепи]
3) Холистичка рубрика (брза процена):
Напишите холистичку рубрику на 4 нивоа за „[задатак]“. Нека сваки ниво уочљиво опише општу природу дела у једном пасусу. Добитак: "[појачање]". Такође дајте опсеге нота.
4) Провера калибрације:
Испод је рубрика и рад ученика. Према рубрици, наведите свој ниво у свакој мери, са образложењем. Дајте ово као ПРЕДЛОГ; Даћу коначну оцену. Означите све критеријуме који остају нејасни. Рубрика + студија: [налепи]
Слаби промпт / Јаки промпт
Слабо обавештење:
Напишите рубрику за пројекат.
Без задатка, постигнућа, врсте, броја критеријума, тежине; Појављује се недостигнућа и апстрактна рубрика.
Снажан упит:
Ваша улога: наставник природних наука. Задатак: „Ученик истражује обновљиви извор енергије и припрема постер. Циљ: „Ученик објашњава принцип рада и предности извора енергије. 7. разред. Аналитичка рубрика са 4 критеријума: тачност садржаја, јасноћа објашњења, коришћење извора, редослед. Додавање критеријума за недостизање. Нека сваки ниво буде видљив; Збир тежина је 100.
карактеристика
Аналитичка рубрика
холистичка рубрика
Број критеријума
Вишеструко, бодовано одвојено
Јединствена општа пресуда
Повратне информације
Детаљно, засновано на критеријумима
генерал
брзина
споро
брзо
најпогоднији
Развој процеса/вештина
Брзи преглед
Допринос АИ
Критеријум + контура нивоа
Ниво нацрта пасуса
Уобичајене грешке
- Мера непостизања. Бодовање ствари које нису повезане са исходом, као што су рукопис, естетика и приступ материјалима, нарушава правичност.
- Дефиниција апстрактног нивоа. Дефиниције попут „добро/фер“ доводе до недоследности и приговора; Користите видљиви индикатор.
- Приказивање рубрике касније. Недељење пре задатка лишава ученика циља.
- Прављење АИ разреда. АИ може предложити узорке резултата, али наставник даје коначну оцену; Контрола доследности је на наставнику.
- Прескакање калибрације. Коришћење рубрике без покушаја са студијама случаја доноси изненађујуће резултате.
Опрез: примамљиво је, али ризично дати АИ студентски рад и рећи га „бодирај“. Студентски рад може садржати личне податке (анонимизирати) и резултат АИ може бити недоследан/пристрасан. Користите вештачку интелигенцију да ПРЕДЛОЖИТЕ тачке и наведете повратне информације; Ви одлучујете.
Укратко
Рубрика је алат који оцењивање чини транспарентним, доследним и одбрањивим. Аналитичка рубрика пружа детаљне повратне информације засноване на критеријумима, холистичка рубрика пружа брзу општу процену. АИ брзо израђује метрике везане за постигнућа, конкретне дефиниције нивоа и тежине; Али одговорност наставника је да среди критеријуме за недостизање, учини нивое видљивим, калибрише их и да коначну оцену. Оцена је одлука која утиче на ученика; Није делегирано АИ.
Задатак апликације
Направите рубрику од 4 критеријума са шаблоном „Аналитички нацрт рубрике“ за задатак који ћете ускоро дати. Уклоните све критеријуме непостизања и учините дефиниције нивоа видљивим. Затим тестирајте доследност тако што ћете оценити своја (или хипотетичка) 2 узорка студије са овом рубриком; Процените да ли резултати две студије одражавају њихове праве квалитете и прилагодите своју рубрику.
контролна листа
- [ ] Да ли су сви критеријуми у вези са постигнућем (нема критеријума за недостизање)?
- [ ] Да ли су дефиниције нивоа видљиве и конкретне?
- [ ] Одредио сам тежине и њихов збир је 100?
- [ ] Да ли ћу поделити рубрику са учеником пре задатка?
- [ ] Да ли сам калибрирао рубрику са узорком рада и сам дао коначну оцену?