Добици:
- Способност да се вештачка интелигенција производи питања са вишеструким избором, дистрактори засновани на типичним грешкама и кључеви решења специфицирајући тему, ниво и дистрибуцију тежине.
- Способност хватања погрешног кључа и вишеструких/нула тачних грешака у опцијама независном потврђивањем сваког кључа за питање и одговор, по могућности на велико, помоћу СимПи-а
- Способност процене квалитета дистрактора, недвосмислености и равнотеже тежине питања и одобравања сваког питања пре полагања испита.
Припрема питања за испит и вежбање један је од задатака који највише одузимају време у образовању математике: постављање питања одговарајуће тежине, дизајнирање веродостојних дистрактора (погрешне, али веродостојне опције), припрема кључа за одговор и балансирање тежине траје сатима. Вештачка интелигенција може да убрза овај процес — генеришући десетине варијација питања, више опција избора и кључеве решења из једне теме. Али тачност сваког постављеног питања и без грешке у сваком кључу одговора морају бити независно верификовани; Нетачан кључ значи да ученици неправедно губе бодове. У овој јединици ћете научити како да користите АИ као партнера за генерисање питања и како да модерирате свако питање.
Неколико дефиниција. Дистрактор је опција у питању са вишеструким избором која није тачна, али одговара уобичајеној грешци коју ученик може направити. Добар дистрактор није случајан; Одражава типичну грешку (грешка у знаку, забуна правила). Кључ одговора је листа тачних одговора на питања. Равнотежа потешкоће је одговарајућа дистрибуција лаких-средње-тешких питања на испиту.
Допринос АИ генерисању питања
- Варијација питања: Више сличних питања из шаблона (промена бројева).
- Дизајн дистрактора: Уверљиво нетачни избори засновани на уобичајеним грешкама.
- Преглед кључног решења: Решење корак по корак за сваки проблем.
- Оцена тежине: Класификација питања као лака/средње/тешка.
- Покривеност предмета: Скупови питања који покривају различите подтеме наставног плана и програма.
- Блумова таксономија одговара: Питања према когнитивним нивоима као што су памћење, примена, анализа.
Корак по корак: генерисање поузданог скупа питања
1. Наведите тему, ниво и број питања. Као "10. разред средње школе, квадратне једначине, 10 питања са вишеструким одговором."
2. Питајте за врсту питања и дистрибуцију тежине. Затражите дистрибуцију попут „4 лака, 4 средња, 2 тешка“.
3. Реши свако питање самостално. Решите свако питање сами или помоћу СимПи-а; Упоредите га са кључем за одговор који је дао ИЗ. О овом кораку се не може преговарати.
4. Проверите да ли има дистрактора. Да ли су погрешне опције заиста погрешне? Понекад АИ производи више од једне исправне опције, или је дистрактор заправо исправан. Проверите сваку опцију.
5. Гарантујемо да постоји тачно један тачан одговор. У вишеструком избору, тачно једна опција мора бити тачна; Не сме бити нула или више тачних.
6. Проверите да ли постоји несигурност и дуплирање. Да ли је питање једнозначно? Да ли ова два питања мере исту ствар? Да ли су бројеви разумни (нпр. ако корен треба да буде негативан)?
Пажња: АИ прави две најчешће грешке када генерише питања са вишеструким избором: (1) опција коју је означила као „тачно“ је заправо погрешна, (2) више од једне опције је тачна или ниједна од њих није тачна. Немојте користити ниједно питање без решавања сваког питања независно и процене сваке од четири опције посебно као тачно/нетачно.
Питајте графикон контроле квалитета
контролу
Питање
шта тражити
тачност
Да ли је кључ за одговор тачан?
Потврда независним решењем
само истинито
Да ли је само 1 опција тачна?
Остала 3 мора да су погрешна
Квалитет дистрактора
Да ли су грешке вероватне?
Требало би да се заснива на типичној грешци
Јасноћа
Да ли је питање једнозначно?
Не би требало да буде неизвесности
Усклађеност нивоа
Да ли је тешкоћа одговарајућа циљу?
Ни превише лако ни претешко
Обим
Да ли је тема добро заступљена?
Подтеме су уравнотежене
три мини кофера
Случај 1 — Погрешан кључ. Наставник је направио скуп од 12 питања са вишеструким избором. Када је решио свако питање помоћу СимПи-а, открио је да је у 3 од 12 питања опција коју је АИ означила као „тачна“ била нетачна — стварни тачан одговор је била друга опција. Учитељ је исправио кључеве. Да је овај скуп коришћен без провере, цео разред би био неправедно оцењен у 3 питања.
Случај 2 — Две исправне опције. У једном питању, АИ је унео и „к = 2“ и „к = 2 или к = −2“; И једно и друго је било тачно у извесном смислу, а питање је било нејасно. Наставник је преуредио опције и оставио само један тачан одговор. Дистрактори морају бити очигледно нетачни.
Случај 3 — Слаб дистрактор. На часу инжењерства, АИ је поставила небитне дистракторе као што су „42“, „аксараи“, „плаво“, „17“ итд. Тачан одговор је очигледно био „17“. Наставник је тражио нумеричке дистракторе засноване на типичним рачунским грешкама (нпр. вредност која је резултат грешке у знаку), а питања су постала прави дискриминатори. Добар дистрактор представља прави лажни пут.
Четири шаблона за копирање
1) Сет питања са више одговора:
Генеришите [н] питања са ВИШЕ ИЗБОРА на [тему]. Ниво: [ниво]. Тешкоћа: [к лако, и средње, з тешко]. Нека свако питање има 4 опције; Нека је ТАЧНО 1 тачно, а друга 3 су уверљиви дистрактори засновани на типичним грешкама. Такође напишите корак по корак решење и тачан одговор за свако питање. Све ћу их проверити помоћу СимПи-а.
2) Варијација питања (из обрасца):
Узмите ово питање као ОБРАЗАЦ: [пример питања]. Генеришите [н] различитих верзија које мере исти концепт, али са различитим бројевима/контекстом. Решите одговоре за сваку верзију корак по корак. Нека одговори буду различити једни од других.
3) Генерисање кључа решења:
Направите решење КОРАК ПО КОРАК и коначан одговор за свако од питања у наставку. Наведите правило које користите. Означите решење у које нисте сигурни; Сваки одговор ћу независно проверити. Питања: [овде]
4) Побољшање дистрактора:
Прегледајте дистракторе за ово питање са више одговора. Објасните КОЈОЈ типичној грешци ученика одговара сваки нетачан дистрактор. Замените небитне или очигледне нетачне дистракторе са онима заснованим на стварним грешкама. Питање: [овде]
Слаби промпт / Јаки промпт
Слабо: "Дај ми 10 изведених питања."
Резултат: Несигуран ниво, насумична дистрибуција потешкоћа, непроверен кључ одговора, насумични скуп дистрактора (ако их има).
Снажно: „Направи 10 дериватних питања са више одговора за 12. разред средње школе: 4 лака (основна правила), 4 средња (правило ланца/производа), 2 тешка (сложене функције). Нека у сваком питању буду 4 избора, тачно 1 тачан, остали су дистрактори засновани на типичним грешкама (заборављање унутрашњег извода, знак грешке корак по корак).
Резултат: Ниво, избалансиран скуп, дистрактори су смислени и сваки одговор је подложан ревизији.
Уобичајене грешке
- Не проверава кључ за одговор. Оно што АИ каже да је „исправно“ често је погрешно; Реши свако питање самостално.
- Више од један/нула је исправна опција. У вишеструком избору мора постојати тачно једна истина; Проверите сваку опцију посебно.
- Слаби дистрактори. Небитне или очигледно нетачне опције чине питање неразговетним.
- Не наводећи дистрибуцију тежине. Чини се да су све исте тешкоће; Процена нивоа се не може извршити.
- Понављање и преклапање. Различита питања могу мерити исти концепт; Проверите стање покрића.
- Нејасан израз. Питања двоструког значења неправедно доводе ученике у заблуду.
Савет: Најефикаснији начин за валидацију скупа питања је писање кода који решава сва питања одједном помоћу СимПи-а. Реците вештачкој интелигенцији да „напише код који решава сваки од ових 10 проблема са СимПи-јем“, покрените код и упоредите резултате СимПи-а са кључем за одговор АИ. На овај начин проверавате 10 питања не једно по једно, већ збирно и детерминистички.
Укратко
АИ драматично убрзава генерисање математичких питања и испита: варијације питања, дизајн дистрактора, кључ решења, оцена тежине. Али свако питање и сваки кључ одговора морају бити независно потврђени - по могућности групно верификовани помоћу СимПи-а. Најчешће грешке су погрешан кључ за одговор, вишеструке/нула тачне опције и слаби дистрактори. Одређивање теме, нивоа и дистрибуције тежине од почетка повећава квалитет. Непроверена питања не би требало да улазе у испит.
Задатак апликације
Изаберите тему. Нека АИ произведе 8-10 питања са вишеструким избором + решења са одређеном дистрибуцијом потешкоћа са 1. шаблоном. Затим, сећајући се из јединице 4, нека АИ напише код који решава сва питања са СимПи и покрене код. Упоредите СимПи резултате са ИЗ-овим кључем за одговор. Проверите да ли постоји тачно један тачан избор у сваком питању и да су дистрактори заправо нетачни. Пронађите и исправите бар једну грешку или слаб дистрактор.
контролна листа
- [ ] Јасно сам навео предмет, ниво и дистрибуцију тежине.
- [ ] Свако питање сам решавао независно (по могућности скупни са СимПи).
- [ ] Упоредио сам кључ одговора са СимПи резултатима.
- [ ] Проверио сам да постоји тачно једна тачна опција у сваком питању.
- [ ] Проверио сам да су дистрактори засновани на типичним грешкама и да су заправо погрешни.
- [ ] Уверио сам се да нема нејасних изјава и питања која се понављају.