Добивки:
- Способноста да се има вештачка интелигенција да произведува прашања со повеќекратен избор, одвлекувачи врз основа на типични грешки и копчиња за решение со одредување тема, ниво и дистрибуција на тешкотии.
- Способност да се фати погрешен клуч и повеќекратни/нула точни грешки во опцијата со независно потврдување на секој клуч за прашање и одговор, по можност на големо, со SymPy
- Способност да се оцени квалитетот на одвлекувачите, недвосмисленоста и тежината на прашањата и да се одобри секое прашање пред да се полага испитот.
Подготовката на прашања за испит и вежбање е една од задачите кои одземаат најмногу време во математичкото образование: поставување прашања со соодветна тежина, дизајнирање веродостојни одвлекувачи (погрешни, но веродостојни опции), подготовка на клучот за одговор и балансирање на тежината трае со часови. Вештачката интелигенција може да го забрза овој процес - генерирање на десетици варијации на прашања, опции за повеќекратен избор и клучеви за решенија од една тема. Но, точноста на секое произведено прашање и безгрешноста на секој клуч за одговор мора да бидат независно потврдени; Неточен клуч значи дека учениците неправедно губат поени. Во оваа единица ќе научите како да ја користите вештачката интелигенција како партнер за создавање прашања и како да го модерирате секое прашање.
Неколку дефиниции. Дистрактор е опција во прашање со повеќекратен избор што не е точна, но одговара на вообичаената грешка што ученикот може да ја направи. Добриот оттргнувач не е случаен; Одразува типична грешка (грешка во знакот, конфузија на правилата). Клучот за одговор е листа на точни одговори на прашањата. Билансот на тешкотија е соодветна распределба на лесно-средно-тешки прашања во испитот.
Придонес на вештачката интелигенција во создавањето прашања
- Варијација на прашања: Повеќе слични прашања од шема (промена на броевите).
- Дизајн на дистрактор: Веројатно неточни избори засновани на вообичаени грешки.
- Преглед на клучот за решение: чекор-по-чекор решение за секој проблем.
- Оцена на тешкотија: Класификација на прашања како лесни/средни/тешки.
- Опфат на предметот: Збирки прашања кои покриваат различни поттеми од наставната програма.
- Соодветна таксономија на цут: Прашање според когнитивните нивоа како што се паметење, примена, анализа.
Чекор по чекор: генерирање на сигурен сет на прашања
1. Наведете ја темата, нивото и бројот на прашања. Како „10-то одделение средно училиште, квадратни равенки, 10 прашања со повеќекратен избор“.
2. Побарајте тип на прашање и распределба на тежината. Побарајте дистрибуција како „4 лесни, 4 средни, 2 тешки“.
3. Решете го секое прашање самостојно. Решете го секое прашање сами или со SymPy; Споредете го со клучот за одговор обезбеден од YZ. Овој чекор не може да се преговара.
4. Проверете дали има оттргнувачи. Дали погрешните опции навистина се погрешни? Понекогаш вештачката интелигенција произведува повеќе од една точна опција, или оттргнувачот е всушност точен. Проверете ја секоја опција.
5. Гаранција има точно еден точен одговор. Во повеќекратен избор, точно една опција мора да биде точна; Не смее да има нула или повеќе од една точна.
6. Проверете дали има несигурност и дуплирање. Дали е прашањето едногласно? Дали двете прашања го мерат истото? Дали бројките се разумни (на пример, ако коренот треба да биде негативен)?
Внимание: вештачката интелигенција прави две најчести грешки кога генерира прашања со повеќекратен избор: (1) опцијата што ја означила „точно“ е всушност погрешна, (2) повеќе од една опција е точна или ниту една од нив не е точна. Не користете ниту едно прашање без да го решавате секое прашање независно и да ја оцените секоја од четирите опции посебно како точно/неточно.
Табела за контрола на квалитетот на прашањата
контрола
Прашање
што да барате
точност
Дали е точен клучот за одговор?
Потврда со независно решение
само вистина
Дали е точна само 1 опција?
Останатите 3 сигурно не се во право
Квалитет на дистрактор
Дали грешките се веродостојни?
Треба да се заснова на типична грешка
Јасност
Дали е прашањето едногласно?
Не треба да има неизвесност
Усогласеност на ниво
Дали тешкотијата одговара на целта?
Ниту премногу лесно, ниту премногу тешко
Опсег
Дали темата е добро претставена?
Подтемите се избалансирани
три мини футроли
Случај 1 - Погрешен клуч. Наставникот изработи сет со повеќекратен избор од 12 прашања. Кога го решил секое прашање со SymPy, открил дека во 3 од 12-те прашања, опцијата што вештачката интелигенција ја означила „точно“ била неточна - вистинскиот точен одговор бил друга опција. Наставникот ги исправи клучевите. Доколку овој сет се користеше без верификација, целиот клас ќе беше неправедно оценет во 3 прашања.
Случај 2 - Две точни опции. Во едно прашање, вештачката интелигенција стави и „x = 2“ и „x = 2 или x = −2“; И двете беа вистинити во извесна смисла, а прашањето беше нејасно. Наставникот ги преуредил опциите и оставил само еден точен одговор. Дистракторите мора да бидат јасно неточни.
Случај 3 - Слаб дистрактор. Во класата по инженерство, вештачката интелигенција стави во прашање ирелевантни оттргнувачи како што се „42“, „аксарај“, „сино“, „17“ итн.; Точниот одговор беше очигледно „17“. Наставникот побара нумерички одвлекувачи врз основа на типични грешки во пресметката (на пр., вредност што произлегува од грешка во знакот), и прашањата станаа вистински дискриминатори. Добриот оттргнувач претставува вистински лажен пат.
Четири шаблони за копирање
1) Збир на прашања со повеќекратен избор:
Создадете [n] прашања со ПОВЕЌЕ ИЗБОР на [тема]. Ниво: [ниво]. Тежина: [x лесно, y средно, z тешко]. Нека секое прашање има 4 опции; Нека ТОЧЕН 1 е точен, а другите 3 се веродостојни одвлекувачи врз основа на типични грешки. Исто така напишете чекор по чекор решение и точен одговор за секое прашање. Ќе ги проверам сите со SymPy.
2) Варијација на прашање (од шема):
Сфатете го ова прашање како шаблон: [примерок прашање]. Генерирајте [n] различни верзии кои го мерат истиот концепт, но со различни броеви/контекст. Решете ги одговорите за секоја верзија чекор по чекор. Одговорите нека бидат различни едни од други.
3) Генерирање клуч за решение:
Направете ЧЕКОР-По-ЧЕКОР решение и конечен одговор за секое од прашањата подолу. Наведете го правилото што го користите. Означете го решението за кое не сте сигурни; Независно ќе го проверувам секој одговор. Прашања: [тука]
4) Подобрување на дистрактор:
Прегледајте ги оттргнувачите за ова прашање со повеќекратен избор. Објаснете на КОЈА типична студентска грешка одговара секое погрешно одвлекување на вниманието. Заменете ги ирелевантните или очигледните неточни оттргнувачи со оние што се засноваат на вистински грешки. Прашање: [тука]
Слаб промпт / Силен промпт
Слаб: „Направи ми 10 изведени прашања“.
Резултат: неизвесно ниво, случајна распределба на тешкотии, непроверен клуч за одговор, случаен сет на одвраќачи (доколку ги има).
Силно: „Направете 10 прашања со повеќекратен избор за деривати за 12-то одделение од средното училиште: 4 лесни (основни правила), 4 средни (правило за синџир/производ), 2 тешки (сложени функции). Нека има 4 избори во секое прашање, точно 1 точно, другите се одвлекувачи на внимание врз основа на типични грешки (заборавајќи ја внатрешната грешка, означете го дериватот на внатрешната грешка.
Резултат: Збир што е израмнет, избалансиран, што го одвлекува вниманието се значајни и секој одговор може да се ревидира.
Вообичаени грешки
- Не се потврдува клучот за одговор. Она што вештачката интелигенција вели дека е „точно“ често е погрешно; Решете го секое прашање независно.
- Повеќе од една/нула е точната опција. Во повеќекратниот избор мора да има точно една вистина; Проверете ја секоја опција посебно.
- Слаби оттргнувачи. Ирелевантните или очигледно неточните опции го прават прашањето неразлично.
- Не наведувајќи ја распределбата на тежината. Се чини дека сите тие се со иста тешкотија; Не може да се направи евалуација на ниво.
- Повторување и преклопување. Различни прашања може да го мерат истиот концепт; Проверете го балансот на покриеност.
- Нејасен израз. Прашањата со двојно значење неправедно ги доведуваат во заблуда учениците.
Совет: Најефикасен начин за потврдување на множество прашања е да напишете код што ги решава сите прашања одеднаш со SymPy. Кажете ѝ на вештачката интелигенција „напишете код што го решава секој од овие 10 проблеми со SymPy“, стартувајте го кодот и споредете ги резултатите од SymPy со клучот за одговор на вештачката интелигенција. На овој начин ги проверувате 10-те прашања не едно по едно, туку колективно и детерминистички.
Сумирано
Вештачката интелигенција драматично го забрзува генерирањето математички прашања и испити: варијација на прашања, дизајн на дистрактор, клуч за решение, рејтинг на тежина. Но, секое прашање и секој клуч за одговор мора да бидат независно потврдени - по можност масовно проверени со SymPy. Најчестите грешки се погрешен клуч за одговор, повеќекратни/нула точни опции и слаби одвлекувачи. Специфицирањето на темата, нивото и распределбата на тежината од почеток го зголемува квалитетот. Сите непроверени прашања не треба да влезат на испитот.
Задача за апликација
Изберете тема. Оставете ја вештачката интелигенција да произведе 8-10 прашања со повеќекратен избор + решенија со одредена распределба на тешкотии со првиот шаблон. Потоа, запомнувајќи од единицата 4, нека вештачката интелигенција да напише код што ги решава сите прашања со SymPy и да го изврши кодот. Споредете ги резултатите од SymPy со клучот за одговор на YZ. Потврдете дека има точно еден точен избор во секое прашање и дека одвлекувачите се всушност неточни. Најдете и поправете барем една грешка или слаб одвлекување на вниманието.
листа за проверка
- [ ] Јасно го кажав предметот, нивото и распределбата на тежината.
- [ ] Го решив секое прашање независно (по можност серија со SymPy).
- [ ] Го споредив клучот за одговор со резултатите од SymPy.
- [ ] Потврдив дека има точно една точна опција во секое прашање.
- [ ] Проверив дека оттргнувачите се засновани на типични грешки и дека всушност биле погрешни.
- [ ] Се погрижив да нема нејасни изјави и прашања кои се повторуваат.