Печалби:
- Възможност изкуственият интелект да създава въпроси с множество възможности за избор, отвличащи вниманието въз основа на типични грешки и ключове за решение чрез посочване на тема, ниво и разпределение на трудност.
- Възможност за улавяне на грешен ключ и множество/нула правилни грешки в опцията чрез независимо валидиране на всеки ключ за въпрос и отговор, за предпочитане групово, със SymPy
- Възможност за оценка на качеството на дистракторите, баланса на недвусмислеността и трудността на въпросите и одобряване на всеки въпрос преди явяване на изпита.
Подготовката на изпитни и практически въпроси е една от най-отнемащите време задачи в обучението по математика: задаването на въпроси с подходяща трудност, проектирането на правдоподобни разсейващи фактори (грешни, но правдоподобни опции), подготовката на ключа за отговор и балансирането на трудността отнема часове. Изкуственият интелект може да ускори този процес — генерирайки десетки вариации на въпроси, опции с множество избори и ключове за решение от една тема. Но точността на всеки създаден въпрос и безгрешността на всеки ключ за отговор трябва да бъдат независимо проверени; Неправилен ключ означава, че учениците несправедливо губят точки. В този урок ще научите как да използвате AI като партньор за генериране на въпроси и как да модерирате всеки въпрос.
Няколко определения. Дистракторът е опция във въпрос с множество отговори, която не е правилна, но съответства на често срещана грешка, която ученикът може да направи. Добрият дистрактор не е случаен; Отразява типична грешка (грешка в знака, объркване на правило). Ключът за отговор е списък с верни отговори на въпросите. Балансът на трудност е подходящото разпределение на лесни-средно-трудни въпроси в изпита.
Принос на AI за генериране на въпроси
- Вариант на въпроса: Множество подобни въпроси от модел (промяна на числата).
- Дизайн на дистрактора: правдоподобно неправилен избор въз основа на често срещани грешки.
- Ключово описание на решението: Стъпка по стъпка решение на всеки проблем.
- Оценка на трудност: Класифициране на въпроси като лесни/средни/трудни.
- Обхват на предмета: Набори от въпроси, обхващащи различни подтеми от учебната програма.
- Подходяща таксономия на Блум: Въпрос според когнитивните нива като запомняне, прилагане, анализиране.
Стъпка по стъпка: генериране на надежден набор от въпроси
1. Посочете темата, нивото и броя на въпросите. Като "10-ти клас гимназия, квадратни уравнения, 10 въпроса с избор."
2. Поискайте тип въпрос и разпределение на трудност. Поискайте разпределение като "4 лесни, 4 средни, 2 трудни."
3. Решете всеки въпрос самостоятелно. Решете всеки въпрос сами или със SymPy; Сравнете го с ключа за отговор, предоставен от YZ. Тази стъпка не подлежи на обсъждане.
4. Проверете за разсейващи фактори. Грешните опции наистина ли са грешни? Понякога AI произвежда повече от една правилна опция или дистракторът всъщност е правилен. Проверете всяка опция.
5. Гаранция, че има точно един верен отговор. При множествения избор точно една опция трябва да е вярна; Не трябва да има нула или повече от едно правилно.
6. Проверете за несигурност и дублиране. Въпросът еднозначен ли е? Двата въпроса измерват ли едно и също нещо? Разумни ли са числата (напр. ако коренът трябва да е отрицателен)?
Внимание: AI допуска две най-често срещани грешки при генериране на въпроси с множествен отговор: (1) опцията, която е маркирала като „вярна“, всъщност е грешна, (2) повече от една опция е правилна или нито една от тях не е правилна. Не използвайте нито един въпрос, без да разрешите всеки въпрос самостоятелно и да оцените всяка от четирите опции поотделно като вярно/невярно.
Въпрос диаграма за контрол на качеството
контрол
Въпрос
какво да търся
точност
Правилен ли е ключът за отговор?
Потвърждение чрез независимо решение
само вярно
Само 1 вариант ли е правилен?
Другите 3 трябва да грешат
Качество на дистрактора
Правдоподобни ли са грешките?
Трябва да се базира на типична грешка
Яснота
Въпросът еднозначен ли е?
Не трябва да има несигурност
Съответствие на нивото
Подходяща ли е трудността за целта?
Нито много лесно, нито твърде трудно
Обхват
Добре ли е представена темата?
Подтемите са балансирани
три мини калъфа
Случай 1 — Грешен ключ. Учител изготви набор от 12 въпроса с множество възможности за избор. Когато решава всеки въпрос със SymPy, той открива, че в 3 от 12-те въпроса опцията, която AI е маркирал като "правилна", е неправилна - действителният правилен отговор е друга опция. Учителят изправи ключовете. Ако този набор беше използван без проверка, целият клас щеше да бъде оценен несправедливо в 3 въпроса.
Случай 2 — Две правилни опции. В един въпрос AI постави и „x = 2“ и „x = 2 или x = −2“; И двете бяха верни в известен смисъл и въпросът беше неясен. Учителят пренареди вариантите и остави само един верен отговор. Дистракторите трябва да са очевидно неправилни.
Случай 3 — Слаб дистрактор. В инженерен клас изкуственият интелект постави неуместни разсейващи фактори като "42", "aksaray", "синьо", "17" и т.н. във въпрос; Верният отговор очевидно беше „17“. Учителят поиска цифрови разсейващи фактори въз основа на типични грешки в изчисленията (напр. стойност, произтичаща от грешка в знака) и въпросите се превърнаха в истински дискриминатори. Добрият разсейващ фактор представлява истински фалшив път.
Четири копируеми шаблона
1) Набор от въпроси с множество възможности за избор:
Генерирайте [n] въпроси С МНОЖЕСТВЕН ИЗБОР по [тема]. Ниво: [ниво]. Трудност: [x лесно, y средно, z трудно]. Нека всеки въпрос има 4 варианта; Нека ТОЧНО 1 е правилно, а останалите 3 са правдоподобни разсейващи фактори, базирани на типични грешки. Също така напишете стъпка по стъпка решение и правилен отговор за всеки въпрос. Ще проверя всички от тях със SymPy.
2) Вариант на въпрос (от модел):
Приемете този въпрос като ШАБЛОН: [примерен въпрос]. Генерирайте [n] различни версии, измерващи една и съща концепция, но с различни числа/контекст. Решете отговорите за всяка версия стъпка по стъпка. Нека отговорите са различни един от друг.
3) Генериране на ключ за решение:
Създайте СТЪПКА ПО СТЪПКА решение и окончателен отговор за всеки от въпросите по-долу. Посочете правилото, което използвате. Маркирайте решението, в което не сте сигурни; Ще проверя независимо всеки отговор. Въпроси: [тук]
4) Подобрение на дистрактора:
Прегледайте разсейващите фактори за този въпрос с множество отговори. Обяснете на КОЯ типична ученическа грешка отговаря всеки неправилен дистрактор. Заменете неуместните или очевидно неправилни разсейващи фактори с такива, базирани на действителни грешки. Въпрос: [тук]
Слаба подкана / Силна подкана
Слаб: „Задайте ми 10 производни въпроса.“
Резултат: Несигурно ниво, произволно разпределение на трудностите, непотвърден ключ за отговор, случаен набор от разсейващи фактори (ако има такива).
Силно: „Създайте 10 въпроса за производни с множествен избор за 12-ти клас на гимназията: 4 лесни (основни правила), 4 средни (правило за верига/продукт), 2 трудни (съставни функции). Нека във всеки въпрос има 4 избора, точно 1 правилен, останалите са разсейващи въз основа на типични грешки (забравяне на вътрешната производна, грешка в знака). Решете всеки въпрос стъпка по стъпка и посочете правилния отговор.“
Резултат: Набор, който е равен, балансиран, разсейващите фактори са значими и всеки отговор може да се провери.
Често срещани грешки
- Ключът за отговор не се проверява. Това, което AI казва, че е „правилно“, често е грешно; Решете всеки въпрос независимо.
- Повече от едно/нула е правилната опция. При множествения избор трябва да има точно една истина; Проверете всяка опция поотделно.
- Слаби дистрактори. Неуместни или очевидно неправилни опции правят въпроса неотличителен.
- Без уточняване на разпределението на трудността. Всички те изглеждат с еднаква трудност; Не може да се направи оценка на нивото.
- Повторение и припокриване. Различни въпроси могат да измерват една и съща концепция; Проверете баланса на покритието.
- Неясно изражение. Въпроси с двойно значение несправедливо подвеждат учениците.
Съвет: Най-ефективният начин за валидиране на набор от въпроси е да напишете код, който решава всички въпроси наведнъж със SymPy. Кажете на AI "напиши код, който решава всеки от тези 10 проблема със SymPy", стартирайте кода и групово сравнете резултатите от SymPy с ключа за отговор на AI. По този начин вие проверявате 10-те въпроса не един по един, а колективно и детерминистично.
В обобщение
AI драстично ускорява генерирането на въпроси и изпити по математика: вариации на въпроси, дизайн на отвличане на вниманието, ключ за решение, оценка на трудност. Но всеки въпрос и всеки ключ за отговор трябва да бъдат независимо потвърдени - за предпочитане групово потвърдени със SymPy. Най-често срещаните грешки са грешен ключ за отговор, множество/нула правилни опции и слаби разсейващи фактори. Посочването на темата, нивото и разпределението на трудност от самото начало повишава качеството. Всички непроверени въпроси не трябва да влизат в изпита.
Задача за приложение
Изберете тема. Накарайте изкуствения интелект да създаде 8-10 въпроса с избор + решения с определено разпределение на трудност с първия шаблон. След това, като си спомните от раздел 4, накарайте AI да напише код, който решава всички въпроси със SymPy и да изпълни кода. Сравнете резултатите от SymPy с ключа за отговор на YZ. Уверете се, че има точно един правилен избор във всеки въпрос и че разсейващите фактори всъщност са неправилни. Намерете и коригирайте поне една грешка или слаб разсейващ фактор.
контролен списък
- [ ] Ясно съм посочил темата, нивото и разпределението на трудност.
- [ ] Реших всеки въпрос самостоятелно (за предпочитане групово със SymPy).
- [ ] Сравних ключа за отговор с резултатите от SymPy.
- [ ] Проверих, че във всеки въпрос има точно една правилна опция.
- [ ] Проверих дали дистракторите се основават на типични грешки и всъщност са грешни.
- [ ] Уверих се, че няма неясни твърдения и повтарящи се въпроси.