Прибыль:
- Возможность заставить искусственный интеллект создавать вопросы с несколькими вариантами ответов, отвлекающие факторы на основе типичных ошибок и ключи к решению, указывая тему, уровень и распределение сложности.
- Возможность обнаружить неправильный ключ и несколько/ноль правильных ошибок путем независимой проверки каждого вопроса и ключа ответа, желательно в пакетном режиме, с помощью SymPy.
- Умение оценить качество дистракторов, однозначность и баланс сложности вопросов, утвердить каждый вопрос перед сдачей экзамена.
Подготовка экзаменационных и практических вопросов — одна из самых трудоемких задач в математическом образовании: постановка вопросов соответствующей сложности, разработка правдоподобных отвлекающих факторов (неправильные, но правдоподобные варианты), подготовка ключа ответа и балансировка сложности занимают часы. Искусственный интеллект может ускорить этот процесс, генерируя десятки вариантов вопросов, варианты множественного выбора и ключи к решению по одной теме. Но точность каждого поставленного вопроса и безошибочность каждого ключа ответа должны быть проверены независимо; Неправильный ключ означает, что учащиеся несправедливо теряют баллы. В этом модуле вы узнаете, как использовать ИИ в качестве партнера по генерации вопросов и как модерировать каждый вопрос.
Несколько определений. Дистрактор – это вариант вопроса с множественным выбором, который неверен, но соответствует распространенной ошибке, которую может совершить учащийся. Хороший отвлекающий фактор не случаен; Отражает типичную ошибку (ошибка знака, путаница в правилах). Ключ ответа представляет собой список правильных ответов на вопросы. Баланс сложности — это правильное распределение на экзамене простых, средних и сложных вопросов.
Вклад ИИ в генерацию вопросов
- Вариант вопроса: Несколько одинаковых вопросов по шаблону (меняя цифры).
- Дизайн отвлекающего фактора: Вероятно неправильный выбор, основанный на типичных ошибках.
- Краткое описание решения: Пошаговое решение каждой проблемы.
- Оценка сложности: классификация вопросов на легкие/средние/сложные.
- Тематический охват: наборы вопросов, охватывающие различные подтемы учебной программы.
- Подходит таксономия Блума: вопросы в соответствии с когнитивными уровнями, такими как запоминание, применение, анализ.
Шаг за шагом: создание надежного набора вопросов
1. Укажите тему, уровень и количество вопросов. Типа «10-й класс средней школы, квадратные уравнения, 10 вопросов с несколькими вариантами ответов».
2. Уточните тип вопроса и распределение сложности. Попросите распределение типа «4 простых, 4 средних, 2 сложных».
3. Решите каждый вопрос самостоятельно. Решите каждый вопрос самостоятельно или с помощью SymPy; Сравните его с ключом ответа, предоставленным YZ. Этот шаг не подлежит обсуждению.
4. Проверьте наличие отвлекающих факторов. Действительно ли неправильные варианты неправильны? Иногда ИИ выдает более одного правильного варианта, или отвлекающий фактор действительно правильный. Проверьте каждый вариант.
5. Гарантируйте, что правильный ответ будет ровно один. При множественном выборе правильным должен быть только один вариант; Правильных ответов не должно быть ноль или более одного.
6. Проверьте отсутствие неопределенностей и дублирования. Вопрос однозначен? Означают ли эти два вопроса одно и то же? Разумны ли числа (например, если корень должен быть отрицательным)?
Внимание: ИИ допускает две наиболее распространенные ошибки при создании вопросов с несколькими вариантами ответов: (1) вариант, который он пометил как «верный», на самом деле неправильный, (2) правильно более одного варианта или ни один из них не является правильным. Не используйте ни один вопрос, не решив каждый вопрос отдельно и не оценив каждый из четырех вариантов отдельно как верный/неверный.
График контроля качества вопросов
контроль
Вопрос
что искать
точность
Ключ ответа правильный?
Подтверждение независимым решением
только правда
Верен ли только 1 вариант?
Остальные 3 должны быть неправильными
Качество дистрактора
Правдоподобны ли ошибки?
Должно быть основано на типичной ошибке
Ясность
Вопрос однозначен?
Не должно быть никакой неопределенности
Соответствие уровню
Соответствует ли сложность цели?
Ни слишком легко, ни слишком сложно
Область применения
Хорошо ли представлена тема?
Подтемы сбалансированы
три мини-кейса
Случай 1 — Неправильный ключ. Учитель подготовил набор из 12 вопросов с несколькими вариантами ответов. Когда он решил каждый вопрос с помощью SymPy, он обнаружил, что в 3 из 12 вопросов вариант, который ИИ отметил как «правильный», был неправильным — фактически правильный ответ был другим вариантом. Учитель поправил клавиши. Если бы этот набор использовался без проверки, весь класс был бы оценен несправедливо по 3 вопросам.
Случай 2 — Два правильных варианта. В одном вопросе ИИ вставил и «x = 2», и «x = 2 или x = −2»; В каком-то смысле оба были верны, и вопрос был неясен. Учитель переставил варианты и оставил только один правильный ответ. Дистракторы должны быть явно неправильными.
Случай 3 — Слабый дистрактор. На инженерном занятии ИИ помещал в вопрос нерелевантные отвлекающие факторы, такие как «42», «аксарай», «синий», «17» и т. д.; Правильный ответ, очевидно, был «17». Учитель попросил числовые дистракторы, основанные на типичных ошибках вычислений (например, значение, возникающее из-за ошибки знака), и вопросы стали настоящими дискриминаторами. Хороший отвлекающий символ представляет собой истинный ложный путь.
Четыре копируемых шаблона
1) Набор вопросов с несколькими вариантами ответов:
Сгенерируйте [n] вопросов с МНОЖЕСТВЕННЫМ ВЫБОРОМ по [теме]. Уровень:[уровень]. Сложность: [x легкий, y средний, z сложный]. Пусть у каждого вопроса будет 4 варианта; Пусть ТОЧНО 1 правильный, а остальные 3 — правдоподобные отвлекающие факторы, основанные на типичных ошибках. Также напишите пошаговое решение и правильный ответ на каждый вопрос. Я проверю их все с помощью SymPy.
2) Вариант вопроса (по шаблону):
Воспринимайте этот вопрос как ШАБЛОН: [пример вопроса]. Создайте [n] разных версий, отражающих одну и ту же концепцию, но с разным количеством/контекстом. Решите ответы для каждой версии шаг за шагом. Пусть ответы будут отличаться друг от друга.
3) Генерация ключа решения:
Подготовьте ПОШАГОВОЕ решение и окончательный ответ на каждый из приведенных ниже вопросов. Укажите правило, которое вы используете. Отметьте решение, в котором вы не уверены; Каждый ответ я проверю самостоятельно. Вопросы: [здесь]
4) Улучшение дистрактора:
Просмотрите отвлекающие факторы для этого вопроса с множественным выбором. Объясните, КАКОЙ типичной ошибке учащихся соответствует каждый неверный отвлекающий фактор. Замените неуместные или очевидные неправильные отвлекающие факторы на те, которые основаны на реальных ошибках. Вопрос: [здесь]
Слабая подсказка / Сильная подсказка
Слабое: «Задайте мне 10 производных вопросов».
Результат: неопределенный уровень, случайное распределение сложности, непроверенный ключ ответа, случайный набор отвлекающих факторов (если есть).
Стронг: «Составьте 10 производных вопросов с множественным выбором для 12-го класса средней школы: 4 простых (основные правила), 4 средних (правило цепочки/продукта), 2 сложных (сложные функции). Пусть в каждом вопросе будет 4 варианта выбора, ровно 1 правильный, остальные — отвлекающие, основанные на типичных ошибках (забывание внутренней производной, ошибка знака). Решите каждый вопрос шаг за шагом и укажите правильный ответ».
Результат: набор ровный, сбалансированный, отвлекающие факторы значимы, и каждый ответ проверяем.
Распространенные ошибки
- Не проверка ключа ответа. То, что ИИ считает «правильным», часто оказывается неверным; Решите каждый вопрос самостоятельно.
- Правильный вариант — больше одного/ноля. При множественном выборе должна быть ровно одна истина; Проверьте каждый вариант отдельно.
- Слабые отвлекающие факторы. Нерелевантные или явно неверные варианты делают вопрос неразборчивым.
- Не указано распределение сложности. Кажется, что все они имеют одну и ту же сложность; Оценка уровня не может быть произведена.
- Повторение и перекрытие. Разные вопросы могут измерять одну и ту же концепцию; Проверьте баланс покрытия.
- Расплывчатое выражение. Вопросы с двойным смыслом несправедливо вводят учащихся в заблуждение.
Совет: Самый эффективный способ проверить набор вопросов — написать код, который решает все вопросы одновременно с помощью SymPy. Скажите ИИ «напишите код, который решит каждую из этих 10 проблем с помощью SymPy», запустите код и массово сравните результаты SymPy с ключом ответа ИИ. Таким образом, вы проверяете 10 вопросов не один за другим, а коллективно и детерминированно.
В итоге
ИИ значительно ускоряет создание вопросов и экзаменов по математике: варианты вопросов, дизайн отвлекающих факторов, ключ к решению, рейтинг сложности. Но каждый вопрос и каждый ключ ответа должны быть проверены независимо — желательно, с помощью SymPy. Наиболее распространенными ошибками являются неправильный ключ ответа, несколько/ноль правильных вариантов и слабые отвлекающие факторы. Указание темы, уровня и распределения сложности с самого начала повышает качество. Непроверенные вопросы не должны участвовать в экзамене.
Задача приложения
Выберите тему. Пусть ИИ выдаст 8-10 вопросов с несколькими вариантами ответов + решения с определенным распределением сложности по 1-му шаблону. Затем, вспомнив модуль 4, попросите ИИ написать код, который решает все вопросы с помощью SymPy, и запустите этот код. Сравните результаты SymPy с ключом ответа YZ. Убедитесь, что в каждом вопросе есть ровно один правильный выбор и что дистракторы на самом деле неверны. Найдите и исправьте хотя бы одну ошибку или слабый отвлекающий фактор.
контрольный список
- [ ] Я четко указал тему, уровень и распределение сложности.
- [ ] Я решал каждый вопрос независимо (желательно пакетно с помощью SymPy).
- [ ] Я сравнил ключ ответа с результатами SymPy.
- [ ] Я проверил, что в каждом вопросе ровно один правильный вариант.
- [ ] Я проверил, что дистракторы основаны на типичных ошибках и на самом деле ошибочны.
- [ ] Я позаботился о том, чтобы не было расплывчатых заявлений и повторяющихся вопросов.