Прибуток:
- Здатність штучного інтелекту створювати запитання з кількома варіантами відповідей, відволікаючі засоби на основі типових помилок і ключі рішень, вказуючи тему, рівень і розподіл складності.
- Можливість виявляти неправильний ключ і численні/нульові помилки правильних варіантів шляхом незалежної перевірки кожного питання та ключа відповіді, бажано масово, за допомогою SymPy
- Можливість оцінити якість дистракторів, однозначність і складність збалансованості питань, затвердити кожне питання перед складанням іспиту.
Підготовка екзаменаційних і практичних запитань є одним із найбільш трудомістких завдань у навчанні математиці: постановка питань відповідної складності, розробка правдоподібних відволікаючих факторів (неправильні, але правдоподібні варіанти), підготовка ключа відповіді та балансування складності займають години. Штучний інтелект може пришвидшити цей процес, генеруючи десятки варіантів запитань, кілька варіантів вибору та ключі рішень з однієї теми. Але точність кожного створеного питання та безпомилковість кожного ключа відповіді повинні бути перевірені незалежно; Неправильний ключ означає, що студенти несправедливо втрачають бали. У цьому розділі ви дізнаєтесь, як використовувати штучний інтелект як партнера для створення запитань і як модерувати кожне запитання.
Кілька визначень. Відволікаючий фактор – це варіант у запитанні з кількома варіантами відповіді, який не є правильним, але відповідає типовій помилці, яку може зробити учень. Хороший дистрактор не є випадковим; Відображає типову помилку (помилка знака, плутанина правил). Ключ відповідей – це список правильних відповідей на запитання. Баланс складності – це відповідний розподіл легких-середньо-складних питань на іспиті.
Внесок ШІ у формування запитань
- Варіація питання: кілька схожих запитань за шаблоном (зміна цифр).
- Конструкція відволікаючого фактора: правдоподібно неправильний вибір на основі поширених помилок.
- Схема розв’язання: покрокове розв’язання кожної проблеми.
- Рейтинг складності: Класифікація запитань як легкі/середні/складні.
- Охоплення предмета: набори питань, що охоплюють різні підтеми навчального плану.
- Відповідність таксономії Блума: запитання відповідно до когнітивних рівнів, таких як запам’ятовування, застосування, аналіз.
Крок за кроком: створення надійного набору запитань
1. Вкажіть тему, рівень і кількість питань. На кшталт «10 клас середньої школи, квадратні рівняння, 10 завдань із відповіддю».
2. Запитайте тип запитання та розподіл складності. Попросіть розподіл на кшталт «4 легких, 4 середніх, 2 важких».
3. Розв’яжіть кожне питання самостійно. Вирішіть кожне питання самостійно або за допомогою SymPy; Порівняйте його з ключем відповіді, наданим YZ. Цей крок не підлягає обговоренню.
4. Перевірте наявність відволікаючих факторів. Чи неправильні варіанти дійсно неправильні? Іноді штучний інтелект видає більше ніж один правильний варіант, або відволікаючий фактор дійсно правильний. Перевірте кожен варіант.
5. Гарантія, що відповідь буде рівно одна правильна. У множинному виборі правильний має бути лише один варіант; Не повинно бути нуля або більше ніж один правильний.
6. Перевірте наявність невизначеності та дублювання. Питання однозначне? Чи ці два запитання вимірюють те саме? Чи обґрунтовані числа (наприклад, якщо корінь має бути від’ємним)?
Увага: штучний інтелект допускає дві найпоширеніші помилки під час генерації питань з вибором відповідей: (1) варіант, який він позначив як «вірний», насправді є неправильним, (2) більше ніж один варіант правильний або жоден із них не правильний. Не використовуйте жодне запитання, не розв’язавши кожне питання окремо та не оцінивши кожен із чотирьох варіантів окремо як істинний/неправдивий.
Таблиця контролю якості питання
контроль
Питання
що шукати
точність
Чи правильний ключ відповіді?
Підтвердження незалежним рішенням
тільки правда
Тільки 1 варіант правильний?
Інші 3, мабуть, помиляються
Якість дистрактора
Чи правдоподібні помилки?
Має базуватися на типовій помилці
Ясність
Питання однозначне?
Не повинно бути невизначеності
Відповідність рівня
Чи відповідає складність меті?
Не надто легко і не надто складно
Область застосування
Чи добре представлена тема?
Підтеми збалансовані
три міні-чохла
Випадок 1 — Неправильний ключ. Учитель підготував вибір із 12 запитань. Коли він вирішував кожне запитання за допомогою SymPy, він виявив, що в 3 із 12 запитань варіант, який штучний інтелект позначив як «правильний», був неправильним — справжня правильна відповідь була іншим варіантом. Учитель поправив ключі. Якби цей набір використовувався без перевірки, весь клас був би оцінений несправедливо за 3 запитаннями.
Випадок 2 — Два правильних варіанти. В одному питанні ШІ поставив і «x = 2», і «x = 2 або x = −2»; Обидва в певному сенсі були вірними, і питання було незрозумілим. Учитель переставив варіанти і залишив лише одну правильну відповідь. Дистрактори повинні бути явно неправильними.
Випадок 3 — Слабкий дистрактор. У класі інженерії ШІ помістив у питання нерелевантні відволікаючі елементи, такі як «42», «aksaray», «синій», «17» тощо; Очевидно, правильною відповіддю було «17». Учитель попросив числові відволікаючі фактори на основі типових помилок обчислень (наприклад, значення, отримане через помилку знака), і запитання стали справжніми дискримінаторами. Хороший відволікаючий засіб представляє справжній хибний шлях.
Чотири шаблони, які можна копіювати
1) Набір запитань з кількома варіантами відповіді:
Згенеруйте [n] запитань із ВИБОРОМ ВИБІРІВ на [тему]. Рівень:[рівень]. Складність: [x легкий, y середній, z важкий]. Нехай кожне запитання має 4 варіанти; Нехай ТОЧНИЙ 1 буде правильним, а інші 3 є ймовірними відволікаючими факторами на основі типових помилок. Також напишіть покрокове рішення та правильну відповідь для кожного запитання. Я перевірю їх усі за допомогою SymPy.
2) Варіант запитання (за зразком):
Візьміть це запитання як ПАТТЕРН: [зразок запитання]. Згенеруйте [n] різних версій, що вимірюють ту саму концепцію, але з різними числами/контекстом. Поетапно розв’яжіть відповіді для кожного варіанту. Нехай відповіді відрізняються один від одного.
3) Генерація ключа рішення:
Створіть ПОКРОКОВЕ розв’язання та остаточну відповідь для кожного із запитань нижче. Укажіть правило, яке ви використовуєте. Позначте рішення, у якому ви не впевнені; Я буду самостійно перевіряти кожну відповідь. Питання: [тут]
4) Покращення дистрактора:
Перегляньте відволікаючі фактори для цього запитання з варіантами відповідей. Поясніть, ЯКІЙ типовій помилці учня відповідає кожен неправильний дистрактор. Замініть нерелевантні або очевидні неправильні відволікаючі фактори на ті, що базуються на фактичних помилках. Питання: [тут]
Слабка підказка / Сильна підказка
Слабкий: «Задайте мені 10 похідних питань».
Результат: невизначений рівень, випадковий розподіл складності, неперевірений ключ відповіді, випадковий набір відволікаючих факторів (якщо такі є).
Strong: «Створіть 10 завдань із похідними з декількома варіантами відповідей для 12-го класу середньої школи: 4 легких (основні правила), 4 середніх (правило ланцюга/продукту), 2 складних (складені функції). Нехай у кожному запитанні буде 4 варіанти, рівно 1 правильний, інші відволікають на основі типових помилок (забуття внутрішньої похідної, помилка знака). Розв’яжіть кожне запитання крок за кроком і вкажіть правильну відповідь».
Результат: набір рівних, збалансованих, відволікаючі фактори є значущими, і кожна відповідь доступна для перевірки.
Поширені помилки
- Ключ відповіді не перевіряється. Те, що штучний інтелект називає «правильним», часто є неправильним; Вирішіть кожне питання самостійно.
- Більш ніж один/нуль є правильним варіантом. У множинному виборі має бути рівно одна істина; Перевірте кожен варіант окремо.
- Слабкі дистрактори. Невідповідні або явно неправильні варіанти роблять питання невиразним.
- Не вказуючи розподіл складності. Усі вони мають однакову складність; Оцінка рівня неможлива.
- Повторення та накладання. Різні питання можуть вимірювати ту саму концепцію; Перевірити баланс покриття.
- Невиразний вираз. Питання з подвійним значенням несправедливо вводять учнів в оману.
Порада: найефективніший спосіб перевірити набір запитань — це написати код, який вирішує всі запитання одночасно за допомогою SymPy. Скажіть штучному інтелекту «написати код, який вирішить кожну з цих 10 проблем за допомогою SymPy», запустіть код і масово порівняйте результати SymPy з ключем відповіді ШІ. Таким чином ви перевіряєте 10 запитань не по одному, а разом і детерміновано.
Підсумовуючи
Штучний інтелект значно пришвидшує створення математичних запитань та іспитів: варіанти запитань, дизайн відволікаючого елемента, ключ рішення, оцінка складності. Але кожне запитання та кожен ключ відповіді мають бути незалежно перевірені — бажано масово перевірені за допомогою SymPy. Найпоширенішими помилками є неправильний ключ відповіді, кілька/нуль правильних варіантів і слабкі відволікаючі фактори. Зазначення теми, рівня та розподілу складності з самого початку підвищує якість. Будь-які неперевірені питання не повинні входити до іспиту.
Аплікаційне завдання
Виберіть тему. Нехай штучний інтелект створить 8-10 запитань з варіантами відповідей + рішення з певним розподілом складності за допомогою 1-го шаблону. Потім, пам’ятаючи з розділу 4, попросіть ШІ написати код, який вирішує всі питання за допомогою SymPy, і запустіть код. Порівняйте результати SymPy із ключем відповіді YZ. Переконайтеся, що в кожному питанні є точно один правильний варіант і що відволікаючі фактори насправді є неправильними. Знайдіть і виправте хоча б одну помилку або слабкий відволікаючий фактор.
контрольний список
- [ ] Я чітко вказав предмет, рівень і розподіл складності.
- [ ] Я вирішував кожне питання окремо (бажано пакетно з SymPy).
- [ ] Я порівняв ключ відповіді з результатами SymPy.
- [ ] Я перевірив, що в кожному питанні є рівно один правильний варіант.
- [ ] Я перевірив, що відволікаючі засоби базуються на типових помилках і насправді є неправильними.
- [ ] Я переконався, що не було розпливчастих тверджень і повторюваних запитань.