Ganancias:
- Capacidad para que la inteligencia artificial produzca preguntas de opción múltiple, distractores basados en errores típicos y claves de solución especificando el tema, el nivel y la distribución de la dificultad.
- Capacidad para detectar claves incorrectas y errores de opciones correctas múltiples/cero al validar de forma independiente cada pregunta y clave de respuestas, preferiblemente de forma masiva, con SymPy.
- Capacidad para evaluar la calidad de los distractores, la falta de ambigüedad y el equilibrio de dificultad de las preguntas y aprobar cada pregunta antes de realizar el examen.
Preparar preguntas de examen y práctica es una de las tareas que consume más tiempo en educación matemática: formular preguntas de dificultad adecuada, diseñar distractores plausibles (opciones incorrectas pero plausibles), preparar la clave de respuestas y equilibrar la dificultad lleva horas. La inteligencia artificial puede acelerar este proceso, generando docenas de variaciones de preguntas, opciones de opción múltiple y claves de solución de un tema. Pero la precisión de cada pregunta formulada y la ausencia de errores de cada clave de respuestas deben verificarse de forma independiente; Una clave incorrecta significa que los estudiantes pierden puntos injustamente. En esta unidad aprenderá cómo utilizar la IA como socio para la generación de preguntas y cómo moderar cada pregunta.
Algunas definiciones. Un distractor es una opción en una pregunta de opción múltiple que no es correcta pero corresponde a un error común que puede cometer el estudiante. Un buen distractor no es aleatorio; Refleja un error típico (error de signo, confusión de reglas). La clave de respuestas es una lista de respuestas correctas a las preguntas. El equilibrio de dificultad es la distribución adecuada de preguntas fáciles, medianamente difíciles en un examen.
Contribución de la IA a la generación de preguntas
- Variación de preguntas: múltiples preguntas similares de un patrón (cambiando los números).
- Diseño de distractores: elecciones plausiblemente incorrectas basadas en errores comunes.
- Esquema clave de la solución: solución paso a paso para cada problema.
- Calificación de dificultad: Clasificar las preguntas como fáciles/medias/difíciles.
- Cobertura temática: conjuntos de preguntas que cubren diferentes subtemas de un programa de estudios.
- Ajuste de taxonomía de Bloom: Pregunta según niveles cognitivos como recordar, aplicar, analizar.
Paso a paso: generando un conjunto confiable de preguntas
1. Especificar el tema, nivel y número de preguntas. Como "décimo grado de secundaria, ecuaciones cuadráticas, 10 preguntas de opción múltiple".
2. Pregunte por el tipo de pregunta y la distribución de dificultad. Solicite una distribución como "4 fácil, 4 media, 2 difícil".
3. Resuelva cada pregunta de forma independiente. Resuelve cada pregunta tú mismo o con SymPy; Compárelo con la clave de respuestas proporcionada por YZ. Este paso no es negociable.
4. Busque distractores. ¿Las opciones equivocadas son realmente incorrectas? A veces la IA produce más de una opción correcta, o un distractor es realmente correcto. Marque cada opción.
5. Asegúrese de que haya exactamente una respuesta correcta. En la opción múltiple, exactamente una opción debe ser correcta; No debe haber cero ni más de uno correcto.
6. Compruebe si hay incertidumbre y duplicación. ¿Es la pregunta unívoca? ¿Las dos preguntas miden lo mismo? ¿Son razonables los números (por ejemplo, si la raíz debe ser negativa)?
Atención: La IA comete dos de los errores más comunes al generar preguntas de opción múltiple: (1) la opción que marcó como "verdadera" en realidad es incorrecta, (2) más de una opción es correcta o ninguna de ellas es correcta. No utilice ninguna pregunta sin resolver cada pregunta de forma independiente y evaluar cada una de las cuatro opciones por separado como verdadero/falso.
Cuadro de control de calidad de preguntas
controlar
Pregunta
que buscar
precisión
¿Es correcta la clave de respuestas?
Confirmación por solución independiente.
solo cierto
¿Solo 1 opción es correcta?
Los otros 3 deben estar equivocados.
Calidad del distractor
¿Son plausibles los errores?
Debe basarse en un error típico
claridad
¿Es la pregunta unívoca?
No debería haber incertidumbre
Nivel de cumplimiento
¿La dificultad es adecuada al objetivo?
Ni demasiado fácil ni demasiado difícil
Alcance
¿Está bien representado el tema?
Los subtemas están equilibrados
tres mini casos
Caso 1: clave incorrecta. Un profesor elaboró un conjunto de 12 preguntas de opción múltiple. Cuando resolvió cada pregunta con SymPy, descubrió que en 3 de las 12 preguntas, la opción que la IA había marcado como "correcta" era incorrecta; la respuesta correcta real era otra opción. La maestra enderezó las llaves. Si este conjunto se hubiera utilizado sin verificación, toda la clase habría sido evaluada injustamente en 3 preguntas.
Caso 2: Dos opciones correctas. En una pregunta, la IA puso tanto “x = 2” como “x = 2 o x = −2”; Ambas eran ciertas en cierto sentido y la pregunta no estaba clara. La maestra reorganizó las opciones y dejó solo una respuesta correcta. Los distractores deben ser claramente incorrectos.
Caso 3: Distractor débil. En una clase de ingeniería, la IA colocó distractores irrelevantes como "42", "aksaray", "blue", "17", etc. en una pregunta; La respuesta correcta era obviamente "17". El profesor pidió distractores numéricos basados en errores de cálculo típicos (p. ej., valor resultante de un error de signo) y las preguntas se convirtieron en verdaderos discriminadores. El buen distractor representa un verdadero camino falso.
Cuatro plantillas copiables
1) Conjunto de preguntas de opción múltiple:
Generar [n] preguntas de OPCIÓN MÚLTIPLE sobre [tema]. Nivel:[nivel]. Dificultad: [x fácil, y media, z difícil]. Deje que cada pregunta tenga 4 opciones; Sea EXACTO 1 el correcto y los otros 3 son distractores plausibles basados en errores típicos. También escriba la solución paso a paso y la respuesta correcta para cada pregunta. Los verificaré todos con SymPy.
2) Variación de la pregunta (del patrón):
Tome esta pregunta como PATRÓN: [pregunta de muestra]. Genere [n] versiones diferentes que midan el mismo concepto pero con diferentes números/contexto. Resuelve las respuestas para cada versión paso a paso. Deje que las respuestas sean diferentes entre sí.
3) Generación de claves de solución:
Produzca una solución PASO A PASO y una respuesta final para cada una de las siguientes preguntas. Especifique la regla que utiliza. Marque la solución de la que no esté seguro; Verificaré de forma independiente cada respuesta. Preguntas: [aquí]
4) Mejora del distractor:
Revise los distractores de esta pregunta de opción múltiple. Explique a QUÉ error típico del estudiante corresponde cada distractor incorrecto. Reemplace los distractores incorrectos irrelevantes u obvios con otros basados en errores reales. Pregunta: [aquí]
Aviso débil / Aviso fuerte
Débil: "Hazme 10 preguntas derivadas".
Resultado: nivel incierto, distribución aleatoria de la dificultad, clave de respuestas no verificada, conjunto aleatorio de distractores (si los hay).
Fuerte: "Produzca 10 preguntas derivadas de opción múltiple para el grado 12 de la escuela secundaria: 4 fáciles (reglas básicas), 4 medianas (regla de cadena/producto), 2 difíciles (funciones compuestas). Deje que haya 4 opciones en cada pregunta, exactamente 1 correcta, las otras son distractores basados en errores típicos (olvido de la derivada interna, error de signo). Resuelva cada pregunta paso a paso e indique la respuesta correcta".
Resultado: un conjunto nivelado, equilibrado, los distractores son significativos y cada respuesta es auditable.
Errores comunes
- No verificar la clave de respuestas. Lo que la IA dice que es "correcto" a menudo es incorrecto; Resuelve cada pregunta de forma independiente.
- Más de uno/cero es la opción correcta. En la opción múltiple debe haber exactamente una verdad; Marque cada opción por separado.
- Distractores débiles. Las opciones irrelevantes o obviamente incorrectas hacen que la pregunta no sea distintiva.
- Sin especificar la distribución de dificultad. Todos parecen tener la misma dificultad; No se puede realizar la evaluación de nivel.
- Repetición y superposición. Diferentes preguntas pueden medir el mismo concepto; Consultar saldo de cobertura.
- Expresión vaga. Las preguntas con doble sentido engañan injustamente a los estudiantes.
Consejo: la forma más eficaz de validar un conjunto de preguntas es escribir código que resuelva todas las preguntas a la vez con SymPy. Dígale a la IA que "escriba el código que resuelva cada uno de estos 10 problemas con SymPy", ejecute el código y compare de forma masiva los resultados de SymPy con la clave de respuestas de la IA. De esta manera, comprobará las 10 preguntas no una por una, sino de forma colectiva y determinista.
En resumen
La IA acelera drásticamente la generación de preguntas y exámenes de matemáticas: variación de preguntas, diseño de distractores, clave de solución, calificación de dificultad. Pero cada pregunta y cada clave de respuestas deben validarse de forma independiente, preferiblemente verificadas de forma masiva con SymPy. Los errores más comunes son claves de respuestas incorrectas, opciones correctas múltiples o cero y distractores débiles. Especificar el tema, el nivel y la distribución de la dificultad desde el principio aumenta la calidad. Cualquier pregunta no verificada no debe ingresar al examen.
Tarea de aplicación
Elige un tema. Haga que la IA produzca de 8 a 10 preguntas de opción múltiple + soluciones con una cierta distribución de dificultad con la primera plantilla. Luego, recordando la unidad 4, haz que la IA escriba un código que resuelva todas las preguntas con SymPy y ejecute el código. Compare los resultados de SymPy con la clave de respuestas de YZ. Verifique que haya exactamente una opción correcta en cada pregunta y que los distractores sean realmente incorrectos. Encuentre y corrija al menos un error o distractor débil.
lista de verificación
- [ ] He indicado claramente el tema, el nivel y la distribución de la dificultad.
- [] Resolví cada pregunta de forma independiente (preferiblemente por lotes con SymPy).
- [] Comparé la clave de respuestas con los resultados de SymPy.
- [ ] Verifiqué que hay exactamente una opción correcta en cada pregunta.
- [ ] Verifiqué que los distractores se basaban en errores típicos y en realidad estaban equivocados.
- [] Me aseguré de que no hubiera declaraciones vagas ni preguntas repetitivas.