Ganancias:
- Capacidad para generar preguntas de opción múltiple, abiertas y de pensamiento de nivel superior en línea con los logros con soporte de inteligencia artificial.
- Capacidad para controlar la calidad de las preguntas aplicando los principios de buen distractor (opción incorrecta pero plausible), única respuesta correcta y dificultad del ítem.
- Comprender el riesgo de que la inteligencia artificial produzca claves de respuestas incorrectas, preguntas no objetivas o sesgadas, y ser capaz de ver que el profesor debe verificar cada ítem.
Los exámenes y las pruebas son las herramientas principales mediante las cuales el docente mide el aprendizaje; Pero escribir buenas preguntas es más difícil de lo que cree. Una raíz ambigua, opciones similares y un lenguaje que da pistas restan valor de medición a una pregunta. La IA genera rápidamente una gran cantidad de esquemas de preguntas relacionadas con los resultados; Usted supervisa la calidad, verifica la clave de respuestas y mantiene la alineación de los logros. En esta unidad, cubriremos la buena redacción de artículos y la producción de cuestionarios de calidad con IA. El límite es claro: la IA puede producir claves de respuestas incorrectas, preguntas no objetivas o sesgadas; El docente verifica cada ítem.
Anatomía de la materia y principios de las buenas preguntas.
Una pregunta de opción múltiple tiene dos partes: la raíz (plantilla de la pregunta): la cuestión principal que se plantea; y opciones: una es la respuesta correcta, las otras son distractores. Un buen distractor, aunque sea incorrecto, le parece plausible al estudiante que no domina completamente la materia; Generalmente se basa en un error común. Un error común como "La Luna produce su propia luz" es un poderoso distractor. Un distractor sin sentido o irrelevante ("La luna es un queso") facilita la pregunta y la hace menos distintiva.
Principios de las buenas preguntas: (1) La raíz pregunta algo único y claro; (2) sólo hay una respuesta correcta; (3) las opciones tienen una longitud similar y son gramaticalmente compatibles con la raíz (la opción más larga generalmente es correcta, no dan pistas); (4) si es posible, se evitan las opciones “todos/ninguno”; (5) si la raíz es negativa (“no es”), se enfatiza; (6) las preguntas miden el nivel de logro: hacer preguntas de recuerdo para analizar el logro no da en el blanco.
La dificultad del ítem es qué tan difícil es la pregunta; La discriminación es cuánto separa la pregunta a quienes saben de quienes no saben. Un buen examen es una combinación de elementos de diferente dificultad.
Consejo: cuando haga preguntas a la IA, mencione el concepto erróneo objetivo: diga "los distractores deben basarse en estos 3 conceptos erróneos comunes". De esta manera obtendrás distractores instructivos, no aleatorios.
Tipos de preguntas
Opción múltiple: Medida rápida, puntuada automáticamente; pero medir el pensamiento de orden superior requiere un diseño cuidadoso. Respuesta abierta/corta: Muestra la propia afirmación del estudiante; Se puntúa con rúbrica (6ª unidad). Verdadero-falso: factor de suerte rápido pero alto. Coincidencia: Bueno para la relación concepto-definición. Preguntas de pensamiento de orden superior: preguntas basadas en escenarios que preguntan "por qué/cómo/evaluar"; Mide las ganancias en análisis-evaluación. La IA produce planos para todos ellos; Su trabajo es elegir qué tipo mide qué resultado.
Paso a paso: producción de cuestionarios con IA
- Da la ganancia y el nivel de floración. La pregunta debería medir ese nivel.
- Especifique tipo y número. "6 opciones múltiples + 2 abiertas".
- Nombra la estrategia del distractor. ¿En qué conceptos erróneos debería basarse?
- Solicitar claves y justificación. La respuesta correcta a cada pregunta y por qué las demás están equivocadas.
- Verifique la clave manualmente. Resuelva cada pregunta usted mismo; ¿Es realmente cierta la línea marcada por la IA?
- Comprobación de alineación y sesgo. ¿La pregunta mide la ganancia? ¿Existe sesgo cultural/de género?
- Equilibrio de dificultad. Ajustar la mezcla de fácil-medio-duro.
tres mini casos
Caso 1: clave incorrecta. Un profesor de ciencias respondió un cuestionario de 10 preguntas de IA. La clave de la tercera pregunta estaba marcada con "B", pero cuando el profesor la resolvió, vio que la respuesta correcta era "C": la IA pensó que su propio distractor era correcto. Si el profesor no lo hubiera corregido, habría considerado equivocado al alumno que lo sabía. Resolver la clave a mano salvó todo el cuestionario.
Caso 2: Corrección de distractor débil. En el primer cuestionario de un profesor, los distractores no tenían sentido y los estudiantes tenían que eliminarlos y encontrar la respuesta correcta. Hizo que la IA reprodujera "distractores basados en estos conceptos erróneos comunes: X, Y, Z". La discriminación aumentó en el nuevo cuestionario; El promedio de la clase reflejaba mejor el aprendizaje real.
Caso 3: Obtener alineación. El resultado de un profesor de historia estaba en el nivel de análisis ("relaciona causas") pero la IA produjo preguntas de recuerdo ("decir la fecha"). El maestro actualizó el mensaje como "en el nivel de análisis de adquisición; haga preguntas de escenarios que establezcan una relación causa-efecto". Las preguntas se han convertido en una medida de logro.
Plantillas copiables
1) Conjunto de opciones múltiples basado en logros:
Tu rol: profesor de [asignatura]. Ganancia: "[ganancia]" ([Nivel de floración]),[X. clase]. Escriba 6 preguntas de opción múltiple que midan este resultado. Deje que cada pregunta tenga 4 opciones; Haga que los distractores se basen en estos conceptos erróneos comunes: [escriba los conceptos erróneos]. Para cada pregunta, explique la respuesta correcta y por qué CADA opción es verdadera o falsa en una sección clave separada. Mixto fácil-medio-difícil.
2) Verificación de la clave de respuestas:
Resuelva las preguntas de opción múltiple a continuación una por una. Para cada pregunta: (a) la respuesta correcta que encontró, (b) el motivo, (c) coincide con la clave marcada. Marque las inconsistencias claramente como "CONTRADICCIÓN". Preguntas y clave: [pegar]
3) Pregunta de alto nivel (escenario):
"[asunto]", [X. clase], escriba 3 preguntas basadas en escenarios en el nivel de análisis-evaluación. Deje que cada pregunta proporcione una situación breve y solicite al estudiante una justificación/comparación. No dejes que se resuelva de memoria. Agregue respuestas de muestra y consejos de evaluación.
4) Auditoría de sesgo y cumplimiento:
Marque las siguientes preguntas para detectar: sesgo de género/cultura/región, ventaja/desventaja injusta para un grupo en particular, contexto inapropiado. Señale los elementos problemáticos y sugiera una alternativa neutral. Preguntas: [pegar]
Aviso débil / Aviso fuerte
Aviso débil:
Escribe 10 preguntas sobre fracciones.
Nivel, resultado, tipo, estrategia distractora, sin clave; Su calidad y alineación se dejan al azar.
Potente mensaje:
Tu papel: profesor de matemáticas. Resultado de Aprendizaje: “El estudiante suma dos fracciones con distintos denominadores” (aplicación). 5to grado. 6 preguntas de opción múltiple, 4 opciones. Los distractores deben basarse en los siguientes conceptos erróneos: sumar numeradores y denominadores directamente, mantener constante el numerador y sumar el denominador. Proporcione una descripción clave y de opción para cada pregunta. Mezcla fácil-medio-difícil.
Tipo de pregunta
El nivel que mide
fuerza
Atención
opción múltiple
Cualquier nivel (según diseño)
Puntuación rápida y automática
Calidad del distractor
final abierto
creación de comprensión
expresión original
Necesito una rúbrica
verdadero-falso
recuerda
muy rapido
El factor suerte es alto.
Basado en escenarios
Análisis-evaluación
previene la memorización
La ortografía es difícil, la IA ayuda
Errores comunes
- No verificar la clave. El error más frecuente e injusto; La IA produce la clave equivocada, el estudiante que la conozca será víctima.
- Distractor sin sentido. La opción inverosímil simplifica la pregunta de forma gratuita.
- Desajuste en el nivel de ganancia. Recordar la pregunta para la adquisición del análisis; falla el objetivo.
- Lenguaje que da pistas. El hecho de que la opción más larga/más detallada sea siempre la correcta enseña al estudiante patrones.
- Pasando por alto el sesgo. El contexto familiar de una cultura/grupo particular les da a algunos estudiantes una ventaja injusta.
Precaución: La IA a veces genera preguntas ambiguas en las que se puede argumentar que más de una opción es "correcta". Respondió a cada ítem con la pregunta "¿Existe una verdad única e indiscutible?" Pruébelo diciendo; En caso contrario, aclarar la raíz.
En resumen
Una buena pregunta mide el nivel de logro con un planteamiento claro y distractores plausibles. La IA genera rápidamente una gran cantidad de esquemas de preguntas, distractores y claves que dependen de la adquisición; Si le cuenta al objetivo conceptos erróneos, los distractores serán instructivos. Sin embargo, la IA puede producir claves equivocadas, distractores débiles, falta de adquisición o preguntas sesgadas. Resuelva cada elemento para verificar la clave, verificar la alineación y el sesgo; La prueba final es del profesor.
Tarea de aplicación
Para obtener un resultado, genere 6 preguntas con la plantilla "Conjunto de opciones múltiples basado en el resultado"; Especifique usted mismo la estrategia del distractor. Luego, resuelva cada pregunta usted mismo y compárela con la clave de la IA antes de usar la plantilla "Verificación de la clave de respuesta". Corrija cualquier discrepancia. Finalmente, escribe una versión del escenario que eleve una de las preguntas al nivel de análisis.
lista de verificación
- [ ] ¿Hice las preguntas según el nivel de Bloom del resultado de aprendizaje?
- [] ¿Basé los distractores en conceptos erróneos reales?
- [] ¿He verificado la clave de cada pregunta resolviéndola yo mismo?
- [ ] ¿Estoy seguro de que hay una respuesta única e incuestionablemente correcta?
- [ ] ¿He verificado si hay sesgos y si son apropiados para la edad?