Ganhos:
- Capacidade de fazer com que a inteligência artificial produza questões de múltipla escolha, distratores baseados em erros típicos e chaves de solução especificando tópico, nível e distribuição de dificuldade.
- Capacidade de detectar erros de chave errada e múltiplos/zero erros de opção correta, validando independentemente cada pergunta e chave de resposta, de preferência em massa, com SymPy
- Capacidade de avaliar a qualidade dos distratores, a inequívoca e o equilíbrio de dificuldade das questões, e aprovar cada questão antes de fazer o exame.
Preparar questões para exames e práticas é uma das tarefas mais demoradas na educação matemática: definir questões de dificuldade apropriada, projetar distratores plausíveis (opções erradas, mas plausíveis), preparar a resposta e equilibrar a dificuldade levam horas. A inteligência artificial pode acelerar esse processo – gerando dezenas de variações de perguntas, opções de múltipla escolha e chaves de solução a partir de um tópico. Mas a precisão de cada pergunta produzida e a ausência de erros de cada chave de resposta devem ser verificadas de forma independente; Uma chave incorreta significa que os alunos perdem pontos injustamente. Nesta unidade você aprenderá como usar a IA como parceira na geração de perguntas e como moderar cada pergunta.
Algumas definições. Um distrator é uma opção em uma questão de múltipla escolha que não está correta, mas corresponde a um erro comum que o aluno pode cometer. Um bom distrator não é aleatório; Reflete um erro típico (erro de sinal, confusão de regras). A chave de resposta é uma lista de respostas corretas às perguntas. O equilíbrio de dificuldade é a distribuição apropriada de questões fáceis, médias e difíceis em um exame.
Contribuição da IA para geração de perguntas
- Variação da pergunta: Várias perguntas semelhantes de um padrão (alterando os números).
- Design do distrator: escolhas plausivelmente incorretas baseadas em erros comuns.
- Esboço da chave da solução: solução passo a passo para cada problema.
- Classificação de dificuldade: Classificar as questões em fácil/médio/difícil.
- Cobertura do assunto: Conjuntos de questões que cobrem diferentes subtópicos de um plano de estudos.
- Ajuste da taxonomia de Bloom: Pergunta de acordo com níveis cognitivos, como lembrar, aplicar, analisar.
Passo a passo: gerando um conjunto confiável de perguntas
1. Especifique o tema, nível e número de questões. Como "10º ano do ensino médio, equações quadráticas, 10 questões de múltipla escolha".
2. Peça o tipo de pergunta e a distribuição de dificuldade. Peça uma distribuição como “4 fáceis, 4 médios, 2 difíceis”.
3. Resolva cada questão de forma independente. Resolva cada questão sozinho ou com SymPy; Compare-o com a resposta fornecida por YZ. Esta etapa não é negociável.
4. Verifique se há distratores. As opções erradas são realmente erradas? Às vezes, a IA produz mais de uma opção correta ou um distrator está realmente correto. Verifique cada opção.
5. Garanta que haja exatamente uma resposta correta. Na múltipla escolha, exatamente uma opção deve estar correta; Não deve haver zero ou mais de um correto.
6. Verifique se há incerteza e duplicação. A questão é unívoca? As duas perguntas medem a mesma coisa? Os números são razoáveis (por exemplo, se a raiz for negativa)?
Atenção: a IA comete dois erros mais comuns ao gerar questões de múltipla escolha: (1) a opção marcada como “verdadeira” está na verdade errada, (2) mais de uma opção está correta ou nenhuma delas está correta. Não use nenhuma questão sem resolver cada questão de forma independente e avaliar cada uma das quatro opções separadamente como verdadeiro/falso.
Gráfico de controle de qualidade da pergunta
controle
Pergunta
o que procurar
precisão
A chave de resposta está correta?
Confirmação por solução independente
só verdade
Apenas 1 opção está correta?
Os outros 3 devem estar errados
Qualidade distratora
Os erros são plausíveis?
Deve ser baseado em erro típico
Clareza
A questão é unívoca?
Não deve haver incerteza
Conformidade de nível
A dificuldade é adequada ao objetivo?
Nem muito fácil nem muito difícil
Escopo
O tema está bem representado?
Os subtópicos são equilibrados
três mini cases
Caso 1 — Chave errada. Um professor produziu um conjunto de múltipla escolha com 12 questões. Ao resolver cada questão com SymPy, ele descobriu que em 3 das 12 questões, a opção que a IA havia marcado como “correta” estava incorreta – a resposta correta real era outra opção. A professora endireitou as chaves. Se este conjunto tivesse sido utilizado sem verificação, toda a turma teria sido avaliada injustamente em 3 questões.
Caso 2 — Duas opções corretas. Em uma questão, a IA colocou “x = 2” e “x = 2 ou x = −2”; Ambas eram verdadeiras em certo sentido, e a questão não era clara. A professora reorganizou as opções e deixou apenas uma resposta correta. Os distratores devem estar claramente incorretos.
Caso 3 — Distrator fraco. Em uma aula de engenharia, a IA colocou distratores irrelevantes como "42", "aksaray", "azul", "17" etc. A resposta correta era obviamente “17”. A professora solicitou distratores numéricos com base em erros típicos de cálculo (por exemplo, valor resultante de erro de sinal), e as questões tornaram-se verdadeiros discriminadores. O bom distrator representa um verdadeiro caminho falso.
Quatro modelos copiáveis
1) Conjunto de perguntas de múltipla escolha:
Gere [n] perguntas de MÚLTIPLA ESCOLHA sobre [tópico]. Nível:[nível]. Dificuldade: [x fácil, y médio, z difícil]. Deixe que cada pergunta tenha 4 opções; Deixe EXATO 1 estar correto e os outros 3 são distratores plausíveis com base em erros típicos. Escreva também a solução passo a passo e a resposta correta para cada pergunta. Vou verificar todos eles com SymPy.
2) Variação da pergunta (do padrão):
Considere esta pergunta como PADRÃO: [pergunta de exemplo]. Gere [n] versões diferentes medindo o mesmo conceito, mas com números/contexto variados. Resolva as respostas para cada versão passo a passo. Deixe as respostas serem diferentes umas das outras.
3) Geração de chave de solução:
Produza uma solução PASSO A PASSO e uma resposta final para cada uma das questões abaixo. Especifique a regra que você usa. Marque a solução da qual você não tem certeza; Verificarei independentemente cada resposta. Perguntas: [aqui]
4) Melhoria do distrator:
Revise os distratores para esta questão de múltipla escolha. Explique A QUE erro típico do aluno corresponde cada distrator incorreto. Substitua distratores incorretos, irrelevantes ou óbvios, por outros baseados em erros reais. Pergunta: [aqui]
Alerta fraco / Alerta forte
Fraco: "Faça-me 10 perguntas derivadas."
Resultado: nível incerto, distribuição aleatória de dificuldade, chave de resposta não verificada, conjunto aleatório de distratores (se houver).
Forte: “Produza 10 questões derivadas de múltipla escolha para o 12º ano do ensino médio: 4 fáceis (regras básicas), 4 médias (regra da cadeia/produto), 2 difíceis (funções compostas).
Resultado: um conjunto nivelado e equilibrado, os distratores são significativos e cada resposta é auditável.
Erros comuns
- Não verificando a chave de resposta. O que a IA diz ser “certo” geralmente está errado; Resolva cada questão de forma independente.
- Mais de um/zero é a opção correta. Na escolha múltipla deve haver exatamente uma verdade; Verifique cada opção separadamente.
- Distratores fracos. Opções irrelevantes ou obviamente incorretas tornam a pergunta indistinta.
- Não especificando a distribuição de dificuldade. Todos parecem ter a mesma dificuldade; A avaliação de nível não pode ser feita.
- Repetição e sobreposição. Perguntas diferentes podem medir o mesmo conceito; Verifique o saldo da cobertura.
- Expressão vaga. Perguntas com duplo sentido enganam injustamente os alunos.
Dica: A maneira mais eficiente de validar um conjunto de questões é escrever um código que resolva todas as questões de uma vez com SymPy. Diga à IA "escreva o código que resolva cada um desses 10 problemas com SymPy", execute o código e compare em massa os resultados do SymPy com a chave de resposta da IA. Dessa forma, você verifica as 10 questões não uma por uma, mas de forma coletiva e determinística.
Resumindo
A IA acelera drasticamente a geração de perguntas e exames de matemática: variação de perguntas, design de distrator, chave de solução, classificação de dificuldade. Mas cada pergunta e cada chave de resposta devem ser validadas de forma independente – de preferência verificadas em massa com SymPy. Os erros mais comuns são respostas erradas, opções corretas múltiplas/zero e distratores fracos. Especificar o tema, o nível e a distribuição de dificuldade desde o início aumenta a qualidade. Quaisquer questões não verificadas não devem entrar no exame.
Tarefa de aplicativo
Escolha um tópico. Faça com que a IA produza de 8 a 10 questões de múltipla escolha + soluções com uma certa distribuição de dificuldade com o primeiro modelo. Então, lembrando da unidade 4, faça com que a IA escreva um código que resolva todas as questões com SymPy e execute o código. Compare os resultados do SymPy com a chave de resposta do YZ. Verifique se há exatamente uma escolha correta em cada questão e se os distratores estão realmente incorretos. Encontre e corrija pelo menos um erro ou distrator fraco.
lista de verificação
- [ ] Afirmei claramente a distribuição do assunto, nível e dificuldade.
- [] Resolvi cada questão de forma independente (de preferência em lote com SymPy).
- [] Comparei a chave de resposta com os resultados do SymPy.
- [ ] Verifiquei que existe exatamente uma opção correta em cada questão.
- [ ] Verifiquei que os distratores eram baseados em erros típicos e estavam realmente errados.
- [ ] Certifiquei-me de que não houvesse declarações vagas e nem perguntas repetitivas.