Ganhos:
- Capacidade de gerar questões de múltipla escolha, abertas e de pensamento de nível superior, alinhadas com as conquistas, com suporte de inteligência artificial
- Capacidade de controlar a qualidade da pergunta aplicando os princípios do bom distrator (opção errada, mas plausível), resposta única correta e dificuldade do item.
- Compreender o risco da inteligência artificial produzir respostas erradas, perguntas não objetivas ou tendenciosas e ser capaz de perceber que o professor deve verificar cada item.
Exames e questionários são as principais ferramentas pelas quais o professor mede a aprendizagem; Mas escrever boas perguntas é mais difícil do que você pensa. Uma raiz ambígua, opções semelhantes e uma linguagem que fornece pistas prejudicam o valor de medição de uma pergunta. A IA gera rapidamente um grande número de esboços de perguntas relacionadas a resultados; Você monitora a qualidade, verifica a resposta e mantém o alinhamento dos resultados. Nesta unidade, abordaremos a boa redação de artigos e a produção de questionários de qualidade com IA. O limite é claro: a IA pode produzir respostas incorretas, perguntas não objetivas ou tendenciosas; O professor verifica cada item.
Anatomia da matéria e princípios de boas perguntas
Uma questão de múltipla escolha tem duas partes: o radical (radical da pergunta) — a questão principal a ser questionada; e opções – uma é a resposta correta, as outras são distrações. Um bom distrator, mesmo errado, parece plausível ao aluno que não domina totalmente o assunto; Geralmente é baseado em um equívoco comum. Um equívoco comum como “A Lua produz sua própria luz” é um poderoso distrator. Um distrator sem sentido ou irrelevante ("A lua é um queijo") torna a pergunta mais fácil e menos distintiva.
Princípios de boas perguntas: (1) O radical pergunta algo único e claro; (2) existe apenas uma resposta correta; (3) as opções têm comprimento semelhante e são gramaticalmente compatíveis com a raiz (a opção mais longa geralmente é correta, não dá a menor ideia); (4) as opções “tudo/nenhum” são evitadas, se possível; (5) se o radical for negativo (“não é”), é enfatizado; (6) as perguntas medem o nível de aproveitamento – fazer perguntas de recordação para analisar o aproveitamento erra o alvo.
A dificuldade do item é o quão difícil é a questão; Discriminação é o quanto a questão separa quem sabe daqueles que não sabem. Um bom exame é uma mistura de itens de dificuldade variada.
Dica: ao fazer perguntas à IA, nomeie o equívoco alvo: diga "os distratores devem se basear nesses três equívocos comuns". Dessa forma, você obtém distratores instrucionais, não aleatórios.
Tipos de perguntas
Múltipla escolha: Medida rápida, pontuada automaticamente; mas medir o pensamento de ordem superior requer um design cuidadoso. Resposta aberta/curta: Mostra a afirmação do próprio aluno; É pontuado com rubrica (6ª unidade). Verdadeiro-falso: Fator rápido, mas de grande sorte. Correspondência: Bom para relacionamento conceito-definição. Questões de pensamento de ordem superior: itens baseados em cenários perguntando "por que/como/avaliar"; Mede os ganhos de análise-avaliação. A IA produz projetos para todos eles; Seu trabalho é escolher que tipo mede qual resultado.
Passo a passo: Produção de quiz com IA
- Dê o ganho e o nível de Bloom. A questão deve medir esse nível.
- Especifique o tipo e o número. “6 múltipla escolha + 2 abertas”.
- Nomeie a estratégia do distrator. Em que equívocos ele deveria se basear?
- Peça chaves e justificativa. A resposta correta para cada pergunta e por que as outras estão erradas.
- Verifique a chave manualmente. Resolva cada questão sozinho; A linha marcada pela IA é realmente verdadeira?
- Verificação de alinhamento e polarização. A pergunta mede o ganho? Existe preconceito cultural/de gênero?
- Equilíbrio de dificuldade. Ajuste a mistura de fácil-médio-duro.
três mini cases
Caso 1 — Chave errada. Um professor de ciências respondeu a um teste de 10 perguntas da IA. A chave da 3ª questão estava marcada como “B”, mas quando o professor a resolveu, viu que a resposta correta era “C” — a IA achou que seu próprio distrator estava correto. Se o professor não o tivesse corrigido, ele teria considerado errado o aluno que sabia disso. Resolver a chave manualmente salvou todo o questionário.
Caso 2 — Correção fraca do distrator. No primeiro teste de um professor, os distratores eram absurdos e os alunos tiveram que eliminar e encontrar a resposta correta. Ele fez com que a IA reproduzisse “distratores baseados nestes equívocos comuns: X, Y, Z”. A discriminação aumentou no novo questionário; a média da turma refletia melhor a aprendizagem real.
Caso 3 – Ganhe alinhamento. O resultado de um professor de história estava no nível da análise (“relaciona as causas”), mas a IA produzia questões de recordação (“diga a data”). O professor atualizou a solicitação como “no nível de análise de aquisição; faça perguntas sobre cenários que estabeleçam uma relação de causa-efeito”. As perguntas se tornaram uma medida de conquista.
Modelos copiáveis
1) Conjunto de múltipla escolha com base na realização:
Sua função: professor da [disciplina]. Ganho: "[ganho]" ([Nível de florescimento]),[X. aula]. Escreva 6 questões de múltipla escolha que medem esse resultado. Deixe que cada pergunta tenha 4 opções; Faça com que os distratores se baseiem nestes equívocos comuns: [escreva os equívocos]. Para cada pergunta, explique a resposta correta e por que CADA opção é verdadeira/falsa em uma seção chave separada. Misto fácil-médio-difícil.
2) Verificação da chave de resposta:
Resolva as questões de múltipla escolha abaixo, uma por uma. Para cada pergunta: (a) a resposta correta que você encontrou, (b) o motivo, (c) corresponde à chave marcada. Marque as inconsistências claramente como “CONTRADIÇÃO”. Perguntas e chave: [colar]
3) Pergunta de alto nível (cenário):
"[assunto]", [X. class], escreva 3 questões baseadas em cenários no nível de análise-avaliação. Deixe que cada pergunta apresente uma breve situação e peça ao aluno uma justificativa/comparação. Não deixe que isso seja resolvido de cor. Adicione exemplos de respostas e dicas de avaliação.
4) Viés e auditoria de conformidade:
Verifique as seguintes questões quanto a: preconceito de género/cultura/região, vantagem/desvantagem injusta para um determinado grupo, contexto inadequado. Sinalize itens problemáticos e sugira uma alternativa neutra. Perguntas: [colar]
Alerta fraco / Alerta forte
Alerta fraco:
Escreva 10 perguntas sobre frações.
Nível, resultado, tipo, estratégia distratora, sem chave; Sua qualidade e alinhamento são deixados ao acaso.
Alerta poderoso:
Sua função: professor de matemática. Resultado de aprendizagem: “O aluno soma duas frações com denominadores diferentes” (aplicação). 5ª série. 6 questões de múltipla escolha, 4 opções. Os distratores devem basear-se nos seguintes equívocos: somar numeradores e denominadores diretamente, manter o numerador constante e somar o denominador. Forneça uma descrição da chave e das opções para cada pergunta. Misture fácil-médio-difícil.
Tipo de pergunta
O nível que mede
força
Atenção
múltipla escolha
Qualquer nível (dependendo do design)
Pontuação rápida e automática
Qualidade distratora
final aberto
criação de compreensão
expressão original
Precisa de uma rubrica
verdadeiro-falso
lembre-se
muito rápido
O fator sorte é alto
Baseado em cenário
Análise-avaliação
impede a memorização
Soletrar é difícil, a IA ajuda
Erros comuns
- Não verificando a chave. O erro mais frequente e injusto; A IA produz a chave errada, o aluno que sabe disso será vítima.
- Distrator absurdo. A opção implausível simplifica a questão gratuitamente.
- Incompatibilidade de nível de ganho. Lembrando questão para aquisição de análise; erra o alvo.
- Linguagem que dá pistas. O fato de a opção mais longa/mais detalhada estar sempre correta ensina padrões aos alunos.
- Ignorando o preconceito. O contexto familiar de uma determinada cultura/grupo dá a alguns estudantes uma vantagem injusta.
Cuidado: a IA às vezes produz questões ambíguas onde mais de uma opção pode ser considerada “correta”. Ele respondeu a cada item com a pergunta “Existe uma verdade única e indiscutível?” Teste dizendo; Caso contrário, esclareça a raiz.
Resumindo
Uma boa pergunta mede o nível de realização com uma base clara e distratores plausíveis. A IA gera rapidamente um grande número de esboços de perguntas, distratores e chaves que dependem da aquisição; Se você contar conceitos errados ao alvo, os distratores serão instrutivos. No entanto, a IA pode produzir chaves erradas, distratores fracos, perguntas fora de aquisição ou tendenciosas. Resolva cada item para verificar a chave, verificar alinhamento e viés; A prova final é do professor.
Tarefa de aplicativo
Para um resultado, gere 6 perguntas com o modelo “Conjunto de múltipla escolha com base no resultado”; Especifique você mesmo a estratégia do distrator. Em seguida, resolva cada questão sozinho e compare-a com a chave da IA antes de usar o modelo “Verificação da chave de resposta”. Corrija quaisquer incompatibilidades. Por fim, escreva uma versão do cenário que eleve uma das questões ao nível de análise.
lista de verificação
- [ ] Fiz as perguntas de acordo com o nível Bloom do resultado de aprendizagem?
- [] Baseei os distratores em equívocos reais?
- [ ] Verifiquei a chave de cada questão resolvendo-a sozinho?
- [] Tenho certeza de que existe uma resposta única e inquestionavelmente correta?
- [ ] Verifiquei preconceitos e adequação à idade?