Ganhos:
- Capacidade de compreender tipos de rubricas analíticas e holísticas, critérios e conceitos de nível de sucesso e projetar uma rubrica transparente com o apoio da inteligência artificial.
- Capacidade de produzir métricas alinhadas às conquistas e pesos pontuais para tarefas de desempenho, portfólio e avaliação de projetos.
- Capacidade de compreender que a decisão de atribuir notas e avaliação final é do professor, que a inteligência artificial não pode fazer a pontuação sozinha e que a consistência deve ser verificada pelo professor.
É fácil dizer a um aluno “este projeto tirou 70”; mas o aluno pergunta "por que 70?" ou os objetos pai, você deve ter uma base justa e defensável. Essa base é a rubrica: uma ferramenta de pontuação que mostra antecipadamente de acordo com quais critérios e em quais níveis um desempenho (projeto, composição, apresentação, portfólio) será avaliado. Uma boa rubrica diz ao aluno “o que se espera de você” e torna a pontuação do professor consistente e transparente. A IA elabora rapidamente métricas e definições de nível relacionadas ao desempenho; Você determina alinhamento, justiça e pesos. O limite é claro: a classificação e a avaliação final são uma decisão que afeta o aluno; A responsabilidade e aprovação final são do professor. A IA não pode marcar sozinha.
Tipos e componentes de rubrica
Existem dois tipos básicos. A rubrica analítica divide o desempenho em critérios separados – por exemplo, “conteúdo”, “organização”, “linguagem e expressão”, “redação” em um ensaio – e pontua cada critério em níveis separados de desempenho (por exemplo, 4=muito bom, 3=bom, 2=melhorando, 1=iniciante). Fornece feedback detalhado, mas leva tempo para se preparar e pontuar. A rubrica holística fornece um único nível geral para todo o estudo; É rápido, mas não mostra onde fica aquém.
Os componentes de uma rubrica analítica são: critérios (o que avaliamos), níveis (quão bom), definição do nível de cada célula (indicador concreto desse nível) e pesos (qual porcentagem da pontuação é qual critério). A definição de bom nível é observável: não “bem escrito”, mas “não mais do que 2 erros de digitação e parágrafos em ordem lógica”.
Dica: Compartilhe a rubrica com o aluno ANTES da tarefa. A rubrica não é uma ferramenta de anotações surpresa, mas um mapa de aprendizagem; Se o aluno souber no que trabalhar, ele produzirá um produto melhor.
Consistência e justiça
O verdadeiro valor da rubrica é a consistência: quando dois professores pontuam o mesmo trabalho em dois momentos diferentes, o resultado deve ser semelhante. Isso é chamado de confiabilidade do avaliador. A IA pode produzir o esboço da rubrica, mas o professor fornece a consistência: é função do professor tornar as descrições dos níveis suficientemente concretas, “calibrar” alguns estudos de caso com a rubrica (pontuação experimental) e esclarecer a regra em casos marginais.
No interesse da justiça, a rubrica não deve pontuar coisas irrelevantes para o resultado (beleza da caligrafia, material ao qual o aluno necessita de acesso socioeconómico). A IA às vezes adiciona critérios de não realização, como “estética de apresentação”; É necessário resolvê-los.
Passo a passo: Design de rubrica com IA
- Dê a tarefa e a conquista. O que a rubrica medirá depende de qual resultado.
- Escolha o gênero. Se você deseja feedback detalhado, analítico; se você deseja um julgamento geral rápido, holístico.
- Peça critérios, mas filtre-os. 3-5 critérios relativos ao desempenho; remova os irrelevantes.
- Definições de níveis concretos. Peça indicadores observáveis.
- Perder peso. Qual critério é mais importante? Deixe o total ser 100.
- Calibrar. Pontue 1-2 estudos de amostra com rubricas e consistência de teste.
- Tome a decisão final. Mesmo que a IA sugira uma nota amostral, o professor dá a nota final.
três mini cases
Caso 1 — Extração do critério de não cumprimento. Um professor turco pediu à IA uma rubrica analítica para um ensaio. A IA propôs 5 critérios, mas um deles era “beleza da caligrafia” – um critério irrelevante para o resultado e penalizava injustamente o aluno com caligrafia subdesenvolvida. O professor retirou-o e substituiu-o por “desenvolvimento de ideias”. A rubrica era justa e alinhada com os resultados.
Caso 2 — Concretização. Na primeira rubrica de um professor, os níveis eram abstratos, como “muito bom/bom/razoável”; Dois alunos realizaram níveis diferentes de trabalho semelhante. Ele disse à IA para “reescrever cada nível com um indicador observável”. Quando definições concretas como “Bom = pelo menos 3 exemplos e um parágrafo de conclusão claro” chegaram, a consistência aumentou e as objeções diminuíram.
Caso 3 — Calibração. Numa avaliação de projeto, o professor primeiro pontuou 3 exemplos de projetos com a rubrica produzida pela IA. AI ofereceu 85 para alguém; O professor considerou o mesmo projeto uma rubrica 72 porque a IA interpretou um critério com muita generosidade. O professor esclareceu a descrição do nível e atribuiu ele mesmo as notas finais. A IA acelerou o rascunho; A professora tomou a decisão.
Modelos copiáveis
1) Esboço da rubrica analítica:
Sua função: professor da [disciplina]. Tarefa: "[escrever tarefa de desempenho]", conquista: "[conquista]", [X. aula]. Crie uma rubrica analítica com 4 critérios. Deixe que cada critério esteja relacionado ao resultado (ADICIONE critérios não objetivos, como caligrafia e estética). Escreva 4 níveis de sucesso e um indicador OBSERVÁVEL para cada nível. Pondere os critérios para que o total seja 100.
2) Concretizando definições de nível:
As descrições dos níveis da rubrica seguinte são muito abstratas (“bom”, “razoável”). Reescreva cada nível com indicadores observáveis e contáveis (por exemplo, "não mais que 2 erros", "pelo menos 3 exemplos"). Rubrica: [colar]
3) Rubrica holística (avaliação rápida):
Escreva uma rubrica holística de 4 níveis para "[tarefa]". Deixe que cada nível descreva de forma observável a natureza geral do trabalho em um único parágrafo. Ganho: "[ganho]". Forneça também intervalos de notas.
4) Verificação de calibração:
Abaixo está uma rubrica e um trabalho do aluno. De acordo com a rubrica, indique o seu nível em cada medida, com justificativa. Dê isso como uma SUGESTÃO; Darei a nota final. Marque todos os critérios que permanecem obscuros. Rubrica + estudo: [colar]
Alerta fraco / Alerta forte
Alerta fraco:
Escreva uma rubrica para o projeto.
Nenhuma tarefa, realização, tipo, número de critérios, peso; Aparece uma rubrica abstrata e de incumprimento.
Alerta poderoso:
Sua função: professor de ciências. Tarefa: “O aluno pesquisa uma fonte de energia renovável e elabora um pôster”. Objetivo: “O aluno explica o princípio de funcionamento e vantagens da fonte de energia”. 7ª série. Rubrica analítica com 4 critérios: precisão do conteúdo, clareza de explicação, uso de fontes, ordem. Adicionando critérios de não realização. Deixe cada nível ser observável; A soma dos pesos é 100.
recurso
Rubrica analítica
rubrica holística
Número de critérios
Múltiplo, pontuado separadamente
Julgamento geral único
Comentários
Detalhado, baseado em critérios
Geral
velocidade
lento
rápido
mais adequado
Desenvolvimento de processos/habilidades
Visão geral rápida
Contribuição da IA
Critérios + esboço de nível
Rascunho de parágrafo de nível
Erros comuns
- Medida de não aproveitamento. Pontuar coisas não relacionadas ao resultado, como caligrafia, estética e acesso a materiais, anula a justiça.
- Definição de nível abstrato. Definições como “bom/justo” levam à inconsistência e à objeção; Use indicador observável.
- Mostrando a rubrica mais tarde. Não compartilhar antes da tarefa priva o aluno do objetivo.
- Fazendo a nota de IA. A IA pode sugerir notas exemplares, mas o professor dá a nota final; O controle de consistência é do professor.
- Ignorando calibração. Usar a rubrica sem experimentá-la com estudos de caso traz resultados surpreendentes.
Cuidado: é tentador, mas arriscado, dar à IA um trabalho de estudante e dizer “pontuar”. O trabalho do aluno pode conter dados pessoais (anonimizar) e a pontuação da IA pode ser inconsistente/tendenciosa. Use IA para SUGERIR pontos e descrever feedback; Você decide.
Resumindo
A rubrica é a ferramenta que torna a avaliação transparente, consistente e defensável. A rubrica analítica fornece feedback detalhado baseado em critérios, a rubrica holística fornece um julgamento geral rápido. A IA elabora rapidamente métricas relacionadas a conquistas, definições de níveis concretos e pesos; Mas é responsabilidade do professor definir os critérios de insucesso, tornar os níveis observáveis, calibrá-los e dar a nota final. A nota é uma decisão que afeta o aluno; Não é delegado à IA.
Tarefa de aplicativo
Crie uma rubrica de 4 critérios com o modelo "Esboço de rubrica analítica" para uma tarefa de desempenho que você fornecerá em breve. Remova quaisquer critérios de não cumprimento e torne as definições de nível observáveis. Em seguida, teste a consistência pontuando seus (ou hipotéticos) dois estudos de amostra com esta rubrica; Avalie se as pontuações dos dois estudos refletem suas verdadeiras qualidades e faça ajustes em sua rubrica.
lista de verificação
- [ ] Todos os critérios de cumprimento estão relacionados (nenhum critério de não cumprimento)?
- [ ] As definições de nível são observáveis e concretas?
- [ ] Determinei os pesos e a soma deles é 100?
- [ ] Compartilharei a rubrica com o aluno antes da tarefa?
- [ ] Eu mesmo calibrei a rubrica com o trabalho de amostra e dei a nota final?