Unité 6 / 11

Mesure-évaluation et conception de rubriques : critères, niveau et cohérence

Gains :

  • Capacité à comprendre les types de rubriques analytiques et holistiques, les critères et les concepts de niveau de réussite et à concevoir une rubrique transparente avec le soutien de l'intelligence artificielle.
  • Capacité à produire des mesures et des pondérations en points alignées sur les réalisations pour l’évaluation des tâches de performance, du portefeuille et des projets.
  • Capacité à comprendre que la décision d'attribuer des notes et l'évaluation finale appartient à l'enseignant, que l'intelligence artificielle ne peut pas effectuer seule la notation et que la cohérence doit être vérifiée par l'enseignant.

Il est facile de dire à un étudiant « ce projet a obtenu une note de 70 » ; mais l'étudiant demande "pourquoi 70 ?" ou si le parent s'y oppose, vous devez avoir une base juste et défendable. Cette base est la rubrique : un outil de notation qui montre à l'avance selon quels critères et à quels niveaux une performance (projet, composition, présentation, portfolio) sera évaluée. Une bonne grille d'évaluation indique à l'élève « ce que l'on attend de vous » et rend la notation de l'enseignant cohérente et transparente. L'IA rédige rapidement des mesures et des définitions de niveaux liées aux acquis ; Vous déterminez l’alignement, l’équité et les poids. La limite est claire : la notation et l’évaluation finale sont une décision qui affecte l’étudiant ; La responsabilité et l'approbation finale appartiennent à l'enseignant. L’IA ne peut pas marquer seule.

Types de rubriques et composants

Il existe deux types de base. La rubrique analytique décompose la performance en critères distincts (par exemple, « contenu », « organisation », « langage et expression », « rédaction » dans un essai) et note chaque critère à des niveaux de réussite distincts (par exemple, 4 = très bien, 3 = bon, 2 = en amélioration, 1 = début). Fournit des commentaires détaillés mais prend du temps à préparer et à noter. La rubrique holistique donne un seul niveau général à l’ensemble de l’étude ; C'est rapide, mais cela ne montre pas où il échoue.

Les composants d'une rubrique analytique sont : les critères (ce que nous évaluons), les niveaux (dans quelle mesure), la définition du niveau de chaque cellule (indicateur concret de ce niveau) et les pondérations (quel pourcentage du score correspond à quel critère). La définition du bon niveau est observable : non pas « bien écrit » mais « pas plus de 2 fautes de frappe et paragraphes dans un ordre logique ».

Astuce : partagez la grille d’évaluation avec l’élève AVANT la tâche. La rubrique n'est pas un outil de note surprise, mais une carte d'apprentissage ; Si l’étudiant sait sur quoi travailler, il produit un meilleur produit.

Cohérence et équité

La véritable valeur de la grille est la cohérence : lorsque deux enseignants notent le même travail à deux moments différents, le résultat doit être similaire. C'est ce qu'on appelle la fiabilité de l'évaluateur. L'IA peut produire le plan de la grille d'évaluation, mais l'enseignant assure la cohérence : c'est le travail de l'enseignant de rendre les descriptions de niveau suffisamment concrètes, de « calibrer » quelques études de cas avec la grille d'évaluation (notation d'essai), et de clarifier la règle dans les cas marginaux.

Dans un souci d'équité, la grille d'évaluation ne doit pas noter des éléments sans rapport avec le résultat (beauté de l'écriture manuscrite, matériel auquel l'élève a besoin d'un accès socio-économique). L’IA ajoute parfois des critères de non-réalisation tels que « l’esthétique de la présentation » ; Il faut les trier.

Étape par étape : conception de rubriques avec l'IA

  1. Donnez la tâche et la réalisation. Ce que la rubrique mesurera dépend du résultat.
  2. Choisissez le genre. Si vous souhaitez un feedback détaillé, analytique ; si vous voulez un jugement général rapide, holistique.
  3. Demandez des critères, mais filtrez-les. 3 à 5 critères de réussite ; supprimez ceux qui ne sont pas pertinents.
  4. Définitions de niveau concret. Demandez des indicateurs observables.
  5. Perdre du poids. Quel critère est le plus important ? Soit le total égal à 100.
  6. Étalonner. Notez 1 à 2 exemples d’études avec des rubriques et la cohérence des tests.
  7. Prenez la décision finale. Même si l'IA suggère un exemple de note, l'enseignant donne la note finale.

trois mini-cases

Cas 1 — Extraction des critères de non-atteinte. Un enseignant turc a demandé à AI une grille d’analyse pour un essai. AI a proposé 5 critères, dont l'un était la « beauté de l'écriture manuscrite » – un critère qui n'avait aucun rapport avec les résultats et qui pénalisait injustement l'étudiant avec une écriture sous-développée. L'enseignant l'a retiré et l'a remplacé par « développement d'idées ». La rubrique était à la fois juste et alignée sur les résultats.

Cas 2 — Concrétisation. Dans la première rubrique d'évaluation d'un enseignant, les niveaux étaient abstraits, tels que « très bien / bien / passable » ; Deux étudiants avaient suivi des niveaux différents de travaux similaires. Il a demandé à AI de « réécrire chaque niveau avec un indicateur observable ». Lorsque des définitions concrètes telles que « Bon = au moins 3 exemples et un paragraphe de conclusion clair » sont arrivées, la cohérence a augmenté et les objections ont diminué.

Cas 3 — Calibrage. Lors d'une évaluation de projet, l'enseignant a d'abord noté 3 exemples de projets avec la rubrique produite par l'IA. AI en a offert 85 à quelqu’un ; L'enseignant a trouvé pour le même projet une rubrique 72 car l'IA avait interprété un critère trop généreusement. L'enseignant a clarifié la description du niveau et a attribué lui-même les notes finales. AI a accéléré le projet ; C'est le professeur qui a pris la décision.

Modèles copiables

1) Aperçu de la rubrique analytique :

Votre rôle : enseignant de [matière]. Tâche : "[écrire une tâche de performance]", réalisation : "[réalisation]", [X. classe]. Créez une rubrique analytique avec 4 critères. Que chaque critère soit lié au résultat (AJOUTER des critères non objectifs tels que l'écriture manuscrite et l'esthétique). Écrivez 4 niveaux de réussite et un indicateur OBSERVABLE pour chaque niveau. Pondérez les critères pour que le total soit de 100.

2) Définitions des niveaux de concrétisation :

Les descriptions de niveaux de la rubrique suivante sont très abstraites (« bon », « passable »). Réécrivez chaque niveau avec des indicateurs observables et dénombrables (par exemple « pas plus de 2 erreurs », « au moins 3 exemples »). Rubrique : [coller]

3) Rubrique holistique (évaluation rapide) :

Écrivez une rubrique holistique à 4 niveaux pour « [tâche] ». Laissez chaque niveau décrire de manière observable la nature générale du travail en un seul paragraphe. Gain : "[gain]". Donnez également des plages de notes.

4) Contrôle d'étalonnage :

Vous trouverez ci-dessous une rubrique et les travaux des étudiants. Selon la rubrique, indiquez votre niveau dans chaque mesure, en le justifiant. Donnez ceci comme SUGGESTION ; Je donnerai la note finale. Marquez tous les critères qui restent flous. Rubrique + étude : [coller]

Invite faible/Invite forte

Invite faible :

Rédigez une rubrique pour le projet.

Pas de tâche, de réalisation, de type, de nombre de critères, de poids ; Une rubrique de non-réalisation et abstraite apparaît.

Invite puissante :

Votre rôle : professeur de sciences. Tâche : « L'élève recherche une source d'énergie renouvelable et prépare une affiche. Objectif : "L'étudiant explique le principe de fonctionnement et les avantages de la source d'énergie." 7e année. Rubrique analytique avec 4 critères : exactitude du contenu, clarté de l'explication, utilisation des sources, ordre. Ajout de critères de non-réalisation. Que chaque niveau soit observable ; La somme des poids est de 100.

fonctionnalité

Rubrique analytique

rubrique holistique

Nombre de critères

Multiples, notés séparément

Arrêt général unique

Commentaires

Détaillé, basé sur des critères

Général

vitesse

lent

rapide

le plus approprié

Développement de processus/compétences

Aperçu rapide

Apport de l'IA

Critères + aperçu du niveau

Brouillon de paragraphe de niveau

Erreurs courantes

  • Mesure de non-réalisation. Noter des éléments sans rapport avec le résultat, comme l’écriture manuscrite, l’esthétique et l’accès aux matériaux, va à l’encontre de l’équité.
  • Définition du niveau abstrait. Des définitions telles que « bon/passable » conduisent à des incohérences et à des objections ; Utilisez un indicateur observable.
  • Afficher la rubrique plus tard. Ne pas partager avant la tâche prive l'étudiant du but.
  • Faire la note de l'IA. L'IA peut suggérer des exemples de notes, mais l'enseignant donne la note finale ; Le contrôle de cohérence appartient à l'enseignant.
  • Sauter l'étalonnage. Utiliser la rubrique sans l’essayer avec des études de cas apporte des résultats surprenants.
Attention : Il est tentant mais risqué de confier à l'IA un travail d'élève et de lui dire de le « noter ». Les travaux des étudiants peuvent contenir des données personnelles (anonymisées) et le score de l'IA peut être incohérent/biaisé. Utiliser l'IA pour SUGGÉRER des points et présenter des commentaires ; Vous décidez.

En résumé

La rubrique est l’outil qui rend l’évaluation transparente, cohérente et défendable. La rubrique analytique fournit une rétroaction détaillée basée sur des critères, la rubrique holistique fournit un jugement général rapide. L'IA rédige rapidement des mesures liées aux réalisations, des définitions de niveaux concrets et des pondérations ; Mais il appartient à l'enseignant de trier les critères de non-atteinte, de rendre observables les niveaux, de les calibrer et de donner la note finale. La note est une décision qui affecte l’élève ; Elle n’est pas déléguée à l’IA.

Tâche de candidature

Créez une rubrique à 4 critères avec le modèle « Aperçu de la rubrique analytique » pour une tâche de performance que vous confierez bientôt. Supprimez tous les critères de non-atteinte et rendez les définitions de niveaux observables. Testez ensuite la cohérence en notant vos (ou hypothétiques) 2 exemples d'études avec cette rubrique ; Évaluez si les scores des deux études reflètent leurs véritables qualités et ajustez votre rubrique.

liste de contrôle

  • [ ] Tous les critères de réalisation sont-ils liés (aucun critère de non-réalisation) ?
  • [ ] Les définitions de niveaux sont-elles observables et concrètes ?
  • [ ] J'ai déterminé les poids et leur somme est de 100 ?
  • [ ] Vais-je partager la grille d'évaluation avec l'élève avant la tâche ?
  • [ ] Ai-je calibré la grille d'évaluation avec l'exemple de travail et donné moi-même la note finale ?