Fiche
Formateurs : comparer une évaluation assistée par IA
Organiser une revue entre formateurs sur des productions fictives : objectif annoncé, critère observable, désaccord et correction du retour produit par IA.
Mis à jour le
Deux formateurs peuvent lire le même retour produit par une IA et ne pas y voir la même preuve d'apprentissage. L'un apprécie la clarté de la réponse ; l'autre cherche le geste professionnel demandé. Une revue entre pairs peut rendre ce désaccord utile, à condition de partir d'un objectif précis et de productions fictives.
L'article L6353-8 du Code du travail prévoit notamment la mise à disposition des objectifs, du contenu et des modalités d'évaluation avant l'inscription définitive du stagiaire. Ce repère invite à comparer ce qui est annoncé et ce que l'exercice observe. La séance ci-dessous n'établit aucune conformité Qualiopi et ne décide d'aucune certification.
Choisir une capacité que l'on peut observer
Prenez un exemple simple : retrouver dans un dossier fictif le document qui justifie une réponse à un client. L'objectif ne serait pas seulement de rédiger un message élégant. Le participant devrait identifier la bonne pièce, expliquer son choix et signaler ce qui manque.
Préparez plusieurs productions inventées : une réponse bien rédigée mais sans source, une réponse hésitante correctement justifiée, une réponse qui cite une pièce devenue ancienne. Les différences doivent permettre une discussion sur la preuve d'apprentissage, sans évaluer de véritables stagiaires.
Écrire les critères avant de montrer la réponse IA
Chaque formateur note d'abord les éléments qu'il observerait. Le groupe compare les formulations : « réponse professionnelle » est-elle assez précise pour que deux personnes portent le même jugement ? « Référence de la pièce et justification du choix » est plus facile à discuter dans cet exercice.
Demandez ensuite à l'IA un retour sur les productions, à partir de la grille retenue. Elle ne doit pas ajouter ses propres critères sans les signaler. Les pairs vérifient notamment si le ton ou l'orthographe prennent une place qui n'était pas prévue.
Examiner les désaccords ligne par ligne
Pour chaque appréciation contestée, relevez trois éléments : le passage de la production, le critère concerné et la justification proposée. Si aucun passage ne soutient l'appréciation, le groupe peut la retirer ou demander une nouvelle lecture.
Une erreur intéressante serait de féliciter une réponse qui cite un document périmé. La discussion porte alors sur ce que le retour doit faire comprendre à l'apprenant, et non sur un classement automatique des productions.
La page sur les mentions du programme de formation aide à relier les documents de l'organisme. Ici, le livrable serait une grille commentée avec un exemple de retour accepté et un autre refusé.
Refaire l'essai après correction
Changez une seule production fictive, puis appliquez de nouveau les critères. Si les formateurs ne comprennent plus le résultat, la grille demande encore du travail. Conservez aussi les cas que le groupe n'a pas su trancher.
Un accompagnement vers des usages maîtrisés peut partir de cette difficulté de relecture. La décision pédagogique reste à la personne responsable ; aucun résultat du test n'atteste la compétence d'un apprenant réel.
Notre méthode de transmission du savoir-faire aide à rendre les critères explicites. Pour préparer un échange entre formateurs, apportez un objectif et une production inventée, sans dossier de stagiaire.
Sources
Pages consultées pour écrire cet article :