Méthode d’évaluation
Grille d’évaluation METI
Grille d’évaluation multicritère construite à trois en Master Design et Ingénierie Pédagogique, appliquée à un dispositif de formation en ligne hébergé sur Moodle, pour un commanditaire du secteur éducatif. Sept modèles théoriques, quatre dimensions, huit rubriques d’audit.
Pourquoi une grille de plus
Le référentiel Qualiopi vérifie qu’un organisme tient ses engagements : information du public, adaptation aux bénéficiaires, moyens mobilisés, traçabilité. Il ne dit rien de la cohérence entre les objectifs annoncés d’un module et ce que ses activités font réellement travailler. Un dispositif peut satisfaire les 32 indicateurs et rester pédagogiquement bancal.
D’où le choix de construire un référentiel d’évaluation distinct, adossé à des modèles éprouvés plutôt qu’à un jugement d’expert non explicité. La contrainte que nous nous sommes donnée : chaque question d’audit doit renvoyer au modèle qui la fonde, et deux évaluateurs différents doivent produire le même constat sur le même dispositif.
Les sept modèles
| Dim. | Modèle | Ce qu’on en retient | Usage dans la grille |
|---|---|---|---|
| M | Biggs (1996) | Cohérence entre objectifs, activités et évaluations | Vérifier l’alignement constructif, module par module |
| M | Bloom révisée (2002) | Six niveaux cognitifs, de mémoriser à créer | Calibrer le niveau visé par les objectifs et les activités |
| E | Bastien et Scapin (1993) | Huit critères, dix-huit sous-critères ergonomiques | Inspection experte de l’interface Moodle |
| E | Nielsen (1994) | Heuristiques 8 et 10, esthétique et aide | Compléter Bastien et Scapin sur le design et la documentation |
| T | Lebrun, IMAIP (1999) | Cinq facettes : information, motivation, activité, interaction, production | Évaluer l’équilibre du scénario et repérer les facettes absentes |
| T | TPACK | Articulation entre technologie, pédagogie et contenu, plus le contexte | Vérifier que l’outil sert la pédagogie et le contenu, pas l’inverse |
| I | Kirkpatrick (1959) | Quatre niveaux : réaction, apprentissage, comportement, résultats | Niveaux 1 et 2 seulement |
Les niveaux 3 et 4 de Kirkpatrick, le transfert en situation de travail et les effets sur l’organisation, sont hors de portée d’un audit mené sans accès aux apprenants dans la durée. Nous les avons identifiés comme angle mort plutôt que de faire semblant de les couvrir. C’est la limite principale de la grille, et elle est assumée dans le document de cadrage.
Les huit rubriques
Utilité et pertinence
Kirkpatrick niveau 1, IMAIP-Motivation, TPACK-XK
adéquation aux besoins réels du public, explicitation de la valeur, contextualisation dans le milieu professionnel.
Ergonomie et accessibilité du LMS
Bastien et Scapin, Nielsen
guidage, charge de travail, contrôle explicite, gestion des erreurs, homogénéité, signifiance des codes, adaptabilité, compatibilité, aide et documentation.
Scénario et séquençage
IMAIP, Biggs, Bloom
lisibilité du scénario, alternance entre apport et activité, progressivité des modules.
Activités pédagogiques
Bloom, IMAIP-Activité, Biggs, TPACK-TPK
variété des formats, niveau cognitif réellement mobilisé, pertinence du recours au numérique.
Ressources et contenus
IMAIP-Information, TPACK-TCK
fiabilité scientifique, diversité des formats, adéquation à la thématique.
Interactions et accompagnement
IMAIP-Interaction, Kirkpatrick niveau 1
qualité du retour fait à l’apprenant, existence d’un tutorat ou d’un espace d’échange.
Productions et évaluation des apprentissages
IMAIP-Production, Biggs, Bloom, Kirkpatrick niveau 2
clarté des livrables attendus, alignement des évaluations sur les objectifs.
Motivation et engagement
IMAIP-Motivation, Kirkpatrick niveau 1
fil directeur, ressorts d’engagement, sentiment d’utilité.
Ma part dans ce travail
La grille a été construite à trois. Mathilde Hidot a pris l’alignement pédagogique (Biggs, Bloom), le modèle IMAIP et les banques de questions. Zoé Diebold a pris TPACK, Kirkpatrick, l’analyse des questionnaires et l’accessibilité. J’ai pris la dimension Ergonomie, les critères de Bastien et Scapin complétés par les heuristiques de Nielsen, puis l’implémentation du parcours révisé sur Moodle et la production des activités H5P.