Chapitre 13 : Garantir l’enseignement de qualité à l’ère numérique
13.11 Étape 9 : Évaluer et innover
Les derniers principes « fondamentaux » d’un enseignement et d’un apprentissage de qualité à l’ère numérique sont l’évaluation et l’innovation : évaluer ce qui a été fait, puis chercher des moyens de l’améliorer (pour une discussion plus approfondie des problèmes liés à l’évaluation en ligne de l’apprentissage, voir Gunawardena et al., 2000).
13.11.1 L’évaluation du cours
13.11.1.1 Pourquoi l’évaluation est importante
Si vous enseignez, il est important aux fins de promotion et de permanence d’être en mesure de démontrer que l’enseignement a été réussi. De nouveaux outils et de nouvelles approches d’enseignement sont mis constamment à votre disposition. Ils procurent la possibilité d’expérimenter un peu afin de voir si les résultats s’améliorent. Toutefois si nous décidons d’entreprendre cette démarche, nous devons évaluer l’impact de l’usage d’un nouvel outil ou d’une nouvelle conception de cours. C’est ce que font les professionnels. Cependant, la principale raison de le faire est que l’enseignement est comme jouer au golf : nous nous efforçons d’atteindre la perfection, mais sans jamais y arriver. Toutefois, il est toujours possible de s’améliorer, et une des meilleures façons de le faire est d’effectuer une analyse systématique des expériences antérieures.
13.11.1.2 Quoi évaluer? L’approche sommative
Dans la 1re étape de cette marche à suivre, j’ai défini la qualité très étroitement :
Les méthodes d’enseignement, qui aident avec succès les apprenantes et apprenants à acquérir les connaissances et à développer les habiletés dont ils auront besoin à l’ère numérique.
Au fil de la lecture de ce livre, il devient évident qu’il sera obligatoire de reconcevoir la plupart des cours et des programmes afin d’être en mesure de réaliser ces objectifs. Et il sera donc important de confirmer si ces cours reconçus sont vraiment plus efficaces que les « anciens » cours.
Une façon d’évaluer ces nouveaux cours consiste à examiner comment ils se comparent par rapport aux anciens cours, par exemple :
- les taux de réussite seront au moins aussi bons ou même meilleurs pour la nouvelle version du ou des cours;
- les notes accordées ou les mesures de l’apprentissage seront au moins aussi bonnes ou même meilleures pour la nouvelle version.
Les deux premiers critères sont mesurés assez facilement en termes quantitatifs. Dans le cas du premier critère, nous devrions cibler des taux de réussite d’au moins 85 %. Cela signifie que, parmi 100 étudiantes et étudiants qui entreprennent le cours, 85 d’entre eux achèvent avec succès le cours en passant l’évaluation finale. Malheureusement, de nombreux cours actuels ne réussissent pas à obtenir des taux de ce niveau; mais si un bon enseignement est précieux pour nous, nous devrions tenter d’aider autant d’étudiantes et étudiants que possible à atteindre la norme établie.
Le deuxième critère est de comparer les notes obtenues. Nous devrions nous attendre au moins d’avoir autant de notes A et B dans notre nouvelle version que dans l’ancienne version en salle de classe, tout en maintenant les mêmes normes (possiblement élevées) ou même plus élevées.
Pour être valide toutefois, il est nécessaire que l’évaluation définisse les connaissances et les habiletés dans un cours qui satisfont aux besoins de l’ère numérique, puis de mesurer à quel point l’enseignement a été efficace pour réaliser cela. Par conséquent, le troisième critère serait :
- la ou les nouvelles conceptions mèneront à de nouveaux résultats d’apprentissage différents, qui sont plus pertinents pour les besoins de l’ère numérique.
Ce troisième critère est plus difficile, parce qu’il suggère un changement dans les objectifs d’apprentissage visés pour les cours ou les programmes. Cela peut inclure l’évaluation des aptitudes à la communication des étudiantes et étudiants avec les nouveaux médias, ou encore, leur capacité de trouver, d’évaluer, d’analyser et d’appliquer l’information adéquatement au sein de la matière (gestion des connaissances), qui n’a pas été précédemment évaluée (correctement) dans la version en salle de classe. Cette démarche requiert un jugement qualitatif qui permet de cerner les objectifs d’apprentissage les plus importants; et cela peut exiger une approbation ou un soutien fourni par un comité départemental du curriculum ou, même, un organisme d’agrément externe.
Avec une nouvelle conception et de nouveaux résultats d’apprentissage, il peut être difficile d’atteindre ces normes immédiatement, mais cela pourrait être possible d’ici deux ou trois ans.
13.11.1.3 Quoi évaluer? L’approche formative
Cependant même si nous mesurons le cours d’après ces trois critères, nous ne saurons pas nécessairement ce qui fonctionne et ce qui ne fonctionne pas dans le cours. Il nous faudra examiner plus profondément les facteurs, qui peuvent influer sur la capacité d’apprendre des étudiantes et étudiants. Nous avons exposé systématiquement quelques-uns de ces facteurs dans les huit premières étapes de cette marche à suivre. Voici ci-dessous quelques questions, dont vous voudriez peut-être obtenir les réponses :
- Les étudiantes et étudiants ont-ils bien compris les résultats ou objectifs d’apprentissage?
- Quels résultats d’apprentissage ont été plus difficiles à atteindre pour les étudiantes et étudiants?
- Le matériel d’enseignement était-il clair et bien structuré?
- Les matériels et outils d’apprentissage dont les étudiantes et étudiants ont besoin étaient-ils facilement accessibles et disponibles tous les jours, 24 heures sur 24?
- Quels sont les sujets qui ont, ou n’ont pas, entrainé une bonne discussion?
- Les étudiantes et étudiants ont-ils mis à profit les matériels du cours adéquatement dans leurs forums de discussion ou leurs travaux de cours?
- Les étudiantes et étudiants ont-ils trouvé et bien utilisé leurs propres sources appropriées dans les discussions, leurs travaux de cours et d’autres activités étudiantes?
- Quelles activités étudiantes ont bien fonctionné et quelles sont celles qui ont échoué? Pourquoi?
- Des matériels d’apprentissage fournis, lesquels ont été le plus mis à profit ou utilisés par les étudiantes et étudiants? Lesquels l’ont été le moins?
- Les travaux de cours ont-ils évalué adéquatement les connaissances et les habiletés que le cours visait à enseigner?
- La charge de travail des étudiantes et étudiants était-elle excessive?
- Ma charge de travail d’enseignant(e) était-elle beaucoup trop lourde?
- Si c’est le cas, que dois-je faire pour gérer mieux ma charge de travail (ou celle des étudiantes et étudiants) sans sacrifier la qualité?
- Quel est le degré de satisfaction des étudiantes et étudiants envers le cours?
- Quel est mon degré de satisfaction envers le cours?
Je vais maintenant suggérer quelques façons pour répondre à ces questions sans y consacrer beaucoup de temps et de travail.
13.11.1.4 Comment évaluer les facteurs qui enrichissent ou inhibent l’apprentissage
Il existe une gamme de ressources, que vous pouvez mettre à profit pour exécuter cette tâche. Bien sûr, il existe beaucoup plus de ressources sur l’évaluation en ligne que pour l’évaluation conventionnelle des cours en présentiel parce que l’apprentissage en ligne offre la traçabilité en produisant une piste numérique des preuves :
- les notes obtenues par les étudiantes et étudiants;
- les taux de participation étudiante individuellement aux activités en ligne – comme les questions d’autoévaluation, les forums de discussion et les balados;
- l’analyse qualitative des forums de discussion – par exemple la qualité et la portée des commentaires, indiquant le niveau ou l’ampleur de l’engagement ou de la réflexion;
- les portfolios électroniques, les travaux de cours et les réponses aux examens des étudiantes et étudiants;
- les questionnaires étudiants;
- les groupes de réflexion.
Avant de commencer toutefois, il est utile de dresser une liste de questions comme nous l’avons fait dans la section précédente, puis d’examiner quelles sources pourront fournir plus probablement des réponses à ces questions.
À la fin d’un cours, j’ai tendance à consulter les notes accordées aux étudiantes et étudiants et d’identifier ceux qui ont bien réussi et ceux qui ont éprouvé des difficultés. Bien sûr, cela dépend du nombre d’étudiantes et étudiants dans une classe. Dans un grand groupe-classe, je fais peut-être un échantillonnage d’après les notes qui ont été obtenues. Puis je retourne au début du cours pour tracer leur participation en ligne aussi loin que possible (l’analytique de l’apprentissage facilite beaucoup cette démarche, quoiqu’elle puisse aussi être effectuée manuellement si un système de gestion de l’apprentissage a été utilisé). Je trouve que quelques facteurs sont spécifiques à l’étudiante ou étudiant (p. ex., une personne sociable qui communique avec tout le monde). Alors que d’autres sont des facteurs spécifiques au cours : par exemple, des éléments qui sont reliés aux objectifs d’apprentissage ou, encore, la manière dont j’ai présenté ou expliqué le contenu du cours. Cette approche qualitative me suggère souvent des modifications au contenu ou à la façon d’interagir avec les étudiantes et étudiants pour la prochaine version du cours. Il se peut aussi que je détermine la prochaine fois de gérer plus minutieusement les étudiantes et étudiants qui « mobilisent » la conversation.
Plusieurs établissements d’enseignement ont mis en place un système, qui produit des rapports de normes étudiantes à la fin de chaque cours. Un tel système est souvent inutile aux fins de l’évaluation des cours ayant une composante en ligne. Les questions posées doivent être adaptées au mode de prestation. Or, vu que de tels questionnaires sont utilisés pour des comparaisons croisées des cours, les individus qui gèrent ce type d’évaluation sont souvent réticents à se servir d’une version différente pour l’enseignement en ligne. En outre, puisque ces questionnaires sont habituellement remplis à titre volontaire par les étudiantes et étudiants après la fin du cours, les taux de réponse sont souvent notoirement très bas (moins de 20 %). En général, les taux de réponse n’ont aucune valeur ou, au mieux, ils sont trompeurs. Et la plupart des étudiantes et étudiants qui ont abandonné le cours ne verront même pas le questionnaire. Les taux très bas de réponses tendent à être déformés lourdement par les étudiantes et étudiants qui réussissent le cours. Or, nous avons besoin vraiment plutôt des renseignements sur ceux qui ont eu des difficultés dans le cours ou qui l’ont abandonné.
Pour ma part, je pense que les petits groupes de discussion fonctionnent mieux que les questionnaires étudiants et, pour cela, je préfère les outils en face-à-face ou synchrones comme Zoom. J’aborde délibérément sept ou huit étudiantes et étudiants, couvrant la gamme complète en matière de résultats : du décrocheur jusqu’à l’étudiant brillant. Ensuite, je mène une discussion d’une heure portant sur des questions spécifiques au sujet du cours. Si une ou un des étudiants choisis ne veut pas y participer, j’essaie de trouver un autre individu dans la même catégorie. Et si vous avez le temps, il est préférable de mener deux ou trois de ces groupes de discussion afin d’obtenir plus de rétroaction fiables.
13.11.2 Innover
En général, je consacre un peu de temps à la fin de la première présentation d’un cours qui a été reconçu afin de l’évaluer et d’apporter des changements dans la prochaine version. Je fais cela habituellement en collaboration avec un concepteur pédagogique. Ensuite, je me concentre principalement à m’assurer que les taux de réussite et les notes obtenues satisfont aux normes que je vise.
Ce que je fais plus probablement pour les troisièmes et subséquentes versions consiste à examiner des moyens d’améliorer le cours, qui sont le résultat de nouveaux facteurs extérieurs : entre autres, un nouveau logiciel (p. ex., une trousse de portfolio électronique) ou de nouveaux processus (p. ex., un contenu produit par les étudiantes et étudiants, qui utilisent des téléphones mobiles ou des caméras et recueillent des données reliées au projet). Cela permet de conserver la « fraicheur » et l’intérêt du cours. Cependant, je me limite habituellement à un changement important, en partie pour des raisons reliées à la charge de travail, mais aussi parce qu’il est plus facile ainsi de mesurer l’impact de ce changement.
En particulier, l’évolution constante des applications pour téléphones mobiles, des nouveaux LMS « légers » axés sur l’enseignant (p. ex. Instructure ou Canvas), les ressources éducatives ouvertes, les nouveaux matériels tels que les casques VR, les MOOC (CLOM) et les technologies émergentes telles que les jeux sérieux et virtuels, les réalités augmentées et l’intelligence artificielle, tous offrent un large variété de possibilités d’innovation et d’expérimentation. Ceux-ci peuvent être intégrés au sein d’un SGA existant et d’une structure de cours existants, ou les conceptions peuvent être plus radicales. Les Chapitres 3, 4 et 5 abordent une vaste gamme de conceptions possibles.
Toutefois, il est crucial de toujours se rappeler que le but est de permettre aux étudiantes et étudiants d’apprendre efficacement. Nous avons désormais suffisamment de savoir et d’expérience pour être capables de concevoir un apprentissage « sûr » et efficace autour des SGA standard. De nombreux nouveaux outils Web 2.0 n’ont pas été évalués à fond dans les contextes de l’éducation postsecondaire. Et il est déjà évident que certains des plus récents outils ou approches ne se sont pas démontrés aussi efficaces que des approches plus anciennes envers l’apprentissage en ligne. La nouveauté n’est pas toujours meilleure. Je conseille donc aux enseignantes et enseignantes, qui débutent dans l’apprentissage en ligne, de faire preuve de prudence à ce sujet. Suivez d’abord le cheminement déjà tracé et éprouvé, puis ajouter et évaluer de nouveaux outils et de nouvelles approches d’apprentissage à mesure que vous devenez plus expérimentés.
Finalement, si vous créez une innovation intéressante dans votre cours, assurez-vous de l’évaluer adéquatement comme il est suggéré précédemment. Ensuite, je vous invite à partager ces conclusions avec des collègues et à les aider à inclure cette innovation dans leur propre cours, ou encore, à les assister pour rendre cette innovation encore meilleure grâce à leurs modifications. Ainsi, nous pourrons toutes et tous apprendre les uns des autres.
Référence
Gunawardena, C., Lowe, C. & Carabajal, K. (2000) Evaluating Online Learning: models and methods in D. Willis et al. (eds.), Proceedings of Society for Information Technology & Teacher Education International Conference 2000 San Diego CA
Activité 13.11 Évaluer votre cours ou votre programme
1. Élaborez et menez une évaluation de vos cours en utilisant les questions de la Section 13.11.3 ainsi que les données et les méthodes suggérées à la Section 13.11.4. Quels changements feriez-vous à la suite de cette évaluation?
Il n’y a pas de rétroaction pour cette activité.
