5.4 Forces et faiblesses des MOOC

Une analyse approfondie des critères académiques standards montre que les MOOC sont plus rigoureux et constituent une méthodologie d’enseignement beaucoup plus efficace que l’enseignement interne.

Benton R. Groves, Ph.D. student

Ce qui me préoccupe le plus dans les xMOOC, c’est qu’ils ne permettent pas, tels qu’ils sont conçus actuellement, de développer les compétences intellectuelles de haut niveau nécessaires dans un monde numérique.

Tony Bates

5.4.1 La recherche sur les MOOC

Une grande partie des recherches menées à ce jour sur les MOOC provient des institutions qui proposent des MOOC, principalement sous la forme de rapports sur les inscriptions ou d’auto-évaluations par les instructeurs. Les fournisseurs de plateformes commerciales, tels que Coursera et Udacity, ont fourni peu d’informations sur la recherche dans l’ensemble, ce qui est dommage, car ils ont accès à des ensembles de données très importants. Toutefois, le MIT et Harvard, les partenaires fondateurs d’edX, ont mené quelques recherches, principalement sur leurs propres cours.

Dans ce chapitre, je me suis appuyé sur les recherches factuelles disponibles qui donnent un aperçu des forces et des faiblesses des MOOC. Dans le même temps, il convient de préciser que nous discutons d’un phénomène qui, à ce jour, a été largement marqué par un discours politique, émotionnel et souvent irrationnel, plutôt que par des recherches fondées sur des données probantes.

Enfin, il convient de rappeler que, dans le cadre de cette évaluation, j’applique le critère selon lequel les MOOC sont susceptibles de conduire aux types d’apprentissages nécessaires à l’ère numérique : en d’autres termes, contribuent-ils à développer les connaissances et les compétences définies au Chapitre 1 ?

5.4.2 Éducation ouverte et gratuite

5.4.2.1 L’ouverture des MOOC

Les MOOC, et en particulier les xMOOC, offrent un contenu de haute qualité provenant de certaines des meilleures universités du monde à toute personne disposant d’un ordinateur et d’une connexion Internet. En soi, il s’agit d’une proposition de valeur étonnante. En ce sens, les MOOC sont un complément incroyablement précieux à l’éducation. Qui pourrait le contester ?

Cependant, les MOOC ne sont pas la seule forme d’éducation ouverte et gratuite. Les bibliothèques, les manuels scolaires ouverts et la radiodiffusion éducative sont également ouverts et gratuits, et ce depuis un certain temps. Les leçons que nous pouvons tirer de ces formes antérieures d’éducation ouverte et gratuite s’appliquent également aux MOOC.

En outre, les MOOC ne sont pas toujours ouverts au sens des ressources éducatives libres. Coursera et Udacity, par exemple, offrent un accès limité à leur matériel pour une réutilisation sans autorisation. Sur d’autres plateformes plus ouvertes, comme edX, des professeurs ou des institutions peuvent restreindre la réutilisation du matériel. Enfin, de nombreux MOOC n’existent que pendant un ou deux ans avant de disparaître, ce qui limite leur utilisation en tant que ressources éducatives libres pour une réutilisation dans d’autres cours ou programmes.

5.4.2.2 Un substitut à l’enseignement traditionnel ?

Il convient de noter que ces formes antérieures d’éducation ouverte et gratuite ne remplaçaient pas le besoin d’une éducation formelle, basée sur des crédits, mais étaient utilisées pour la compléter ou la renforcer. En d’autres termes, les MOOC sont un outil de formation continue et informelle, qui a une grande valeur en soi. Cependant, comme nous le verrons, les MOOC fonctionnent mieux lorsque les gens sont déjà raisonnablement bien éduqués. Il n’y a donc aucune raison de croire que les MOOC, parce qu’ils sont ouverts et gratuits pour les utilisateurs finaux, vont inévitablement faire baisser le coût de l’enseignement supérieur conventionnel, en éliminer complètement le besoin ou mettre un enseignement supérieur efficace à la portée du plus grand nombre.

5.4.2.3 La réponse pour l’éducation dans les pays en développement ?

De nombreuses tentatives ont été faites pour utiliser la radiodiffusion éducative et la radiodiffusion par satellite dans les pays en développement afin d’ouvrir l’éducation aux masses (voir Bates, 1984), et elles ont toutes échoué à accroître l’accès ou à réduire les coûts pour diverses raisons, dont la plus importante est qu’elles n’ont pas permis d’améliorer l’accès à l’éducation :

• le coût élevé de l’équipement au sol (y compris la sécurité contre le vol ou les dommages) ;
• la nécessité d’un soutien local en face-à-face pour les apprenants qui n’ont pas un niveau d’éducation élevé ;
• la nécessité d’adapter le contenu à la culture et aux besoins des pays d’accueil ;
• la difficulté de couvrir les coûts opérationnels de gestion et d’administration, en particulier pour l’évaluation, les qualifications et l’accréditation locale.

De même, dans la plupart des pays en développement, la priorité n’est pas de suivre des cours universitaires dispensés par des professeurs de haut niveau de l’université de Stanford, mais de bénéficier d’un enseignement secondaire peu coûteux et de bonne qualité.

Bien que les téléphones mobiles et, dans une moindre mesure, les tablettes soient très répandus en Afrique, leur utilisation est relativement coûteuse. Par exemple, le téléchargement d’une vidéo YouTube typique coûte 2 USD, soit l’équivalent d’une journée de salaire pour de nombreux Africains. Les courtes vidéos de 50 minutes diffusées en continu n’ont donc qu’une utilité limitée.

Enfin, il est franchement immoral de laisser croire aux habitants des pays en développement que la réussite d’un MOOC leur permette d’obtenir un diplôme reconnu ou d’entrer à l’université aux États-Unis ou dans tout autre pays économiquement avancé, du moins dans les circonstances actuelles.

Cela ne veut pas dire que les MOOC ne peuvent pas être utiles dans les pays en développement, mais cela signifie qu’il faut :

• être réalistes quant à ce qu’ils peuvent réellement fournir ;
• développer des MOOC produits localement, reconnus par les systèmes éducatifs existants et intégrés à ceux-ci, tels que les MOOC SWAYAM en Inde
• veiller à ce que le soutien nécessaire aux étudiants – qui coûte de l’argent – soit mis en place ;
• adapter la conception, le contenu et la diffusion des MOOC aux exigences culturelles et économiques de ces pays.

Enfin, bien que les MOOC soient dans l’ensemble gratuits pour les participants, ils ne sont pas sans coût substantiel pour les fournisseurs de MOOC, une question qui sera examinée plus en détail à la section 5.4.8.

5.4.3 Le public auquel s’adressent principalement les MOOC

Dans un rapport de recherche de Ho et al. (2014), des chercheurs de l’Université de Harvard et du MIT ont constaté que sur les 17 premiers MOOC proposés par edX,

• 66 % de tous les participants, et 74 % de tous ceux qui ont obtenu un certificat, sont titulaires d’une licence ou d’un diplôme supérieur,
• 71 % étaient des hommes et l’âge moyen était de 26 ans.
• Cette étude et d’autres ont également montré qu’une grande partie des participants venaient de l’extérieur des États-Unis, soit de 40 à 60 % de l’ensemble des participants, ce qui indique un fort intérêt international pour le libre accès à un enseignement universitaire de grande qualité.

Dans une étude basée sur plus de 80 entretiens dans 62 institutions « actives dans l’espace MOOC« , Hollands et Tirthali (2014), chercheurs au Teachers’ College de l’Université de Columbia, ont constaté que

Les données fournies par les plateformes de MOOC indiquent que ces derniers offrent des possibilités de formation à des millions de personnes à travers le monde. Cependant, la plupart des participants aux MOOC sont déjà bien formés et ont un emploi, et seule une petite partie d’entre eux s’engage pleinement dans les cours. Dans l’ensemble, les données suggèrent que les MOOC sont loin de « démocratiser » l’éducation et pourraient, pour l’instant, contribuer davantage à creuser les écarts d’accès à l’éducation qu’à les réduire.

Ainsi, les MOOC, comme la plupart des formes de formation continue universitaire, s’adressent aux secteurs les plus instruits, les plus âgés et les plus actifs de la société.

5.4.4 Persistance et engagement : l’hypothèse de l’oignon

Les chercheurs d’edX (Ho et al., 2014) ont identifié les différents niveaux d’engagement suivants dans 17 MOOC edX :

• seulement inscrits : les inscrits qui n’accèdent jamais au didacticiel (35 %) ;
• seulement consultés : les inscrits non certifiés qui accèdent au didacticiel, accèdent à moins de la moitié des chapitres disponibles (56 %) ;
• seulement exploré : les inscrits non certifiés qui ont accédé à plus de la moitié des chapitres disponibles dans le didacticiel, mais qui n’ont pas obtenu de certificat (4 %) ;
• certifiés : les inscrits qui obtiennent un certificat dans le cadre du cours (5 %).

Hill (2013) a identifié cinq types de participants aux cours Coursera :

Engle (2014) a trouvé des modèles similaires (également reproduits dans d’autres études) pour les MOOC de l’Université de la Colombie-Britannique sur Coursera :

• parmi les personnes qui s’inscrivent initialement, entre un tiers et la moitié ne participent pas activement à d’autres activités ;
• Parmi ceux qui participent à au moins une activité, entre 5 et 10 % obtiennent un certificat.

Les personnes qui obtiennent un certificat se situent généralement entre 5 et 10 % des inscrits et entre 10 et 20 % de ceux qui ont participé activement au MOOC au moins une fois. Néanmoins, le nombre de personnes obtenant un certificat reste important en termes absolus : plus de 43 000 pour 17 cours sur edX et 8 000 pour quatre cours à l’UBC (entre 2 000 et 2 500 certificats par cours).

Milligan et al. (2013) ont trouvé un modèle similaire d’engagement dans les cMOOC, en interrogeant un petit échantillon de participants (29 sur 2 300 inscrits) à mi-parcours d’un cMOOC :

• les participants passifs : dans l’étude de Milligan, il s’agit de ceux qui se sentent perdus dans le MOOC et qui se connectent rarement, mais occasionnellement ;
• les « lurkers » : ils suivaient activement le cours, mais ne participaient à aucune des activités (un peu moins de la moitié des personnes interrogées) ;
• des participants actifs (là encore, un peu moins de la moitié des personnes interrogées) qui se sont pleinement engagés dans les activités du cours.

Reich et Ruipérez-Valiente (2019), dans leur étude sur les MOOC edX, ont rapporté que :

… après avoir promis une réorganisation de l’enseignement supérieur, nous voyons le domaine se regrouper autour d’un modèle commercial différent et beaucoup plus ancien : aider les universités à externaliser leurs masters en ligne pour les professionnels. La grande majorité des apprenants de MOOC ne reviennent jamais après leur première année, la croissance de la participation aux MOOC s’est concentrée presque entièrement dans les pays les plus riches du monde, et le fléau des MOOC – les faibles taux de réussite – ne s’est pas amélioré en six ans.

Les MOOC doivent être jugés pour ce qu’ils sont, une forme quelque peu unique – et précieuse – d’éducation non formelle. Ces résultats sont très similaires à ceux de la recherche sur les émissions éducatives non formelles (par exemple, la chaîne Histoire). On ne s’attendrait pas à ce qu’un téléspectateur regarde tous les épisodes d’une série de la chaîne Histoire et passe un examen à la fin. Ho et al. (p.13) ont produit le diagramme suivant pour montrer les différents niveaux d’engagement envers les xMOOC :

Ceci est remarquablement similaire à mon hypothèse sur les oignons de la radiodiffusion éducative en Grande-Bretagne (Bates, 1984) :

(p.99) : Au centre de l’oignon se trouve un petit noyau d’étudiants totalement engagés qui suivent l’intégralité du cours et, le cas échéant, passent une évaluation ou un examen de fin de cours. Autour de ce petit noyau se trouve une couche plus importante d’étudiants qui ne passent pas d’examen, mais s’inscrivent à une classe locale ou à une école par correspondance. Il peut y avoir une couche encore plus importante d’étudiants qui, en plus de regarder et d’écouter, achètent également le manuel d’accompagnement, mais qui ne s’inscrivent à aucun cours. Enfin, le groupe de loin le plus important est celui qui se contente de regarder ou d’écouter les programmes. Même au sein de ce dernier groupe, il y aura des variations considérables entre ceux qui regardent ou écoutent assez régulièrement et ceux, encore plus nombreux, qui ne regardent ou n’écoutent qu’un seul programme.

J’ai également écrit (p.100) :

Un sceptique pourrait dire que les seuls qui peuvent être considérés comme ayant appris efficacement sont l’infime minorité qui a suivi le cours jusqu’au bout et a passé avec succès l’évaluation finale… Un argument contraire serait que la radiodiffusion peut être considérée comme une réussite si elle attire simplement des téléspectateurs ou des auditeurs qui n’auraient autrement manifesté aucun intérêt pour le sujet ; c’est le nombre de personnes exposées au matériel qui compte. La question clé est donc de savoir si la radiodiffusion attire vers l’éducation ceux qui n’auraient pas été intéressés autrement, ou si elle offre simplement une nouvelle opportunité à ceux qui sont déjà bien éduqués… De nombreux éléments indiquent que ce sont toujours les personnes les plus éduquées en Grande-Bretagne et en Europe qui utilisent le plus la radiodiffusion éducative non formelle.

On pourrait dire la même chose des MOOC. À l’ère du numérique, où l’accès facile et ouvert aux nouvelles connaissances est essentiel pour ceux qui travaillent dans des secteurs fondés sur la connaissance, les MOOC seront une source ou un moyen précieux d’accéder à ces connaissances. La question est toutefois de savoir s’il existe des moyens plus efficaces d’y parvenir. Les MOOC peuvent donc être considérés comme une contribution utile – mais pas vraiment révolutionnaire – à la formation continue non formelle.

Il est beaucoup plus difficile de répondre à cette question, car très peu de recherches menées jusqu’à présent (2022) ont tenté d’y répondre. (L’une des raisons, comme nous le verrons dans la section suivante, est que l’évaluation de l’apprentissage dans les MOOC reste un défi majeur). Il existe au moins deux types d’études : les études quantitatives qui cherchent à quantifier les gains d’apprentissage et les études qualitatives qui décrivent l’expérience des apprenants dans les MOOC, ce qui donne indirectement un aperçu de ce qu’ils ont appris.

5.4.5.1 Apprentissage conceptuel

Au moment de la rédaction du présent document, l’étude la plus quantitative sur l’apprentissage dans les MOOC a été réalisée par Colvin et al. (2014), qui ont étudié l' »apprentissage conceptuel » dans un MOOC d’introduction à la physique du MIT. Colvin et ses collègues ont comparé les performances des apprenants non seulement entre différentes sous-catégories d’apprenants au sein du xMOOC, comme ceux qui n’ont aucune formation en physique ou en mathématiques et ceux qui, comme les professeurs de physique, ont des connaissances préalables considérables, mais aussi avec les étudiants sur le campus qui suivent le même programme d’études dans un format d’enseignement traditionnel sur le campus. En substance, l’étude n’a pas révélé de différences significatives dans les gains d’apprentissage entre les deux types d’enseignement, mais il convient de noter que les étudiants sur le campus étaient des étudiants qui avaient échoué à une version antérieure du cours et qui le reprenaient.

Cette recherche est un exemple classique de l’absence de différence significative dans les études comparatives sur les technologies éducatives ; d’autres variables, telles que les différences entre les types d’étudiants, étaient aussi importantes que le mode de transmission (pour en savoir plus sur le phénomène de l’absence de différence significative dans les comparaisons de médias, voir le Chapitre 11, Section 2.2). En outre, cette conception du xMOOC représente une approche comportementaliste-cognitiviste de l’apprentissage qui met fortement l’accent sur les réponses correctes aux questions conceptuelles. Il ne cherche pas à développer les compétences nécessaires à l’ère numérique, telles qu’identifiées au chapitre 1.

5.4.5.2 L’expérience des étudiants

L’expérience des apprenants au sein des MOOC a fait l’objet d’un nombre beaucoup plus important d’études, notamment en ce qui concerne les discussions au sein des MOOC (voir, par exemple, Kop, 2011). En général (bien qu’il y ait des exceptions), les discussions ne sont pas surveillées et les participants sont libres d’établir des liens et de répondre aux commentaires des autres étudiants.

Toutefois, l’efficacité de l’élément de discussion des xMOOC pour développer l’analyse conceptuelle de haut niveau nécessaire à l’apprentissage académique a fait l’objet de vives critiques. Des études sur l’apprentissage en ligne avec crédits montrent que pour développer un apprentissage conceptuel approfondi, il faut dans la plupart des cas l’intervention d’un expert en la matière pour clarifier les malentendus ou les idées fausses, pour fournir un retour d’information précis, pour s’assurer que les critères de l’apprentissage académique, tel que l’utilisation de preuves, la clarté de l’argumentation, etc. sont respectées, et pour assurer l’apport et l’orientation nécessaires à la recherche d’une compréhension plus profonde (voir en particulier Harasim, 2017).

En outre, plus le cours est massif, plus les participants aux MOOC ont tendance à se sentir surchargés, anxieux et perdus s’il n’y a pas d’intervention de l’instructeur ou de structure imposée (Knox, 2014). Firmin et al. (2014) ont montré que lorsqu’il y a une forme d’encouragement et de soutien des efforts et de l’engagement des étudiants de la part de l’instructeur, les résultats s’améliorent pour tous les participants aux MOOC. En l’absence d’un rôle structuré pour les experts en la matière, les participants sont confrontés à une grande variété de qualité en termes de commentaires et de retour d’information de la part des autres participants. Là encore, de nombreuses recherches ont été menées sur les conditions nécessaires à la réussite de l’apprentissage collaboratif et coopératif en groupe (voir par exemple Lave et Wenger, 1991, ou Barkley, Major et Cross, 2014), et ces conclusions n’ont certainement pas été appliquées de manière générale à la gestion des discussions dans les MOOC.

5.4.5.3 Apprentissage en réseau et en collaboration

L’un des contre-arguments est que les cMOOC, en particulier, développent une nouvelle forme d’apprentissage basée sur la mise en réseau et la collaboration qui est essentiellement différente de l’apprentissage académique, et que les cMOOC sont donc plus appropriés aux besoins des apprenants à l’ère du numérique. Selon Downes et Siemens, les participants adultes en particulier, ont la capacité de gérer eux-mêmes le développement d’un apprentissage conceptuel de haut niveau. Les cMOOC sont axés sur la « demande », répondant aux intérêts d’étudiants individuels qui recherchent d’autres personnes ayant des intérêts similaires et l’expertise nécessaire pour les soutenir dans leur apprentissage, et pour beaucoup, cet intérêt pourrait bien ne pas inclure le besoin d’un apprentissage conceptuel approfondi, mais plus probablement les applications appropriées de connaissances antérieures dans des contextes nouveaux ou spécifiques. Tous les MOOC semblent fonctionner au mieux pour ceux qui ont déjà un niveau d’éducation élevé et qui apportent donc avec eux, lorsqu’ils rejoignent un MOOC, de nombreuses compétences conceptuelles développées dans le cadre de l’éducation formelle, et contribuent donc à aider ceux qui arrivent sans ces connaissances ou compétences préalables.

5.4.5.4 Le besoin de soutien des apprenants

Au fil du temps, avec l’expérience acquise, les MOOC sont susceptibles d’incorporer et d’adapter certaines des conclusions de la recherche sur le travail en petits groupes au nombre beaucoup plus important de participants aux MOOC. Par exemple, certains MOOC font appel à des tuteurs « bénévoles » ou communautaires. Le Département d’État américain a organisé des camps MOOC par l’intermédiaire des missions et consulats américains à l’étranger afin d’encadrer les participants aux MOOC. Des boursiers Fulbright et des membres du personnel des ambassades ont participé à ces camps qui animent les discussions sur le contenu et les sujets pour les participants au MOOC dans les pays étrangers (Haynie, 2014).

Certains fournisseurs de MOOC, comme l’Université de la Colombie-Britannique, ont rémunéré une petite cohorte d’aides-universitaires pour surveiller les forums de discussion du MOOC et y contribuer (Engle, 2014). Selon Engle, le recours à des assistants universitaires, ainsi que les interventions limitées, mais efficaces des instructeurs eux-mêmes, ont rendu les MOOC de l’UBC plus interactifs et plus attrayants.

Cependant, le fait de payer des personnes pour surveiller et soutenir les MOOC augmentera évidemment le coût pour les fournisseurs. Par conséquent, les MOOC sont susceptibles de développer de nouvelles méthodes automatisées pour gérer efficacement les discussions au sein de très grands groupes. Par exemple, l’Université d’Édimbourg a expérimenté un « teacherbot » automatisé qui parcourait les messages Twitter des étudiants et des instructeurs associés à un MOOC et adressait des commentaires prédéterminés aux étudiants pour susciter la discussion et la réflexion (Bayne, 2015). Ces résultats et approches sont cohérents avec les recherches antérieures sur l’importance de la présence de l’enseignant pour la réussite de l’apprentissage en ligne dans les cours crédités (voir Chapitre 4.4.3).

En attendant, il reste encore beaucoup à faire pour que les MOOC fournissent le soutien et la structure nécessaires pour assurer un apprentissage conceptuel approfondi là où il n’existe pas encore chez les étudiants. Le développement des compétences nécessaires à l’ère numérique risque d’être un défi encore plus grand lorsqu’il s’agit d’un grand nombre d’étudiants. Nous avons besoin de beaucoup plus de recherches sur ce que les participants apprennent réellement dans les MOOC et dans quelles conditions avant de pouvoir tirer des conclusions définitives.

5.4.6 Évaluation

L’évaluation du nombre massif de participants aux MOOC s’est avérée être un défi majeur. Il s’agit d’un sujet complexe qui ne peut être traité que brièvement ici. Cependant, la Section 8 du Chapitre 6 propose une analyse générale des différents types d’évaluation, et Suen (2014) fournit un aperçu complet et équilibré de la manière dont l’évaluation a été utilisée dans les MOOC. Cette section s’inspire largement de l’article de Suen.

5.4.6.1 Devoirs corrigés par ordinateur

Jusqu’à présent, l’évaluation dans les MOOC a été principalement de deux types. La première est basée sur des tests quantitatifs à choix multiples ou sur des boîtes de réponse dans lesquelles des formules ou un « code correct » peuvent être saisis et automatiquement vérifiés. En général, les participants reçoivent immédiatement un retour d’information automatisé sur leurs réponses, allant de simples réponses justes ou fausses à des réponses plus complexes en fonction du type de réponse vérifié, mais dans tous les cas, le processus est généralement entièrement automatisé.

Cela fonctionne bien pour tester directement des faits, des principes, des formules, des équations et d’autres formes d’apprentissage conceptuel pour lesquels il existe des réponses claires et correctes. En fait, les devoirs à choix multiples notés par ordinateur ont été utilisés par l’Open University britannique dès les années 1970, bien que les moyens de donner un retour d’information immédiat en ligne n’aient pas été disponibles à l’époque. Cependant, cette méthode d’évaluation est limitée pour tester l’apprentissage profond ou « transformateur », et particulièrement faible pour évaluer les compétences intellectuelles nécessaires à l’ère numérique, telles que la pensée créative ou originale.

5.4.6.2 Évaluation par les pairs

Un autre type d’évaluation qui a été testé dans les MOOC est l’évaluation par les pairs, où les participants évaluent le travail des autres. L’évaluation par les pairs n’est pas nouvelle. Elle a été utilisée avec succès pour l’évaluation formative dans les classes traditionnelles et dans certains enseignements en ligne pour l’obtention de crédits (Falchikov et Goldfinch, 2000; van Zundert et al., 2010). Plus important encore, l’évaluation par les pairs est considérée comme un moyen puissant d’améliorer la compréhension et la connaissance approfondies grâce au processus d’évaluation du travail des autres par les étudiants, et en même temps, elle peut être utile pour développer certaines des compétences nécessaires à l’ère numérique, telle que la pensée critique, pour les participants qui évaluent d’autres participants.

Toutefois, l’une des principales caractéristiques de l’utilisation réussie de l’évaluation par les pairs est l’implication étroite d’un instructeur ou d’un enseignant, qui fournit des repères, des rubriques ou des critères d’évaluation, et qui contrôle et ajuste les évaluations par les pairs afin d’en assurer la cohérence et la concordance avec les repères fixés par l’instructeur. Bien qu’un instructeur puisse fournir les repères et les rubriques dans les MOOC, il est difficile, voire impossible, de suivre de près les multiples évaluations par les pairs en raison du très grand nombre de participants.

En conséquence, les participants au MOOC sont souvent furieux d’être évalués au hasard par d’autres participants qui n’ont pas forcément, et souvent pas, les connaissances ou la capacité de donner une évaluation « juste » ou précise du travail d’un autre participant.

Diverses tentatives ont été faites pour contourner les limites de l’évaluation par les pairs dans les MOOC, comme les évaluations calibrées par les pairs, basées sur la moyenne de toutes les évaluations par les pairs, et la stabilisation bayésienne post hoc (Piech at al. 2013), mais bien que ces techniques statistiques réduisent quelque peu l’erreur (ou la dispersion) de l’évaluation par les pairs, elles n’éliminent toujours pas les problèmes liés aux erreurs systématiques de jugement des évaluateurs dues à des conceptions erronées. Ce problème se pose en particulier lorsque la majorité des participants ne comprennent pas les concepts clés d’un MOOC, auquel cas l’évaluation par les pairs devient l’aveugle qui guide l’aveugle.

5.4.6.3 Notation automatisée des essais

Il s’agit là d’un autre domaine où l’on a tenté d’automatiser la notation (Balfour, 2013). Bien que ces méthodes soient de plus en plus sophistiquées, elles se limitent actuellement, en termes d’évaluation précise, à mesurer principalement les compétences rédactionnelles techniques, telles que la grammaire, l’orthographe et la construction des phrases. Une fois de plus, elles ne mesurent pas encore avec précision les rédactions plus longues qui exigent des compétences intellectuelles de plus haut niveau.

5.4.6.4 Badges, certificats et microcrédits

En particulier dans les xMOOC, les participants peuvent recevoir un certificat ou un « badge » pour avoir terminé le MOOC avec succès, sur la base d’un test final (généralement noté par ordinateur) qui mesure le niveau d’apprentissage d’un cours. Toutefois, la plupart des établissements qui proposent des MOOC n’acceptent pas leurs propres certificats pour l’admission ou l’obtention de crédits dans le cadre de leurs propres programmes sur le campus. Il n’y a probablement rien qui en dise plus long sur la confiance dans la qualité de l’évaluation que cette incapacité des fournisseurs de MOOC à reconnaître leur propre enseignement.

Les microcrédits basés sur des MOOC sont un développement plus récent. Un microcrédit est l’une des nombreuses nouvelles certifications qui couvrent plus qu’un seul cours, mais qui sont moins importantes qu’un diplôme complet. Pickard (2018) fournit une analyse de plus de 450 microcrédits basés sur des MOOC. Pickard affirme ce qui suit :

Les microcrédits peuvent être considérés comme faisant partie d’une tendance à la modularité et à l’empilabilité dans l’enseignement supérieur, l’idée étant que chaque petit élément d’une formation peut être réalisé seul ou peut être agrégé à d’autres éléments pour former quelque chose de plus grand. Chaque cours est composé d’unités, chaque unité est composée de leçons ; les cours peuvent s’empiler en spécialisations ou en séries X ; ces dernières peuvent s’empiler en diplômes partiels tels que les micro-masters, ou jusqu’à des diplômes complets (bien que seuls certains microcrédits soient structurés comme des éléments de diplômes).

Toutefois, dans son analyse, Mme Pickard a constaté que dans les microcrédits proposés par les principales plateformes de MOOC, telles que Coursera, edX, Udacity et FutureLearn ;

• les frais de scolarité varient entre 250 et 17 000 dollars américains ;
• certains microcrédits, mais pas tous, offrent la possibilité d’obtenir des crédits pour un programme diplômant. Règle générale, les crédits universitaires sont accordés si et seulement si l’étudiant s’inscrit au programme diplômant lié au microcrédit ;
• ils ne sont pas accrédités, reconnus ou évalués par des organisations tierces (sauf dans la mesure où ils se rapportent à des programmes universitaires). Cette variabilité et ce manque de normalisation posent un problème à la fois pour les apprenants et les employeurs, car il est difficile de comparer les différents microcrédits ;
• Avec une telle variabilité, comment un apprenant potentiel pourrait-il choisir parmi les différentes options ? En outre, sans une compréhension détaillée de ces options, comment un employeur pourrait-il interpréter ou comparer ces microcrédits lorsqu’ils figurent sur un curriculum vitae ?

Néanmoins, à l’ère du numérique, les travailleurs et les employeurs chercheront de plus en plus à « accréditer » des unités d’apprentissage plus petites qu’un diplôme, mais de manière à ce qu’elles puissent être cumulées en vue de l’obtention d’un diplôme complet. La question est de savoir si le fait de lier cela au mouvement MOOC est la meilleure façon de procéder.

Une meilleure solution consisterait certainement à développer des microcrédits dans le cadre d’un programme régulier de maîtrise en ligne ou en parallèle à celui-ci. Par exemple, dès 2003, l’Université de la Colombie-Britannique, dans le cadre de son master en ligne de technologie éducative, permettait aux étudiants de suivre un seul cours à la fois, ou les cinq cours de base pour un certificat de troisième cycle, ou encore d’ajouter quatre cours supplémentaires et un projet au certificat pour obtenir un master complet. Ces microcrédits ne seraient pas des MOOC, sauf (a) s’ils sont ouverts à tous et (b) s’ils sont gratuits ou à un coût si bas que n’importe qui peut les suivre. La question qui se pose alors est de savoir si l’établissement acceptera ces diplômes de type MOOC comme faisant partie d’un diplôme complet. Si ce n’est pas le cas, il est peu probable que les employeurs reconnaissent ces microcrédits, car ils ne sauront pas ce qu’ils valent

5.4.6.5 L’intention derrière l’évaluation

Pour évaluer l’évaluation dans les MOOC, il faut examiner l’intention qui sous-tend l’évaluation. Les objectifs de l’évaluation sont nombreux et variés (voir Chapitre 6, section 8). L’évaluation par les pairs et le retour d’information immédiat sur les tests corrigés par ordinateur peuvent être extrêmement utiles pour l’évaluation formative ou le retour d’information, en permettant aux participants de voir ce qu’ils ont compris et de les aider à approfondir leur compréhension des concepts clés. Dans les cMOOC, comme le souligne Suen, l’apprentissage est mesuré par la communication qui a lieu entre les participants au MOOC, ce qui aboutit à une validation collective des connaissances – c’est ce que la somme de tous les participants en vient à considérer comme vrai à la suite de leur participation au MOOC, de sorte qu’une évaluation formelle n’est pas nécessaire. Cependant, ce qui est appris de cette manière n’est pas nécessairement un savoir validé par les universités, ce qui, pour être juste, n’est pas la préoccupation des partisans du cMOOC.

L’évaluation académique est une forme de monnaie, liée non seulement à la mesure des résultats des étudiants, mais aussi à la mobilité des étudiants (par exemple, l’accès aux études supérieures) et, peut-être plus important encore, aux possibilités d’emploi et de promotion. Du point de vue de l’apprenant, la validité de la monnaie – la reconnaissance et la transférabilité de la qualification – est essentielle. À ce jour, les MOOC n’ont pas été en mesure de démontrer qu’ils pouvaient évaluer avec précision les acquis des participants au-delà de la compréhension et de la connaissance d’idées, de principes et de processus (tout en reconnaissant qu’il y a une certaine valeur à cela). Ce que les MOOC n’ont pas pu démontrer, c’est qu’ils peuvent développer ou évaluer une compréhension approfondie ou les compétences intellectuelles requises à l’ère numérique. En effet, il est possible que cela ne soit pas possible dans les limites de la masse, qui est leur principale caractéristique distinctive par rapport à d’autres formes d’apprentissage en ligne.

5.4.7 L’image de marque

Hollands et Tirthali (2014), dans leur enquête sur les attentes des établissements en matière de MOOC, ont constaté que la création et le maintien d’une image de marque étaient la deuxième raison la plus importante pour laquelle les établissements lançaient des MOOC (la plus importante étant l’extension de la portée, qui peut également être considérée en partie comme un exercice d’image de marque). L’image de marque des institutions par l’utilisation des MOOC a été favorisée par les universités d’élite de la Ivy League telles que Stanford, MIT et Harvard, qui ont pris les devants, et par Coursera qui a initialement limité l’accès à sa plateforme aux seules universités de « premier plan ». Cela a bien sûr entraîné un effet de vague, d’autant plus qu’un grand nombre des universités qui ont lancé des MOOC avaient auparavant dédaigné de se lancer dans l’apprentissage en ligne basé sur l’obtention d’unités de valeur. Les MOOC ont permis à ces établissements d’élite de se hisser au premier rang des « innovateurs » de l’apprentissage en ligne, même s’ils sont arrivés en retard à la fête.

Il est évidemment logique que les établissements utilisent les MOOC pour faire connaître leurs domaines d’expertise à un public beaucoup plus large, comme l’Université d’Alberta qui propose un MOOC sur les dinosaures, le MIT sur l’électronique et Harvard sur les héros grecs de l’Antiquité. Les MOOC contribuent certainement à élargir la connaissance de la qualité d’un professeur individuel (qui est généralement ravi de toucher plus d’étudiants en un MOOC qu’en une vie entière d’enseignement sur le campus). Les MOOC sont également un bon moyen de donner un aperçu de la qualité des cours et des programmes proposés par un établissement.

Toutefois, il est difficile de mesurer l’impact réel des MOOC sur l’image de marque. Comme le disent Hollands et Tirthali :

Bien que de nombreux établissements aient bénéficié d’une attention médiatique importante à la suite de leurs activités liées aux MOOC, il est difficile d’isoler et de mesurer l’impact d’une nouvelle initiative sur la marque. La plupart des établissements commencent à peine à réfléchir à la manière de saisir et de quantifier les avantages liés à l’image de marque.

En particulier, ces établissements d’élite n’ont pas besoin des MOOC pour augmenter le nombre de candidats à leurs programmes sur le campus (à ce jour, aucun n’est prêt à accepter la réussite d’un MOOC pour l’admission à des programmes crédités), puisque les établissements d’élite n’ont aucune difficulté à attirer des étudiants déjà hautement qualifiés.

En outre, une fois qu’un établissement sur deux commence à proposer des MOOC, l’effet de marque se perd dans une certaine mesure. En effet, l’exposition d’un enseignement ou d’une planification de cours de qualité médiocre à de nombreuses personnes peut avoir un impact négatif sur l’image de marque d’un établissement, comme l’a constaté le Georgia Institute of Technology lorsque l’un de ses MOOC s’est effondré (Jaschik, 2013). Cependant, dans l’ensemble, la plupart des MOOC réussissent à faire connaître la réputation d’un établissement en termes de connaissances et d’expertise à un plus grand nombre de personnes que par le biais d’une autre forme d’enseignement ou de publicité.

5.4.8 Coûts et économies d’échelle

L’un des principaux atouts des MOOC est qu’ils sont gratuits pour les participants. Une fois de plus, cela est plus vrai en principe qu’en pratique, car les fournisseurs de MOOC peuvent facturer une série de frais, en particulier pour l’évaluation. En outre, bien que les MOOC soient gratuits pour les participants, ils ne sont pas sans coût substantiel pour les institutions qui les dispensent. Il existe également de grandes différences entre les coûts des xMOOC et des cMOOC, ces derniers étant généralement beaucoup moins chers à développer, bien qu’il y ait toujours des coûts d’opportunité ou des coûts réels, même pour les cMOOC.

5.4.8.1 Le coût de la production et de la diffusion des MOOC

Il existe encore très peu d’informations sur les coûts réels de la conception et de la diffusion d’un MOOC, car il n’y a pas assez d’études publiées pour tirer des conclusions définitives sur les coûts des MOOC. Nous disposons toutefois de quelques données. L’Université d’Ottawa a estimé en 2013 le coût de développement d’un xMOOC, basé sur les chiffres fournis à l’université par Coursera, et sur leur propre connaissance du coût de développement des cours en ligne pour les crédits, à environ 100 000 $.

Engle (2014) a publié un rapport sur le coût réel de cinq MOOC de l’Université de la Colombie-Britannique. Les MOOC de l’UBC présentent deux caractéristiques importantes qui ne s’appliquent pas nécessairement aux autres MOOC. Premièrement, les MOOC de l’UBC ont utilisé une grande variété de méthodes de production vidéo, allant de la production en studio à l’enregistrement sur ordinateur, de sorte que les coûts de développement varient considérablement, en fonction de la sophistication de la technique de production vidéo. Deuxièmement, les MOOC de l’UBC faisaient largement appel à des assistants-universitaires rémunérés, qui surveillaient les discussions et adaptaient ou modifiaient les supports de cours en fonction des commentaires des étudiants, ce qui a également engendré des coûts de diffusion importants.

L’annexe B du rapport de l’UBC donne un total de 217 657 dollars pour le projet pilote, mais ce chiffre ne tient pas compte de l’assistance académique ou, peut-être le coût le plus important, du temps de l’instructeur. L’assistance académique a représenté 25 % du coût total la première année (sans compter le coût de la faculté). Sur la base des coûts de production vidéo (95 350 dollars) et de la proportion des coûts (44 %) consacrée à la production vidéo dans la figure 1 du rapport, j’estime le coût direct à 216 700 dollars, soit environ 54 000 dollars par MOOC, sans compter le temps des professeurs et le soutien à la coordination (c’est-à-dire sans l’administration du programme et les frais généraux), mais en incluant l’assistance académique. Cependant, la fourchette des coûts est presque aussi importante. Les coûts de production vidéo pour le MOOC qui a utilisé une production intensive en studio étaient plus de six fois supérieurs aux coûts de production vidéo de l’un des autres MOOC.

5.4.8.2 Les coûts comparatifs des cours en ligne avec crédits

Les principaux facteurs ou variables de coût de l’apprentissage en ligne et à distance basé sur des crédits sont relativement bien compris, grâce aux recherches antérieures de Rumble (2001) et Hülsmann (2003). En utilisant une méthodologie de calcul des coûts similaire, j’ai suivi et analysé le coût d’un master en ligne, d’une formation en ligne et d’une formation à distance. Ce programme a été mis en place à l’Université de Colombie britannique sur une période de sept ans (Bates et Sangrà, 2011). Ce programme utilisait principalement un système de gestion de l’apprentissage comme technologie de base, les instructeurs développant le cours et assurant le soutien et l’évaluation en ligne de l’apprenant, avec l’aide, si nécessaire, de professeurs auxiliaires supplémentaires pour gérer les effectifs plus importants de la classe.

Dans mon analyse des coûts du programme de l’UBC, j’ai constaté qu’en 2003, les coûts de développement s’élevaient à environ 20 000 à 25 000 dollars par cours. Toutefois, sur une période de sept ans, le développement des cours a représenté moins de 15 % du coût total et a eu lieu principalement au cours de la première année du programme. Les coûts de prestation, qui comprennent l’assistance à l’apprenant en ligne et l’évaluation des étudiants, représentent plus d’un tiers du coût total, et sont bien sûr maintenus chaque année où le cours est proposé. Ainsi, dans l’apprentissage en ligne basé sur des crédits, les coûts de prestation tendent à être plus du double des coûts de développement sur la durée de vie d’un programme.

La principale différence entre les MOOC, l’enseignement en ligne basé sur des crédits et l’enseignement sur le campus est qu’en principe les MOOC éliminent tous les coûts de prestation, parce qu’ils ne fournissent pas de soutien à l’apprenant ou d’évaluation par un instructeur, bien que dans la pratique ce ne soit pas toujours le cas.

5.4.8.3 Coûts d’opportunité

Il est également évident que l’offre de xMOOC implique un coût d’opportunité important. Par définition, les enseignants les plus appréciés participent à l’offre de MOOC. Dans une grande université de recherche, ces enseignants sont susceptibles d’avoir, au maximum, une charge d’enseignement de quatre à six cours par an. Bien que la plupart des enseignants se portent volontaires pour proposer des MOOC, leur temps est limité. Soit ils doivent abandonner un cours crédité pendant au moins un semestre, ce qui équivaut à 25 % ou plus de leur charge d’enseignement, soit le développement et la diffusion du MOOC remplacent le temps consacré à la recherche. En outre, contrairement aux cours crédités, qui durent de cinq à sept ans, les MOOC ne sont souvent proposés qu’une ou deux fois.

5.4.8.4 Comparaison du coût des MOOC et des cours en ligne avec crédits

Quoi qu’il en soit, le coût de développement d’un xMOOC, sans inclure le temps de l’instructeur du MOOC, tend à être presque le double du coût de développement d’un cours crédité en ligne utilisant un système de gestion de l’apprentissage, en raison de l’utilisation de la vidéo dans les MOOC. Si le coût de l’instructeur est inclus, les coûts de production d’un xMOOC sont près de trois fois supérieurs à ceux d’un cours en ligne de même durée, surtout si l’on tient compte du temps supplémentaire que les professeurs ont tendance à consacrer à une démonstration publique de leur enseignement dans un MOOC. Les xMOOC pourraient (et certains le font) utiliser des méthodes de production moins coûteuses, telles qu’un LMS au lieu de la vidéo, pour la diffusion du contenu, ou l’utilisation et la réédition d’enregistrements vidéo de cours magistraux par le biais de la capture de cours.

Cependant, sans soutien à l’apprenant ou assistance académique, les coûts de diffusion des MOOC sont nuls, et c’est là que se trouve l’énorme potentiel d’économies. Si l’on calcule le coût par participant, les coûts unitaires des MOOC sont très bas, combinant à la fois les coûts de production et de diffusion. Même si l’on calcule le coût par étudiant obtenant un certificat de fin de cours, il sera bien moins élevé que le coût d’un étudiant en ligne ou sur le campus ayant réussi. Si nous prenons un MOOC dont le coût de développement est d’environ 100 000 dollars et que 5 000 participants obtiennent le certificat de fin de cours, le coût moyen par participant ayant réussi est de 20 dollars. Cependant, cela suppose que le même type de connaissances et de compétences est évalué à la fois pour un MOOC et pour un programme de master, ce qui n’est généralement pas le cas.

5.4.8.5 Coûts et résultats

La question est donc de savoir si les MOOC peuvent réussir sans le coût de l’assistance à l’apprenant et de l’évaluation humaine, ou plus vraisemblablement, si les MOOC peuvent réduire substantiellement les coûts de distribution grâce à l’automatisation sans perte de qualité dans la performance de l’apprenant. Jusqu’à présent, rien ne prouve qu’ils puissent y parvenir en termes de compétences d’apprentissage de haut niveau et de connaissances « approfondies ». Pour évaluer ce type d’apprentissage, il faut définir des tâches qui testent ces connaissances, et ces évaluations nécessitent généralement une correction humaine, ce qui augmente les coûts. Nous savons également, grâce à des recherches antérieures menées dans le cadre de programmes de crédits en ligne couronnés de succès, que la présence active de l’instructeur en ligne est un facteur essentiel de la réussite de l’apprentissage en ligne. Un soutien et une évaluation adéquats de l’apprenant restent donc un défi majeur pour les MOOC. Les MOOC sont donc un bon moyen d’enseigner certains niveaux de connaissances, mais ils présentent des problèmes structurels majeurs pour l’enseignement d’autres types de connaissances. Malheureusement, c’est le type de connaissances le plus nécessaire dans un monde numérique que les MOOC peinent à enseigner.

5.4.8.6 Modèles économiques des MOOC et coûts-bénéfice

En ce qui concerne les modèles commerciaux durables, Baker et Passmore (2016) ont examiné plusieurs modèles commerciaux possibles pour soutenir les MOOC (mais ne proposent aucun coût réel). Les universités d’élite ont pu se lancer dans les xMOOC grâce aux dons généreux de fondations privées et à l’utilisation de fonds de dotation, mais ces formes de financement sont limitées pour la plupart des établissements. Coursera et Udacity ont la possibilité de développer des modèles économiques performants par divers moyens, comme la facturation de l’utilisation de leur plateforme aux établissements fournisseurs de MOOC, la perception de frais pour les badges ou les certificats, la vente de données sur les participants, le parrainage d’entreprise ou la publicité directe.

Cependant, la plupart de ces sources de revenus ne sont pas disponibles ou autorisées, en particulier pour les universités ou les établissements d’enseignement supérieur financés par des fonds publics, et il est donc difficile de voir comment ils peuvent commencer à récupérer le coût d’un investissement substantiel dans les MOOC, même en « cannibalisant » le matériel des MOOC pour ou à partir d’une utilisation sur le campus. Chaque fois qu’un MOOC est proposé, des ressources qui pourraient être utilisées pour des programmes de crédits en ligne sont supprimées. Les établissements sont donc confrontés à des décisions difficiles quant à l’investissement de leurs ressources dans l’apprentissage en ligne. Les arguments en faveur de l’utilisation des ressources limitées dans les MOOC sont loin d’être clairs, à moins que l’on ne trouve un moyen d’accorder des crédits pour l’achèvement réussi des MOOC.

5.4.9 Résumé des forces et des faiblesses

Les principaux points de cette analyse des forces et faiblesses des MOOC peuvent être résumés comme suit :

5.4.9.1 Forces

• Les MOOC, en particulier les xMOOC, offrent un contenu de haute qualité provenant de certaines des meilleures universités du monde, gratuitement ou à peu de frais, à toute personne disposant d’un ordinateur et d’une connexion à internet ;
• Les MOOC peuvent être utiles pour ouvrir l’accès à un contenu de haute qualité, en particulier dans les pays en développement, mais pour y parvenir avec succès, il faudra une bonne dose d’adaptation et un investissement substantiel dans le soutien et les partenariats locaux ;
• Les MOOC sont utiles pour développer l’apprentissage conceptuel de base et pour créer de grandes communautés d’intérêt ou de pratique en ligne ;
• Les MOOC sont une forme extrêmement précieuse d’apprentissage tout au long de la vie et de formation continue ;
• Les MOOC ont forcé les institutions conventionnelles, et en particulier les institutions d’élite, à réévaluer leurs stratégies en matière d’apprentissage en ligne et ouvert ;
• Des institutions ont pu étendre leur image de marque et leur statut en rendant publiques leur expertise et leur excellence dans certains domaines académiques ;
• La principale proposition de valeur des MOOC est d’éliminer, grâce à l’automatisation informatique et/ou à la communication entre pairs, les coûts variables très importants de l’enseignement supérieur associés à l’accompagnement des apprenants et à l’évaluation de la qualité.

5.4.9.2 Faiblesses

• Le nombre élevé d’inscriptions aux MOOC est trompeur ; moins de la moitié des inscrits participent activement, et parmi eux, seule une petite proportion termine le cours avec succès ; néanmoins, le nombre absolu d’inscriptions est toujours plus élevé que pour les cours traditionnels ;
• Les MOOC sont coûteux à développer, et bien que les organisations commerciales proposant des plateformes de MOOC aient des possibilités de modèles commerciaux durables, il est difficile de voir comment les établissements d’enseignement supérieur financés par des fonds publics peuvent développer des modèles commerciaux durables pour les MOOC ;
• Les MOOC ont tendance à attirer les personnes ayant déjà un niveau d’éducation élevé, plutôt que d’élargir l’accès ;
• Jusqu’à présent, les MOOC ont été limités dans leur capacité à développer des compétences académiques de haut niveau ou des compétences intellectuelles de haut niveau nécessaires dans une société numérique ;
• L’évaluation des niveaux supérieurs d’apprentissage reste un défi pour les MOOC, dans la mesure où la plupart des fournisseurs de MOOC ne reconnaissent pas leurs propres MOOC pour l’obtention de crédits ;
• Le matériel des MOOC peut être limité par des droits d’auteur ou des restrictions temporelles pour la réutilisation en tant que ressources éducatives libres.

Références

Baker, R. and Passmore, D. (2016) Value and Pricing of MOOCs Education Sciences, 27 May

Balfour, S. P. (2013) Assessing writing in MOOCs: Automated essay scoring and calibrated peer review Research & Practice in Assessment, Vol. 8

Barkley, E, Major, C.H. and Cross, K.P. (2014) Collaborative Learning Techniques San Francisco: Jossey-Bass/Wiley

Bates, A. (1984) Broadcasting in Education: An Evaluation London: Constables (out of print)

Bates, A. and Sangrà, A. (2011) Managing Technology in Higher Education San Francisco: Jossey-Bass/John Wiley and Co

Bayne, S. (2015) Teacherbot: interventions in automated teaching, Teaching in Higher Education, Vol. 20, No.4, pp. 455-467

Colvin, K. et al. (2014) Learning an Introductory Physics MOOC: All Cohorts Learn Equally, Including On-Campus Class, IRRODL, Vol. 15, No. 4

Engle, W. (2104) UBC MOOC Pilot: Design and Delivery Vancouver BC: University of British Columbia

Falchikov, N. and Goldfinch, J. (2000) Student Peer Assessment in Higher Education: A Meta-Analysis Comparing Peer and Teacher Marks  Review of Educational Research, Vol. 70, No. 3

Firmin, R. et al. (2014) Case study: using MOOCs for conventional college coursework Distance Education, Vol. 35, No. 2

Harasim, L. (2017) Learning Theory and Online Technologies 2nd edition New York/London: Routledge

Haynie, D. (2014). State Department hosts ‘MOOC Camp’ for online learners. US News, January 20

Hill, P. (2013) Some validation of MOOC student patterns graphic, e-Literate, August 30

Ho, A. et al. (2014) HarvardX and MITx: The First Year of Open Online Courses Fall 2012-Summer 2013 (HarvardX and MITx Working Paper No. 1), January 21

Hollands, F. and Tirthali, D. (2014) MOOCs: Expectations and Reality New York: Columbia University Teachers’ College, Center for Benefit-Cost Studies of Education

Hülsmann, T. (2003) Costs without camouflage: a cost analysis of Oldenburg University’s  two graduate certificate programs offered  as part of the online Master of Distance Education (MDE): a case study, in Bernath, U. and Rubin, E., (eds.) Reflections on Teaching in an Online Program: A Case Study Oldenburg, Germany: Bibliothecks-und Informationssystem der Carl von Ossietsky Universität Oldenburg [no longer available online]

Jaschik, S. (2013) MOOC Mess, Inside Higher Education, February 4

Knox, J. (2014) Digital culture clash: ‘massive’ education in the e-Learning and Digital Cultures Distance Education, Vol. 35, No. 2

Kop, R. (2011) The Challenges to Connectivist Learning on Open Online Networks: Learning Experiences during a Massive Open Online Course International Review of Research into Open and Distance Learning, Vol. 12, No. 3

Lave, J. and Wenger, E. (1991). Situated Learning: Legitimate Peripheral Participation. Cambridge: Cambridge University Press

Milligan, C., Littlejohn, A. and Margaryan, A. (2013) Patterns of engagement in connectivist MOOCs, Merlot Journal of Online Learning and Teaching, Vol. 9, No. 2

Pickard, L. (2018) Analysis of 450 MOOC-Based Microcredentials Reveals Many Options But Little Consistency, Class Central, July 18

Piech, C., Huang, J., Chen, Z., Do, C., Ng, A., & Koller, D. (2013) Tuned models of peer assessment in MOOCs. Palo Alto, CA: Stanford University

Reich, J. and Ruipérez-Valente (2019) The MOOC Pivot, Science, Vol.363, No. 6423

Rumble, G. (2001) The costs and costing of networked learning, Journal of Asynchronous Learning Networks, Vol. 5, No. 2

Suen, H. (2014) Peer assessment for massive open online courses (MOOCs) International Review of Research into Open and Distance Learning, Vol. 15, No. 3

University of Ottawa (2013) Report of the e-Learning Working Group Ottawa ON: The University of Ottawa

van Zundert, M., Sluijsmans, D., van Merriënboer, J. (2010). Effective peer assessment processes: Research findings and future directions Learning and Instruction, 20, 270-279