9.3 Les réalités virtuelle et augmentée

Figure 9.3.1 Anatomie humaine à travers la réalité virtuelle (cliquez sur l’image pour voir la vidéo)

Comme pour les jeux sérieux, la réalité virtuelle et augmentée sont des technologies qui existent depuis un certain temps tout en ayant un impact relativement faible sur l’éducation dans leur développement antérieur. Cependant, des développements technologiques plus récents ont fait passer les mondes virtuels de deux dimensions (comme Second Life) à des environnements tridimensionnels profondément immersifs. Cela a attiré davantage l’attention sur leur potentiel dans l’éducation (pour un bon aperçu de l’histoire et du potentiel de la réalité augmentée et virtuelle dans l’éducation, voir Elmqadden, 2019).

9.3.1 Qu’est-ce que la réalité virtuelle, augmentée et mixte ?

Une définition simple de ces technologies est « l’immersion humaine dans un monde synthétique » (Seidel et Chatelier, 1997). Le Franklin Institute fournit les définitions plus détaillées suivantes qui tentent de distinguer les différents types de mondes « synthétiques » :

Réalité augmentée (RA) ajoute des éléments numériques à une vue en direct souvent en utilisant l’appareil photo sur un smartphone. Des exemples d’expériences de réalité augmentée incluent les lentilles Snapchat et le jeu Pokémon Go.

Réalité virtuelle (RV) implique une expérience d’immersion complète qui exclut le monde physique. À l’aide d’appareils RV tels que HTC Vive, Meta Quest 2 ou Google Cardboard,, les utilisateurs peuvent être transportés dans un certain nombre d’environnements réels et imaginaires tels que le milieu d’une colonie de pingouins qui crient ou même le dos d’un dragon.

Dans une expérience de réalité mixte (RM) qui combine des éléments de RA et de RV, des objets du monde réel et numérique interagissent. La technologie de réalité mixte commence tout juste à décoller, avec HoloLens de Microsoft l’un des premiers appareils de réalité mixte les plus remarquables.

J’utiliserai le terme « technologies immersives » pour toutes ces technologies. Cependant, les descriptions verbales seront toujours quelque peu insuffisantes pour décrire des expériences essentiellement multisensorielles, combinant vision, audition et mouvement. Ces technologies doivent être expérimentées plutôt qu’expliquées si elles doivent être mieux comprises.

9.3.2 Pourquoi utiliser les technologies immersives ?

Il y a plusieurs raisons pour lesquelles ces technologies commencent à être davantage utilisées dans l’éducation :

• Le développement récent d’une technologie d’utilisateur final relativement peu coûteuse et facile à porter (casques en particulier);
• Une immersion profonde dans des environnements d’apprentissage tridimensionnels très réalistes qui sont fortement convaincants/motivants pour l’utilisateur final;
• La possibilité pour les utilisateurs finaux de manipuler des objets dans l’environnement tridimensionnel;
• Une technologie informatique en nuage plus puissante qui permet le développement d’environnements d’apprentissage plus complexes et plus réalistes, combinée à des développements plus avancés dans les technologies mobiles et les réseaux sans fil à haut débit;
• La possibilité de développer une gamme de compétences et de connaissances qui seraient difficiles, impossibles ou dangereuses dans des environnements réels.

9.3.3 Exemples d’environnements immersifs en éducation

En regardant les défis ci-dessus, on peut se demander pourquoi quelqu’un se soucierait des technologies immersives dans l’éducation. Cependant, les avantages potentiels ont à peine été explorés. Je donne ici des exemples qui démontrent à la fois les avantages potentiels et comment certains environnements immersifs peuvent être développés relativement facilement. (Pour une revue plus systématique des applications de la réalité virtuelle dans l’enseignement supérieur ou post-secondaire, voir Radianti et al., 2020)

9.3.3.1 Réalité virtuelle

Dans le département de chimie de l’Université de Bristol en Angleterre, le Dr David Glowacki et son équipe de leur laboratoire RV ont créé un outil interactif de modélisation de la dynamique moléculaire sous la forme de Nano Simbox VR, qui permettait à quiconque de visiter et de jouer dans le monde moléculaire invisible (O’Connor et al., 2018). L’objectif principal de ce projet particulier était de fournir une sensation intuitive de la façon dont les molécules fonctionnent dans de multiples dimensions pour permettre aux chercheurs et aux étudiants d’avoir une meilleure compréhension du fonctionnement des nanomondes, conduisant à tester de meilleures hypothèses dans ce domaine particulier.

Comme le précisent les auteurs dans l’article :

Du point de vue de la modélisation, l’échelle nanométrique représente un domaine intéressant, car les objets d’étude (par exemple, les molécules) sont invisibles à l’œil nu, et leur comportement est régi par des forces physiques et des interactions sensiblement différentes de celles que nous rencontrons au cours de notre expérience phénoménologique quotidienne. Dans des domaines comme celui-ci, qui sont imperceptibles à l’œil nu, des modèles efficaces sont essentiels pour fournir les informations nécessaires et faire progresser la recherche… les systèmes moléculaires ont généralement des milliers de degrés de liberté. Par conséquent, leur mouvement est caractérisé par une chorégraphie compliquée, élégante et dynamique impliquant plusieurs corps hautement corrélés, cette chorégraphie n’est pas intuitive comparée à la mécanique plus familière des objets que nous rencontrons dans le monde physique du quotidien. Leur complexité, leur méconnaissance et leur importance combinées font des molécules des candidats particulièrement intéressants pour étudier le potentiel des nouveaux paradigmes de modélisation numérique.

Glowacki et son équipe dans Science Advances (O’Connor et al., 2018) décrivent comment l’application RV a permis aux chercheurs de :

• « Saisir » facilement des atomes individuels de C60 et manipulez leur dynamique en temps réel pour passer le C60 dans les deux sens entre eux,
• saisir un ligand de benzylpénicilline entièrement solvaté et le guider de manière interactive pour l’ancrer dans le site actif de l’enzyme TEM-1 β-lactamase (avec les deux molécules entièrement flexibles et dynamiques) et générer le mode de liaison correct (33), un processus qui est important pour comprendre la résistance aux antimicrobiens,
• guider une molécule de méthane (CH4) à travers un nanotube de carbone, modifiant le sens de vissage d’une molécule d’hélicène organique,
• faire un nœud dans un petit polypeptide [17-alanine (17-ALA)

La construction de modèles dynamiques qui fonctionnent non seulement en temps réel, mais aussi en trois dimensions peuvent nécessiter non seulement des équipements de réalité virtuelle spécialisés, mais surtout des quantités massives de puissance de calcul pour gérer la représentation visuelle et la modélisation de processus moléculaires dynamiques interactifs très complexes. Cependant, grâce à l’utilisation du cloud computing et de réseaux plus rapides, la construction de tels modèles est maintenant devenue une réalité, permettant non seulement de représenter ces modèles, mais aussi un certain degré de manipulation en temps réel par des chercheurs à différents endroits, et dans le même laps de temps. Le principal avantage de l’utilisation d’une plate-forme cloud est de permettre la mise à l’échelle de la modélisation des nano-interactions dynamiques simples à beaucoup plus complexes et le partage synchrone de l’expérience de réalité virtuelle avec plusieurs utilisateurs.

Cependant, toutes les applications de RV n’ont pas besoin d’une puissance de calcul massive. D’autres utilisations exploratoires de la réalité virtuelle sont :

• pour que les étudiants trouvent leur chemin dans un campus complexe;
• en architecture/aménagement d’espace, permettre aux clients de comprendre en trois dimensions le « look » final d’une conception de bâtiment en le parcourant virtuellement (Brandaõ et al., 2018). Google Blocks, un logiciel gratuit pour développer des modèles 3D, est un outil qui peut prendre en charge ce type d’application;
• en musique : à l’Université de la Colombie-Britannique, le Dr Jonathan Girard explore l’utilisation de la réalité virtuelle pour apprendre à diriger un orchestre (l’orchestre virtuel « répond » aux gestes de la main du chef d’orchestre);
• en médecine et en santé : des chercheurs de l’UBC explorent l’utilisation de la réalité virtuelle pour la gestion de la douleur.

9.3.3.2 Réalité augmentée

La réalité augmentée est une technologie immersive plus simple que la réalité virtuelle, souvent basée sur des applications pour téléphones mobiles. Par exemple, les étudiants du programme APBI 200 Introduction to Soil Science de l’Université de la Colombie-Britannique apprennent les effets de la topographie sur la formation de différents types de sols. Le ministère a développé l’application Soil TopARgraphy, qui permet de visualiser et de manipuler un modèle de terrain dans la région de Kamloops en Colombie-Britannique. Les élèves apprennent comment la topographie influe sur la distribution des ordres du sol par ses effets sur le microclimat (c’est-à-dire la température et l’eau). Les élèves peuvent visualiser le modèle de terrain avec une carte d’élévation à code couleur ou une image satellite sur leur téléphone portable. De plus, les étudiants peuvent appuyer sur les drapeaux pour en savoir plus sur les différents ordres de sol, voir des images et répondre à un jeu-questionnaire d’auto-apprentissage pour renforcer leur compréhension.

Pour ce projet, le « Emerging Media Lab » de l’UBC a créé deux applications mobiles, une visionneuse RA pour les étudiants (Android et iOS) et un éditeur pour l’instructeur (Android). La visionneuse RA est l’application décrite ci-dessus pour afficher un terrain prédéfini. L’instructeur peut personnaliser le contenu avec l’application d’édition supplémentaire. Ils peuvent mettre à jour l’emplacement du sol sur le terrain, la description, l’image et les jeux-questionnaires.

Figure 9.3.3 Captures d’écran de Soil TopARgraphy

Autres exemples d’applications RA de l’UBC :

• Le Dr Patrick Walls développe une application pour téléphone mobile qui aide les étudiants à visualiser des fonctions multivariables, afin d’apprendre beaucoup plus rapidement les concepts sous-jacents à un niveau plus profond.
• Dans GEOG 498 : Géographies au Moyen-Orient, les étudiants découvrent l’histoire de la guerre civile syrienne et ses développements en cours. L’instructeur, le Dr Siobhán McPhee, a développé une application mobile qui suit les histoires de cinq réfugiés syriens qui ont finalement atteint Vancouver. Les étudiants sont obligés de faire des choix (ou n’ont pas le choix), d’attendre et de courir/marcher avec l’application pour pouvoir faire progresser le récit de l’expérience. Le but de ce projet est d’évoquer l’empathie et d’aider les élèves à comprendre les conséquences émotionnelles de la guerre civile syrienne. Cette application utilise également certains principes de ludification.

9.3.4 Concevoir des environnements éducatifs immersifs

Cette technologie est si récente qu’il existe peu ou pas de meilleures pratiques acceptées développées à des fins éducatives. La plupart des applications éducatives à ce jour ont été délibérément de nature exploratoire. Cependant, il y a plusieurs étapes de développement requises qui s’appliqueront à toutes les applications éducatives de ces technologies :

• Identifier les coûts de démarrage et les sources possibles de financement : il est peu probable que ce soit un exercice bon marché, du moins au début; pour cette raison, plusieurs universités, telles que l’Université de la Colombie-Britannique et l’Université Drexel, ont mis sur pied leurs propres laboratoires de recherche sur les technologies émergentes pour expérimenter des applications éducatives.
• Définir les résultats/objectifs d’apprentissage : qu’est-ce que l’apprenant est censé apprendre ? Aux premiers stades du développement, il peut s’agir à la fois d’un exercice de remue-méninges (incluant de préférence les étudiants/utilisateurs finaux) et d’un processus itératif, car le plein potentiel de la technologie n’est pas toujours clair dans les premières applications. En particulier, l’instructeur doit avoir une vision claire de ce qui pourrait être possible en utilisant une technologie immersive. Ainsi, une certaine familiarité avec la technologie est essentielle avant de commencer la conception.
• Déterminer où l’utilisation de cette technologie s’inscrit dans la conception globale d’un cours/programme : en d’autres termes, quelles connaissances et compétences seront développées dans l’environnement immersif, et comment cela s’intègre-t-il à ce qui est enseigné dans le reste du cours ? cours/programme?
• Décider entre l’utilisation d’un environnement de conception/d’apprentissage immersif existant qui peut être appliqué ou adapté relativement facilement pour une utilisation « locale »; ou concevoir un nouvel environnement immersif à partir de zéro. Cette dernière est évidemment plus coûteuse et chronophage et nécessitera un haut niveau d’expertise; par conséquent, le gain d’une conception à partir de zéro (résultats d’apprentissage améliorés/retour sur investissement) doit en valoir la peine.
• Choix d’une technologie appropriée/abordable. Les casques ou les applications mobiles sont la partie la moins coûteuse de l’utilisation des technologies immersives. Le principal coût sera de développer ou d’adapter le monde « augmenté » ou « virtuel ». Cependant, comme pour les jeux sérieux, il peut y avoir une étape intermédiaire, où un « monde » existant peut être autorisé et adapté pour une utilisation locale (voir par exemple, Lightwave). Dans certains cas, des mondes immersifs en libre accès sont disponibles pour une utilisation ou une adaptation, bien qu’ils ne soient pas courants (voir OpenSimulator, Art of Illusion, ou MayaVerse, par exemple). Souvent, les étudiants peuvent être utilisés pour aider à la programmation et à la conception de l’environnement, dans le cadre de leurs études, mais ils auront besoin d’orientation ainsi que de la possibilité d’offrir des idées créatives. Les mondes virtuels véritablement interactifs dans lesquels les apprenants/utilisateurs prennent des décisions et les conséquences sont « programmées » dans l’environnement d’apprentissage peuvent nécessiter de grandes quantités de capacité informatique, telles que l’informatique en nuage.
• Pour être efficace, l’environnement RV doit être aussi authentique ou réaliste que possible. Cela signifie accorder autant d’attention à la création du contexte d’apprentissage spécifique. Il sera nécessaire de décider quelles parties de l’apprentissage seront mieux faites en dehors de l’expérience RV/RA, et lesquelles à l’intérieur. Par exemple, les procédures de surveillance de l’état d’un réacteur nucléaire, d’identification des incidents critiques, de décision d’arrêter ou non le réacteur ou à quel moment, et d’arrêt effectif du réacteur doivent également être intégrées au processus d’apprentissage. La plupart de ces éléments peuvent être enseignés en dehors du contexte de la réalité virtuelle, mais la réalité virtuelle peut être utilisée pour tester ou développer les compétences d’application de ces connaissances dans un contexte réaliste et stimulant. En d’autres termes, l’expérience de réalité virtuelle doit être intégrée dans un contexte ou un environnement d’apprentissage plus large.
• Test et adaptation : la conception, du moins au début, doit être un processus itératif, où les idées sont développées et testées, et les commentaires reçus et incorporés dans la conception.
• Évaluation : cela peut représenter un défi particulier, en particulier si de nouveaux résultats d’apprentissage résultent de l’expérience. Comment l’évaluation peut-elle saisir au mieux ce que les élèves ont appris ? L’évaluation aura-t-elle lieu dans le monde « virtuel », dans le monde réel ou d’une autre manière (et si oui, quelle sera l’authenticité d’une telle évaluation) ?
• De quelles manières le nouvel environnement immersif pourrait-il être mis à l’échelle pour permettre de récupérer les coûts ?
• Évaluation : quelle est la meilleure façon d’évaluer le succès ou les limites de la conception et de l’application du monde immersif ? Comment diffuser au mieux les connaissances et l’expérience acquises ?

Ces défis peuvent sembler redoutables, mais les avantages potentiels pourraient être considérables.

9.3.5 Les caractéristiques uniques des technologies immersives

Le développement des technologies totalement immersives est si récent qu’il est prématuré d’essayer d’identifier toutes les offres éducatives propres à ce médium. De nouvelles applications sont constamment explorées. La plupart des preuves sont qualitatives, basées sur l’expérience personnelle des gens en matière d’utilisation de la technologie. Les preuves empiriques qui valident les avantages éducatifs spécifiques de la RV/RA en termes d’amélioration des résultats d’apprentissage font actuellement défaut. Cependant, le potentiel de la RV/RA en termes d’aide à l’apprentissage peut être identifié.

Tout d’abord, bon nombre des affordances ou des caractéristiques éducatives des autres médias, et en particulier de la vidéo, s’appliqueront à la réalité virtuelle et à la réalité augmentée, mais souvent de manière plus intense, en raison de l’expérience immersive.

Les applications de réalité virtuelle et augmentée peuvent fournir aux étudiants une compréhension profonde et intuitive de phénomènes qui sont autrement difficiles, voire impossibles à atteindre par d’autres moyens. Cela permet aux étudiants qui ont souvent du mal avec la nature abstraite d’un sujet académique de comprendre en termes plus concrets ce que les abstractions signifient ou représentent. Cette compréhension intuitive est essentielle non seulement pour une compréhension plus approfondie, mais aussi pour des percées dans la recherche et les applications de la science.

Les applications éducatives, où les coûts des modes d’apprentissage alternatifs ou traditionnels sont trop chers ou trop dangereux, seront particulièrement adaptées aux applications de réalité virtuelle. Des exemples pourraient être la gestion des urgences, comme l’arrêt d’un réacteur nucléaire incontrôlable, le désamorçage d’une bombe, la gestion d’un incendie sur un pétrolier ou l’exploration à l’intérieur de la structure physique d’un cerveau humain. En particulier, la réalité virtuelle serait appropriée pour apprendre dans des contextes où les environnements réels ne sont pas facilement accessibles, ou où les apprenants doivent faire face à de fortes émotions lorsqu’ils prennent des décisions ou opèrent sous pression en temps réel.

La RA, qui est souvent plus facile à concevoir et à mettre en œuvre, permet aux apprenants de pratiquer des applications de connaissances dans des contextes semi-réalistes.

Cependant, au moment d’écrire ces lignes, nous commençons à peine à comprendre le potentiel de ce média. Au fil du temps, les possibilités éducatives de ce média deviendront beaucoup plus claires.

9.3.6 Forces et faiblesses

La réalité virtuelle n’est pas qu’une mode qui va disparaître. Il existe déjà un grand nombre d’applications commerciales, principalement dans le divertissement et les relations publiques, mais aussi de plus en plus pour des domaines spécifiques de l’éducation et de la formation. Il existe déjà de nombreux excellents logiciels prêts à l’emploi pour créer des environnements RV, et le coût du matériel baisse rapidement (bien que les casques et autres équipements de bonne qualité soient encore probablement trop chers pour une utilisation requise par un grand nombre d’étudiants).

Les domaines d’application de cette technologie sont illimités : formation à l’utilisation d’équipements complexes, simulation d’actes chirurgicaux, tests de conception architecturale, reconstitution de sites en archéologie, visites virtuelles de musées, traitement de la douleur et des phobies, et bien d’autres possibilités.

Pour permettre de gérer les aspects les plus émotionnels de la prise de décision, l’expérience immersive doit être réaliste. Cela nécessitera probablement une production médiatique de haute qualité. Ainsi, la réalité virtuelle doit souvent être combinée à une conception de simulation, à une production multimédia de qualité et à une informatique puissante pour être efficace sur le plan pédagogique, ce qui augmente encore les coûts. Pour ces raisons, la médecine est un domaine de développement particulièrement porteur, où les coûts de formation traditionnels sont très élevés ou où la formation est difficile à dispenser avec de vrais patients.

Encore une fois, cependant, les applications auront tendance à être très spécifiques aux besoins d’un domaine particulier. Cela signifie que les concepteurs doivent inclure des spécialistes de la matière ayant une compréhension approfondie du domaine qui peuvent combiner la puissance de la technologie avec les besoins des apprenants dans un contexte d’apprentissage particulier. La réalité virtuelle en particulier nécessite des instructeurs dotés d’imagination et de créativité, travaillant avec d’autres professionnels tels que les producteurs de médias, les apprenants eux-mêmes, ainsi que des spécialistes de la conception de la réalité virtuelle.

Ce qui a inhibé l’utilisation pédagogique généralisée des développements antérieurs de la réalité virtuelle bidimensionnelle tels que Second Life, c’est le coût élevé et la difficulté de créer les graphiques et les contextes d’apprentissage. Ainsi, même si les coûts matériels et logiciels de la réalité virtuelle sont suffisamment bas pour une utilisation individuelle par les étudiants, les coûts de production élevés liés à la création de contextes et de scénarios éducatifs réalistes sont susceptibles d’inhiber son utilisation générale.

Une certaine prudence est également nécessaire en supposant que les gens se comporteront de la même manière dans la vie réelle que dans les environnements RV. Gallup et al. (2019) ont trouvé une différence majeure dans l’influence des facteurs sociaux dans les environnements réels et virtuels : les signaux sociaux dans la réalité réelle semblent dominer et remplacer ceux de la réalité virtuelle. L’un des auteurs, Alan Kingstone, a conclu :

« L’utilisation de la réalité virtuelle pour examiner comment les gens pensent et se comportent dans la vie réelle peut très bien conduire à des conclusions fondamentalement erronées. Cela a de profondes implications pour les personnes qui espèrent utiliser la réalité virtuelle pour faire des projections précises concernant les comportements futurs. Par exemple, prédire comment les piétons se comporteront lorsqu’ils marcheront parmi des voitures sans conducteur, ou les décisions que les pilotes prendront en cas d’urgence. Les expériences en réalité virtuelle peuvent être un mauvais indicateur de la vie réelle. »

cité par Rolfsen, 2019

Cela signifie que nous avons besoin de plus d’expérimentation. Il s’agit encore d’une technologie relativement nouvelle, et il peut y avoir des moyens très simples de l’utiliser dans l’éducation qui ne sont pas coûteux et répondent à des besoins qui ne peuvent pas être facilement satisfaits dans l’enseignement traditionnel ou avec d’autres technologies existantes. Pour que cela se produise, cependant, les éducateurs, les développeurs de logiciels et les producteurs de médias doivent se réunir pour jouer, expérimenter, tester et évaluer.

Néanmoins, la réalité virtuelle et la réalité augmentée sont des technologies passionnantes susceptibles de modifier radicalement les processus d’apprentissage conventionnels.

Références

Brandaõ, G. et al. (2018) Virtual Reality as a Tool for Teaching Architecture in Design, User Experience, and Usability: Designing Interactions Las Vegas NV: Proceedings of 7th International Conference, DUXU 2018, held as Part of HCI International 2018,

Connolly, B. (2018) How virtual reality is transforming learning at the University of Newcastle, CIO, 8 March

Elmqadden, N. (2019) Augmented Reality and Virtual Reality in Education: Myth or Reality? International Journal of Emerging Technologies in Learning, Vol. 14, No. 3

Gallup, A. et al. (2019) Contagious yawning in virtual reality is affected by actual, but not simulated, social presence Nature: Scientific Reports, 22 January

O’Connor, M. et al. (2018) Sampling molecular conformations and dynamics in a multiuser virtual reality framework, Science Advances, Vol. 4, No.6, 29 June

Radianti, J. et al. (2020) A systematic review of immersive virtual reality applications for higher education: Design elements, lessons learned, and research agenda Computers & Education, Vol. 147, April

Rolfson, E. (2019) People think and behave differently in virtual reality than they do in real life UBC News, 24 January

Seidel, R. and Chatelier, P. (1997) Virtual Reality, Training’s Future?: Perspectives on Virtual Reality and Related Emerging Technologies Berlin: Springer Science & Business Media