Le développement des réalités augmentée et virtuelle en santé

Cet article est tiré de L'Edition n°18

Souvent cantonnées au jeu vidéo ou à des écrits de science-fiction, les réalités augmentée et virtuelle possèdent pourtant un champ d’applications immense, notamment en médecine du futur. Nombreuses sont les expérimentations que considèrent les chercheurs et les chercheuses de l’Université Paris-Saclay pour ces technologies.

La réalité augmentée (AR, pour augmented reality) offre, grâce à l’utilisation de dispositifs - casques, lunettes - une superposition d’éléments virtuels sur un champ de vision réel. La réalité virtuelle (VR, virtual reality), elle, plonge ses utilisateurs dans un monde entièrement virtuel, souvent à l’aide d’un casque intégral. Ces technologies, toutes deux vieilles de plus de 50 ans, connaissent un essor récent fulgurant. Des casques de réalité virtuelle sont de plus en plus commercialisés par les géants du divertissement (l’Oculus Quest de Meta, la Playstation VR de Sony, etc.), dans le but de concevoir des jeux-vidéos toujours plus immersifs ou même de pénétrer dans un univers entièrement virtuel : le métavers. Les lunettes de réalité augmentée attirent tout autant les plus grandes multinationales du monde (avec notamment l’HoloLens de Microsoft ou les Google Glasses), avec plus ou moins de succès. Mais au-delà du jeu vidéo et du métavers, certaines des applications de ces technologies bouleversent actuellement d’autres pans de la société.

Les réalités augmentée et virtuelle au service de la médecine

Imaginez des salles d’opérations entièrement reconstituées dans le monde virtuel, où des praticiennes et praticiens testent leurs compétences en médecine. Après avoir été formés en réalité virtuelle, ces mêmes chirurgiennes et chirurgiens se dirigent vers un bloc opératoire où la réalité augmentée les assiste tout au long de leur intervention. C’est la folle ambition de la chaire BOPA (pour Bloc opératoire augmenté). Née d’un partenariat entre l’AP-HP, l’Institut Mines-Télécom, l’Université Paris-Saclay, Inria Saclay et le Conservatoire national des arts et métiers (Cnam), cette chaire a pour but de transformer l’analyse et l’apprentissage de l’acte chirurgical, en implantant des technologies comme les réalités augmentée et virtuelle au service de la formation et de la pratique médicale.
Au laboratoire Informatique, bio-informatique et systèmes complexes (IBISC – Univ. Paris-Saclay, Univ. d’Évry), l’on étudie également comment utiliser ces deux outils au service de la médecine. « Dans le secteur de la formation médicale, les technologies actuelles, notamment la VR, sont prédisposées à apporter des solutions amélioratives », explique Samir Otmane, responsable de l’équipe Interaction réalité augmentée & robotique ambiante (IRA²) au sein de l’IBISC. Dans cette équipe, on essaie de reconstituer le plus fidèlement possible des exercices en réalité virtuelle pour pratiquer la médecine. En outre, ces scientifiques ont déjà mis au point des exercices de manipulation bimanuelle en réalité virtuelle et un simulateur complet d’anesthésie locorégionale. Branché à un ordinateur et à un casque VR, c’est par exemple à l’aide d’un appareil présentant de fausses pinces chirurgicales que l’on débute l’opération d’un patient virtuel.
D’après Samir Otmane, la principale problématique empêchant l’utilisation de la VR a longtemps été un manque de fidélité dans la reproduction des gestes techniques : les simulateurs virtuels n’offraient tout simplement pas un degré de réalisme assez important pour que ceux-ci servent d’environnement propice à la formation médicale. Aujourd’hui, comme le montrent les travaux de son équipe, la formation médicale par VR est possible. 

Les avantages qu’offrent la VR dans le cadre de la formation médicale sont multiples. Tout d’abord, comme l’explique l’enseignant-chercheur, il existe un « besoin d’outils technologiques pour améliorer la formation médicale. Depuis la réforme de 2018 du troisième cycle des études de médecine, la formation par la simulation a pris une place importante ». Or, la formation chirurgicale par simulation s’effectue aujourd’hui sur des organes, des membres ou des mannequins artificiels. Cela représente un coût important, qui a la possibilité d’être réduit par l’incorporation de la VR dans les méthodes de formation par simulation médicale.

L’AR et la VR pour rééduquer certains patients

Outre la formation médicale, les réalités augmentée et virtuelle sont également disposées à révolutionner la rééducation de patientes et de patients. L’équipe IRA² d’IBISC s’est notamment intéressée de près aux personnes souffrant de troubles moteurs. « Concernant la rééducation, le constat est simple. Le nombre de personnes est en augmentation constante et le manque de moyens humains pour les traiter se fait ressentir. Dans certaines régions françaises, il est très difficile d'accéder à des soins rapidement, déplore Samir Otmane. Une des questions auxquelles nous avons essayé de répondre est celle-ci : est-on capable d'apporter de nouveaux outils complémentaires et utilisables en autonomie par les patientes et les patients, et à domicile ? ». 

Dans leurs travaux récents en collaboration avec la fondation Ellen Poidatz, les chercheuses et chercheurs de l’équipe IRA² mettent en avant de nouvelles pratiques de rééducation à la marche pour des enfants atteints de paralysie cérébrale. Grâce à un casque de réalité augmentée, il leur est possible de jouer à un serious game (une activité mêlant une pratique ludique à un objectif sérieux) consistant à marcher le plus vite possible derrière un petit personnage qui les encourage. Les résultats de ces jeux sont ensuite analysés pour que les patients progressent à leur rythme dans leur réhabilitation. 

L’équipe de Samir Otmane développe également d’autres serious games, pour accompagner la rééducation du membre supérieur de patientes et de patients victimes d’accidents cérébraux. Grâce à l’AR et à la VR, il est alors possible de proposer une prise en charge composée d’un suivi traditionnel en hôpital, accompagné d’un « traitement en autonomie » et à domicile, grâce à un casque de réalité augmentée, de réalité virtuelle ou d’un simple ordinateur équipé de détecteurs de mouvements des mains. Les avantages de cette combinaison sont multiples. Tout d’abord, les exercices en autonomie accélèrent le processus de rééducation, qu’il est précieux de commencer au plus tôt après l’accident cérébral. Mais la motivation est également un paramètre important : « On s'intéresse notamment à une population d'enfants qui n'adhère pas vraiment aux techniques usuelles de rééducation de la marche. Par contre, elles et ils sont prêts à jouer », confie Samir Otmane.

Au sein du laboratoire Complexité, innovation, activités motrices et sportives (CIAMS – Univ. Paris-Saclay, Univ. d’Orléans), il est notamment question de recourir à des personnages virtuels animés avec des expressions faciales pour étudier les réactions empathiques face à l’émotion exprimée par le personnage. D’après Aurore Meugnot, il est ainsi possible « d’utiliser la réalité virtuelle comme un entraînement à l’empathie ». Dans ses recherches récentes, cette spécialiste de neurosciences cognitives et affectives démontre que la présence de mouvements infimes « auxquels on ne prête pas souvent attention, comme des clignements d’yeux ou des changements de posture », augmente la qualité d’interaction et suscite plus d’émotions chez l’observateur, notamment une meilleure réponse empathique. « L’enjeu n’est pas tant de rajouter du réalisme aux traits d’un avatar virtuel, mais plutôt d’améliorer la réaction empathique envers l’avatar », complète l’enseignante-chercheuse. Ainsi, des interactions en VR ont l’avantage d’offrir à des patientes et des patients présentant des déficits empathiques, par exemple  des enfants atteints de troubles du spectre autistique (TSA), une thérapie complémentaire. Cependant, il n’y a pas d’arguments scientifiques véritables pour affirmer que les enfants ont plus de facilité à interagir avec un personnage virtuel plutôt qu’avec un être humain. « Ce que l’on sait, c’est que les enfants ont plus de facilité à rentrer dans l’imaginaire », précise Aurore Meugnot.

Valentin Bauer, doctorant membre du Laboratoire interdisciplinaire des sciences du numérique (LISN – Univ. Paris-Saclay, CNRS, Inria, CentraleSupélec), s’est pris d’intérêt pour la création de plateformes multisensorielles utilisant l’AR et la VR. Objectif de ces nouveaux supports : améliorer la prise en charges d’enfants atteints de TSA. Epaulé par Tifanie Bouchara, maître de conférences, Valentin Bauer s’intéresse notamment à l’apport de l’audio dans l’immersion virtuelle. « Dans ce nouveau média qu’est la réalité virtuelle, la partie audio n’est pas autant développée que le graphisme », explique Tifanie Bouchara. Les deux chercheurs du LISN, tous deux ingénieurs du son de formation, ont ainsi développé un outil en réalité augmentée capable d'interagir en temps réel avec un morceau de musique associé directement à une représentation graphique immersive. Cela induira, à l’avenir, la création d’un serious game multisensoriel mêlant expériences auditives et visuelles.

Publications : 

Ricca A. et al. Comparing touch-based and head-tracking navigation techniques in a virtual reality biopsy simulator. Virtual Reality, 25 (1), 191–208, 2021.

Treal T. et al. Natural human postural oscillations enhance the empathic response to a facial pain expression in a virtual character. Scientific Reports, 2020.

Bauer V. et al. Designing an Extended Reality Application to Expand Clinic-Based Sensory Strategies for Autistic Children Requiring Substantial Support : Participation of Practitioners. International Symposium on Mixed and Augmented Reality (ISMAR-Adjunct). 2021.