Bienvenue sur ce blog ! Nous sommes Mathias et Marion, deux étudiants de deuxième année à Polytech Angers. Dans le cadre de la fin de notre prépa intégrée, nous avions pour mission de réaliser un projet de cent heures intitulé Virtual Rehab. Sensibles aux enjeux du secteur de la santé, nous avons orienté notre projet vers le suivi des personnes atteintes de la maladie d’Alzheimer. À travers ce blog, nous vous invitons à découvrir les étapes de conception de notre projet de réalité virtuelle!

Dans ce projet, nous utilisons le logiciel Unity pour développer et améliorer un supermarché virtuel initialement fourni par notre professeur. L’objectif est de créer un environnement interactif dédié au suivi des capacités cognitives de patients atteints de la maladie d’Alzheimer. Le choix du supermarché est une étape importante : il s’agit d’une activité du quotidien qui sollicite plusieurs fonctions cognitives essentielles, comme la mémoire, l’attention ou la planification.

• Prendre en compte la différence entre la vision de l’utilisateur et ses ressentis corporels afin de limiter les vertiges et nausées.
• Simplifier les interactions et les mouvements grâce à l’usage des manettes

• Utiliser des produits de marques françaises
• Créer une ambiance sonore de supermarché
• Utiliser des avatars en mouvement pour représenter d’autres clients

• Enregistrer les données de déplacements et d’interactions du patient
• Développer plusieurs niveaux de difficulté afin d’adapter les distractions extérieures au patient

• Tout d’abord, notre environnement est développé sur Unity. Ce logiciel nous permet de modifier l’environnement comme nous le souhaitons et de prévisualiser les différentes scènes en mode « game ». Il nous a permis d’avoir une idée du résultat final au fur et à mesure de l’avancement du projet.

• Nous avions aussi accès à un casque Meta Quest 2 ou 3, des controllers et à l’application Meta Horizon pour les connecter à l’ordinateur. Le casque de réalité virtuelle et ses controllers favorisent l’immersion totale du patient et prennent en compte ses mouvements et gestes grâce à des capteurs embarqués. Ils permettent de se déplacer et d’interagir avec l’environnement de manière plus naturelle.

• Et surtout, nous avions à notre disposition un premier environnement de supermarché. Celui-ci a été la base à partir de laquelle nous avons travaillé afin de l’améliorer et de l’adapter à notre projet.

• Le menu

Le premier élément visible de notre projet est le menu, nécessaire pour contrôler les différentes perturbations extérieures qui peuvent survenir sur le patient. La perturbation sur laquelle nous avons choisi de travailler est l’affluence du supermarché. Le menu est constitué d’un panel et de trois boutons cliquables qui permettent de choisir le niveau pour la suite. Plus le niveau est élevé, plus il y a de personnages dans la scène. Un script est attaché aux différents boutons ce qui permet d’ouvrir la scène voulue lorsqu’elle est sélectionnée.

• Les personnages

Les personnages sont constitués d’un avatar, et d’un mouvement qui lui est attribué. Nous les avons choisis sur le site mixamo.com.

Ces personnages se déplacent vers différents points du magasin grâce à un script qui les envoie de manière aléatoire vers des objets en forme de capsule, invisibles dans la scène, que nous avons dispersés un peu partout. Ils empruntent le chemin le plus court, tout en restant dans un périmètre délimité appelé NavMesh.

• Les rayons du supermarché

Pour renforcer le réalisme des scènes du supermarché, nous avons mis des produits de marques françaises. Ces produits permettent de renforcer la familiarité du patient avec l’environnement et évitent de le perturber avec des éléments inconnus pour lui. Cette étape était la plus longue de notre projet car tous les rayons étaient à refaire. Tous les produits initialement présents ont été remplacés, il a donc fallu repenser l’organisation du magasin et prendre le temps d’importer les nouveaux produits et de les coller dans le projet, un par un.

• La musique

Nous avons décidé d’ajouter une musique de fond dans le supermarché. Nous avons essayé de la rendre plus réaliste en diminuant ou augmentant le volume en fonction de la distance aux enceintes.

Dans le projet, deux musiques ont été utilisées, une pour le menu et une pour le supermarché. Les deux ont été trouvées sur soundcloud.com, une bibliothèque en ligne nous donnant accès à des documents audio libres de droits.

• Les déplacements

Pour se déplacer dans le magasin, le patient peut effectuer des mouvements habituels comme se tourner pour changer de sens, et marcher en continu grâce au controller droit. Cependant, les différences entre ce qu’il voit et ce que son corps ressent peuvent entraîner des maux de tête et vertiges ce qui est limité en réduisant les déplacements physiques. Nous avons donc intégré la téléportation grâce au controller gauche et des changements de direction par angle de 45° avec le controller droit pour limiter ces déplacements.

• Les interactions avec les objets

Le patient est chargé de retrouver différents produits dans les rayons du magasin. Lorsqu’il en trouve un, il peut cliquer dessus à l’aide du controller et un léger « ding » est produit pour qu’il sache que son interaction a bien été prise en compte.

Lorsque le patient clique sur un produit qu’il devait trouver, le nom du produit, la date et l’heure de l’interaction sont enregistrés dans un fichier csv (tableur), ce qui permet au personnel médical d’analyser le comportement du patient.

• Le suivi du chemin

Le dernier élément important pour suivre le patient dans l’environnement était son chemin afin d’observer ses déplacements. Des comportements comme des hésitations, des détours ou des retours en arrière sont des indications importantes dans le suivi de la maladie d’Alzheimer. Nous avons donc utilisé une deuxième caméra, visible uniquement sur l’ordinateur qui observe la scène du dessus. Un script trace une ligne sur cette image en utilisant un tracker attaché à la caméra virtuelle du patient.

Ce travail nous a permis tout premièrement de comprendre certains enjeux du suivi de l’évolution de la maladie d’Alzheimer. Il nous a aussi permis de découvrir le fonctionnement de la création d’environnement virtuel, les éléments à prendre en compte et l’importance du public visé par le produit.

Nous remercions notre encadrant, Monsieur Paul Richard, pour son accompagnement. Ses conseils pour le développement en réalité virtuelle et ses propositions d’évolution du supermarché nous ont été d’une grande aide afin de progresser tout au long du projet.

Merci de nous avoir lus ! Nous espérons que ce projet vous aura permis de découvrir davantage le potentiel de la réalité virtuelle et les nombreuses possibilités qu’elle offre, notamment dans les domaines médical et social.