Ce projet de simulateur d’apprentissage de traversée de carrefour a été pensé par Carine Briant, instructrice en locomotion à l’IRSA et Lauren Thevin, postdoctorante à l’INRIA.
Le projet
Pour une personne déficiente visuelle, la traversée d’un carrefour n’est pas simple. Le carrefour doit être analysé (Combien de voies? Y a-t-il un feu tricolore? Si oui, combien de temps durent les feux rouges et verts?) avant d’être traversé (marcher parallèlement à un repère sonore sans se décaler vers ce repère, s’adapter à la circulation, demander de l’aide).
En situation d’apprentissage, les carrefours et les intersections sont à la fois des environnements stressants (tant pour les professeurs que pour les apprenants) et peu contrôlés (fréquence de circulation, météo, présence de piétons ). Par exemple, il est préférable d’avoir de la circulation pour apprendre à analyser un carrefour, et peu de circulation pour apprendre à le traverser.
Afin de soutenir les cours de locomotion, nous avons souhaité réaliser un casque de réalité virtuelle visuelle et sonore, pour s’entrainer à analyser les carrefours et à adopter les bonnes pratiques, notamment de traversée, dans des conditions à la fois plus sereines et plus contrôlées pour soutenir les apprentissages. On peut par exemple l’utiliser dans un gymnase, dans une salle polyvalente, sur un parking ou de la pelouse.
Pour cela nous avons identifié différentes fonctionnalités pour ce simulateur :
- disposer d’un monde virtuel avec un carrefour avec feu tricolore (et prévoir la possibilité de changer de carrefour),
- avoir le bruit des voitures cohérent avec leur position sur le carrefour et la position de la tête de l’élève (son quasiment en 3D),
- avoir la possibilité de se déplacer sur le carrefour,
- pouvoir rajouter des piétons,
- pouvoir modifier la luminosité (position du soleil, ombres) et la météo (pluie)
Le matériel technique
- un casque de réalité virtuelle bon marché permettant d’intégrer un smartphone (comme le cardboard de Google). Cela permet de réaliser une application pour les smartphones avec gyroscope (ou simulant un gryroscope avec le framework Xposed) qui fonctionnent avec Android (par exemple Samsung Galaxy S3 et plus,Samsung Galaxy Note 2 et plus) ou iOS (par exemple Apple 5 et plus),
- des écouteurs pour avoir un rendu latéralisé du son,
- une application mobile : celle-ci est développée avec le moteur de jeu vidéo Unity, et codé en langage de programmation C#. L’avantage de cette solution est que le code est transférable à d’autres casques type l’Oculus Rift et le HTC Vive.
Où en sommes nous ?
Nous avons réalisé une première application sur smartphone où un monde virtuel est créé avec des voitures et un feu. Nous travaillons maintenant sur le rendu du son pour l’analyse de carrefour.
Nous avons déjà créé une première version du simulateur avec:
- un carrefour virtuel avec un menu pour choisir les conditions de la simulation,
- un simulateur de flux de piétons,
- la possibilité d’avancer dans le monde virutel avec le casque. Les parties 1 et 2 ont été réalisées par deux élèves de l’ENSC Bordeaux Sheryna Guidicelli et Marine Lira.
Nous souhaitons faire un menu pour les professeurs de locomotion afin qu’ils puissent voir ce que font les élèves dans le monde virtuel et faire évoluer ce dernier.
Quels retours ?
Nous souhaitons présenter l’application à des élèves pour voir comment cela est accueilli et si cela fonctionne bien : on espère que le côté hightech leur plaira ! Mais qui dit hightech dit bugs et petit tracas : nous allons également réaliser un retour d’expérience et un tutoriel pour aider d’autres personnes à réaliser ce type d’application !
