Visualizing and simulating the real world by means of three-dimensional (3D) models is important for many fields of science, technology, engineering and medicine (STEM). Exploiting the human senses, such as the sense of sight with head-mounted displays (HMDs) and the sense of touch with haptic devices, has helped in creating immersive virtual-reality (VR) experiences. However, HMDs and haptics have seldom been combined in STEM applications, and recently the technology has been advancing rapidly in both areas.

The objective of this research was to develop a VR system which combines both a consumer-level HMD and a mid-level haptic device using a game-development platform. A proof-of-concept system was developed using the Oculus Rift HMD and the Phantom Premium 1.5 High Force haptic device. The system was implemented using the Unity 3D game engine and was tested with two 3D human anatomical models, a heart and part of a skull. The technical performance of the system was evaluated, and a small preliminary user evaluation was performed. Particular challenges and limitations of currently available hardware and software are also discussed.

The combination of HMDs and haptics promises to be beneficial for educational, training and rehabilitation purposes. Future work should include more in-depth evaluation, as well as extension of the system beyond 3D model visualizations and simple haptic interactions to include more complex features such as material deformation and cutting, which are useful for many applications in STEM and beyond.

Simuler et visualiser le monde par des modèles en trois dimensions (3-D) est primordial pour de nombreux domaines de la science, la technologie, l’ingénierie et la médecine (STIM). Solliciter les différents sens de l’être humain à travers des appareils divers, comme par exemple les visiocasques pour solliciter le sens de la vue et les appareils haptiques pour solliciter le sens du toucher, a permis de susciter le sentiment d’immersion dans un environnement virtuel. De nos jours, la technologie derrière les visiocasques et les appareils haptiques a évolué très rapidement mais les deux sont rarement combinés pour servir dans des applications STIM.

L’objectif de cette recherche était de développer un système de réalité virtuelle qui combine à la fois un visiocasque pour consommateurs et un appareil haptique de niveau intermédiaire en utilisant un moteur de jeu. Un système de preuve de concept a été développé en utilisant le visiocasque Oculus Rift et l’appareil haptique Phantom Premium 1.5 High Force. Ce système a été développé en utilisant le moteur de jeu Unity 3D et testé avec deux modèles anatomiques du corps humain, un coeur et une partie d’un crâne. L’évaluation de la performance technique du système a été établie et une petite évaluation préliminaire de l’utilisateur a été effectuée . Les défis et limites des matériels et logiciels informatiques disponibles sont également discutés.

La combinaison des visiocasques et des appareils haptiques promet d’être bénéfique pour des fins éducatives, d’entraînement et de réhabilitation. Les travaux futures doivent inclure une évaluation plus approfondie ainsi qu’une extension du système au-delà des visualisations des modèles 3D et des simples interactions haptiques pour inclure des fonctions plus complexes telles que la déformation de la matière et la coupe, utiles pour de nombreuses applications STIM et au-delà.