La scoliose est une déformation tridimensionnelle de la colonne vertébrale qui nécessite, dans les cas graves, une intervention chirurgicale invasive et très délicate visant à redresser la colonne. Les outils disponibles pour l’entraînement des médecins, tels que les cadavres et les rachis synthétiques, présentent des inconvénients majeurs :​ les jeunes cadavres disponibles atteints de scoliose se font rares;​ le réalisme du comportement biomécanique est questionnable;​ ces deux types d’outils ne peuvent être réutilisés;​ ils ne représentent pas toute la variété des cas scoliotiques. Les technologies de la réalité virtuelle et les simulations numériques peuvent offrir des solutions pour contourner ces inconvénients.

Afin d’aborder cette problématique, l’objectif général de la recherche a consisté à élaborer un prototype logiciel de simulateur collaboratif de chirurgie d’instrumentation du rachis scoliotique en réalité virtuelle incluant un retour d’effort logiciel pour les manœuvres correctrices principales de la chirurgie, offrant ainsi un outil d’entraînement et d’apprentissage alternatif aux outils traditionnels. Ce projet est entré dans la continuité des travaux de recherche d’étudiants et d’associés de recherche de la Chaire de recherche industrielle CRSNG/Medtronic en biomécanique de la colonne vertébrale, et s’est distingué principalement par la mise en place de l’aspect collaboratif pour un contexte d’entraînement réaliste avec des participants distants, ainsi que le développement et l’évaluation d’une interface haptique logicielle.

La revue bibliographique a suggéré que la chirurgie orthopédique ne semble pas encore bénéficier du potentiel offert par la réalité virtuelle et les interfaces haptiques quant à la simulation et à l’entraînement virtuel autant que d’autres types de chirurgies. La plupart des chirurgies pour lesquelles des simulateurs ont été développés impliquent des organes démontrant une certaine compliance, un espace de travail relativement restreint et des forces de faibles amplitudes, pouvant être simulées à l’aide de systèmes haptiques commerciaux génériques. Au contraire, la chirurgie d’instrumentation du rachis scoliotique nécessite l’application d’efforts de grande amplitude pour des mouvements relativement lents à peu de degrés de liberté, requérant un système haptique spécifique. De plus, les modèles physiques, bien que plus complexes et lourds en termes de temps de calculs que les modèles géométriques, sont nécessaires à l’obtention d’une expérience haptique réaliste. À la lumière de ces observations, nous avons émis deux hypothèses de recherche. La première hypothèse supposait que les principales manœuvres correctrices effectuées lors d’une chirurgie d’instrumentation du rachis scoliotique peuvent être modélisées et simulées en réalité virtuelle immersive à l’aide d’une interface haptique logicielle et d’un modèle biomécanique personnalisé à ±15 % des valeurs d’efforts réelles telles que perçues par des chirurgiens experts. La seconde hypothèse supposait qu’une boucle de rendu haptique multifréquence, basée sur un algorithme de prédiction / correction, permettra d’atteindre la fréquence minimale requise (1000 Hz) pour un retour d’effort fonctionnel dans un contexte d’entraînement réaliste.

Pour tester ces hypothèses, la méthodologie que nous avons retenue a compris une architecture logicielle modulaire de type client - serveur, conservée des travaux précédents, avec trois entités principales :​ un serveur biomécanique collaboratif, un serveur de téléprésence multiusager, et un client de simulation en réalité virtuelle pouvant s’exécuter à la fois sur un ordinateur conventionnel et dans un environnement immersif de type CAVE. Nous avons implanté une interface haptique logicielle pour la manœuvre correctrice centrale, la rotation d’une tige. La modélisation haptique du côté du serveur s’est appuyée sur une version adaptée d’un modèle biomécanique complexe et personnalisé provenant d’un outil de planification chirurgicale, et le rendu haptique du côté du client s’est appuyé sur un algorithme de prédiction / correction dans une boucle de rendu multifréquence pour pallier aux délais temporels dus principalement aux temps de calcul du côté du serveur et à la latence du réseau. Nous avons tiré profit du fait qu’il soit possible de prédire l’effort directement plutôt que de devoir prédire la position du périphérique, comme c’est le cas de la plupart des autres systèmes utilisant la prédiction pour gérer les délais temporels. Ainsi, la partie prédictive a reposé sur des valeurs haptiques précalculées pendant la séance d’entraînement, et la partie corrective a utilisé les valeurs haptiques réelles et un mécanisme de convergence de troisième ordre. En l’absence d’interface haptique physique spécifique à la chirurgie scoliotique, à développer dans un projet futur, nous avons utilisé un rendu visuel des valeurs haptiques par code de couleurs et un rendu pseudohaptique modifiant le ratio contrôle / affichage, c’est-à-dire le gain de restitution visuelle du déplacement de l’outil chirurgical. Nous avons amélioré le sentiment de téléprésence des participants à une séance d’entraînement par le partage des valeurs haptiques et du mouvement des implants, tiges et outils manipulés, et démontré le fonctionnement du simulateur en contexte réaliste par des tests collaboratifs transatlantiques et transcontinentaux. Le profil d’effort simulé pour un cas scoliotique spécifique a été évalué par un petit groupe de chirurgiens experts à l’aide d’un montage mécanique simple reproduisant la manœuvre de rotation d’une tige.

Les résultats produits sont acceptables. Les efforts maximaux obtenus lors de la rotation d’une tige pour une bibliothèque de cas de quatre patients scoliotiques ont correspondu aux quelques données disponibles dans la littérature. L’algorithme de prédiction / correction a produit un rendu haptique à une fréquence surpassant la valeur minimalement requise pour une interface haptique. L’évaluation du profil d’effort calculé par le simulateur auprès de chirurgiens experts a montré une allure globale réaliste et une grandeur légèrement inférieure à ce qui est appliqué en salle d’opération. Nous avons également montré que le simulateur est fonctionnel pour des participants géographiquement distants et qu’en un temps relativement court, deux utilisateurs sur différents continents peuvent, en utilisant un équipement mixte, compléter d’une manière collaborative un scénario chirurgical prédéterminé sur un patient scoliotique spécifique. Ces résultats nous ont permis de confirmer la seconde hypothèse et partiellement la première hypothèse.

La chirurgie d’instrumentation du rachis scoliotique constitue une nouvelle application pour un système haptique médical de par ses caractéristiques distinctes. Ce projet s’est distingué des autres simulateurs chirurgicaux de par son intégration d’un modèle biomécanique personnalisé et complexe dans un environnement de réalité virtuelle immersif avec une interface logicielle réaliste. À partir d’une modélisation physique complexe non adaptée pour le rendu haptique, nous avons produit une interface haptique logicielle suffisamment rapide pour la commande en temps réel d’un système haptique. Notre projet a permis de mieux exploiter la réalité virtuelle pour obtenir une meilleure représentation de la chirurgie, et nous avons posé les bases d’une validation quantitative des efforts haptiques issus du modèle biomécanique par des chirurgiens experts. À long terme, la validation exhaustive du simulateur ainsi que la mesure du transfert des apprentissages effectués avec le simulateur en contexte clinique sont requises pour que son intégration dans le curriculum académique des futurs chirurgiens orthopédistes soit justifiée.

Scoliosis is a three-dimensional deformation of the spine requiring, in severe cases, a highly delicate and invasive surgical operation to correct the spinal deformities. Available tools for surgical training, such as cadavers and synthetic spines, have major drawbacks:​ limited availability of young cadaveric spines with scoliosis;​ questionable behaviour realism;​ destruction after first use;​ limited variability in scoliotic cases for training. Virtual reality technologies and computer simulations can offer solutions to these drawbacks.

To address this problem, the general objective of this research consisted in elaborating the software prototype of a collaborative virtual reality scoliosis instrumentation surgery simulator, including force feedback for the main corrective surgical manoeuvres, as an alternative training and learning tool. This project has been a continuation of previous work from graduate students and research associates of the NSERC/Medtronic Industrial Research Chair in Spine Biomechanics, and focused on setting up and testing the collaborative aspect for a realistic training context with remote participants, as well as developing and evaluating a software haptic interface.

The literature review suggested that orthopaedic surgery does not seem to benefit from virtual reality technologies and haptic interfaces regarding simulation and virtual training as much as other types of surgeries. Most surgeries for which simulators have been developed involve organs with a certain compliance, a relatively confined workspace and Ŗdelicateŗ forces, and can be simulated with generic commercial haptic devices. On the contrary, scoliosis instrumentation surgery involves the application of high forces through moderately slow and of few degrees of freedom movements, requiring a haptic device specific to scoliosis surgery. Also, physical models, although more complex and computationally expensive than geometric models, are necessary for a realistic haptic experience. In light of these observations, we stated two hypotheses. The first hypothesis was that the main corrective manoeuvres of scoliosis instrumentation surgery can be modeled and simulated in immersive virtual reality with a software haptic interface and a patient-specific biomechanical model at ±15 % of the actual force ix values as perceived by expert surgeons. The second hypothesis was that a multirate haptic rendering loop, based on a prediction / correction algorithm, will achieve the minimal required update rate (1000 Hz) for a functional force feedback in a realistic training context.

To test these hypotheses, our methodology included a modular client - server software architecture (developed in previous work) composed of three main entities:​ a collaborative biomechanical server, a telepresence multi-user server, and a virtual reality simulation client able to run on a standard PC as well as on a CAVE-like immersive environment system. We implemented a software haptic interface for the central corrective manoeuvre, the rod rotation. The haptic modelling on the server side relied on an adapted version of a complex patient-specific biomechanical model from a surgical planning tool, and the haptic rendering on the client side relied on a prediction / correction algorithm inside a multirate rendering loop to compensate for time delays mainly due to computations on the server side and to network latency. We took advantage of the fact that it is possible to directly predict the forces rather than having to predict the device position, as it is the case for most of the systems using prediction to deal with time delays. The predictive part thus relied on haptic values precomputed during the training session, and the corrective part used real haptic values and a third-order convergence mechanism. In the absence of a physical haptic interface specific to scoliosis surgery, to be developed in a future project, we used a color-coded visual rendering of haptic values and a pseudo-haptic rendering that modified the control / display ratio, i.e. the surgical tool movement visual restitution gain. We improved users’ feeling of telepresence during training sessions by sharing haptic values and implant, rod, and manipulated tool changes in position among clients, and demonstrated through collaborative transatlantic and transcontinental tests that the simulator was functional in realistic conditions. The simulated force profile of a specific scoliotic case has been evaluated by a small group of expert surgeons with a simple mechanical apparatus recreating the rod rotation manoeuvre.

Results are acceptable. The maximal forces during the rod rotation manoeuvre simulated for four scoliotic patients matched the few data available in the literature. The prediction / correction algorithm led to a haptic update rate surpassing the minimal rate required for a haptic interface. The simulated force profile evaluated by expert surgeons showed a global realistic appearance with slightly inferior values compared to forces applied in the operating room. We also demonstrated that the simulator was fully functional for geographically distant participants and that in a relatively short time, two users on different continents could collaboratively, with mixed equipment, complete a predetermined surgical scenario for scoliosis surgical training on a specific patient. These results allowed us to confirm the second hypothesis and partially confirm the first one.

Scoliosis instrumentation surgery is a new application for a medical haptic system because of its distinctive characteristics. This research project differed from other surgical simulators due to its integration of a complex patient-specific biomechanical model into a virtual reality immersive environment with a realistic software interface. From a complex physical model, unfit for haptic rendering, we developed a software haptic interface fast enough for real-time haptic system control. Our research allowed for a better use of virtual reality technologies and for a better visualization of scoliosis surgery. We have laid the foundations for a quantitative validation of the haptic forces obtained from the biomechanical model by expert surgeons. In the long term, exhaustive validation of the simulator and measurement of how training skills will transfer in clinical context are required to justify its integration into the academic curriculum of future orthopaedic surgeons.