The current surgical practices are undergoing evolutionary adoption of mixed reality-based technologies. Augmented Reality (AR) comes into the field as a possible way of augmentation of the real anatomical structure during surgery without any attention drift of the surgeon. Operative error is a major concern during complex surgical procedures and disruption of the surgeon’s attention potentiates toward it. Pedicle Screw placement procedure in Surgical fusion surgery is a complex procedure in nature and current conventional practices disrupt surgeons’ attention. Implementation of head-mounted display based augmented reality platform, HoloLens, into the procedure increases the accuracy of fixation of pedicle screw where it depends on the use of the conventional method of recognition of the target object and of projection of holographic images into surgeon’s operative field which limits the required dynamic and interactive nature of the procedure.

This paper aims to develop and validate a novel method of recognition of the target object and overlaying hologram into the target object of the field of spine surgery procedure with respecting the spatial relationship of the geometry of a reference tool in the surgical field. Three are two tasks to achieve this objective. First, the development of a novel method of holographic projection for spinal surgery. Second, to examine the accuracy of the projection of the hologram into the target object with or without movement of the target real model and patient reference model.

The holographic model has been built with Unity Editor, Mixed Reality Tool Kit, and C# programming languages to define the behavior of the model. The target structure of the complex geometry of the spine model and the patient reference model has been designed and integrated into the game engine. The holographic behavior of both models has been designed with the script based on C# programming languages. The developed model has undergone a validation study to measure the accuracy of overlaying holograms into the target structure of the surgical field. The model recognized the patient reference model in both dynamic and static parts of the experiment respecting the relationship with the target real model. Overall, the HoloLens recognizes and projects holograms into the complex spinal geometry maintaining the spatial relationship of the simple geometry of the patient reference model with or without movement. It limits the maximum positional error at 1.31 +/- 3.57 mm, the form error rate at 0.022 mm +/- 0.17 mm, and rotational error at 0.89°+/- 1.65° without any statistically significant differences of error rate among all the axes.

This study has established a novel model to create a holographic projection of complex geometry and stabilization of the hologram with the dynamic procedure. So, this novel model would create the first way of dynamic augmentation of interactive surgical guidance system into the operative field of spine surgery procedure even in the spaces.

Les pratiques chirurgicales actuelles font l'objet d'une adoption évolutive de technologies basées sur la réalité mixte. La Réalité Augmentée (RA) entre dans le domaine comme un moyen possible d'augmenter la structure anatomique réelle pendant la chirurgie sans aucune dérive de l'attention du chirurgien. L'erreur opératoire est une préoccupation majeure lors d'interventions chirurgicales complexes et la perturbation de l'attention du chirurgien la potentialise. La procédure de placement de vis pédiculaires dans la chirurgie de fusion chirurgicale est une procédure complexe par nature et les pratiques conventionnelles actuelles perturbent l'attention des chirurgiens. La mise en œuvre d'une plate-forme de réalité augmentée basée sur un casque, HoloLens, dans la procédure augmente la précision de la fixation de la vis pédiculaire là où elle dépend de l'utilisation de la méthode conventionnelle de reconnaissance de l'objet cible et de projection d'images holographiques dans le champ opératoire du chirurgien ce qui limite le caractère dynamique et interactif requis de la procédure.

Cet article vise à développer et valider une nouvelle méthode de reconnaissance de l'objet cible et de superposition d'hologramme dans l'objet cible du domaine de la procédure de chirurgie du rachis en respectant la relation spatiale de la géométrie d'un outil de référence dans le domaine chirurgical. Trois sont deux tâches pour atteindre cet objectif. Tout d'abord, le développement d'une nouvelle méthode de projection holographique pour la chirurgie rachidienne. Deuxièmement, pour examiner la précision de la projection de l'hologramme dans l'objet cible avec ou sans mouvement du modèle réel cible et du modèle de référence du patient.

Le modèle holographique a été créé avec Unity Editor, Mixed Reality Tool Kit et les langages de programmation C# pour définir le comportement du modèle. La structure cible de la géométrie complexe du modèle de colonne vertébrale et du modèle de référence du patient a été conçue et intégrée dans le moteur de jeu. Le comportement holographique des deux modèles a été conçu avec le script basé sur les langages de programmation C#. Le modèle développé a fait l'objet d'une étude de validation pour mesurer la précision de la superposition des hologrammes dans la structure cible du champ chirurgical. Le modèle a reconnu le modèle de référence du patient dans les parties dynamiques et statiques de l'expérience en respectant la relation avec le modèle réel cible. Dans l'ensemble, l'HoloLens reconnaît et projette des hologrammes dans la géométrie complexe de la colonne vertébrale en maintenant la relation spatiale de la géométrie simple du modèle de référence du patient avec ou sans mouvement. Il limite l'erreur de position maximale à 1,31 +/- 3,57 mm, le taux d'erreur de forme à 0,022 mm +/- 0,17 mm et l'erreur de rotation à 0,89° +/- 1,65° sans aucune différence statistiquement significative de taux d'erreur entre tous les axes.

Cette étude a établi un nouveau modèle pour créer une projection holographique de géométrie complexe et de stabilisation de l'hologramme avec la procédure dynamique. Ainsi, ce nouveau modèle créerait la première voie d'augmentation dynamique du système de guidage chirurgical interactif dans le champ opératoire de la procédure de chirurgie de la colonne vertébrale, même dans les espaces