La fusion multimodale d’images est un sujet de grand intérêt dans le domaine de la vision par ordinateur et a des applications dans divers domaines tels que la surveillance et l’imagerie médicale. En imagerie médicale, la fusion multimodale d’images est une étape importante, car les différentes images utilisées offrent de l’information complémentaire et utile pour la planification du traitement d’un patient. Par exemple, le recalage entre différentes modalités d’images à résonance magnétique (RM) du cerveau résulte en une superposition d’information morphologique et fonctionnelle. En cardiologie, le recalage multimodal permet une mise à jour d’un modèle préopératoire de la vascularisation des patients, obtenu à partir d’images RM ou tomographiques, avec des angiographies acquises dans la salle d’opération. Le recalage d’images multimodales permet aussi la construction d’un modèle complet du tronc pour la simulation numérique de traitements orthopédiques de déformations scoliotiques.

La scoliose idiopathique est une maladie caractérisée par une courbure complexe de la colonne vertébrale qui peut affecter les fonctions physiques du patient nécessitant parfois une chirurgie. Les chirurgiens se fient sur des mesures obtenues à partir d’images radiographiques pour planifier la correction de la colonne. Par contre, suite à cette correction, une asymétrie du tronc peut persister. Il est donc utile de concevoir un simulateur de chirurgie afin de prédire l’effet de la correction chirurgicale sur l’apparence externe du tronc. Des travaux de recherche en cours visent à vérifier si la réaction de l’ensemble des structures anatomiques incluant les tissus mous face à une correction de la courbure de la colonne a un impact sur le résultat obtenu à la surface externe du tronc. Ces travaux nécessitent la génération d’un modèle géométrique du tronc entier y incluant les tissus mous afin de permettre la simulation de la propagation de l’effet d’une chirurgie de la colonne sur l’apparence externe du patient, fournissant ainsi aux chirurgiens un modèle pour la planification d’une chirurgie. Par conséquent, il est nécessaire de générer un modèle géométrique du tronc qui pourrait intégrer les structures osseuses extraites à partir d’images radiographies (RX), les tissus mous extraits à partir d’images RM et la surface externe du tronc obtenue à partir d’images de topographie de surface (TP) acquise à l’aide de caméras 3D. Ce modèle nécessite un recalage entre ces différentes modalités d’images.

Le recalage entre les images RM, RX et TP du tronc humain implique plusieurs difficultés. Premièrement, les images sont acquises à des moments ainsi qu’avec des postures différentes. Par exemple, les images RM sont acquises en position couchée, tandis que les images RX et TP sont acquises en position debout. Cette différence de posture entraîne des déformations non-rigides dans les structures anatomiques du tronc dont le recalage doit en tenir compte. De plus, les structures contenues dans le tronc humain n’ont pas toutes les mêmes caractéristiques physiques et, par consé- quent, ne se déforment pas toutes de la même façon. En particulier, les vertèbres sont des structures rigides tandis que les tissus mous se déforment de façon non-rigide. Deuxièmement, il y a un manque de repères anatomiques correspondants entre les différentes images, puisque ces images montrent des informations complémentaires. Finalement, l’acquisition des images RM n’est pas toujours possible pour les patients scoliotiques à cause du manque de disponibilité des systèmes en clinique. De plus, la longue durée des acquisitions cause un manque de confort auprès des patientes. En effet, aucune des méthodes de recalage existantes n’effectue le recalage entre les images RM et RX tout en tenant compte du changement de posture entre les acquisitions, et aucune des méthodes n’effectue le recalage d’images TP, RX et RM du tronc humain.

Ce document propose une méthodologie pour la génération d’un modèle géométrique du tronc complet d’un patient scoliotique. Le modèle géométrique sera généré en fusionnant, par recalage élastique, des images RX, des images RM et des images TP d’un patient, tout en tenant compte du manque de correspondances anatomiques ainsi que des déformations dues au changement de posture entre les acquisitions d’images.

Dans une première phase, un recalage est effectué entre la colonne vertébrale extraite à partir des images RM et celle extraite à partir des images RX en compensant pour les changements dus à la différence de posture. La transformation semi-rigide de la colonne vertébrale est effectuée à l’aide d’un modèle articulé, ce dernier étant défini de la façon suivante :​ pour chaque vertèbre, un système de coordonnées local est construit à partir de repères vertébraux. Des transformations intervertébrales locales et rigides sont ensuite obtenues en calculant les transformations entre les systèmes de coordonnées locaux des vertèbres adjacentes. Finalement, la transformation globale entre chaque vertèbre extraite à partir de l’image RM et la vertèbre correspondante extraite à partir de l’image RX est obtenue en concaténant les transformations locales. La validation a été effectuée sur 14 patientes scoliotiques en comparant la méthode proposée avec un recalage rigide. La précision du recalage des vertèbres thoraciques et lombaires est validée en calculant l’erreur cible entre des points de repère extraits à partir des corps vertébraux. L’erreur moyenne cible a diminué de 10,73 mm dans le cas du recalage rigide jusqu’à 4,53 mm dans le cas du recalage avec modèle articulé. De plus, les angles de Cobb obtenus à partir des images RM sont comparés à ceux obtenus à partir des images RX dans le plan latéral et frontal, au niveau thoracique et lombaire, ceci avant et après le recalage. Les différences entre tous les angles de Cobb des deux modalités d’images étaient toujours au-delà de 10,0° suite au recalage rigide, tandis que ces différences ont baissé en dessous de 1,0° suite au recalage avec la méthode proposée. Finalement, en comparant les courbures de la colonne entre les positions couchée et debout, nous avons remarqué une diminution significative dans l’angle de Cobb lorsque le patient est en position couchée. Cette diminution était au-delà de 10,0° dans les deux plans et dans les deux régions de la colonne. Ces différences d’angles confirment les résultats obtenus dans la littérature montrant que la courbure de la colonne est atténuée lorsque le patient est en position couchée. De plus, la diminution dans les erreurs de recalage lorsque la méthode proposée est utilisée démontre que cette méthode réussit à recaler les structures vertébrales entre les images RM et RX tout en compensant pour le changement de posture qui se fait entre les deux acquisitions.

Dans une deuxième phase, les images RM, RX et TP d’un même patient sont recalées afin d’obtenir un modèle géométrique complet d’un patient qui incorpore les structures osseuses, les tissus mous, ainsi que la surface externe du tronc. Tout d’abord, les images TP sont recalées aux images RX en utilisant une fonction spline plaque-mince et à l’aide de points correspondants placés sur la surface du tronc du patient avant l’acquisition des deux modalités d’images. Ensuite, les images RM sont incorporées en se servant d’une transformation du modèle articulé suivi d’un recalage avec une spline plaque-mince contrainte afin de tenir compte de la rigidité des vertèbres. La qualité du recalage entre les images RM et TP est quantifiée pour trois patients scoliotiques avec l’indice Dice, celui-ci mesurant le chevauchement entre les tranches d’images RM et l’espace contenu dans l’image TP, et étant défini comme le ratio entre le double de l’intersection et l’union. L’indice Dice varie entre 0 et 1, où la valeur de 0 indique qu’il n’y a aucun chevauchement et une valeur de 1 indique qu’il y a un chevauchement parfait. Une valeur de 0,7 est considérée comme un chevauchement adéquat. Le recalage avec la méthode proposée est comparé au recalage rigide ainsi qu’au recalage articulé simple. Une valeur Dice moyenne de 0,95 est obtenue pour la méthode proposée, démontrant un excellent chevauchement et une amélioration comparativement à la valeur de 0,82 dans le cas du modèle articulé simple et de 0,84 dans le cas du recalage rigide. Donc, la méthode de recalage proposée réussit à fusionner les données sur les structures osseuses, les tissus mous, ainsi que la surface externe du tronc à partir des images RM, RX et TP, tout en compensant pour le changement de posture entre ces acquisitions.

Dans une troisième phase, un recalage inter-patient permet de compléter un modèle tridimensionnel partiel personnalisé du tronc d’un patient à partir d’une fusion des images RX et TP du patient et des images RM d’un modèle générique obtenu en suivant la méthodologie proposée. Premièrement, un patient ayant un modèle géométrique complet qui incorpore les structures osseuses, les tissus mous, ainsi que la surface externe du tronc est désigné en tant que modèle générique. Deuxièmement, un modèle personnalisé partiel d’un autre patient est obtenu en recalant les images TP aux images RX à l’aide d’une fonction spline plaque-mince. Troisièmement, les images RM du modèle générique sont incorporées dans le modèle personnalisé partiel de ce patient à l’aide du modèle articulé ainsi que de la déformation spline plaque-mince contrainte. L’indice Dice est utilisé afin de mesurer le chevauchement entre les images TP du patient et les images RM incorporées suite au recalage inter-patient à partir du modèle générique. De plus, le chevauchement est calculé entre les images RM incorporées suite au recalage inter-patient à partir du modèle générique et les images RM réelles du patient suite au recalage intra-patient. Les résultats montrent une diminution générale significative de l’indice Dice comparativement au recalage intra-patient. Par contre, les valeurs obtenues sont plus élevées que 0,7, ce qui est adéquat. Le chevauchement a aussi été mesuré entre le gras segmenté à partir des images RM suite au recalage inter-patient et les images RM réelles du patient suite au recalage intra-patient, et des valeurs inférieures à 0,7 sont obtenues. Ceci peut être expliqué par le fait que ratio faible entre la circonférence et l’aire des structures analysées a pour effet de diminuer les valeurs Dice. La méthodologie proposée fournit un cadre qui permet de construire un modèle complet du tronc sans avoir besoin d’une acquisition d’images RM pour chaque patient.

Le modèle complet obtenu inclut les structures osseuses, les tissus mous ainsi que la surface du tronc complet d’un patient scoliotique. Ce modèle peut être incorporé dans le simulateur chirurgical qui est en cours de développement, afin de tenir compte des tissus mous dans la simulation de l’effet d’un traitement de la colonne vertébrale sur la surface du tronc d’un patient. Cependant, la précision du recalage pourrait être améliorée en se servant d’un maillage adaptatif tridimensionnel des tissus mous tout en incorporant des indices de rigidité pour chacun des tissus

Multimodal image fusion is a topic of great interest in the field of computer vision and has applications in a wide range of areas such as video surveillance and medical imaging. In medical imaging applications, multimodal image fusion is an important task since different image modalities can be used in order to provide additional information and are thus useful for the treatment of patients. For example, the registration between different magnetic resonance (MR) image modalities of the brain results in a model that incorporates both anatomical and functional information. In cardiology, the multimodal registration allows an up-to-date 3D preoperative model of patients, obtained from computed tomography or MR images, with angiograms acquired in the operating room. The multimodal image registration also allows for the construction of a complete model of the trunk for the simulation of orthopedic treatments for scoliotic deformations.

Idiopathic scoliosis is a disease characterized by a complex curvature of the spine which can affect the physical functioning of the patient, sometimes requiring surgery. Surgeons rely on measurements obtained from radiographic images in order plan the surgical correction of the vertebral column. However, following such a correction, an asymmetry of the trunk may persist. It would therefore be useful to develop a surgical simulator in order to predict the effect of a surgical correction on the external appearance of the trunk. Research is underway that aims to verify whether the reaction of all anatomical structures including the soft tissues following a correction of the curvature of the spine has an impact on the result obtained at the external surface of the torso. This research requires the design of a geometric model of the entire trunk that also incorporates soft tissues in order to allow for the simulation of the propagation of the effect of spine surgery on the external appearance of the patient, thus providing surgeons with a model for surgical planning. Therefore, it is necessary to obtain a geometric model of the trunk that would integrate the bone structures extracted from X-ray images, soft tissues extracted from MR images and the trunk surface obtained from surface topography (TP) data acquired using 3D cameras. This complete model requires the registration between the different imaging modalities.

The registration between the MR, X-ray and TP images is subject to several difficulties. Firstly, these images are acquired at different times and in different postures. For example, MR images are acquired in prone position, whereas the TP and X-ray images are acquired in standing position. This difference in posture causes non-rigid deformations in the anatomical structures of the trunk that must be taken into consideration during registration. Moreover, the structures contained in the human body do not have the same physical characteristics, and therefore do not deform all in the same manner. In particular, the vertebrae are rigid structures, while soft tissues deform nonrigidly. Secondly, there is a lack of corresponding anatomical landmarks between the different images, as these images contain non-overlapping anatomical information. Thirdly, the acquisition of MR images is not always possible for patients with scoliosis due to the lack of availability of such acquisition systems in clinical settings. In addition, the lengthy acquisition time causes patient discomfort. In fact, none of the existing registration methods registers X-ray and MR images while taking into account the change in posture between acquisitions, and none of the methods registers TP, MR and X-ray images of the human trunk.

This document proposes a methodology for generating a complete geometric model of the trunk of a patient with scoliosis. The geometric model is developed using the non-rigid registration of Xray, TP and MR images, while taking into account the lack of anatomical correspondences between the image modalities, and the non-rigid deformation that occurs due to a posture change between the image acquisitions.

In the first phase, the shape of the spine extracted from MR images is registered to that extracted from the X-ray images all while compensating for spine shape changes that are due to the difference in posture between the acquisition of the two modalities. The semi-rigid transformation of the spine is obtained by means of an articulated model registration which is defined as follows:​ For each vertebra, a local coordinate system is constructed from vertebral landmarks. Local rigid inter-vertebral transformations are then obtained by computing the transformations between the local coordinate systems of adjacent vertebrae. Finally, the global transformation between each vertebra extracted from the MR images and the corresponding vertebra extracted from the X-ray images is obtained by concatenating the local transformations. The validation is performed using 14 patients with scoliosis by comparing the proposed method with rigid registration. Registration accuracy in the thoracic and lumbar areas is validated by calculating the target registration error between correspondence points extracted from the vertebral bodies. The average error decreased from 10.73 mm in the case of rigid registration to 4.53 mm in the case of registration using the proposed articulated model. In addition, Cobb angles obtained from MR image reconstructions are compared with those obtained from X-ray image reconstructions in the lateral and frontal views and in the thoracic and lumbar areas of the spine, both before and after registration. The differences between all Cobb angles of the two imaging modalities were above 10.0° following rigid registration, whereas these differences fell below 1.0° following registration using the proposed method. Finally, when comparing the curvatures of the spine between the prone and standing postures, we noticed a significant decrease in the Cobb angle when the patient is lying down. This decrease was above the 10.0° in both views and in both regions of the spine. These angle differences confirm the results obtained in the litterature showing that the curvature of the spine is attenuated when the patient is lying down. Moreover, the decrease in registration errors when the proposed method is used shows that this method successfully aligns the spine between MR and X-ray images all while compensating for the change in posture that occurs between the two acquisitions.

In the second phase, the TP, X-ray and MR images of the same patient are registered in order to obtain a full geometric model of the entire torso which incorporates the bone structures, soft tissue, as well as the external surface of the trunk. Firstly, the TP and X-ray images are aligned using a thinplate spline and landmarks placed on the surface of the trunk of the patient prior to the acquisition of the two imaging modalities. Secondly, MR images are incorporated into the model using the articulated model followed by a thin-plate spline registration constrained in order to maintain the stiffness of the vertebrae. The quality of registration between the MR and the TP images is verified for 3 patients with scoliosis with the Dice index, which measures the overlap between the MRI slices and the space contained within the TP image. The Dice index varies between 0 and 1, where the value of 0 indicates that there is no overlap and a value of 1 indicates a perfect overlap. A value of 0.7 is considered suitable overlap. The proposed method is compared to rigid registration and registration a simple articulated model. An average Dice value of 0.95 is obtained when the proposed method is used, showing excellent overlap and a significant improvement compared to 0.82 in the case of simple articulated model registration and 0.84 in the case of rigid registration. Therefore, the proposed registration method succeeds in incorporating bone structures, soft tissues, and the external surface of the trunk using MR, X-ray and TP images all while compensating for the change in posture that occurs between these acquisitions.

In the third phase, inter-patient registration allows for the completion of a personalized threedimensional partial model of the trunk of a patient by registering TP and X-ray images of the patient with the MR images of a generic model that is obtained by following the proposed methodology. Firstly, a patient having a full geometric model which incorporates the bone structures, soft tissues, as well as the external surface of the trunk is designated as the generic model. Secondly, a partial personalized model of another patient is obtained by registering the X-ray and TP images of the patient using a thin-plate spline function. Thirdly, MR images of the generic model are incorporated into the partial personalized model of the test patient using the articulated model transformation and the constrained thin-plate spline deformation. The Dice index is used in order to measure the overlap between the TP images of the patient and the MR images from the generic model following inter-patient registration. Moreover, the overlap between the MR images from the generic model following inter-patient registration and the patient’s real MR images is measured. The results show a significant overall decrease in the Dice index compared to intra-patient registration. However, the values obtained are higher than 0.7, which is considered adequate. The overlap was also measured between fat tissues segmented from MR images registered from the generic model and the patient’s own registered MR images, and values below 0.7 are obtained. However, this lack of overlap can be explained by the fact that the low circumference to area ratio of the structures being analysed leads to inherently lower Dice values. The methodology proposed here allows for a framework in which, upon the use of a larger database of patients, a complete model of the trunk can be built without the need for MR image acquisition for each patient.

The complete model obtained includes the bone structures, soft tissues and the complete surface of the trunk of scoliotic patients. This model can be incorporated into the surgical simulator which is under development, in order to take soft tissues into account while simulating the effect of spine instrumentation on the external surface of the patient’s trunk. However, the precision of the registration can be improved by using a 3 dimensional adaptive mesh of the soft tissues all while incorporating tissue-specific stiffness factors.