The effectiveness of orthopedic surgeries hinges on two key factors: meticulous preoperative surgical planning and successful realisation of the planned osteotomy during surgery. Although computer-assisted orthopaedic surgery offers improved surgical precision and reduced intraoperative complications, state-of-the-art preoperative planning and postoperative evaluation are still predominantly performed manually, using two-dimensional (2D) image modalities. This is mainly due to the fact, that three-dimensional (3D) methods are not sufficiently automated and therefore very time-consuming, making their integration into clinical practice challenging.
The objective of this thesis was to address these limitations by developing a comprehensive automated system for orthopedic procedures, encompassing 3D preoperative planning, precise intraoperative guidance, and thorough postoperative assessment. These methods were developed on the example of two highly complex hip interventions called Femoral Head Resection Osteotomy (FHRO) and Periacetabular Osteotomy (PAO). These interventions are typically performed on young patients, suffering from Legg-Calvé-Perthes (LCP). LCP results in the deformation of the femoral head and consequent deformation of the acetabulum (pelvic part of the hip joint). The main goal of FHRO and PAO is to restore joint functionality. FHRO aims to restore the spherical shape of the femoral head by removing a central wedge from the pathological bone area. Whereas PAO improves joint stability by first mobilising and consequent repositioning of the acetabulum for improved coverage of the femoral head.
Determining the optimal correction for FHRO and PAO is a complex 3D problem and the steps involved are often mutually dependent and difficult to optimise manually. Moreover, the 2D imaging typically used in conservative pre-operative planning methods, is inadequate to fully capture the 3D nature of the task. In the first part of this thesis, we therefore propose an automatic 3D planning approach for FHRO based on Deep Reinforcement Learning (DRL). Compared to other deep learning techniques, DRL offers a significant advantage: it does not depend on vast amounts of data but instead learns from experience through interaction with the environment. In the context of medical applications, where limited data availability is a frequent challenge, the development of a data-independent planning method becomes especially valuable. Our key contribution is, that we were the first to generate a preoperative plan for osteotomies using DRL, where we trained an agent on simulated data only. In our qualitative assessment, we found that the proposed approach is capable of generating clinical-grade planning solutions from unseen patient data when compared with the clinical gold standard.
In the second part of this thesis, we developed novel navigation systems for FHRO and PAO. Patient-Specific Instruments (PSI) are physical guides which are planned and produced for each patient individually. Their successful application to different anatomies, previous to this thesis, have inspired the development of PSI for FHRO. Their application have been very promising and even led to an in-vivo study. In FHRO, full access to the anatomy is provided, making PSI a suitable choice. However, during PAO only part of the anatomy is exposed favouring the use of an optical navigation method. To this end, an Augmented Reality (AR) application was developed to guide the four osteotomies and fragment reorientation during PAO. The big advantage of AR methods compared to other optical systems is the reduced cognitive load for surgeons, due to in-situ visualisation, making surgical guidance more intuitive. The results suggest that AR guidance of PAO is feasible. However, they also point to the need for further refinement in the navigation of fragment repositioning.
In theory, conducting a 3D postoperative outcome assessment would be a highly effective method for quantifying the efficacy of an orthopedic intervention. However, since current methods are not sufficiently comprehensive and automated, 3D postoperative evaluation remains very time-consuming and not feasible for daily clinical practise. In the third part of this thesis we address this need and developed an automatic 3D postoperative outcome quantification method, described on the example of PAO. The proposed method quantifies the three relevant steps of an orthopaedic intervention: cutting bone, anatomy repositioning and implant placement. Osteotomies were quantified using a Deep Learning-based segmentation approach. A multi-step registration method was used to evaluate intraoperative anatomy repositioning and implant position was identified using a combined approach of 3D Hough transform with fast voxel traversal using ray tracing. Our results were compared to a manual approach and show that our method can accurately assess the outcome of the surgery
Die Effektivität orthopädischer Operationen hängt von zwei Schlüsselfaktoren ab: einer sorgfältigen präoperativen Operationsplanung und der erfolgreichen Umsetzung der geplanten Osteotomie während der Operation. Obwohl die computergestützte orthopädische Chirurgie eine verbesserte chirurgische Präzision und geringere intraoperative Komplikationen bietet, werden die moderne präoperative Planung und die postoperative Auswertung immer noch überwiegend manuell mit zweidimensionalen (2D) Bildmodalitäten durchgeführt. Dies liegt vor allem daran, dass dreidimensionale (3D) Methoden nicht ausreichend automatisiert und daher sehr zeitaufwändig sind, was ihre Integration in die klinische Praxis erschwert.
Das Ziel dieser Arbeit war es, diese Einschränkungen durch die Entwicklung eines umfassenden automatisierten Systems für orthopädische Eingriffe zu überwinden. Dieses System beinhaltet eine präoperative 3D-Planung, eine präzise intraoperative Navigation und eine postoperative Evaluation. Diese Methoden wurden am Beispiel von zwei hochkomplexen Hüfteingriffen entwickelt, der Femurkopf-Resektionsosteotomie (FHRO) und der periacetabulären Osteotomie (PAO). Diese Eingriffe werden in der Regel bei jungen Patienten durchgeführt, die an Legg-Calvé-Perthes (LCP) leiden. LCP führt zu einer Verformung des Hüftkopfes und in der Folge zu einer Verformung der Hüftpfanne. Das Hauptziel von FHRO und PAO ist die Wiederherstellung der Gelenkfunktion. FHRO zielt darauf ab, die sphärische Form des Hüftkopfes wiederherzustellen, indem ein zentraler Keil aus dem pathologischen Knochenbereich entfernt wird. Die PAO hingegen verbessert die Stabilität des Gelenks, indem zunächst die Hüftpfanne mobilisiert und anschließend neu positioniert wird, um eine bessere Abdeckung des Hüftkopfes zu erreichen.
Die Bestimmung der optimalen Korrektur für FHRO und PAO ist ein komplexes 3D-Problem, und die beteiligten Schritte sind oft voneinander abhängig und manuell schwer zu optimieren. Darüber hinaus ist die 2D-Bildgebung, die typischerweise in konservativen präoperativen Planungsmethoden verwendet wird, unzureichend, um die 3D-Natur der Aufgabe vollständig zu erfassen. Im ersten Teil dieser Arbeit schlagen wir daher einen automatischen 3D-Planungsansatz für FHRO vor, der auf Deep Reinxi forcement Learning (DRL) basiert. Im Vergleich zu anderen Deep-Learning Techniken bietet DRL einen entscheidenden Vorteil: Es ist nicht auf große Datenmengen angewiesen, sondern lernt aus Erfahrung durch Interaktion mit der Umgebung. Im Kontext medizinischer Anwendungen, wo begrenzte Datenverfügbarkeit eine häufige Herausforderung darstellt, ist die Entwicklung einer datenunabhängigen Planungsmethode besonders wertvoll. Unser Hauptbeitrag besteht darin, dass wir einen präoperativen Plan für Osteotomien mit Hilfe von DRL erstellt haben, wobei wir einen Agenten nur auf simulierten Daten trainiert haben. Unsere qualitative Evaluation zeigt, dass unsere Methode in der Lage ist, aus ungesehenen Patientendaten Planungslösungen in klinischer Qualität zu generieren.
Im zweiten Teil dieser Arbeit haben wir geeignete Navigationssysteme für FHRO und PAO entwickelt.Patientenspezifische Instrumente (PSI) sind Hilfsmittel, die für jeden Patienten individuell geplant und hergestellt werden. Ihre erfolgreiche Anwendung auf verschiedene Anatomien, die dieser Arbeit vorausging, hat die Entwicklung von PSI für FHRO inspiriert. Ihre Anwendung war sehr vielversprechend und führte sogar zu einer in-vivoStudie. Bei der FHRO ist ein vollständiger Zugang zur Anatomie gegeben, so dass PSI eine geeignete Wahl sind. Bei der PAO ist jedoch nur ein Teil der Anatomie zugänglich, was den Einsatz einer optischen Navigationsmethode begünstigt. Zu diesem Zweck wurde eine Augmented Reality Anwendung (AR) entwickelt, um die vier Osteotomien und die Neuausrichtung der Fragmente während der PAO zu steuern. Der große Vorteil von AR-Methoden im Vergleich zu anderen optischen Systemen ist die geringere kognitive Belastung der Chirurgen aufgrund der in-situ-Visualisierung, wodurch die chirurgische Führung intuitiver wird. Die Ergebnisse deuten darauf hin, dass die AR-Navigation der PAO machbar ist. Sie weisen jedoch auch darauf hin, dass die Navigation bei der Repositionierung der Fragmente weiter verfeinert werden muss.
Theoretisch wäre die Durchführung einer postoperativen 3D-Ergebnisbewertung eine äußerst effektive Methode zur Quantifizierung der Wirksamkeit eines orthopädischen Eingriffs. Da die derzeitigen Methoden jedoch nicht ausreichend umfassend und automatisiert sind, ist die postoperative 3D-Auswertung nach wie vor sehr zeitaufwändig und für die tägliche klinische Praxis nicht praktikabel. Im dritten Teil dieser Arbeit gehen wir auf diesen Bedarf ein und entwickeln eine automatische Methode zur 3DQuantifizierung des postoperativen Ergebnisses, die am Beispiel der PAO beschrieben wird. Die vorgeschlagene Methode quantifiziert die drei relevanten Schritte eines orthopädischen Eingriffs: das Schneiden des Knochens, die Repositionierung der Anatomie und die Implantate (e.g. Schrauben). Osteotomien wurden mithilfe eines auf Deep Learning basierenden Segmentierungsansatzes quantifiziert. Eine mehrstufige Registrierungsmethode wurde verwendet, um die intraoperative Anatomie Repositionierung zu bewerten, und die Implantatposition wurde mithilfe eines kombinierten Ansatzes aus 3D-Hough-Transformation und schnellem Voxel Durchsuchen mittels Raytracing ermittelt. Unsere Ergebnisse wurden mit einem manuellen Ansatz verglichen und zeigen, dass unsere Methode das Ergebnis der Operation vergleichbar gut beurteilen kann, wie die manuelle Methode.