The immense technological advancement over the last decades has had a major impact not only on everyday life but also on medicine. However, the clinical acceptance of novel technologies varies. The field of computer-assisted orthopedic surgery (CAOS), i.e., surgical navigation systems, is an interesting example. Although there is a strong research community and many commercial systems exist, the usage of such technology is comparably infrequent. The lack of ease of use, the difficult integration into surgical workflows, and the high costs are seen as some of the main reasons. More specifically, three characteristics of state-of-the-art navigation systems can be identified. 1) Systems for instrument tracking are commonly located around the operating table, leading to line-of-sight issues. 2) Navigation information is visualized on 2D monitors surrounding the surgical site, which can cause attention shift and increased cognitive load for surgeons. 3) The process of finding correspondence between the intraoperative situation and preoperative imaging, i.e., the registration, can be cumbersome and often involves bulky equipment as well as radiation exposure.
This thesis had the goal of investigating the potential of off-the-shelf augmented reality (AR) head-mounted devices (HMD) and automatic, radiationfree registration approaches to overcome the limitations of state-of-the-art navigation systems by the example of open lumbar fusion surgery. This treatment can be required when conservative therapy of low back pain is exhausted due to degenerative changes. During the surgery, screws are inserted into the pedicles of affected vertebrae, which are then rigidly connected with a rod implant. Due to the spinal cord, nerve roots, and major vessels, high accuracy is paramount for screw insertion. This motivated the development of CAOS systems for pedicle screw placement almost 30 years ago. Despite the advantageous outcomes that have been described in the literature since then, such systems are only employed slightly more often for spine surgery than for orthopedic procedures in general. Based on the three aforementioned characteristics of state-of-the-art navigation systems, this thesis aimed to answer two research questions, which correspond to the two parts the work can be subdivided into. The first focused on characteristics 1 and 2, and the second on characteristic 3.
The foundation for the first part was the development of a radiation-free navigation approach for pedicle screw placement. It runs entirely on the Microsoft HoloLens 1, an off-the-shelf AR HMD, and only relies on two 3D-printed instruments for registration and navigation that are tracked by the HMD. For registration, the surface sampling method, which had already been used in early spine navigation systems, was employed. Thereby, the surgeon digitizes the surface of the anatomy using a tracked probe, and the collected points can then be used to find correspondence in preoperative data. A direct vertebra overlay is presented to the surgeon for registration verification. Upon successful registration, the screw placement is guided by AR visualizations. The approach comprises the capabilities of a state-of-the-art navigation system in a single HMD. It can overcome two of the major drawbacks described above (line-of-sight issues and visualizations on 2D monitors) by enabling on-device tracking and in situ, axis-aligned navigation feedback. In the course of this thesis, the method was validated on lumbar spine phantoms («in-vitro») and cadavers («ex-vivo»). Ultimately, it led to a first-in-man augmented reality pedicle screw navigation case («in-vivo»). Besides pedicle screw placement, the described methodology was also applied to base plate component placement in reverse total shoulder arthroplasty and complex pelvic osteotomies.
The second part focused on characteristic 3 (cumbersome and radiation-inducing registration methods). The goal was to develop a radiation-free approach for automatic, accurate, and fast registration. While surface sampling is radiation-free, it remains a time-consuming and cumbersome process, as each vertebra needs to be digitized individually. However, small, low-priced off-theshelf depth sensors can digitize anatomy surface in real time and allow for the registration of multiple vertebrae simultaneously. Consequently, such sensors were first employed to generate a large dataset of pose-annotated RGB-D recordings of cadaveric pedicle screw placement. The dataset was then used to develop a deep learning-based, fully automatic registration method for five lumbar spine levels. In addition, the method was paired with intuitive AR guidance, forming a complete navigation system. Besides a registration verification on the dataset («ex-vivo» simulation), the entire system was validated on an unseen cadaveric lumbar spine («ex-vivo»), where ten pedicle screws were placed.
For the first part, there are three main findings of this thesis. First, it is partly feasible to guide pedicle screw placement using only an AR HMD. The percentage of screws placed within the clinical safe zone was comparable to state-of-the-art navigation systems. However, with increasing representation of reality («in-vitro» through «ex-vivo» to «in-vivo»), the 3D accuracy of trajectories and entry points decreased. Only the «in-vitro» stage led to comparable results. Five limiting factors were identified: tracking accuracy, registration accuracy, registration verification, hologram stability, and operator experience. Second, the methods could successfully be transferred to other orthopedic procedures but are bound to the same limiting factors.
The second part of the thesis revealed that existing registration procedures for pedicle screw placement based on surface sampling can be automated in a fast and accurate way, resulting in a streamlined navigation workflow when combined with AR guidance. The system was able to match the accuracy of state-of-the-art navigation systems in all aspects. The addition of a small, versatile external sensor was able to mitigate all limiting factors except the operator experience.
In conclusion, the potential of AR in combination with automatic, surface-based registration methods for orthopedic procedures could be confirmed. Their use in different medical applications is well conceivable. The identified limiting factors pose the biggest challenge for methods relying on a single device only. However, recent research shows promising results in terms of tracking accuracy, which is one of the main building blocks. Apart from that, additional small sensors equipped with a computing unit should be considered to extend the capabilities of AR HMD for tracking and registration purposes.
Der enorme technologische Fortschritt der letzten Jahrzehnte hat sich nicht nur auf das tägliche Leben, sondern auch auf die Medizin ausgewirkt. Die klinische Akzeptanz neuer Technologien variiert jedoch stark. Der Bereich der computergestützten orthopädischen Chirurgie (engl. CAOS), hauptsächlich jener chirurgischer Navigationssysteme, ist ein interessantes Beispiel. Trotz starker Forschungsbemühungen und der Verfügbarkeit vieler kommerzieller Systeme wird diese Technologie vergleichsweise selten eingesetzt. Die mangelnde Nutzungsfreundlichkeit, die schwierige Integration in chirurgische Arbeitsabläufe und die hohen Kosten gelten als einige der Hauptgründe dafür. Im Einzelnen lassen sich drei Merkmale moderner Navigationssysteme ausmachen. 1) Die verwendeten hochpräzisen Trackingsysteme für Instrumente befinden sich in der Regel etwas ausserhalb rund um den Operationstisch, was zu Problemen mit der benötigten direkten Sichtlinie führt. 2) Die Navigationsinformationen werden auf 2D-Monitoren in ähnlicher Position wie die Trackingsysteme angezeigt, was zu einer Verschiebung der Aufmerksamkeit und einer erhöhten kognitiven Belastung führen kann. 3) Die Registrierung, welche den Prozess der Suche nach Ubereinstimmung zwischen der intraoperativen Situation und ¨ präoperativer Bildgebung beinhaltet, kann umständlich sein und ist oft mit sperrigen Geräten sowie einer Strahlenbelastung verbunden.
Ziel dieser Arbeit war es, das Potenzial von handelsüblichen Augmented Reality (AR) Brillen und automatischen, strahlungsfreien Registrierungsansätzen zur Uberwindung der Nachteile moderner Navigationssysteme am Beispiel der ¨ offenen lumbalen Wirbelsäulenversteifung zu untersuchen. Diese Behandlung kann erforderlich sein, wenn die konservative Therapie von Schmerzen im unteren Rückenbereich aufgrund degenerativer Veränderungen ausgeschöpft ist. Bei der Operation werden Schrauben in die Pedikel der betroffenen Wirbelkörper eingebracht, die dann mit einem Stabimplantat starr verbunden werden. Aufgrund des Rückenmarks, der Nervenwurzeln und der großen Gefässe ist eine hohe Genauigkeit beim Einsetzen der Schrauben von größter Wichtigkeit. Daher wurden vor fast 30 Jahren die ersten CAOS-Systeme für die Platzierung von Pedikelschrauben entwickelt. Trotz der vorteilhaften Ergebnisse, die seither in der Literatur beschrieben werden, werden solche Systeme in der Wirbelsäulenchirurgie nur geringfügig häufiger eingesetzt als bei orthopädischen Eingriffen im Allgemeinen. Ausgehend von den drei oben genannten Merkmalen moderner Navigationssysteme hatte diese Arbeit zum Ziel, zwei Forschungsfragen zu beantworten, welche den beiden Teilen der Arbeit entsprechen. Der erste Teil konzentrierte sich auf die Merkmale 1 und 2, der zweite auf Merkmal 3.
Die Grundlage für den ersten Teil war die Entwicklung eines strahlungsfreien Navigationsverfahrens für die Platzierung von Pedikelschrauben. Dieses läuft vollständig auf der Microsoft HoloLens 1, einer handelsüblichen AR-Brille. Einzig zwei 3D-gedruckte Instrumente für Registrierung und Navigation, deren Tracking auf der Brille erfolgt, werden benötigt. Für die Registrierung wurde die Surface-Sampling-Methode eingesetzt, die bereits in frühen Navigationssystemen für Pedikelschrauben verwendet wurde. Dabei wird die Oberfläche der Anatomie mit einem Stift, welcher von der Brille getrackt wird, digitalisiert. Die gesammelten Punkte werden dann für die Suche nach Ubereinstimmungen ¨ in den präoperativen Daten verwendet. Zur Uberprüfung der Registrierung wird ¨ eine direkte Uberlagerung des Wirbelkörpers in AR präsentiert. Nach erfolgre- ¨ icher Registrierung wird die Schraubenplatzierung durch AR-Visualisierungen angeleitet. Der Ansatz umfasst die Hauptbestandteile eines hochmodernen Navigationssystems in einem einzigen Gerät, der AR-Brille, und ist in der Lage, zwei der oben beschriebenen Nachteile (Sichtlinienprobleme, Visualisierungen auf 2D-Monitoren) zu überwinden, indem die Brille sowohl Tracking als auch ein entsprechend der intraoperativen Situation ausgerichtetes Navigationsfeedback in situ ermöglicht. Im Rahmen dieser Arbeit wurde die Methode an Phantomen der Lendenwirbelsäule («in-vitro») und an entsprechenden Kadavern («ex-vivo») validiert. Weiter führte sie zur Durchführung der ersten holografisch navigierten Wirbelsäulenoperation am Menschen («in-vivo»). Neben der Platzierung von Pedikelschrauben wurde die beschriebene Methodik auch auf die Platzierung von Basisplattenkomponenten in der inversen Schulter-Totalendoprothetik und bei komplexen Beckenosteotomien angewendet.
Der zweite Teil konzentrierte sich auf Merkmal 3 (umständliche und strahleninduzierende Registrierungsmethoden). Das Ziel war die Entwicklung eines strahlungsfreien Ansatzes für eine automatische, genaue und schnelle Registrierung. Die Surface-Sampling-Methode ist zwar strahlungsfrei, aber ein zeitaufwändiger und mühsamer Prozess, da jeder Wirbel einzeln digitalisiert werden muss. Kleine, preisgünstige, handelsübliche Tiefensensoren jedoch können die Anatomieoberfläche in Echtzeit digitalisieren und ermöglichen die gleichzeitige Registrierung mehrerer Wirbel. Deshalb wurden solche Sensoren in einem ersten Schritt für die Erstellung eines grossen Datensatzes von RGB-D-Aufnahmen der Platzierung von Pedikelschrauben bei Kadavern eingesetzt. Für jede Aufnahme sind die tatsächlichen Positionen von fünf Lendenwirbeln bekannt. Der Datensatz wurde dann verwendet, um eine auf Deep Learning basierende, vollautomatische Registrierungsmethode für die fünf Wirbel zu entwickeln. Darüber hinaus wurde die Methode mit einer intuitiven AR-Anleitung gekoppelt, um ein vollständiges Navigationssystem zu schaffen. Neben einer Verifizierung der Registrierung am Datensatz («ex-vivo»-Simulation) wurde das gesamte System an einer ungesehenen Kadaver-Lendenwirbelsäule («ex-vivo») validiert, bei der zehn Pedikelschrauben platziert wurden.
Der erste Teil dieser Arbeit resultierte in zwei Hauptbefunden. Erstens, die Platzierung von Pedikelschrauben mit einer AR-Brille als einziges benötigtes Gerät ist teilweise möglich. Der Prozentsatz der Schrauben, welche innerhalb der klinisch akzeptablen Zone platziert wurden, ist vergleichbar mit modernen Navigationssystemen. Mit zunehmender Abbildung der Realität («in-vitro» über «ex-vivo» bis hin zu «in-vivo») nimmt die 3D-Genauigkeit von Trajektorien und Eintrittspunkten ab. Nur die «in-vitro» Stufe führte zu vergleichbaren Ergebnissen. Fünf limitierende Faktoren wurden identifiziert: Trackinggenauigkeit, Registrierungsgenauigkeit, Registrierungsüberprüfung, Hologrammstabilität und Nutzungserfahrung. Zweitens konnten die Methoden er- folgreich auf andere orthopädische Verfahren übertragen werden, es sind aber die gleichen limitierenden Faktoren vorhanden.
Der zweite Teil der Arbeit zeigte, dass bestehende Registrierungsverfahren für die Platzierung von Pedikelschrauben, die auf Surface-Sampling beruhen, schnell und genau automatisiert werden können, was in Kombination mit ARAnleitung zu einem optimierten Navigationsablauf führt. Das System war in der Lage, die Genauigkeit moderner Navigationssysteme in allen Aspekten zu erreichen. Durch das Hinzufügen eines kleinen, vielseitigen externen Sensors konnten alle einschränkenden Faktoren mit Ausnahme der Nutzungserfahrung abgeschwächt werden.
Zusammenfassend lässt sich sagen, dass das Potenzial von AR in Kombination mit automatischen, oberflächenbasierten Registrierungsmethoden für orthopädische Eingriffe bestätigt werden konnte. Der Einsatz in verschiedenen medizinischen Anwendungen ist denkbar. Die identifizierten limitierenden Faktoren stellen die größte Herausforderung für Methoden dar, die sich nur auf ein einziges Gerät stützen. Jüngste Forschungsarbeiten zeigen jedoch vielversprechende Ergebnisse in Bezug auf die mögliche Trackinggenauigkeit, welche einen der wichtigsten Bausteine darstellt. Abgesehen davon sollten kleine, zusätzliche Sensoren, die mit einer Recheneinheit ausgestattet sind, in Betracht gezogen werden, um die Fähigkeiten von AR-Brillen für Tracking- und Registrierungszwecke zu erweitern