Current surgical navigation systems come with significant disadvantages such as increased surgery times, high cost, or insufficient staff training. While the potential for increased accuracy might mitigate longer surgery times, the high costs associated with these systems remain a prohibitive factor for low-income regions across the globe. The recent availability of affordable off-the-shelf head-mounted devices (HMDs) has increased the use of augmented reality (AR) in different fields. Some of the primary benefits of AR include a decrease in execution time, enhanced quality of outcomes, and an improved learning experience. Its cost-effectiveness and its ability to address the limitations of existing surgical navigation systems make AR a promising technology for enhancing surgical navigation. The primary drawbacks of AR are associated with hardware limitations (i.e. the need for hand-held devices) and constraints imposed by marker-based tool tracking. However, these limitations can be tackled by extending AR with other novel technologies including machine learning (ML) or robotics in the context of spinal fusion. The objective of spinal fu
sions is to establish a rigid connection between several vertebral segments, thereby preventing relative movements and alleviating pain. The instrumentation consists of two steps. Firstly, polyaxial screws are bilaterally inserted into the pedicles of affected vertebrae. Secondly, a straight rod implant is contoured on a dedicated bending bench to precisely align with the pedicle screw heads and subsequently secured to the screws using set screws. This thesis primarily explores how AR can be integrated into spinal fusion to improve the accuracy and safety of both surgical steps while addressing the limitations of current surgical navigation systems. Furthermore, this thesis aims to demonstrate that the synergistic integration of cutting-edge technologies such as ML or robotics into AR holds great potential to revolutionize the way spinal fusions are performed.
In a first study, the stereo environmental cameras of the first generation HoloLens were leveraged to localize markers that were firmly attached to two custom-made 3D printed tools. The first tool was a pen that was used to digitize the posterior surface of exposed vertebrae. The resulting point cloud was utilized to establish registration to the preoperative computed tomography (CT) scan. Upon registration, the second 3D printed tool was designed to enable holographic navigation of both, the entry point and the trajectory of each pedicle screw. A thorough evaluation on spine phantoms revealed promising results in terms of entry point and trajectory accuracy, as well as in terms of execution time.
A subsequent study explored the use of AR to guide surgeons through the entire rod bending process on a dedicated bending bench. Upon digitization of the pedicle screw heads using the HoloLens, a target rod shape was calculated and translated into a set of bending parameters. These parameters included the intermediate positioning and reorientation of the rod between bendings, as well as the specified bending angles for the rod. Subsequently, the surgeons received detailed step-by-step guidance by overlaying holograms on the surgical bending bench. This guidance not only displayed the desired rod shape but also provided a way how the target shape can be achieved. Evaluations on human specimens not only demonstrated lower bending times but also significantly reduced the number of required rebending maneuvers, indicating a better aligned rod.
A second focus of this thesis was the integration of other novel technologies into the surgical context to complement AR, thereby mitigating its main drawbacks. One of its limitations is marker-based tracking which poses distinct challenges due to marker occlusions, line-of-sight issues, and potentially bulky and expensive tracking hardware. This thesis attempted to address this issue by integrating machine learning into the established AR workflow. In one study, the video streams of the two front-facing environmental cameras of the HoloLens were processed by an existing neural network. After training the network on acquired data, the model provided individual bounding box detections of pedicle screw heads. Once correspondence was obtained, the detections were used to triangulate the 3D locations of pedicle screw heads. The method was subsequently evaluated on spine phantoms and demonstrated similar digitization accuracies compared to the marker-based gold standard. The major limitations of this study could be attributed to the missing correspondence between detections and the comparably slow frame rate of roughly 1 fps. Therefore, a stereo neural network, capable of simultaneously processing both stereo frames, was developed and incorporated into the rod bending framework. The design of the stereo neural network guaranteed corresponding detections on both stereo frames, thereby addressing the main limitation of the previous method. At the cost of a slight decrease in digitization accuracy, the stereo neural network enabled a real-time experience at 12 fps.
The last study presented in this thesis attempted to reduce the human influence on the surgical outcome by incorporating robotics into the context of rod bending. From the previous study, the desired rod shapes along with their respective bending parameters were known. Instead of relying on the dexterity, skill, and experience of individual surgeons, a custom-built bending machine was used to contour the straight rod implant. Screw digitization is achieved using a dedicated AR application before the bending parameters were calculated and wirelessly sent to the bending machine from within the AR application. Subsequently, the bending machine automatically executed the bending sequence, producing a contoured rod suitable for implantation. To assess the quality of the rods, residual tensile and compressive forces were measured individually for each screw using specially designed test rigs that replicated real patient anatomies, and compared to the forces measured using freehand bending. The results showed a significant reduction in the residual forces along with a substantial decrease in reducer engagements, indicating better alignment of the rod with the screw heads. Moreover, inter-surgeon and intra-surgeon evaluations suggested a high level of independence of the individual surgeon in terms of forces and required time, providing a repeatable surgical outcome for the patients.
In conclusion, AR is a promising alternative to current surgical navigation systems, capable of providing affordable and flexible guidance while meeting the stringent demands on accuracy and timing of spine surgery. The inclusion of novel technologies such as ML or robotics can further enhance the surgical outcome, where AR can be leveraged as an interface between the surgeon and other technologies.
Die heutigen chirurgischen Navigationssysteme sind mit erheblichen Nachteilen verbunden, wie z. B. längeren Operationszeiten, hohen Kosten oder unzureichender Schulung des Personals. Während man für das Potenzial einer höheren Genauigkeit längere Operationszeiten in Kauf nehmen könnte, verhindern die hohen Kosten für diese Systeme deren Gebrauch in einkommensschwachen Regionen der Welt. Die jüngste Verfügbarkeit von erschwinglichen Augmented Reality (AR) Brillen (engl. HMDs) hat den Einsatz dieser Technologie in verschiedenen Bereichen bereits erhöht. Zu den wichtigsten Vorteilen von AR gehören die schnellere und effizientere Durchführung von Arbeiten, die Verbesserung der Qualität der Ergebnisse und eine angenehmere Lernerfahrung. Die gesunkenen Kosten für Hardware zusammen mit dem Potenzial die Nachteile von bestehenden chirurgischen Navigationssystem zu mildern, machen AR zu einer vielversprechenden Technologie zur Verbesserung der chirurgischen Navigation. Die Hauptnachteile von AR sind mit Hardwareproblemen (d.h. dem Bedarf an handgehaltenen Geräten) und den durch markerbasiertem Tracking auferlegten Einschränkungen verbunden. Diese Einschränkungen können jedoch im Kontext der Wirbelsäulenversteifung durch die Erweiterung von AR mit anderen innovativen Technologien wie maschinellem Lernen (ML) oder Robotik bewältigt werden.
Das Ziel con Wirbelsäulenversteifungen besteht darin, eine starre Verbindung zwischen mehreren Wirbelkörpern herzustellen, um relative Bewegungen zu verhindern und Schmerzen zu lindern. Die Instrumentierung erfolgt in zwei Schritten. Zunächst werden polyaxiale Schrauben bilateral in die Pedikel der betroffenen Wirbelkörper eingesetzt. Anschliessend wird ein gerades Stabimplantat auf einer speziellen Biegebank gebogen, bis das Stabimplantat genau in den Schraubenköpfen der Pedikelschrauben zu liegen kommt. Anschliessend wird das Implantat mit Feststellschrauben an die Schraubenköpfe fixiert. Diese Arbeit untersucht hauptsächlich, wie AR in die Wirbelsäulenversteifung integriert werden kann, um die Genauigkeit und Sicherheit beider chirurgischer Schritte zu verbessern und gleichzeitig die Einschränkungen der aktuellen chirurgischen Navigationssysteme zu überwinden. Zusätzlich soll mit dieser Arbeit gezeigt werden, dass die synergetische Integration neuer Technologien wie ML und Robotik in AR ein grosses Potenzial hat chirurgische Eingriffe im Kontext der Wirbelsäulenversteifungen zu revolutionieren.
In einer ersten Studie wurden die Stereokameras der ersten Generation der HoloLens verwendet, um Marker zu lokalisieren, die an zwei speziell angefertigten 3D-gedruckten Werkzeugen befestigt waren. Das erste Werkzeug war ein Stift, der dazu verwendet wurde, die freiliegende Oberfläche der Wirbel zu digitalisieren. Die resultierende Punktwolke wurde genutzt, um eine Registrierung mit dem präoperativen Computertomographie (CT) Scan herzustellen. Nach der Registrierung wurde das zweite 3D-gedruckte Werkzeug genutzt, um mittels holographischer Navigation sowohl den Eintrittspunkts als auch die Trajektorie jeder Pedikelschraube anzuzeigen. Eine gründliche Evaluierung an künstlichen Wirbelsäulen zeigte vielversprechende Ergebnisse in Bezug auf Genauigkeit des Eintrittspunkts und der Trajektorie sowie in Bezug auf die Ausführungszeit.
Eine Nachfolgestudie untersuchte den Einsatz von AR zur Anleitung von Operierenden während des gesamten Stabbiegeprozesses auf einer chirurgischen Biegebank. Nach der Digitalisierung der Pedikelschraubenköpfe mithilfe der HoloLens wurde die gewünschte Form des Stabs berechnet und in eine Reihe von Biegeparametern übersetzt. Diese Parameter umfassten die Zwischenpositionierung und Neuausrichtung des Stabs zwischen den Biegungen sowie die entsprechenden Biegewinkel. Anschliessend erhielten die Operierenden eine detaillierte Schritt-für-Schritt-Anleitung, indem Hologramme auf die chirurgische Biegebank überlagert wurden. Diese Anleitung zeigte nicht nur die gewünschte Form des Stabimplantats, sondern bot auch einen Weg, wie diese Form erreicht werden kann. Evaluierungen an menschlichen Kadavern zeigten nicht nur kürzere Biegezeiten, sondern auch eine signifikante Reduzierung der erforderlichen Korrekturbiegungen, was auf einen besser gebogenen Stab hinweist.
Ein zweiter Schwerpunkt dieser Arbeit war die Integration anderer neuartiger Technologien in den chirurgischen Kontext, um AR zu ergänzen und dadurch ihre Nachteile zu mildern. Eine der Haupteinschränkungen ist das markerbasierte Tracking, das aufgrund von Verdeckungen des Markers und potenziell sperriger und teurer Tracking-Hardware besondere Herausforderungen darstellt. Diese Arbeit versuchte dieses Problem zu lösen, indem sie maschinelles Lernen in den etablierten AR-Ablauf integrierte. In einer ersten Studie zu diesem Thema wurden die Videostreams der beiden nach vorne gerichteten Stereokameras der HoloLens von einem bestehenden neuronalen Netzwerk verarbeitet. Nach dem Training des Netzwerks mit den gesammelten Daten lieferte das Modell die Pixel-Positionen der Pedikelschraubenköpfe auf den Stereobildern. Sobald die Korrespondenz zwischen den Stereobildern hergestellt war, wurden die gefundenen Pixel-Positionen zur Triangulation der 3D-Positionen der Pedikelschraubenköpfe verwendet. Die Methode wurde anschliessend an künstlichen Wirbelsäulen evaluiert und zeigte ähnliche Digitalisierungsgenauigkeiten wie der markerbasierte Goldstandard. Die Haupteinschränkungen dieser Studie waren auf die fehlende Korrespondenz zwischen den beiden Stereobildern und die vergleichsweise niedrige Bildrate von etwa 1 fps zurückzuführen. Daher wurde in einer Folgestudie ein neuronales Netzwerk entwickelt, das beide Stereobilder gleichzeitig verarbeiten konnte. Das Design des neuen neuronalen Netzwerks garantierte Korrespondenz zwischen den Stereobildern und löste somit eines der Hauptprobleme der vorherigen Methode. Trotz der leichten Verschlechterung der Digitalisierungsgenauigkeit ermöglichte dieser Ansatz eine Verbessung der Bildrate auf 12 fps was sich wiederum in einem besseren Nutzungserlebnis widerspiegelte.
Die letzte Studie dieser Arbeit versuchte den menschlichen Einfluss auf das chirurgische Ergebnis zu reduzieren, indem Robotik in den Kontext des Stabbiegens integriert wurde. Aus der vorherigen Studie waren die gewünschte Stabform zusammen mit ihren entsprechenden Biegeparametern bekannt. Anstatt auf die Geschicklichkeit, Fähigkeiten und Erfahrung einzelner Operierenden zu setzen, wurde eine eigens angefertigte Biegemaschine verwendet, um das gerade Stabimplantat zu biegen. Die Digitalisierung der Schrauben wurde mithilfe einer speziellen AR-Anwendung erreicht, bevor die Biegeparameter aus der AR-Anwendung kabellos an die Biegemaschine übertragen wurden. Anschliessend führte die Biegemaschine automatisch die Biegesequenz aus und brachte so einen Stab in die gewünschte Form. Um die Qualität der Stäbe zu bewerten, wurden die statischen Zugund Druckkräfte individuell für jede Schraube mit speziell entwickelten Prüfständen gemessen und mit den Kräften verglichen, die beim freihändigen Biegen gemessen wurden. Die Ergebnisse zeigten eine signifikante Reduktion der statischen Kräfte und eine erhebliche Verringerung der Benutzung der Reduzierzange, was auf eine bessere Übereinstimmung des Stabs mit den Schraubenköpfen hinweist. Darüber hinaus deuteten Auswertungen innerhalb und zwischen den Operierenden auf eine hohe Unabhängigkeit in Bezug auf Kräfte und Biegezeit hin, was ein reproduzierbares chirurgisches Ergebnis für die Patienten ermöglicht.
Zusammenfassend ist AR eine vielversprechende Alternative zu den aktuellen chirurgischen Navigationssystemen, die eine kostengünstige und flexible Navigation erlaubt, und gleichzeitig den hohen Anforderungen an Genauigkeit und Biegedauer der Wirbelsäulenchirurgie gerecht wird. Die Einbeziehung neuartiger Technologien wie maschinellem Lernen oder Robotik kann das chirurgische Ergebnis weiter verbessern, wobei AR als Schnittstelle zwischen den Operierenden und den anderen Technologien genutzt werden kann.