Application of augmented reality navigation in oral surgery

Cover Image

Cite item

Full Text

Abstract

BACKGROUND: Augmented reality is a potential alternative for surgical navigation, as it can provide visualization of various anatomical structures of the maxillofacial region. We have developed a specific platform for three-dimensional model management and intraoperative augmented reality navigation for surgical procedures.

AIM: To evaluate surgeons’ perceptions and the usability of augmented reality navigation for the most common surgical procedures in oral surgery.

MATERIALS AND METHODS: We performed a phantom study to determine the accuracy of the augmented reality system in the maxillofacial region. Registration errors typical in image-guided surgery were measured: fiducial registration error, target registration error, and fiducial localization error. Thereafter, a clinical trial with several surgeons performing surgical procedures on jaws using augmented reality technology was conducted. Surgeons filled out a dedicated questionnaire after their experience with augmented reality navigation.

RESULTS: The mean fiducial registration error was 0.9 mm (standard deviation 0.7 mm; 95% confidence interval 0.4–1.3 mm). The mean target registration error was 1.3 mm (standard deviation 0.5 mm; 95% confidence interval 1.1–1.5 mm). The fiducial localization error was the most significant with 2.2 mm (standard deviation 0.9; 95% confidence interval 1.9–2.5 mm). The higher rankings in the user experience questionnaire were related to the novelty and excitement of using augmented reality navigation in maxillofacial surgery. The pragmatic quality aspect explains the technical focus of perception to achieve goals in a product, system, or service design. Efficiency was expected to be slightly higher; however, in our opinion, this is due to the technical difficulties of the system for novel augmented reality technology.

CONCLUSION: The results revealed the satisfactory accuracy of the augmented reality system in the maxillofacial region and the user experience of the augmented reality navigation system for oral surgery.

About the authors

Anna V. Lysenko

Research Institute of Dentistry and Maxillofacial Surgery

Email: lysenko.anna@mail.ru
ORCID iD: 0000-0001-5625-1085
SPIN-code: 1296-1399

MD, Cand. Sci. (Medicine), Assistant Professor

Russian Federation, Saint Petersburg

Andrei I. Yaremenko

Academician I.P. Pavlov First Saint Petersburg State Medical University

Email: ayaremenko@me.com
ORCID iD: 0000-0002-7700-7724
SPIN-code: 7903-8540

MD, Dr. Sci. (Medicine), Professor

Russian Federation, Saint Petersburg

Vladimir M. Ivanov

Peter the Great St. Petersburg Polytechnic University

Email: voliva@rambler.ru
ORCID iD: 0000-0001-8194-2718
SPIN-code: 8738-1873

MD, Dr. Sci. (Medicine), Professor

Russian Federation, Saint Petersburg

Anton Y. Smirnov

Peter the Great St. Petersburg Polytechnic University

Email: ant.suyr@gmail.com
ORCID iD: 0009-0001-2440-2499
SPIN-code: 3559-3318
Russian Federation, Saint Petersburg

Аlexandr I. Lyubimov

Kirov’s Military Medical Academy

Email: a-drlyubimov@mail.ru
ORCID iD: 0000-0002-7872-9593
SPIN-code: 1118-9920

MD, Cand. Sci. (Medicine), Assistant Professor

Russian Federation, Saint Petersburg

Charles S. M. Izzard

University of Exeter

Email: charles.izzard@btinternet.com
ORCID iD: 0009-0007-5893-1448
United Kingdom, Exeter

Alina A. Prokofeva

Academician I.P. Pavlov First Saint Petersburg State Medical University

Author for correspondence.
Email: prokofevaaalina@mail.ru
ORCID iD: 0000-0002-7461-4633
SPIN-code: 9206-3829
Russian Federation, Saint Petersburg

References

  1. Lysenko A, Razumova A, Yaremenko A, et al. The use of augmented reality navigation technology in combination with endoscopic surgery for the treatment of an odontogenic cyst of the upper jaw: A technical report. Imaging science in dentistry. 2022;52(2):225–230. doi: 10.5624/isd.20210256
  2. Lysenko AV, Razumova AYa, Yaremenko AI, et al. The use of augmented reality technology in endoscopic removal of a maxillary cyst. Dentistry = Stomatologiia. 2022;101(5):17–21. EDN: FOEOJE doi: 10.17116/stomat202210105117
  3. Bussink T, Maal T, Meulstee J, Xi T. Augmented reality guided condylectomy. British journal of oral and maxillofacial surgery. 2022;60(7):991–993. doi: 10.1016/j.bjoms.2022.01.008
  4. Shi J, Liu S, Zhu Z, et al. Augmented reality for oral and maxillofacial surgery: The feasibility of a marker-free registration method. The international journal of medical robotics + computer assisted surgery. 2022;18(4):e2401. doi: 10.1002/rcs.2401
  5. Brockmeyer P, Wiechens B, Schliephake H. The Role of Augmented Reality in the Advancement of Minimally Invasive Surgery Procedures: A Scoping Review. Bioengineering (Basel). 2023;10(4):501. doi: 10.3390/bioengineering10040501
  6. Van Gestel F, Frantz T, Buyck F, et al. Neuro-oncological augmented reality planning for intracranial tumor resection. Frontiers in Neurology. 14:1104571. doi: 10.3389/fneur.2023.1104571
  7. Farronato M, Maspero C, Lanteri V, et al. Current state of the art in the use of augmented reality in dentistry: a systematic review of the literature. BMC Oral Health. 2019;19(1):135. doi: 10.1186/s12903-019-0808-3
  8. Stucki J, Dastgir R, Baur DA, Quereshy FA. The use of virtual reality and augmented reality in oral and maxillofacial surgery: A narrative review. Oral surgery, oral medicine, oral pathology and oral radiology. 2024;137(1):12–18. doi: 10.1016/j.oooo.2023.07.001
  9. Cipresso P, Giglioli IAC, Raya MA, Riva G. The Past, Present, and Future of Virtual and Augmented Reality Research: A Network and Cluster Analysis of the Literature. Frontiers in Psychology. 2018;9:2086. doi: 10.3389/fpsyg.2018.02086
  10. Yeung AWK, Tosevska A, Klager E, et al. Virtual and Augmented Reality Applications in Medicine: Analysis of the Scientific Literature. Journal of medical Internet research. 2021;23(2):e25499. doi: 10.2196/25499

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. Fig. 1. Cone beam computed tomography. 1 — holder; 2 — removable localizer of radiopaque markers; 3 — three metal radiopaque balls on the patient’s face.

Download (163KB)
Indexing metadata
3. Fig. 2. Segmentation stage in the Medgital Vision Editor program.

Download (240KB)
Indexing metadata
4. Fig. 3. Patient's face with AR tag.

Download (160KB)
Indexing metadata
5. Fig. 4. Image of the patient’s face through AR glasses: control of the location of metal radiopaque balls.

Download (146KB)
Indexing metadata
6. Fig. 5. Location of metal radiopaque balls on the patient’s face: a — projection of the ball through AR glasses; b — location of the ball marked by the researcher through AR glasses.

Download (193KB)
Indexing metadata
7. Fig. 6. 3D model of the jaw with three radiopaque marks 1, 2 and 3.

Download (73KB)
Indexing metadata
8. Fig. 7. Radiopaque marks at the segmentation stage in the Medgital Vision Editor program.

Download (74KB)
Indexing metadata
9. Fig. 8. Location of the radiopaque mark through AR glasses.

Download (80KB)
Indexing metadata
10. Fig. 9. The location of radiopaque markers marked by the researcher through AR glasses.

Download (108KB)
Indexing metadata
11. Fig. 10. Measuring stand.

Download (237KB)
Indexing metadata
12. Fig. 11. Measuring the accuracy of the augmented reality system under the conditions of a measuring stand: a — a mark installed using AR glasses; b — the displacement of the marked points relative to the specified coordinates. The green dot indicates the planned location, the red dot indicates the actual location visualized using AR glasses.

Download (242KB)
Indexing metadata
13. Fig. 12. Holders with AR marks: a — upper jaw; b — lower jaw.

Download (115KB)
Indexing metadata
14. Fig. 13. Segmentation stage in the Medgital Vision Editor program (foreign body in the maxillary sinus).

Download (240KB)
Indexing metadata
15. Fig. 14. Stage of surgical access planning.

Download (96KB)
Indexing metadata
16. Fig. 15. Surgical intervention in the AR navigation system: a — registration stage; b — visualization of the intervention area and surgical access; c — visualization of surgical access.

Download (184KB)
Indexing metadata
17. Fig. 16. The 26 questions included in the UEQ questionnaire.

Download (557KB)
Indexing metadata
18. Fig. 17. Angular deviation between the intended and actual surgical access: a — 3D visualization of the displacement, where the achieved surgical access is marked in green, the planned one is marked in pink; b — frontal section, the planned surgical access (marked in white), the achieved one (marked in green).

Download (191KB)
Indexing metadata
19. Fig. 18. UEQ questionnaire for assessing the experience of using an AR navigation system during interventions in maxillofacial surgery.

Download (132KB)
Indexing metadata
20. Fig. 19. Results of assessment for all 26 items of the UEQ questionnaire.

Download (351KB)
Indexing metadata
21. Fig. 20. Evaluation of the pragmatic and hedonic aspects of quality, as well as the overall impression of use.

Download (110KB)
Indexing metadata
22. Fig. 21. Comparative graph of the AR navigation system indicators for performing interventions in maxillofacial surgery.

Download (153KB)
Indexing metadata

Copyright (c) 2024 Eco-Vector

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».