A new artificial intelligence program for the automatic evaluation of scoliosis on frontal spinal radiographs: Accuracy, advantages and limitations

Cover Image

Cite item

Full Text

Abstract

BACKGROUND: Scoliosis is one of the most common spinal deformations that are usually diagnosed on frontal radiographs using Cobb’s method. Automatic measurement methods based on artificial intelligence can overcome many drawbacks of the usual method and can significantly save radiologist’s time.

AIM: To analyze the accuracy, advantages, and disadvantages of a newly developed artificial intelligence program for the automatic diagnosis of scoliosis and measurement of Cobb’s angle on frontal radiographs.

MATERIALS AND METHODS: In total, 114 digital radiographs were used to test the agreement of Cobb’s angle measurements between the new automatic method and the radiologist using the Bland–Altman method on Microsoft Excel. A limited clinical accuracy test was also conducted using 120 radiographs. The accuracy of the system in defining the scoliosis grade was evaluated by sensitivity, specificity, accuracy, and area under the receiver operating characteristic curve.

RESULTS: The agreement of Cobb’s angle measurement between the system and the radiologist’s calculation was found mostly in grade 1 and 2 scoliosis. Only 2.8% of the results showed a clinically significant angle variability of >5°. The diagnostic accuracy metrics of the limited clinical trial in City Mariinsky Hospital (Saint Petersburg, Russia) also proved the reliability of the system, with a sensitivity of 0.97, specificity of 0.88, accuracy (general validity) of 0.93, and area under the receiver operating characteristic curve of 0.93.

CONCLUSION: Overall, the artificial intelligence program can automatically and accurately define the scoliosis grade and measure the angles of spinal curvatures on frontal radiographs.

About the authors

Dima Kh. I. Kassab

Saint Petersburg State University

Author for correspondence.
Email: DimaKK87@gmail.com
ORCID iD: 0000-0001-5085-6614
SPIN-code: 4907-7850

MD

Russian Federation, Saint Petersburg

Irina G. Kamyshanskaya

Saint Petersburg State University

Email: irinaka@mail.ru
ORCID iD: 0000-0002-8351-9216
SPIN-code: 2422-5191

MD, Dr. Sci. (Medicine), Assistant Professor

Russian Federation, Saint Petersburg

Stanislau V. Trukhan

Esper LLC

Email: stas.truhan@gmail.com
ORCID iD: 0000-0003-0688-0988
Russian Federation, Tver

References

  1. Negrini S, Donzelli S, Aulisa AG, et al. 2016 SOSORT guidelines: orthopaedic and rehabilitation treatment of idiopathic scoliosis during growth. Scoliosis. 2018;3(13). doi: 10.1186/s13013-017-0145-8
  2. Birchenko NS. On the asymmetry of right and left leg loading in children with scoliosis. Fundamental’nye issledovaniya. 2005;(4):9–12. (In Russ). EDN: IUMILP
  3. Mironov SP, editor. Orthopedics. Clinical Guidelines. Moscow: GEOTAR-Media; 2018. (In Russ).
  4. Kotel’nikov GP, Lartsev YuV, Ryzhov PV. Traumatology and Orthopedics. 2nd edition, revised. Moscow: GEOTAR-Media; 2021. (In Russ).
  5. Lenke CL. Revised glossary of terms [Internet]. Milwaukee, WI: Scoliosis Research Society; c2023 [cited 2023 Jun 05]. Available from: https://www.srs.org/professionals/online-education-and-resources/glossary/revised-glossary-of-terms
  6. O’Brien MF, Kuklo TR, Blanke KM, et al. Radiographic Measurement Manual. Spinal Deformity Study Group. Miami, Florida: Medtronic Sofamor Danek USA; 2008.
  7. Malfair D, Flemming AK, Dvorak MF, et al. Radiographic evaluation of scoliosis: review. American journal of roentgenology. 2010;194(3):8–22. doi: 10.2214/AJR.07.7145
  8. Imhof H, Halpern B, Herneth AM, et al. Direct diagnosis in radiology. Spinal imaging. 2nd ed. Thieme; 2021.
  9. Kaul V, Enslin S, Gross SA. History of artificial intelligence in medicine. Gastrointest Endosc. 2020;92(4):807–812. doi: 10.1016/j.gie.2020.06.040
  10. Padalko MA, Orlov SV, Naumov AM, Nazarikov SI, Lushnikov AA. Automatic system for determining the angles of scoliotic deformity of the human spine. Vestnik IKBFU. Physics, mathematics, and technology. 2019;(3):55–68. EDN: WMPIXX
  11. Lein GA, Nechaeva NS, Mammadova GМ, Smirnov AA, Statsenko MM. Automation analysis X-ray of the spine to objectify the assessment of the severity of scoliotic deformity in idiopathic scoliosis: a preliminary report. Pediatric Traumatology, Orthopaedics and Reconstructive Surgery. 2020;8(3):317–326. EDN: SJOTEB doi: 10.17816/PTORS34150
  12. Khanal B, Dahal L, Adhikari P, et al. Automatic Cobb angle detection using vertanra detector and vertebra corners regression. Cai Y, Wang L, Audette M, et al. Computational methods and clinical applications for spine imaging. Lecture Notes in Computer Science. Switzerland: Springer Nature, 2020. P:81–87.
  13. Horng M, Kuok S, Fu M, et al. Cobb angle measurement of spine from X-Ray images using convolutional neural network. Computational and mathematical methods in medicine. 2019;2019. doi: 10.1155/2019/6357171
  14. Pan Y, Chen Q, Chen T, et al. Evaluation of a computer-aided method for measuring the Cobb angle on chest X-rays. Eur Spine journal. 2019;28(12):3035–3043. doi: 10.1007/s00586-019-06115-w
  15. Patent RUS database registration № 2022620577/ 17.03.2022. Kassab DKhI, Kamyshanskaya IG, Cheremisin VM, Cheremisin AA. A database of spinal radiographs with different degrees of scoliosis (XrScl). (In Russ).

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. Fig. 1. Results of measurements by the Blend-Altman method. Agreement of Cobb angle measurements by two methods on radiographs with scoliosis of grades I and II.

Download (236KB)
Indexing metadata
3. Fig. 2. Results of measurements by the Blend-Altman method. Agreement of Cobb angle measurements by two methods on radiographs with scoliosis of grades III and IV.

Download (260KB)
Indexing metadata
4. Fig. 3. ROC curve confirmation of the accuracy of the new AI program in determining the degree of scoliosis.

Download (80KB)
Indexing metadata
5. Fig. 4. X-ray image of grade II scoliosis. The image was analyzed by the AI ​​program (left) and a radiologist (right). The radiologist did not measure the thoracolumbar curve, since the lower end vertebra is not visible in the image.

Download (267KB)
Indexing metadata
6. Fig. 5. Errors in marking the vertebrae on X-ray images with a grade of 0 (normal). In images of the chest organs, unclear visualization of the vertebral boundaries can lead to false measurement results.

Download (181KB)
Indexing metadata
7. Fig. 6. Errors in marking the vertebrae on X-ray images with a grade of 0 (normal). Errors in determining the body of the vertebra L V can lead to false positive results (left).

Download (166KB)
Indexing metadata
8. Fig. 7. Program errors in evaluating images with scoliosis of grade 0. Cobb angles measured by a radiologist (left) and an artificial intelligence program (right). The variability of measurements is insignificant (1.4°), but the doctor determines scoliosis grade 0, and artificial intelligence - grade I.

Download (270KB)
Indexing metadata
9. Fig. 8. Distribution of Cobb angles measured by artificial intelligence on normal X-ray images (in the group of X-ray images without scoliosis).

Download (58KB)
Indexing metadata
10. Fig. 9. Features of vertebral marking on X-ray images for scoliosis of grades III and IV. Errors in determining and numbering the vertebrae due to their atypical shape (yellow arrow).

Download (204KB)
Indexing metadata
11. Fig. 10. Scoliosis of grade III diagnosed by a radiologist (left) and artificial intelligence (right). Significant variability in measuring the lumbar curvature (7.8°) did not affect the overall assessment of scoliosis.

Download (244KB)
Indexing metadata

Copyright (c) 2024 Eco-Vector

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».