Automatic segmentation of demyelination lesions in multiple sclerosis

Cover Page

Cite item

Full Text

Abstract

Aim – to evaluate the effectiveness of the YOLOv8 algorithm for automatic segmentation of demyelination lesions in various locations in patients with multiple sclerosis.

Material and methods. The study included 120 patients with a clinically confirmed diagnosis of multiple sclerosis who underwent contrast-enhanced MRI. The MRI data from patients with different types of disease progression were analyzed. T1-weighted, T2-weighted, and FLAIR sequences were used for the analysis. The YOLOv8 algorithm was adapted for medical imaging and trained on manually annotated MRI scans. Model performance was evaluated using precision, recall, and F1-Score metrics.

Results. The YOLOv8 model demonstrated high segmentation performance with a precision of 0.79, recall of 00.73, and F1-Score of 0.65. The model effectively identified demyelination lesions in various locations typical for multiple sclerosis. However, there remains a need to improve recall to minimize the missed lesions. Testing on independent data confirmed the stability of the results of the model.

Conclusion. The YOLOv8 algorithm shows significant potential for automatic segmentation of demyelination lesions in multiple sclerosis patients. This method could be successfully implemented in clinical practice, enabling faster diagnosis and improved monitoring of disease progression. Further optimization of the model, through data augmentation techniques and hybrid architectures, may enhance both segmentation accuracy and recall.

About the authors

Alexander V. Zakharov

Samara State Medical University

Author for correspondence.
Email: zakharov1977@mail.ru
ORCID iD: 0000-0003-1709-6195

PhD, Associate professor, Head of the Neurosciences Research Institute

Russian Federation, Samara

Igor V. Shirolapov

Samara State Medical University

Email: ishirolapov@mail.ru
ORCID iD: 0000-0002-7670-6566

PhD, Associate professor, Head of laboratory

Russian Federation, Samara

Elena V. Khivintseva

Samara State Medical University

Email: e.v.hivinceva@samsmu.ru
ORCID iD: 0000-0002-1878-7951

PhD, Associate professor of the Department of Neurology and Neurosurgery

Russian Federation, Samara

Mariya S. Sergeeva

Samara State Medical University

Email: m.s.sergeeva@samsmu.ru
ORCID iD: 0000-0002-0926-8551

PhD, Associate professor

Russian Federation, Samara

Natalya P. Romanchuk

Samara State Medical University

Email: n.p.romanchuk@samsmu.ru
ORCID iD: 0000-0003-3522-6803

PhD, MD, Associate professor, Head of the laboratory of neuromorphic systems, research institute of neurosciences

Russian Federation, Samara

Dmitry A. Dedyk

Samara State Medical University

Email: d.a.dedyk@samsmu.ru
ORCID iD: 0009-0000-7902-6964

engineer of the advanced engineering school

Russian Federation, Samara

Darya D. Melnikova

Samara State Medical University

Email: Daha442242@gmail.com
ORCID iD: 0009-0000-6516-8216

engineer of the advanced engineering school

Russian Federation, Samara

Arseniy M. Andreev

Samara State Medical University

Email: 2001qwert2001@gmail.com
ORCID iD: 0009-0002-0292-930X

engineer of the advanced engineering school

Russian Federation, Samara

Alexandra I. Mavletova

Samara State Medical University

Email: alexamavletova@gmail.com
ORCID iD: 0009-0007-4429-7554

engineer of the advanced engineering school

Russian Federation, Samara

Anton O. Shchepetov

Samara State Medical University

Email: antonshepetov1@gmail.com
ORCID iD: 0009-0009-5925-6426

engineer of the advanced engineering school

Russian Federation, Samara

Jude Hemanth

Karunya Institute of Technology and Sciences

Email: judehemanth@karunya.edu
ORCID iD: 0000-0002-6091-1880

PhD, Professor

India, Coimbatore

References

  1. Jakimovski D, Bittner S, Zivadinov R, et al. Multiple sclerosis. The Lancet. 2024;403(10422):183-202. DOI: https://doi.org/10.1016/S0140-6736(23)01473-3
  2. Kaisey M, Solomon AJ. Multiple Sclerosis Diagnostic Delay and Misdiagnosis. Neurologic Clinics. 2024;42(1):1-13. DOI: https://doi.org/10.1016/j.ncl.2023.07.001
  3. Giovannoni G, Butzkueven H, Dhib-Jalbut S, et al. Brain health: time matters in multiple sclerosis. Multiple Sclerosis and Related Disorders. 2016;9:5-48. DOI: https://doi.org/10.1016/j.msard.2016.07.003
  4. Thompson AJ, Banwell BL, Barkhof F, et al. Diagnosis of multiple sclerosis: 2017 revisions of the McDonald criteria. The Lancet Neurology. 2018;17(2):162-173. DOI: https://doi.org/10.1016/S1474-4422(17)30470-2
  5. Wattjes MP, Ciccarelli O, Reich DS, et al. 2021 MAGNIMS–CMSC–NAIMS consensus recommendations on the use of MRI in patients with multiple sclerosis. The Lancet Neurology. 2021;20(8):653-670. DOI: https://doi.org/10.1016/S1474-4422(21)00095-8
  6. Egger C, Opfer R, Wang C, et al. MRI FLAIR lesion segmentation in multiple sclerosis: Does automated segmentation hold up with manual annotation? NeuroImage: Clinical. 2017;13:264-270. DOI: https://doi.org/10.1016/j.nicl.2016.11.020
  7. Diaz-Hurtado M, Martínez-Heras E, Solana E, et al. Recent advances in the longitudinal segmentation of multiple sclerosis lesions on magnetic resonance imaging: a review. Neuroradiology. 2022;64(11):2103-2117. DOI: https://doi.org/10.1007/s00234-022-03019-3
  8. Commowick O, Combès B, Cervenansky F, Dojat M. Editorial: Automatic methods for multiple sclerosis new lesions detection and segmentation. Front Neurosci. 2023;17:1176625. DOI: https://doi.org/10.3389/fnins.2023.1176625
  9. Fartaria MJ, Bonnier G, Roche A, et al. Automated detection of white matter and cortical lesions in early stages of multiple sclerosis. Magnetic Resonance Imaging. 2016;43(6):1445-1454. DOI: https://doi.org/10.1002/jmri.25095
  10. Todea AR, Melie‐Garcia L, Barakovic M, et al. A Multicenter Longitudinal MRI Study Assessing LeMan‐PV Software Accuracy in the Detection of White Matter Lesions in Multiple Sclerosis Patients. Magnetic Resonance Imaging. 2023;58(3):864-876. DOI: https://doi.org/10.1002/jmri.28618
  11. A. Abdullah B. Multi-Sectional Views Textural Based SVM for MS Lesion Segmentation in Multi-Channels MRIs. TOBEJ. 2012;6(1):56-72. DOI: https://doi.org/10.2174/1874230001206010056
  12. ElSebely R, Yousef AH, Salem AA, Abdullah B. Automatic Segmentation of Multiple Sclerosis Lesions in Brain MR Images Using Ensemble Machine Learning. In: 2021 International Mobile, Intelligent, and Ubiquitous Computing Conference (MIUCC). IEEE; 2021:28-33. DOI: https://doi.org/1 0.1109/MIUCC52538.2021.9447657
  13. HosseiniPanah S, Zamani A, Emadi F, HamtaeiPour F. Multiple Sclerosis Lesions Segmentation in Magnetic Resonance Imaging using Ensemble Support Vector Machine (ESVM). J Biomed Phys Eng. 2019;9(6):699-710. DOI: https://doi.org/10.31661/jbpe.v0i0.986
  14. Schmidt P, Gaser C, Arsic M, et al. An automated tool for detection of FLAIR-hyperintense white-matter lesions in Multiple Sclerosis. NeuroImage. 2012;59(4):3774-3783. DOI: https://doi.org/10.1016/j.neuroimage.2011.11.032
  15. Galimzianova A, Lesjak Ž, Rubin DL, et al. Locally adaptive magnetic resonance intensity models for unsupervised segmentation of multiple sclerosis lesions. J Med Imag. 2017;5(1):011007. DOI: https://doi.org/10.1117/1.JMI.5.1.011007
  16. Geremia E, Clatz O, Menze BH, et al. Spatial decision forests for MS lesion segmentation in multi-channel magnetic resonance images. NeuroImage. 2011;57(2):378-390. DOI: https://doi.org/10.1016/j.neuroimage.2011.03.080
  17. Dwyer MG, Bergsland N, Ramasamy DP, et al. Salient Central Lesion Volume: A Standardized Novel Fully Automated Proxy for Brain FLAIR Lesion Volume in Multiple Sclerosis. Journal of Neuroimaging. 2019;29(5):615-623. DOI: https://doi.org/10.1111/jon.12650
  18. Tran P, Thoprakarn U, Gourieux E, et al. Automatic segmentation of white matter hyperintensities: validation and comparison with state-of-the-art methods on both Multiple Sclerosis and elderly subjects. NeuroImage: Clinical. 2022;33:102940. DOI: https://doi.org/10.1016/j.nicl.2022.102940
  19. Cavedo E, Tran P, Thoprakarn U, et al. Validation of an automatic tool for the rapid measurement of brain atrophy and white matter hyperintensity: QyScore®. Eur Radiol. 2022;32(5):2949-2961. DOI: https://doi.org/10.1007/s00330-021-08385-9
  20. Brune S, Høgestøl EA, Cengija V, et al. LesionQuant for Assessment of MRI in Multiple Sclerosis – A Promising Supplement to the Visual Scan Inspection. Front Neurol. 2020;11:546744. DOI: https://doi.org/10.3389/fneur.2020.546744
  21. Valcarcel AM, Muschelli J, Pham DL, et al. TAPAS: A Thresholding Approach for Probability Map Automatic Segmentation in Multiple Sclerosis. NeuroImage: Clinical. 2020;27:102256. DOI: https://doi.org/10.1016/j.nicl.2020.102256
  22. Basaran BD, Matthews PM, Bai W. New lesion segmentation for multiple sclerosis brain images with imaging and lesion-aware augmentation. Front Neurosci. 2022;16:1007453. DOI: https://doi.org/10.3389/fnins.2022.1007453
  23. Isensee F, Jaeger PF, Kohl SAA, et al. nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation. Nat Methods. 2021;18(2):203-211. DOI: https://doi.org/10.1038/s41592-020-01008-z
  24. Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. In: Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015. Vol. 9351. Lecture Notes in Computer Science. Springer International Publishing. 2015:234-241. DOI: https://doi.org/10.1007/978-3-319-24574-4_28
  25. Hitziger S, Ling WX, Fritz T, et al. Triplanar U-Net with lesion-wise voting for the segmentation of new lesions on longitudinal MRI studies. Front Neurosci. 2022;16:964250. DOI: https://doi.org/10.3389/fnins.2022.964250
  26. Andresen J, Uzunova H, Ehrhardt J, et al. Image registration and appearance adaptation in non-correspondent image regions for new MS lesions detection. Front Neurosci. 2022;16:981523. DOI: https://doi.org/10.3389/fnins.2022.981523
  27. Kamraoui RA, Mansencal B, Manjon JV, Coupé P. Longitudinal detection of new MS lesions using deep learning. Front Neuroimaging. 2022;1:948235. DOI: https://doi.org/10.3389/fnimg.2022.948235
  28. Salem M, Ryan MA, Oliver A, et al. Improving the detection of new lesions in multiple sclerosis with a cascaded 3D fully convolutional neural network approach. Front Neurosci. 2022;16:1007619. DOI: https://doi.org/10.3389/fnins.2022.1007619
  29. Kurtzke JF. Rating neurologic impairment in multiple sclerosis: An expanded disability status scale (EDSS). Neurology. 1983;33(11):1444-1444. DOI: https://doi.org/10.1212/WNL.33.11.1444
  30. Kurtzke JF. Clinical definition for multiple sclerosis treatment trials. Ann Neurol. 1994;36(1):73-79. DOI: https://doi.org/10.1002/ana.410360717
  31. Kurtzke JF. On the origin of EDSS. Multiple Sclerosis and Related Disorders. 2015;4(2):95-103. DOI: https://doi.org/10.1016/j.msard.2015.02.003
  32. Wang CY, Mark Liao HY, Wu YH, et al. CSPNet: A New Backbone that can Enhance Learning Capability of CNN. In: 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE; 2020:1571-1580. DOI: https://doi.org/10.1109/CVPRW50498.2020.00203
  33. Bochkovskiy A, Wang CY, Liao HYM. YOLOv4: Optimal Speed and Accuracy of Object Detection. Published online 2020. DOI: https://doi.org/10.48550/ARXIV.2004.10934

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. Figure 1. A – MRI T2 mode with a focus of demyelination. B – “mask” of demyelination foci obtained as a result of segmentation by a radiologist.

Download (115KB)
Indexing metadata
3. Figure 2. Flowchart of the algorithm for creating a training sample.

Download (676KB)
Indexing metadata
4. Figure 3. Metrics characterizing the quality of the model obtained on the test sample. A – function of the F1 graph from the Confidence argument; B – graph of the function Accuracy versus the argument Confidence; C – graph function Confidence from the argument Recall; D – graph function Precision by argument Recall.

Download (539KB)
Indexing metadata
5. Figure 4. Confusion Matrix (0 – all types of demyelination lesions; 1 – periventricular; 2 – juxtacortical; 3 – subcortical; 4 – infratentorial).

Download (147KB)
Indexing metadata

Copyright (c) 2024 Zakharov A.V., Shirolapov I.V., Khivintseva E.V., Sergeeva M.S., Romanchuk N.P., Dedyk D.A., Melnikova D.D., Andreev A.M., Mavletova A.I., Shchepetov A.O., Hemanth J.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».