Machine Learning for Predicting Early Functional Outcomes in Patients with Stroke

Cover Page

Cite item

Full Text

Abstract

BACKGROUND: Development of a universal predictive tool for patients with stroke remains a challenge.

AIM: The study aimed to develop machine learning–based models that could predict functional outcomes from the first day after stroke. The models were trained using clinical and anamnestic predictors, and functional outcomes were evaluated using the National Institutes of Health Stroke Scale (NIHSS) and the modified Rankin Scale (mRS) at hospital discharge.

METHODS: Models based on artificial neural network (ANN) and random forest (RF) algorithms were developed using a database created from 5,225 records of patients with stroke discharged from neurological departments. Twenty-one parameters were used, including patient demographics; baseline National Institutes of NIHSS and mRS scores; stroke type; time from stroke onset to hospitalization; comorbidities; and emergency revascularization. Outcomes were predicted using NIHSS and mRS scores. The algorithms solved the classification problem for multiple sets of outcome values. Model I had 26 classes (NIHSS score pf 0–25), while model II had 6 classes (mRS score of 0–5). The quality of the models was evaluated using the area under the receiver operating characteristic curve (ROC-AUC). The contribution of each predictor was evaluated using the SHapley Additive exPlanations (SHAP).

RESULTS: The predictive value of the ANN was determined based on the AUC-ROC: 0.771 for model I and 0.844 for model II. The RF AUC-ROC was 0.778 for model I and 0.845 for model II. The RF algorithm was chosen for further work due to its better interpretability. The most significant features that influenced the predicted outcomes were baseline NIHSS and mRs scores, patient age, time from stroke onset to admission, and stroke type. When RF performance was tested on an external validation set of 783 records, ROC-AUC values were 0.786 for model I and 0.774 for model II. A calculator was developed for practical use.

CONCLUSION: The proposed RF-based models can reliably predict an early functional outcome within the first day of stroke onset, using NIHSS and mRs scores and clinical and anamnestic predictors. This tool can be used to develop personalized therapeutic and rehabilitation strategies in the acute phase of a stroke. These models are versatile to be used in rural and remote healthcare organizations that lack specialized staff and diagnostic equipment.

About the authors

Ekaterina M. Chernykh

Northern State Medical University

Author for correspondence.
Email: raduga0302@mail.ru
ORCID iD: 0000-0002-6523-7071
SPIN-code: 8296-2286
Russian Federation, Arkhangelsk

Nina M. Khasanova

Northern State Medical University

Email: khasanovanina@rambler.ru
ORCID iD: 0000-0003-0729-3726
SPIN-code: 6834-6281

MD, Cand. Sci. (Medicine), Associate Professor

Russian Federation, Arkhangelsk

Alexey A. Karyakin

Northern State Medical University

Email: biophyzica@yandex.ru
ORCID iD: 0000-0002-4458-8702
SPIN-code: 7296-3303

Cand. Sci. (Engineering), Associate Professor

Russian Federation, Arkhangelsk

Zohra E. Jafarova

Northern State Medical University

Email: zohrajafarova@yandex.ru
ORCID iD: 0009-0003-2429-9158
Russian Federation, Arkhangelsk

Alexey А. Klyukas

Northern State Medical University

Email: alexeythekly@gmail.com
ORCID iD: 0009-0005-3428-187X
Russian Federation, Arkhangelsk

References

  1. Bösel J, Mathur R, Cheng L, et al. AI and neurology. Neurol Res Pract. 2025;7(1):11. doi: 10.1186/s42466-025-00367-2
  2. AbuAlrob MA, Mesraoua B. Harnessing artificial intelligence for the diagnosis and treatment of neurological emergencies: A comprehensive review of recent advances and future directions. Front Neurol. 2024;15:1485799. doi: 10.3389/fneur.2024.1485799
  3. Mainali S, Darsie ME, Smetana KS. Machine learning in action: Stroke diagnosis and outcome prediction. Front Neurol. 2021;12:734345. doi: 10.3389/fneur.2021.734345
  4. Abedi V, Kawamura Y, Li J, et al. Editorial: Machine learning in action: Stroke diagnosis and outcome prediction. Front Neurol. 2022;13:984467. doi: 10.3389/fneur.2022.984467
  5. Abedi V, Khan A, Chaudhary D, et al. Using artificial intelligence for improving stroke diagnosis in emergency departments: A practical framework. Ther Adv Neurol Dis. 2020;13:1756286420938962. doi: 10.1177/1756286420938962
  6. Rajashekar D, Hill MD, Demchuk AM, et al. Prediction of clinical outcomes in acute ischaemic stroke patients: A comparative study. Front Neurol. 2021;12:663899. doi: 10.3389/fneur.2021.663899
  7. Yang Y, Tang L, Deng Y, et al. The predictive performance of artificial intelligence on the outcome of stroke: A systematic review and meta-analysis. Front Neurol. 2023;17:1256592. doi: 10.3389/fnins.2023.1256592
  8. Qu S, Zhou M, Jiao S, et al. Optimizing acute stroke outcome prediction models: Comparison of generalized regression neural networks and logistic regressions. PLOS One. 2022;17(5):e0267747. doi: 10.1371/journal.pone.0267747
  9. Lee J, Park KM, Park S. Interpretable machine learning for prediction of clinical outcomes in acute ischemic stroke. Front Neurol. 2023;14:1234046. doi: 10.3389/fneur.2023.1234046
  10. Gaviria E, Eltayeb Hamid AH. Neuroimaging biomarkers for predicting stroke outcomes: A systematic review. Health Sci Rep. 2024;7(7):e2221. doi: 10.1002/hsr2.2221
  11. Pedersen M, Verspoor K, Jenkinson M, et al. Artificial intelligence for clinical decision support in neurology. Brain Commun. 2020;2(2):fcaa096. doi: 10.1093/braincomms/fcaa096
  12. Wang W, Kiik M, Peek N, et al. A systematic review of machine learning models for predicting outcomes of stroke with structured data. PLOS One. 2020;15(6):e0234722. doi: 10.1371/journal.pone.0234722
  13. Alyasein S, Alqaran R, Al-Aiad A. Using machine learning algorithms for predicting stroke disease-2024. In: 15th International Conference on Information and Communication Systems (ICICS), Irbid, Jordan; 2024. P. 1–6. doi: 10.1109/ICICS63486.2024.10638280
  14. Heo J, Yoon JG, Park H, et al. Machine learning-based model for prediction of outcomes in acute stroke. Stroke. 2019;50(5):1263–1265. doi: 10.1161/STROKEAHA.118.024293
  15. Daidone M, Ferrantelli S, Tuttolomondo A. Machine learning applications in stroke medicine: Advancements, challenges, and future prospectives. Neural Reg Res. 2024;19(4):769–773. doi: 10.4103/1673-5374.382228
  16. Jeon ET, Jung SJ, Yeo TY, et al. Predicting short-term outcomes in atrial-fibrillation-related stroke using machine learning. Front Neurol. 2023;14:1243700. doi: 10.3389/fneur.2023.1243700
  17. Chernykh EM, Khasanova NM, Grzhibovsky AM, Bogdanova AI. Functional predictor variables in the acute period of stroke in patients living in the Arctic Macroregion: Multivariate modeling findings. Physical and rehabilitation medicine, medical rehabilitation. 2024;6(4):336–347. doi: 10.36425/rehab637339 EDN: LNEYEF
  18. Van der Groen O, Ghosh M, Norman R, et al. Point of view on outcome prediction models in post-stroke motor recovery. Neurorehab Neural Rep. 2024;38(5):386–398. doi: 10.1177/15459683241237975
  19. Kiær C, Lundquist CB, Brunner I. Knowledge and application of upper limb prediction models and attitude toward prognosis among physiotherapists and occupational therapists in the clinical stroke setting. Top Stroke Rehabil. 2021;28(2):135–141. doi: 10.1080/10749357.2020.1783915
  20. Man S, Bruckman D, Uchino K, et al. Rural hospital performance in guideline-recommended ischemic stroke thrombolysis, secondary prevention, and outcomes. Stroke. 2024;55(10):2472–2481. doi: 10.1161/STROKEAHA.124.047071
  21. Loccoh EC, Joynt Maddox KE, Wang Y, et al. Rural-urban disparities in outcomes of myocardial infarction, heart failure, and stroke in the United States. J Am College Cardiol. 2022;79(3):267–279. doi: 10.1016/j.jacc.2021.10.045
  22. Ali F, Hamid U, Zaidat O, et al. Role of artificial intelligence in telestroke: An overview. Front Neurol. 2020;11:559322. doi: 10.3389/fneur.2020.559322
  23. Zhou Y, Wu D, Yan S, et al. Feasibility of a clinical-radiomics model to predict the outcomes of acute ischemic stroke. Korean J Radiol. 2022;23(8):811–820. doi: 10.3348/kjr.2022.0160
  24. Loggini A, Saleh Velez FG, Hornik J, et al. Validation of prognostic scales for functional outcome in ischemic stroke patients treated with intravenous thrombolysis in a rural setting. Cerebrovasc Dis Extra. 2024;14(1):148–157. doi: 10.1159/000541801
  25. Alaka SA, Menon BK, Brobbey A, et al. Functional outcome prediction in ischemic stroke: a comparison of machine learning algorithms and regression models. Front Neurol. 2020;11:889. doi: 10.3389/fneur.2020.00889
  26. Heo J, Yoon JG, Park H, et al. Machine learning-based model for prediction of outcomes in acute stroke. Stroke. 2019;50(5):1263–1265. doi: 10.1161/STROKEAHA.118.024293
  27. Çelik G, Baykan ÖK, Kara Y, Tireli H. Predicting 10-day mortality in patients with strokes using neural networks and multivariate statistical methods. J Stroke Cerebrovasc Dis. 2014;23(6):1506–1512. doi: 10.1016/j.jstrokecerebrovasdis.2013.12.018
  28. Zahidi NF, Tukiran Z, Tukiran I. Analyzing Classification Models: Random Forest vs. Neural Networks in Health Prediction. In: 2024 International Conference on Future Technologies for Smart Society (ICFTSS). Kuala Lumpur, Malaysia; 2024. P. 183–187. doi: 10.1109/ICFTSS61109.2024.10691342
  29. Khairunnisa A, Notodiputro KA, Sartono B. A comparative study of random forest and double random forest models from view points of their interpretability. Sci J Inform. 2024;11(1). doi: 10.15294/sji.v11i1.48721

Supplementary files

Supplementary Files
Action
1. JATS XML
2. Fig. 1. Features selected to predict nihss_dis.

Download (715KB)
3. Fig. 2. Features selected to predict rank_dis.

Download (709KB)
4. Fig. 3. ROC-AUC of RF for model I on the validation set. ROC-AUC, metric used to evaluate the performance of a machine learning model. RF, random forest.

Download (749KB)
5. Fig. 4. ROC-AUC of RF for model II on the validation set. ROC-AUC, metric used to evaluate the performance of a machine learning model. RF, random forest.

Download (696KB)
6. Fig. 5. Value of parameters selected to predict nihss_dis for model I.

Download (662KB)
7. Fig. 6. Value of parameters selected to predict rank_dis for model II.

Download (678KB)
8. Fig. 7. An example of using a calculator to predict an early functional outcome of stroke.

Download (889KB)

Copyright (c) 2025 Eco-Vector

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
 


Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».