Development and validation of an artificial intelligence-based system for predicting preterm birth using clinical data

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

Background: Preterm birth is a leading cause of neonatal mortality and disability, resulting in serious socio-economic consequences. Due to the high frequency of this condition, which has persisted for decades, there is a need for more effective tools to predict it.

Objective: To develop and validate an artificial intelligence-based system for predicting preterm birth using the data from electronic health records (EHR).

Materials and methods: The study used a dataset of 10,000 anonymized EHRs and 54 clinical variables. The system included an NLP model (based on RuBERT) for extracting the signs of preterm birth from the health records in the Russian language and a predictive model based on machine learning for assessing the risk of preterm birth.

Results: The CatBoost classifier demonstrated optimal prediction performance with the following parameters: accuracy = 0.81 (95% CI: 0.799 –0.821), recall = 0.87 (95% CI: 0.857–0.883), precision = 0.76 (95% CI: 0.748–0.772), F1-score = 0.81 (95% CI: 0.805–0.815), and AUC-ROC = 0.82 (95% CI: 0.809–0.831).

Conclusion: The developed system for predicting preterm birth showed metrics comparable to foreign analogues and stability during validation. This confirms its potential use for implementing in real obstetric practice.

About the authors

Yuliya S. Boldina

Petrozavodsk State University; K.A. Gutkin Republican Perinatal Center

Email: ulia.isakova94@gmail.com
ORCID iD: 0000-0002-1450-650X

PhD Student, Senior Lecturer at the Department of Obstetrics, Gynecology, Dermatovenereology of the Medical Institute

Russian Federation, Petrozavodsk; Petrozavodsk

Alexander A. Ivshin

Petrozavodsk State University

Author for correspondence.
Email: scipeople@mail.ru
ORCID iD: 0000-0001-7834-096X

PhD, Associate Professor, Head of the Department of Obstetrics and Gynecology, Dermatovenerology of the Medical Institute

Russian Federation, Petrozavodsk

Kristina S. Svetova

Petrozavodsk State University

Email: ksvetova16@gmail.com
ORCID iD: 0009-0001-5552-638X

MSc student in Computer Engineering at the Department of Information Engineering (DEI), University of Padua

Russian Federation, Petrozavodsk

References

  1. Ившин А.А., Погодин О.О., Шакурова Е.Ю., Льдинина Т.Ю., Никитин В.С. Лапароскопический трансабдоминальный серкляж для лечения истмико-цервикальной недостаточности при беременности: клинический случай и обзор литературы. Акушерство, гинекология и репродукция. 2025; 19(1): 116-26. [Ivshin A.A., Pogodin O.O., Shakurova E.Yu., Ldinina T.Yu., Nikitin V.S. Experience of laparoscopic transabdominal cerclage for the correction of cervical insufficiency during pregnancy: a clinical case and literature review. Obstetrics, Gynecology and Reproduction. 2025; 19(1): 116-26 (in Russian)]. https://dx.doi.org/10.17749/2313-7347/ob.gyn.rep.2025.578
  2. Серов В.Н., Сухорукова О.И. Эффективность профилактики преждевременных родов. Акушерство и гинекология. 2013; 3: 48-53. [Serov V.N., Sukhorukova O.I. The effectiveness of preterm birth prevention. Obsterics and Gynecology. 2013; (3): 48-53 (in Russian)].
  3. Risnes K., Bilsteen J.F., Brown P., Pulakka A., Andersen A.N., Opdahl S. et al. Mortality among young adults born preterm and early term in 4 Nordic Nations. JAMA Netw. Open. 2021; 4(1): e2032779. https://dx.doi.org/10.1001/jamanetworkopen.2020.32779
  4. Jeon G.W., Lee J.H., Oh M., Chang Y.S. Serial long-term growth and neurodevelopment of very-low-birth-weight infants: 2022 update on the Korean neonatal network. J. Korean Med. Sci. 2022; 37(34): e263. https://dx.doi.org/10.3346/jkms.2022.37.e263
  5. Горина К.А., Ходжаева З.С., Белоусов Д.М., Баранов И.И., Гохберг Я.А., Пащенко А.А. Преждевременные роды: прошлые ограничения и новые возможности. Акушерство и гинекология. 2020; 1: 12-9. [Gorina K.A., Khodzhaeva Z.S., Belousov D.M., Baranov I.I., Gokhberg Ya.A., Pashchenko A.A. Premature birth: past restrictions and new opportunities. Obstetrics and Gynecology. 2020; (1): 12-9 (in Russian)]. https://dx.doi.org/10.18565/aig.2020.1.12-119
  6. Назарова А.О., Малышкина А.И., Назаров С.Б. Факторы риска спонтанных преждевременных родов: результаты клинико-эпидемиологического исследования. Акушерство и гинекология. 2019; 9: 82-6. [Nazarova A.O., Malyshkina A.I., Nazarov S.B. Risk factors for spontaneous preterm birth: results of a clinical-epidemiological study. Obstetrics and Gynecology. 2019; 9: 82-6 (in Russian)]. https://dx.doi.org/10.18565/aig.2019.9.82-86
  7. Белоусова В.С., Стрижаков А.Н., Свитич О.А., Тимохина Е.В., Кукина П.И., Богомазова И.М., Пицхелаури Е.Г. Преждевременные роды: причины, патогенез, тактика. Акушерство и гинекология. 2020; 2: 82-7. [BelousovaV.S., Strizhakov A.N., Svitich O.A., Timokhina N.V., Kukina P.I., Bogomazova I.M., Pitskhelauri N.G. Preterm birth: causes, pathogenesis, and management. Obstetrics and Gynecology. 2020; (2): 82-7 (in Russian)]. https://dx.doi.org/10.18565/aig.2020.2.82-87
  8. Thain S., Yeo G.S.H., Kwek K., Chern B., Tan K.H. Spontaneous preterm birth and cervical length in a pregnant Asian population. PLoS One. 2020; 15(4): e0230125. https://dx.doi.org/10.1371/journal.pone.0230125
  9. Друккер Н.А., Дурницына О.А., Никашина А.А., Селютина С.Н. Диагностическая значимость α-1-микроглобулина в развитии преждевременных родов. Акушерство и гинекология. 2019; 1: 81-5. [Drukker N.A., Durnitsyna O.A., Nikashina A.A., Selyutina S.N. The diagnostic value of α-1-microglobulin in the development of preterm labor. Obstetrics and Gynecology. 2019; (1): 81-5 (in Russian)]. https://dx.doi.org/10.18565/aig.2019.1.81-85
  10. Баев О.Р., Дикке Г.Б. Диагностика преждевременного разрыва плодных оболочек на основании биохимических тестов. Акушерство и гинекология. 2018; 9: 132-6. [Baev O.R., Dikke G.B. Diagnosis of premature rupture of the membranes based on biochemical tests. Obstetrics and Gynecology. 2018; (9): 132-6 (in Russian)]. https://dx.doi.org/10.18565/aig.2018.9.132-136
  11. Министерство здравоохранения Российской Федерации. Клинические рекомендации. Преждевременные роды. М.; 2020: 66 c. [Ministry of Health of the Russian Federation. Clinical guidelines. Premature birth. Moscow; 2020: 66 p. (in Russian)].
  12. Манухин И.Б., Фириченко С.В., Микаилова Л.У., Телекаева Р.Б., Мынбаев О.А. Прогнозирование и профилактика преждевременных родов - современное состояние проблемы. Российский вестник акушера-гинеколога. 2016; 3: 9-15. [Manukhin I.B., Firichenko S.V., Mikailova L.U., Telekaeva R.B., Mynbaev O.A. Prediction and prevention of preterm birth: state-of-the-art. Russian Bulletin of Obstetrician-Gynecologist. 2016; 3: 9-15 (in Russian)]. https://dx.doi.org/10.17116/rosakush20161639-15
  13. Ходжаева З.С., Дембовская С.В., Доброхотова Ю.Э., Сичинава Л.Г., Юзько А.М., Мальцева Л.И., Серова О.Ф., Макаров И.О., Ахмадеева Э.Н., Башмакова Н.В., Шмаков Р.Г., Клименченко Н.И., Муминова К.Т., Талибов О.Б., Сухих Г.Т. Медикаментозная профилактика преждевременных родов (результаты международного многоцентрового открытого исследования МИСТЕРИ). Акушерство и гинекология. 2016; 8: 37-43. [Khodzhaeva Z.S., Dembovskaya S.V., Dobrokhotova Yu.E., Sichinava L.G., Yuzko A.M., Maltseva L.I., Serova O.F., Makarov I.O., Akhmadeeva E.N., Bashmakova N.V., Shmakov R.G., Klimenchenko N.I., Muminova K.T., Talibov O.B., Sukhikh G.T.. Drug therapy for preterm birth: Results of the international multicenter open-label Mystery study. Obstetrics and Gynecology. 2016; (8): 37-43 (in Russian)]. https://dx.doi.org/10.18565/aig.2016.8.37-43
  14. Баринов С.В., Артымук Н.В., Новикова О.Н., Шамина И.В., Тирская Ю.И., Белинина А.А., Лазарева О.В., Кадцына Т.В., Фрикель Е.А., Атаманенко О.Ю., Островская О.В., Степанов С.С., Беглов Д.Е. Опыт ведения беременных группы высокого риска по преждевременым родам с применением акушерского куполообразного пессария и серкляжа. Акушерство и гинекология. 2019; 1: 140-8. [Barinov S.V., Artymuk N.V., Novikova O.N., Shamina I.V., Tirskaya Yu.I., Belinina A.A., Lazareva O.V., Kadtsyna T.V., Frikel E.A., Atamanenko O.Yu., Ostrovskaya O.V., Stepanov S.S., Beglov D.E. Experience in managing pregnant women at high risk for preterm birth, by using a dome-shaped obstetric pessary and cerclage. Obstetrics and Gynecology. 2019; (1): 140-8 (in Russian)]. https://dx.doi.org/10.18565/aig.2019.1.140-148
  15. Crockart I.C., Brink L.T., du Plessis C., Odendaal H.J. Classification of intrauterine growth restriction at 34-38 weeks gestation with machine learning models. Inform. Med. Unlocked. 2021; 23: 100533. https://dx.doi.org/10.1016/j.imu.2021.100533
  16. Liu J., Wang C., Yan R., Lu Y., Bai J., Wang H. et al. Machine learning-based prediction of postpartum hemorrhage after vaginal delivery: combining bleeding high risk factors and uterine contraction curve. Arch. Gynecol. Obstet. 2022; 306(4): 1015-25. https://dx.doi.org/10.1007/s00404-021-06377-0
  17. Melinte-Popescu A.S., Vasilache I.A., Socolov D., Melinte-Popescu M. Predictive performance of machine learning-based methods for the prediction of preeclampsia-a prospective study. J. Clin. Med. 2023; 12(2): 418. https://dx.doi.org/10.3390/jcm12020418
  18. Андрейченко А.Е., Лучинин А.С., Ившин А.А., Ермак А.Д., Новицкий Р.Э., Гусев А.В. Разработка и валидация моделей прогнозирования общего риска преэклампсии и риска ранней преэклампсии с использованием алгоритмов машинного обучения в первом триместре беременности. Акушерство и гинекология. 2023; 10: 94-107. [Andreychenko A.E., Luchinin A.S., Ivshin A.A., Ermak A.D., Novitskiy R.E., Gusev A.V. Development and validation of models to predict total and early-onset preeclampsia in the first trimester of pregnancy using machine learning algorithms. Obstetrics and Gynecology. 2023; (10): 94-107 (in Russian)]. https://dx.doi.org/10.18565/aig.2023.101
  19. Chen Y., Shi X., Wang Z., Zhang L. Development and validation of a spontaneous preterm birth risk prediction algorithm based on maternal bioinformatics: a single-center retrospective study. BMC Pregnancy Childbirth. 2024; 24(1): 763. https://dx.doi.org/10.1186/s12884-024-06933-x
  20. Zhang Y., Du S., Hu T., Xu S., Lu H., Xu C. et al. Establishment of a model for predicting preterm birth based on the machine learning algorithm. BMC Pregnancy Childbirth. 2023; 23(1): 779. https://dx.doi.org/10.1186/ s12884-023-06058-7
  21. Sun Q., Zou X., Yan Y., Zhang H., Wang S., Gao Y. et al. Machine learning-based prediction model of preterm birth using electronic health record. J. Healthc. Eng. 2022; 2022: 9635526. https://dx.doi.org/10.1155/2022/9635526
  22. Mavrogiorgou A., Kiourtis A., Kleftakis S., Mavrogiorgos K., Zafeiropoulos N., Kyriazis D. A catalogue of machine learning algorithms for healthcare risk predictions. Sensors (Basel). 2022; 22(22): 8615. https://dx.doi.org/10.3390/s22228615
  23. Hicks S.A., Strümke I., Thambawita V., Hammou M., Riegler M.A., Halvorsen P. et al. On evaluation metrics for medical applications of artificial intelligence. Sci. Rep. 2022; 12(1): 5979. https://dx.doi.org/10.1038/s41598-022-09954-8
  24. Liu T., Krentz A., Lu L., Curcin V. Machine learning based prediction models for cardiovascular disease risk using electronic health records data: systematic review and meta-analysis. Eur. Heart J. Digit. Health. 2024; 6(1): 7-22. https://dx.doi.org/10.1093/ehjdh/ztae080
  25. Khandre V., Potdar J., Keerti A. Preterm birth: an overview. Cureus. 2022; 14(12): e33006. https://dx.doi.org/10.7759/cureus.33006
  26. Фомина А.С. Преждевременные роды, современные реалии. Научные результаты биомедицинских исследований. 2020; 6(3): 434-46. [Fomina A.S. Premature birth, modern realities. Research Results in Biomedicine. 2020; 6(3): 434-46 (in Russian)]. https://dx.doi.org/10.18413/2658-6533-2020-6-3-0-12

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».