Ограничения при применении сервисов искусственного интеллекта для анализа рентгенограмм органов грудной клетки

Обложка

Цитировать

Полный текст

Аннотация

Обоснование. Одним из первых направлений в лучевой диагностике, в котором искусственный интеллект начал применяться и активно применяется по сей день, является рентгенография органов грудной клетки. Тем не менее при интерпретации этих исследований с помощью технологий искусственного интеллекта врачи-рентгенологи до сих пор ежедневно сталкиваются с рядом ограничений, которые приходится учитывать при вынесении врачебного заключения и на которые необходимо обратить внимание разработчиков с целью дальнейшего усовершенствования алгоритмов для повышения их эффективности.

Цель. Выявление ограничений при применении сервисов искусственного интеллекта для анализа рентгенограмм органов грудной клетки и оценка клинической значимости этих ограничений.

Материалы и методы. Проведён ретроспективный анализ 155 случаев расхождения результатов заключений сервисов искусственного интеллекта с врачебными заключениями при анализе рентгенограмм органов грудной клетки. Все включённые в исследование случаи были получены из Единого радиологического информационного сервиса Единой медицинской информационно-аналитической системы г. Москвы.

Результаты. Среди проанализированных 155 случаев расхождений 48 (31,0%) оказались ложноположительными, а 78 (50,3%) — ложноотрицательными. Остальные 29 (18,7%) случаев были исключены из дальнейшего исследования, поскольку при экспертном пересмотре оказались истинно положительными (27) или истинно отрицательными (2). Среди 48 ложноположительных случаев большинство (93,8%) было обусловлено тем, что сервис искусственного интеллекта принимал за признаки пневмоторакса нормальные анатомические структуры грудной клетки (97,8% случаев) или тень катетера (2,2% случаев). Среди ложноотрицательных исследований доля пропусков клинически значимой патологии составила 22,0%. Почти половина этих случаев (44,4%) была связана с пропуском лёгочных узлов. Самой распространённой клинически не значимой патологией оказались кальцинаты в лёгких (60,9%).

Заключение. Со стороны сервисов искусственного интеллекта прослеживается тенденция к гипердиагностике. Все ложноположительные случаи были связаны с ошибочным обнаружением клинически значимой патологии: пневмоторакса, лёгочных узлов и лёгочного затемнения. Среди ложноотрицательных случаев доля пропуска клинически значимой патологии была невелика и составила менее одной четвёртой.

Об авторах

Юрий Александрович Васильев

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: npcmr@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN-код: 4458-5608

канд. мед. наук

Россия, Москва

Антон Вячеславович Владзимирский

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: a.vladzimirsky@npcmr.ru
ORCID iD: 0000-0002-2990-7736
SPIN-код: 3602-7120

д-р мед. наук, профессор

Россия, Москва

Кирилл Михайлович Арзамасов

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-код: 3160-8062

канд. мед. наук

Россия, Москва

Игорь Михайлович Шулькин

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: i.shulkin@npcmr.ru
ORCID iD: 0000-0002-7613-5273
SPIN-код: 5266-0618
Россия, Москва

Елена Васильевна Астапенко

Научно-практический клинический центр диагностики и телемедицинских технологий

Автор, ответственный за переписку.
Email: AstapenkoEV1@zdrav.mos.ru
ORCID iD: 0009-0006-6284-2088
SPIN-код: 7362-8553
Россия, Москва

Лев Дмитриевич Пестренин

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: PestreninLD@zdrav.mos.ru
ORCID iD: 0000-0002-1786-4329
SPIN-код: 7193-7706
Россия, Москва

Список литературы

  1. Çallı E., Sogancioglu E., van Ginneken B., et al. Deep learning for chest X-ray analysis: A survey // Medical Image Analysis. 2021. Vol. 72. P. 102125. doi: 10.1016/j.media.2021.102125
  2. Васильев Ю.А., Тыров И.А., Владзимирский А.В., и др. Новая модель организации массовых профилактических исследований, основанная на автономном искусственном интеллекте для сортировки результатов флюорографии // Здоровье населения и среда обитания. 2023. Т. 31, № 11. С. 23–32. doi: 10.35627/2219-5238/2023-31-11-23-32
  3. Akhter Y., Singh R., Vatsa M. AI-based radiodiagnosis using chest X-rays: A review // Frontiers in Big Data. 2023. Vol. 6. P. 1120989. doi: 10.3389/fdata.2023.1120989
  4. Fanni S.C., Marcucci A., Volpi F., et al. Artificial Intelligence-Based Software with CE Mark for Chest X-ray Interpretation: Opportunities and Challenges // Diagnostics (Basel). 2023. Vol. 13, N 12. P. 2020. doi: 10.3390/diagnostics13122020
  5. Гусев А.В., Владзимирский А.В., Шарова Д.Е., и др. Развитие исследований и разработок в сфере технологий искусственного интеллекта для здравоохранения в Российской Федерации: итоги 2021 года // Digital Diagnostics. 2022. Т. 3, № 3. С. 178–194. doi: 10.17816/DD107367
  6. Kim J., Kim K.H. Role of chest radiographs in early lung cancer detection // Translational Lung Cancer Research. 2020. Vol. 9, N 3. P. 522–531. doi: 10.21037/tlcr.2020.04.02
  7. Голубев Н.А., Огрызко Е.В., Тюрина Е.М., и др. Особенности развития службы лучевой диагностики в Российской Федерации за 2014-2019 года // Современные проблемы здравоохранения и медицинской статистики. 2021. № 2. С. 356–376. doi: 10.24412/2312-2935-2021-2-356-376
  8. Wu J.T., Wong K.C.L., Gur Y., et al. Comparison of Chest Radiograph Interpretations by Artificial Intelligence Algorithm vs Radiology Residents // JAMA Network Open. 2020. Vol. 3, N 10. P. e2022779. doi: 10.1001/jamanetworkopen.2020.22779
  9. Miró Catalina Q., Fuster-Casanovas A., Solé-Casals J., Vidal-Alaball J. Developing an Artificial Intelligence Model for Reading Chest X-rays: Protocol for a Prospective Validation Study // JMIR Research Protocols. 2022. Vol. 11, N 11. P. e39536. doi: 10.2196/39536
  10. Plesner L.L., Müller F.C., Nybing J.D., et al. Autonomous Chest Radiograph Reporting Using AI: Estimation of Clinical Impact // Radiology. 2023. Vol. 307, N 3. P. e222268. doi: 10.1148/radiol.222268
  11. Vasilev Yu., Vladzymyrskyy A., Omelyanskaya O., et al. AI-Based CXR First Reading: Current Limitations to Ensure Practical Value // Diagnostics (Basel). 2023. Vol. 13, N 8. P. 1430. doi: 10.3390/diagnostics13081430
  12. Driver C.N., Bowles B.S., Bartholmai B.J., Greenberg-Worisek A.J. Artificial Intelligence in Radiology: A Call for Thoughtful Application // Clinical and Translational Science. 2020. Vol. 13, N 2. P. 216–218. doi: 10.1111/cts.12704
  13. Yoo H., Kim E.Y., Kim H., et al. Artificial intelligence-based identification of normal chest radiographs: a simulation study in a multicenter health screening cohort // Korean Journal of Radiology. 2022. Vol. 23, N 10. P. 1009–1018. doi: 10.3348/kjr.2022.0189
  14. Suganuma N., Yoshida S., Takeuchi Y., et al. Artificial intelligence in quantitative chest imaging analysis for occupational lung disease // Seminars in Respiratory and Critical Care Medicine. 2023. Vol. 44, N 3. P. 362–369. doi: 10.1055/s-0043-1767760
  15. Brown C., Nazeer R., Gibbs A., et al. Breaking Bias: The role of artificial intelligence in improving clinical decision-making // Cureus. 2023. Vol. 15, N 3. P. e36415. doi: 10.7759/cureus.36415
  16. Kaviani P., Kalra M.K., Digumarthy S.R., et al. Frequency of missed findings on chest radiographs (CXRs) in an international, multicenter study: application of AI to reduce missed findings // Diagnostics (Basel). 2022. Vol. 12, N 10. P. 2382. doi: 10.3390/diagnostics12102382
  17. de Groot P.M., Carter B.W., Abbott G.F., Wu C.C. Pitfalls in chest radiographic interpretation: blind spots // Seminars in Roentgenology. 2015. Vol. 50, N. 3. P. 197–209. doi: 10.1053/j.ro.2015.01.008
  18. Gefter W.B., Post B.A., Hatabu H. Commonly missed findings on chest radiographs: causes and consequences // Chest. 2023. Vol. 163, N 3. P. 650–661. doi: 10.1016/j.chest.2022.10.039
  19. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента / под ред. Ю.А. Васильева, А.В. Владзимирского. Москва: Издательские решения, 2022.
  20. Морозов С.П., Буренчев Д.В., Владзимирский А.В, и др. Принципы и правила описаний результатов лучевых исследований. Серия «Лучшие практики лучевой и инструментальной диагностики». Вып. 97. Москва: Государственное бюджетное учреждение здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы», 2021.
  21. Choi Y.R., Yoon S.H., Kim J., et al. Chest Radiography of Tuberculosis: Determination of Activity Using Deep Learning Algorithm // Tuberculosis and Respiratory Diseases. 2023. Vol. 86, N 3. P. 226–233. doi: 10.4046/trd.2023.0020
  22. Sun Z., Zhou J., Zhao L. Application status and problems summary of artificial intelligence in chest imaging // Asian Journal of Surgery. 2023. Vol. 46, N 10. P. 4437–4438. doi: 10.1016/j.asjsur.2023.04.100
  23. Bernstein M.H., Atalay M.K., Dibble E.H., et al. Can incorrect artificial intelligence (AI) results impact radiologists, and if so, what can we do about it? A multi-reader pilot study of lung cancer detection with chest radiography // European Radiology. 2023. Vol. 33, N 11. P. 8263–8269. doi: 10.1007/s00330-023-09747-1
  24. Becker J., Decker J.A., Römmele C., et al. Artificial Intelligence-based detection of pneumonia in chest radiographs // Diagnostics (Basel). 2022. Vol. 12, N 6. P. 1465. doi: 10.3390/diagnostics12061465
  25. Dasegowda G., Bizzo B.C., Gupta R.V., et al. Radiologist-trained AI model for identifying suboptimal chest-radiographs // Academic Radiology. 2023. Vol. 30, N 12. P. 2921–2930. doi: 10.1016/j.acra.2023.03.006
  26. Fanni S.C., Greco G., Rossi S., et al. Role of artificial intelligence in oncologic emergencies: a narrative review // Exploration of Targeted Anti-tumor Therapy. 2023. Vol. 4, N 2. P. 344–354. doi: 10.37349/etat.2023.00138
  27. Hwang E.J., Goo J.M., Nam J.G., et al. Conventional versus artificial intelligence-assisted interpretation of chest radiographs in patients with acute respiratory symptoms in emergency department: a pragmatic randomized clinical trial // Korean Journal of Radiology. 2023. Vol. 24, N 3. P. 259–270. doi: 10.3348/kjr.2022.0651
  28. Tan H., Xu H., Yu N., et al. The value of deep learning-based computer aided diagnostic system in improving diagnostic performance of rib fractures in acute blunt trauma // BMC Medical Imaging. 2023. Vol. 23, N 1. P. 55. doi: 10.1186/s12880-023-01012-7
  29. Wu J., Liu N., Li X., et al. Convolutional neural network for detecting rib fractures on chest radiographs: a feasibility study // BMC Medical Imaging. 2023. Vol. 23, N 1. P. 18. doi: 10.1186/s12880-023-00975-x
  30. Lee H.W., Jin K.N., Oh S., et al. Artificial intelligence solution for chest radiographs in respiratory outpatient clinics: multicenter prospective randomized clinical trial // Annals of the American Thoracic Society. 2023. Vol. 20, N 5. P. 660–667. doi: 10.1513/AnnalsATS.202206-481OC
  31. Hillis J.M., Bizzo B.C., Mercaldo S., et al. Evaluation of an artificial intelligence model for detection of pneumothorax and tension pneumothorax in chest radiographs // JAMA Network Open. 2022. Vol. 5, N 12. P. e2247172. doi: 10.1001/jamanetworkopen.2022.47172

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Частота принятия сервисами искусственного интеллекта анатомических структур (зелёный) и инородных предметов (синий) за край поджатого воздухом лёгкого (пневмоторакс).

Скачать (121KB)
3. Рис. 2. Структура пропусков клинически значимой патологии. ПОД — пищеводное отверстие диафрагмы.

Скачать (102KB)
4. Рис. 3. Структура пропусков клинически незначимой патологии. ЦВК — центральный венозный катетер.

Скачать (192KB)
5. Рис. 4. Поствоспалительные изменения, фиброз, плевро-паренхиматозные тяжи, спайки.

Скачать (209KB)
6. Рис. 5. Ложноположительный случай срабатывания программного обеспечения на основе технологий искусственного интеллекта, связанный с выраженной подкожно-жировой клетчаткой.

Скачать (80KB)
7. Рис. 6. Тень соска молочной железы, ошибочно маркированная как лёгочный узел.

Скачать (101KB)
8. Рис. 7. Грыжа пищеводного отверстия диафрагмы, не обнаруженная программным обеспечением на основе технологий искусственного интеллекта за тенью сердца.

Скачать (213KB)
9. Рис. 8. На боковой проекции визуально определяется очаг в проекции верхней доли (все программные обеспечения на основе технологий искусственного интеллекта закономерно его не определили ввиду обработки только прямой проекции).

Скачать (462KB)
10. Рис. 9. На боковой проекции определяются фиброзные изменения в заднем косто-диафрагмальном синусе справа, которые не видны на прямой проекции (сервис искусственного интеллекта их не определил ввиду обработки только прямой проекции). Аналогично данным изменениям сервис может «пропустить» минимальный плевральный выпот.

Скачать (119KB)
11. Рис. 10. Гидроторакс у лежачего пациента не был распознан программным обеспечением на основе технологий искусственного интеллекта.

Скачать (110KB)

© Эко-вектор, 2024

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».