使用人工智能服务分析胸部X光片的局限

封面图片

如何引用文章

全文:

详细

论证。在放射诊断中，最早开始应用人工智能和积极使用至今的领域之一是胸部X光片。 然而，在使用人工智能（AI）技术解释这些研究时，放射科医生仍然每天面临着诸多局限，在做出医疗报告时必须考虑这些局限，这些局限必须受到开发人员的重视，以便进一步改进算法，提高效率。

目的。确定使用人工智能服务进行胸部X光片分析的局限，并评估这些局限的临床意义。

材料和方法。在分析155例患者胸部X光片时对人工智能服务结论与医疗报告不一致的病例进行回顾性分析。所有研究病例均来自莫斯科市统一医疗信息分析系统的统一放射信息服务。

结果。在被分析的155个差异病例中，48个（31.0%）为假阳性，78 个（50.3%）为假阴性。经专家审查发现其余29例（18.7%）为真阳性（27）或真阴性（2），因此这些病例被排除在进一步研究之外。在48个假阳性病例中，大多数（93.8%）是由于人工智能服务将胸部正常解剖结构（97.8%的病例）或导管阴影（2.2%的病例）误认为是气胸的体征。在假阴性研究中，临床显著性病理的漏诊比例为22.0%。这些病例中几乎一半（44.4%）与漏诊的肺结节有关。最常见的无临床意义的病理是肺钙化（60.9%）。

结论。在人工智能服务方面存在过度诊断的倾向。所有假阳性病例均与临床显著性病理的错误检测有关：气胸、肺结节和肺部阴影。在假阴性病例中，漏诊有临床意义显著性病理的比例很小，且不到四分之一。

作者简介

Yuriy A. Vasilev

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: npcmr@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN 代码: 4458-5608

MD, Cand. Sci. (Medicine)

俄罗斯联邦, Moscow

Anton V. Vladzymyrskyy

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: a.vladzimirsky@npcmr.ru
ORCID iD: 0000-0002-2990-7736
SPIN 代码: 3602-7120

MD, Dr. Sci. (Medicine), Professor

俄罗斯联邦, Moscow

Kirill M. Arzamasov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN 代码: 3160-8062

MD, Cand. Sci. (Medicine)

俄罗斯联邦, Moscow

Igor M. Shulkin

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: i.shulkin@npcmr.ru
ORCID iD: 0000-0002-7613-5273
SPIN 代码: 5266-0618
俄罗斯联邦, Moscow

Elena V. Astapenko

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

编辑信件的主要联系方式.
Email: AstapenkoEV1@zdrav.mos.ru
ORCID iD: 0009-0006-6284-2088
SPIN 代码: 7362-8553
俄罗斯联邦, Moscow

Lev D. Pestrenin

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: PestreninLD@zdrav.mos.ru
ORCID iD: 0000-0002-1786-4329
SPIN 代码: 7193-7706
俄罗斯联邦, Moscow

参考

  1. Çallı E, Sogancioglu E, van Ginneken B, et al. Deep learning for chest X-ray analysis: A survey. Medical Image Analysis. 2021;72:102125. doi: 10.1016/j.media.2021.102125
  2. Vasilev YuA, Tyrov IA, Vladzymyrskyy AV, et al. A New Model of Organizing Mass Screening Based on Stand-Alone Artificial Intelligence Used for Fluorography Image Triage. Zdorov’e Naseleniya i Sreda Obitaniya. 2023;31(11):23–32. (In Russ.) doi: 10.35627/2219-5238/2023-31-11-23-32
  3. Akhter Y, Singh R, Vatsa M. AI-based radiodiagnosis using chest X-rays: A review. Frontiers in Big Data. 2023;6:1120989. doi: 10.3389/fdata.2023.1120989
  4. Fanni SC, Marcucci A, Volpi F, et al. Artificial Intelligence-Based Software with CE Mark for Chest X-ray Interpretation: Opportunities and Challenges. Diagnostics (Basel). 2023;13(12):2020. doi: 10.3390/diagnostics13122020
  5. Gusev AV, Vladzymyrskyy AV, Sharova DE, et al. Evolution of research and development in the field of artificial intelligence technologies for healthcare in the Russian Federation: results of 2021. Digital Diagnostics. 2022;3(3):178–194. doi: 10.17816/DD107367
  6. Kim J, Kim KH. Role of chest radiographs in early lung cancer detection. Translational Lung Cancer Research. 2020;9(3):522–531. doi: 10.21037/tlcr.2020.04.02
  7. Golubev NA, Ogryzko EV, Tyurina EM, et al. Features of the development of the radiology diagnostic service in the Russian Federation for 2014-2019. Current problems of health care and medical statistics. 2021;(2):356–376. doi: 10.24412/2312-2935-2021-2-356-376
  8. Wu JT, Wong KCL, Gur Y, et al. Comparison of Chest Radiograph Interpretations by Artificial Intelligence Algorithm vs Radiology Residents. JAMA Network Open. 2020;3(10):e2022779. doi: 10.1001/jamanetworkopen.2020.22779
  9. Miró Catalina Q, Fuster-Casanovas A, Solé-Casals J, Vidal-Alaball J. Developing an Artificial Intelligence Model for Reading Chest X-rays: Protocol for a Prospective Validation Study. JMIR Research Protocols. 2022;11(11):e39536. doi: 10.2196/39536
  10. Plesner LL, Müller FC, Nybing JD, et al. Autonomous Chest Radiograph Reporting Using AI: Estimation of Clinical Impact. Radiology. 2023;307(3):e222268. doi: 10.1148/radiol.222268
  11. Vasilev Yu, Vladzymyrskyy A, Omelyanskaya O, et al. AI-Based CXR First Reading: Current Limitations to Ensure Practical Value. Diagnostics (Basel). 2023;13(8):1430. doi: 10.3390/diagnostics13081430
  12. Driver CN, Bowles BS, Bartholmai BJ, Greenberg-Worisek AJ. Artificial Intelligence in Radiology: A Call for Thoughtful Application. Clinical and Translational Science. 2020;13(2):216–218. doi: 10.1111/cts.12704
  13. Yoo H, Kim EY, Kim H, et al. Artificial intelligence-based identification of normal chest radiographs: a simulation study in a multicenter health screening cohort. Korean Journal of Radiology. 2022;23(10):1009–1018. doi: 10.3348/kjr.2022.0189
  14. Suganuma N, Yoshida S, Takeuchi Y, et al. Artificial intelligence in quantitative chest imaging analysis for occupational lung disease. Seminars in Respiratory and Critical Care Medicine. 2023;44(3):362–369. doi: 10.1055/s-0043-1767760
  15. Brown C, Nazeer R, Gibbs A, et al. Breaking Bias: The role of artificial intelligence in improving clinical decision-making. Cureus. 2023;15(3):e36415. doi: 10.7759/cureus.36415
  16. Kaviani P, Kalra MK, Digumarthy SR, et al. Frequency of missed findings on chest radiographs (CXRs) in an international, multicenter study: application of AI to reduce missed findings. Diagnostics (Basel). 2022;12(10):2382. doi: 10.3390/diagnostics12102382
  17. de Groot PM, Carter BW, Abbott GF, Wu CC. Pitfalls in chest radiographic interpretation: blind spots. Seminars in Roentgenology. 2015;50(3):197–209. doi: 10.1053/j.ro.2015.01.008
  18. Gefter WB, Post BA, Hatabu H. Commonly missed findings on chest radiographs: causes and consequences. Chest. 2023;163(3):650–661. doi: 10.1016/j.chest.2022.10.039
  19. Vasilev YuA, Vladzimirsky AV, editors. Komp’yuternoe zrenie v luchevoj diagnostike: pervyj etap Moskovskogo eksperimenta. Moscow: Izdatelskie resheniya; 2022. (In Russ.)
  20. Morozov SP, Burenchev DV, Vladzimirsky AV, et al. Principy i pravila opisanij rezul’tatov luchevyh issledovanij. The series “Best practices of radiation and instrumental diagnostics”. Issue 97. Moscow: State Budget-Funded Health Care Institution of the City of Moscow “Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department”; 2021. (In Russ.)
  21. Choi YR, Yoon SH, Kim J, et al. Chest Radiography of Tuberculosis: Determination of Activity Using Deep Learning Algorithm. Tuberculosis and Respiratory Diseases. 2023;86(3):226–233. doi: 10.4046/trd.2023.0020
  22. Sun Z, Zhou J, Zhao L. Application status and problems summary of artificial intelligence in chest imaging. Asian Journal of Surgery. 2023;46(10):4437–4438. doi: 10.1016/j.asjsur.2023.04.100
  23. Bernstein MH, Atalay MK, Dibble EH, et al. Can incorrect artificial intelligence (AI) results impact radiologists, and if so, what can we do about it? A multi-reader pilot study of lung cancer detection with chest radiography. European Radiology. 2023;33(11):8263–8269. doi: 10.1007/s00330-023-09747-1
  24. Becker J, Decker JA, Römmele C, et al. Artificial Intelligence-based detection of pneumonia in chest radiographs. Diagnostics (Basel). 2022;12(6):1465. doi: 10.3390/diagnostics12061465
  25. Dasegowda G, Bizzo BC, Gupta RV, et al. Radiologist-trained AI model for identifying suboptimal chest-radiographs. Academic Radiology. 2023;30(12):2921–2930. doi: 10.1016/j.acra.2023.03.006
  26. Fanni SC, Greco G, Rossi S, et al. Role of artificial intelligence in oncologic emergencies: a narrative review. Exploration of Targeted Anti-tumor Therapy. 2023;4(2):344–354. doi: 10.37349/etat.2023.00138
  27. Hwang EJ, Goo JM, Nam JG, et al. Conventional versus artificial intelligence-assisted interpretation of chest radiographs in patients with acute respiratory symptoms in emergency department: a pragmatic randomized clinical trial. Korean Journal of Radiology. 2023;24(3):259–270. doi: 10.3348/kjr.2022.0651
  28. Tan H, Xu H, Yu N, et al. The value of deep learning-based computer aided diagnostic system in improving diagnostic performance of rib fractures in acute blunt trauma. BMC Medical Imaging. 2023;23(1):55. doi: 10.1186/s12880-023-01012-7
  29. Wu J, Liu N, Li X, et al. Convolutional neural network for detecting rib fractures on chest radiographs: a feasibility study. BMC Medical Imaging. 2023;23(1):18. doi: 10.1186/s12880-023-00975-x
  30. Lee HW, Jin KN, Oh S, et al. Artificial intelligence solution for chest radiographs in respiratory outpatient clinics: multicenter prospective randomized clinical trial. Annals of the American Thoracic Society. 2023;20(5):660–667. doi: 10.1513/AnnalsATS.202206-481OC
  31. Hillis JM, Bizzo BC, Mercaldo S, et al. Evaluation of an artificial intelligence model for detection of pneumothorax and tension pneumothorax in chest radiographs. JAMA Network Open. 2022;5(12):e2247172. doi: 10.1001/jamanetworkopen.2022.47172

补充文件

附件文件
动作
1. JATS XML
下载
2. Fig. 1. Frequency of recognition by artificial intelligence services of anatomical structures (green) and foreign objects (blue) as the edge of a lung compressed by air (pneumothorax).

下载 (121KB)
索引源数据
3. Fig. 2. Structure of omissions of clinically significant pathology. OOP — esophageal opening of the diaphragm.

下载 (102KB)
索引源数据
4. Fig. 3. Structure of omissions of clinically insignificant pathology. CVC — central venous catheter.

下载 (192KB)
索引源数据
5. Fig. 4. Post-inflammatory changes, fibrosis, pleuro-parenchymatous cords, adhesions.

下载 (209KB)
索引源数据
6. Fig. 5. False positive case of AI-based software triggering associated with pronounced subcutaneous fat.

下载 (80KB)
索引源数据
7. Fig. 6. Shadow of the mammary gland nipple, mistakenly labeled as a pulmonary nodule.

下载 (101KB)
索引源数据
8. Fig. 7. Hiatal hernia undetected by AI-based software behind the heart shadow.

下载 (213KB)
索引源数据
9. Fig. 8. On the lateral projection, a lesion in the projection of the upper lobe is visually determined (all software based on artificial intelligence technologies naturally did not determine it due to the processing of only the direct projection).

下载 (462KB)
索引源数据
10. Fig. 9. The lateral projection shows fibrous changes in the posterior costophrenic sinus on the right, which are not visible on the direct projection (the artificial intelligence service did not detect them due to processing only the direct projection). Similarly to these changes, the service can "miss" minimal pleural effusion.

下载 (119KB)
索引源数据
11. Fig. 10. Hydrothorax in a bedridden patient was not recognized by the AI-based software.

下载 (110KB)
索引源数据

版权所有 © Eco-Vector, 2024

Creative Commons License
此作品已接受知识共享署名-非商业性使用-禁止演绎 4.0国际许可协议的许可。

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».