Технологические дефекты программного обеспечения с искусственным интеллектом

Обложка

Цитировать

Аннотация

Обоснование. Технологические дефекты в работе программного обеспечения с искусственным интеллектом являются критически важными при принятии решения о практической применимости и клинической ценности программного обеспечения с искусственным интеллектом.

Цель анализ и систематизация технологических дефектов, возникающих при работе программного обеспечения с искусственным интеллектом для анализа медицинских изображений.

Материалы и методы. В рамках эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы проводится мониторинг технологических параметров для всех участвующих решений как на этапе апробации, так и на этапе опытной эксплуатации. В статье представлена графическая информация о среднем числе технологических дефектов для профилактического направления, модальность «Маммография», за 2021 год. Этот период выбран как наиболее показательный, характеризующийся активным развитием программного обеспечения с искусственным интеллектом с позиции увеличения технической стабильности их работы. С целью оценки применимости подхода по выявлению технологических дефектов аналогичный анализ проводился для направления обнаружения внутричерепных кровоизлияний на компьютерных томограммах головного мозга за 2022–2023 годы.

Результаты. В ходе исследования было проанализировано программное обеспечение с искусственным интеллектом по модальностям «Маммография» (2 алгоритма) и «Компьютерная томография головного мозга» (1). Всего для модальности «Маммография» собрано 14 выборок по 20 исследований; для модальности «Компьютерная томография» — 12 выборок по 80 исследований. Для каждого типа дефекта были построены графики, а для каждой из модальностей были построены линии тренда. Коэффициенты уравнений линий трендов указывают на тенденцию к снижению числа технологических дефектов.

Заключение. Проведённый анализ позволяет проследить тенденцию к снижению числа технологических дефектов, что может свидетельствовать о доработке программного обеспечения с искусственным интеллектом и повышении его качества благодаря периодическому мониторингу. Кроме того, такой результат показывает универсальность использования как для профилактических методов, так и для экстренных.

Об авторах

Виктория Валерьевна Зинченко

Научно-практический клинический центр диагностики и телемедицины

Автор, ответственный за переписку.
Email: ZinchenkoVV1@zdrav.mos.ru
ORCID iD: 0000-0002-2307-725X
SPIN-код: 4188-0635
Россия, Москва

Кирилл Михайлович Арзамасов

Научно-практический клинический центр диагностики и телемедицины

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-код: 3160-8062

канд. мед. наук

Россия, Москва

Елена Игоревна Кремнева

Научно-практический клинический центр диагностики и телемедицины

Email: KremnevaEI@zdrav.mos.ru
ORCID iD: 0000-0001-9396-6063
SPIN-код: 8799-8092

канд. мед. наук

Россия, Москва

Антон Вячеславович Владзимирский

Научно-практический клинический центр диагностики и телемедицины

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN-код: 3602-7120

д-р мед. наук

Россия, Москва

Юрий Александрович Васильев

Научно-практический клинический центр диагностики и телемедицины

Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-0208-5218
SPIN-код: 4458-5608

канд. мед. наук

Россия, Москва

Список литературы

  1. Владзимирский А.В., Васильев Ю.А., Арзамасов К.М. и др. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента / под ред. Ю.А. Васильева, А.В. Владзимирского. Издательские решения, 2022.
  2. Ranschaert E.R., Morozov S., Algra P.R., editors. Artificial Intelligence in Medical Imaging. Berlin : Springer, 2019. doi: 10.1007/978-3-319-94878-2
  3. Гусев А.В., Добриднюк С.Л. Искусственный интеллект в медицине и здравоохранении // Информационное общество. 2017. № 4-5. С. 78–93.
  4. Шутов Д.В., Шарова Д.Е., Абуладзе Л.Р., Дроздов Д.В. Системы искусственного интеллекта в клинической физиологии: как сделать их обучение эффективным? // Digital Diagnostics. 2023. Т. 4, № 1. С. 81–88. doi: 10.17816/DD123559
  5. Мелдо А.А., Уткин Л.В., Трофимова Т.Н. Искусственный интеллект в медицине: современное состояние и основные направления развития интеллектуальной диагностики // Лучевая диагностика и терапия. 2020. Т. 11, № 1. С. 9–17. doi: 10.22328/2079-5343-2020-11-1-9-17
  6. Recht M.P., Dewey M., Dreyer K., et al. Integrating artificial intelligence into the clinical practice of radiology: challenges and recommendations // European radiology. 2020. Vol. 30, N 6. P. 3576–3584. doi: 10.1007/s00330-020-06672-5
  7. Larson D.B., Harvey H., Rubin D.L., et al. Regulatory Frameworks for Development and Evaluation of Artificial Intelligence-Based Diagnostic Imaging Algorithms: Summary and Recommendations // Journal of the American College of Radiology. 2021. Vol. 18, N 3 Pt A. P. 413–424. doi: 10.1016/j.jacr.2020.09.060
  8. Zinchenko V., Chetverikov S., Ahmad E., et al. Changes in software as a medical device based on artificial intelligence technologies // International Journal of Computer Assisted Radiology and Surgery. 2022. Vol. 17. P. 1969–1977. doi: 10.1007/s11548-022-02669-1
  9. Nomura Y., Miki S., Hayashi N., et al. Novel platform for development, training, and validation of computer-assisted detection/diagnosis software // International Journal of Computer Assisted Radiology and Surgery. 2020. Vol. 15, N 4. P. 661–672. doi: 10.1007/s11548-020-02132-z
  10. Методические рекомендации по порядку проведения экспертизы качества, эффективности и безопасности медицинских изделий (в части программного обеспечения) для государственной регистрации в рамках национальной системы ФГБУ «ВНИИИМТ» Росздравнадзора. Москва, 2021.
  11. Pemberton H.G., Zaki L.A.M., Goodkin O., et al. Technical and clinical validation of commercial automated volumetric MRI tools for dementia diagnosis — a systematic review // Neuroradiology. 2021. Vol. 63. P. 1773–1789. doi: 10.1007/s00234-021-02746-3
  12. Приказ Департамента здравоохранения города Москвы № 51 от 26.01.2021 «Об утверждении порядка и условий проведения эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы в 2021 году»
  13. Четвериков С.Ф., Арзамасов К.М., Андрейченко А.Е., и др. Подходы к формированию выборки для контроля качества работы систем искусственного интеллекта в медико-биологических исследованиях // Современные технологии в медицине. 2023. Т. 15, № 2. С. 19. doi: 10.17691/stm2023.15.2.02
  14. Зинченко В.В., Арзамасов К.М., Четвериков С.Ф., и др. Методология проведения пострегистрационного клинического мониторинга для программного обеспечения с применением технологий искусственного интеллекта // Современные технологии в медицине. 2022. Т. 14, № 5. С. 15–25. doi: 10.17691/stm2022.14.5.02
  15. Altman D.G. Statistics and ethics in medical research: III How large a sample? // British medical journal. 1980. Vol. 281, N 6251. P. 1336. doi: 10.1136/bmj.281.6251.1336
  16. Тыров И.А., Васильев Ю.А., Арзамасов К.М., и др. Оценка зрелости технологий искусственного интеллекта для здравоохранения: методология и ее применение на материалах Московского Эксперимента по компьютерному зрению в лучевой диагностике // Врач и информационные технологии. 2022. № 4. С. 76–92. doi: 10.25881/18110193_2022_4_76
  17. Владзимирский А.В., Гусев А.В., Шарова Д.Е., и др. Методика оценки уровня зрелости информационной системы для здравоохранения // Врач и информационные технологии. 2022. № 3. С. 68–84. doi: 10.25881/18110193_2022_3_68
  18. Приказ Департамента здравоохранения города Москвы от 03.11.2022 № 160 «Об утверждении порядка и условий проведения эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы в 2022 году».

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Динамика выявления среднего числа каждого технологического дефекта для программного обеспечения с искусственным интеллектом модальностью «Маммография». Дефекты распределены по группам согласно Приказу Департамента здравоохранения города Москвы № 51 от 26.01.2021 г.

Скачать (129KB)
3. Рис. 2. Динамика выявления числа каждого технологического дефекта для программного обеспечения с искусственным интеллектом модальностью «Компьютерная томография головного мозга» (наличие или отсутствие внутричерепного кровоизлияния). Дефекты распределены по группам согласно Приказу Департамента здравоохранения города Москвы № 160 от 03.11.2022 г.

Скачать (150KB)
4. Рис. 3. Дефект — проанализированы не все необходимые изображения. Модальность "Маммография".

Скачать (119KB)
5. Рис. 4. Дефект — разметка за пределами целевого органа. Модальность "Маммография".

Скачать (82KB)
6. Рис. 5. Дефект — проанализирована некорректная серия (постконтрастная КТ вместо нативной). Модальность "Компьютерная томография".

Скачать (118KB)
7. Рис. 6. Дефект — разметка за пределами целевого органа, постконтрастная компьютерная томография вместо нативной. Модальность "Компьютерная томография".

Скачать (115KB)
8. Рис. 7. Количество дефектов в группе в динамике для модальности

Скачать (212KB)
9. Рис. 8. Количество дефектов в группе в динамике для модальности «Компьютерная томография».

Скачать (216KB)

© Эко-вектор, 2023

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).