Инструмент оценки качества исследований диагностической точности алгоритмов искусственного интеллекта (QUADAS-CAD)
- Авторы: Коденко М.Р.1,2, Решетников Р.В.1,3, Макарова Т.А.4
-
Учреждения:
- Научно-практический клинический центр диагностики и телемедицинских технологий
- Московский государственный технический университет им. Н.Э. Баумана
- Первый Московский государственный медицинский университет им. И.М. Сеченова
- Российская медицинская академия непрерывного профессионального образования
- Выпуск: Том 3, № 1S (2022)
- Страницы: 4-5
- Раздел: Материалы конференции
- URL: https://journals.rcsi.science/DD/article/view/106795
- DOI: https://doi.org/10.17816/DD105567
- ID: 106795
Цитировать
Полный текст
Аннотация
ОБОСНОВАНИЕ. Применение искусственного интеллекта (ИИ) для обработки медицинских данных ― перспективное, активно развивающееся направление [1]. Однако в данной области существует проблема стандартизации методологии ― как проведения самих исследований, так и оформления их результатов. В частности, существует потребность оценки методологического качества, ключевым показателем которого является вероятность намеренного или случайного привнесения систематических ошибок (bias) в результаты исследования. Существующий инструмент оценки (QUADAS-2) [2] ориентирован на медицинский тип исследований, что затрудняет его использование для оценки работ, посвящённых теме ИИ [3].
ЦЕЛЬ ― модификация существующей системы оценки методологического качества QUADAS-2 для анализа исследований диагностической точности алгоритмов ИИ.
МЕТОДЫ. Для каждого домена системы QUADAS-2 («patient selection», «index test», «reference standard», «flow and timing») проведена оценка информативности сигнальных вопросов, предложена адаптация или замена низкоинформативных формулировок.
РЕЗУЛЬТАТЫ. Для всех доменов исходной системы QUADAS-2 предложены правки. Вопросы домена «patient selection», посвящённые формированию выборки пациентов, модифицированы с целью оценки сбалансированности набора данных по критериям наличия и вариабельности (степени тяжести) заболевания. Для домена «index test» вопрос о предварительно заданном граничном значении представлен в двух вариантах: для патологии и для ответа ИИ, так как алгоритмы могут использовать вероятностный порог принятия решения. Кроме того, в домен включены вопросы обоснованности размера и отсутствия пересечений (в том числе качественных) обучающей и тестовой выборок. В домене «reference test» один из вопросов адаптирован для оценки качества подготовки референтных данных. Домен «flow and timing» пересмотрен с позиций единообразия условий обработки данных, включён вопрос о типе исследования по источнику исходных данных. Разработанная версия QUADAS-CAD апробирована в рамках работы над систематическим обзором «Диагностическая точность ИИ-алгоритмов обработки КТ для оппортунистического скрининга аневризмы брюшной аорты».
ЗАКЛЮЧЕНИЕ. Использование модифицированной системы QUADAS-CAD повысило эффективность оценки методологического качества в рамках систематического обзора исследований диагностической точности ИИ. Представленные результаты могут быть полезны для задач систематизации и анализа данного типа исследований.
Ключевые слова
Об авторах
М. Р. Коденко
Научно-практический клинический центр диагностики и телемедицинских технологий; Московский государственный технический университет им. Н.Э. Баумана
Email: r.reshetnikov@gmail.com
Россия, Москва; Москва
Р. В. Решетников
Научно-практический клинический центр диагностики и телемедицинских технологий; Первый Московский государственный медицинский университет им. И.М. Сеченова
Автор, ответственный за переписку.
Email: r.reshetnikov@gmail.com
Россия, Москва; Москва
Т. А. Макарова
Российская медицинская академия непрерывного профессионального образования
Email: r.reshetnikov@gmail.com
Россия, Москва
Список литературы
- Yin J, Ngiam K, Teo H. Role of Artificial Intelligence Applications in Real-Life Clinical Practice: Systematic Review. J Med Internet Res. 2021;23(4):e25759. doi: 10.2196/25759
- QUADAS assessment. The University of Bristol. URL: https://www.bristol.ac.uk/population-health-sciences/projects/quadas/quadas-2/
- Sounderajah V, Ashrafian H, Rose S, et al. A quality assessment tool for artificial intelligence-centered diagnostic test accuracy studies: QUADAS-AI. Nat Med. 2021;27(10):1663–1665. doi: 10.1038/s41591-021-01517-0