Сравнение способов работы системы искусственного интеллекта в режиме сверхвысокой чувствительности для автономного описания цифровых флюорограмм без патологии

Обоснование. До 95% исследований при скрининге с помощью метода цифровой флюорографии не содержат патологических изменений. Врачи-рентгенологи тратят большую часть своего времени на просмотр и описание именно таких исследований. В этих случаях системы искусственного интеллекта могут быть использованы для автоматизации описания и экономии времени врачей [1–3].

Цель — сравнить различные алгоритмы работы существующей системы искусственного интеллекта в сценарии сверхвысокой чувствительности и оценить процент исследований, подлежащих автоматическому описанию.

Материалы и методы. Для анализа использовалась система искусственного интеллекта «Цельс.Флюорография» версии 0.15.3. Для сравнения был выбран набор данных из разных медицинских организаций, содержащий 11 707 исследований без патологии и 5846 исследований с патологией. Для расчёта метрик из этого датасета 1000 раз сэмплировалась подвыборка, содержащая 500 исследований с патологией и 9500 исследований без патологии (баланс 5% к 95%), после чего полученные метрики усреднялись.

В качестве источника целевой переменной использовалась разметка двух врачей, в случае расхождения мнений исследование оценивалось врачом-экспертом. Исследование считалось патологическим, если итоговая разметка содержала хотя бы один из 12 рентгенологических признаков [4].

Для сравнения метрик были использованы пять методов: по максимальной (1) и средней (2) вероятности рентгенологических признаков, локализованных нейронной сетью-детектором; по максимальной (3) и средней (4) вероятности наличия признаков, полученных с помощью специальных «голов» нейронной сети, обученных определять наличие каждого признака на изображении (0 — отсутствие признака, 1 — наличие); по вероятности (5), полученной с помощью отдельной «головы» нейронной сети, обученной определять бинарное наличие патологии на исследовании (0 — норма, 1 — патология).

Для каждого метода был выбран порог срабатывания, который обеспечивал не более 1 пропуска патологии на 1000 исследований на текущей подвыборке. В качестве основной метрики качества рассчитывался процент исследований, которые верно могли бы быть автоматически описаны искусственным интеллектом как исследования без патологии.

Результаты. Методы продемонстрировали следующие усреднённые проценты отсева нормы: 66,4%, 72,2%, 69,0%, 74,1%, 68,7% — и следующие показатели площади под ROC-кривой: 0,948, 0,957, 0,964, 0,967, 0,971. При этом 95% доверительный интервал отсева для лучшего метода составил 66,1–79,4%.

Заключение. Современные системы искусственного интеллекта могут быть использованы для автоматизации описания значительной части скрининговых исследований. Лучший результат отсева нормы (свыше 74% потока) показал метод усреднения вероятностей, полученных с помощью специальных «голов» нейронной сети, обученных определять наличие патологии.