Улучшает ли качество определения злокачественных изменений молочной железы агрегация результатов работы ИИ-системы с помощью метамодели?

ОБОСНОВАНИЕ. Нейронные сети для анализа маммограмм обычно решают задачу детекции или сегментации областей интереса. Однако при тестировании таких систем в первую очередь обычно оценивают их общую способность определять вероятность наличия злокачественных изменений ― по вероятности от 0 до 100% или по шкале Bi-Rads. В большинстве случаев эту вероятность определяют как максимальную вероятность наличия злокачественного объекта на обеих проекциях [1–3].

ЦЕЛЬ ― проверить, может ли более сложная агрегация результатов работы ИИ-системы с помощью метамодели улучшить результаты определения вероятности злокачественных изменений.

МЕТОДЫ. Для данного анализа использовалась ИИ-система «Цельс», маммография версии 0.17.0. Для сравнения выбрали набор данных, состоящий из снимков 867 молочных желёз (Bi-Rads 1 ― 257, 2 ― 495, 3 ― 77, 4–5 ― 38), собранных из медицинских учреждений разных регионов России. В качестве целевой переменной использовали заключение врача по шкале Bi-Rads. В качестве метрики использовали ROC-AUC (площадь под кривой ROC), рассчитанную двумя способами ― с включением Bi-Rads-3 в патологическую категорию и в здоровую соответственно.

Сравнивали два метода расчёта вероятности злокачественных изменений молочной железы. Предварительно обе проекции обработали нейронной сетью и для каждой железы получили список обнаруженных объектов с соответствующими типами объектов и вероятностями их присутствия на изображении.

1. В первом методе вероятность злокачественных изменений определялась как сумма максимальных вероятностей обнаруженных злокачественных объектов (злокачественные образования и кальцинаты) по проекциям CC и MLO.
2. Для второго метода обучили специальную метамодель, которая агрегирует различные результаты работы нейронной сети ― обнаруженные объекты и их вероятности на обеих проекциях, предсказанную плотность железы, степень качества изображения и другие. Метамодель обучали на отдельном датасете, не используемом в данном исследовании. Для данного датасета сгенерировали ряд «фич» (признаков), по которым и производилось обучение. Эти «фичи» используют всю информацию, сгенерированную нейронной сетью для обеих проекций. Подробное описание этих «фичей» остаётся за рамками этого тезиса.

РЕЗУЛЬТАТЫ. Первый метод продемонстрировал следующие результаты по метрике ROC-AUC: 0.857 (с исключением Bi-Rads-3 из патологической категории) и 0.76 (с включением). Второй метод показал результаты 0.881 и 0.794. Статистический анализ с помощью бутстрэппинга демонстрирует значимость этих результатов.

ЗАКЛЮЧЕНИЕ. Использование метамодели для агрегации результатов работы нейронной сети позволяет значительно улучшить качество определения общей вероятности наличия злокачественных изменений у пациента. Кроме этого, использование специальных методов интерпретации (например, Shap) [4] позволяет более точно понять, почему каждому пациенту была присвоена та или иная вероятность риска.