Применение методов интерпретации нейронных сетей для анализа гистологических изображений патологических процессов молочной железы

Обоснование. Нейронные сети активно используются в цифровой патологии для анализа гистологических снимков и поддержки принятия врачебных решений. Популярным подходом является решение задачи классификации, где в качестве ответов модели выдают только метки классов. Однако полезно понимать, какие области изображения сильнее всего влияют на ответ модели. Эту проблему помогают решить методы интерпретации машинного обучения.

Цель. Выяснить, насколько согласованы друг с другом разные методы интерпретации нейронных сетей в задаче классификации гистологических изображений молочной железы, и получить экспертную оценку результатов исследуемых методов.

Материалы и методы. Проведены предварительный анализ и предобработка имеющегося набора данных, на которых обучены заранее выбранные нейросетевые модели. Применены существующие методы визуализации областей внимания обученных моделей на простых для понимания данных, после чего стало возможным убедиться в правильности их использования. Те же нейросетевые модели обучены на гистологических данных, и выбранные методы интерпретации применены к задаче классификации гистологических изображений, после чего получена оценка согласованности результатов использованных методов между собой и экспертная оценка результатов.

Результаты. В данной работе исследовано несколько методов интерпретации машинного обучения на примере двух различных архитектур нейронных сетей и наборе гистологических изображений патологических процессов молочной железы. Результаты обучения моделей ResNet18 и ViT-B-16 на наборе гистологических изображений на тестовой выборке: метрика Accuracy 0,89 и 0,89, метрика ROC_AUC 0,99 и 0,96 соответственно. Оценка полученных результатов проводилась экспертом при помощи инструмента Label Studio. Для каждой пары картинок эксперту предлагалось выбрать один наиболее подходящий, по его мнению, ответ – «да» или «нет» – на вопрос «Соответствует ли большинство выделенных областей классу Malignant?». Доля ответов «да» для категории ResNet_Malignant – 0,56; для ViT_Malignant – 1,0.

Заключение. Проведены эксперименты по интерпретируемости с двумя различными архитектурами: сверточной сетью ResNet18 и сетью с механизмом внимания ViT-B-16. Результаты обученных моделей визуализированы с помощью методов GradCAM и Attention Rollout соответственно. Сначала эксперименты проведены на простом для интерпретации наборе данных с целью убедиться в правильности их использования. Затем методы применены к набору гистологических изображений. На простых для понимания снимках (изображениях котов) сверточная сеть больше согласована с восприятием человека, а на гистологических изображениях рака молочной железы – наоборот, ViT-B-16 дал сильно более близкие к восприятию эксперта результаты.