Explainable artificial intelligence in deep learning neural nets-based digital images analysis

Full Text

Введение. Период с 2010 по 2020 г. называют декадой искусственного интеллекта (decade of artificial intelligence), тесно связанной с декадой сознания (decade of mind) по классификации ЮНЕСКО. За последние 10—15 лет количество исследований в области искусственного интеллекта (ИИ) и его приложений возросло в тысячи раз по сравнению с периодом до 2010 г. Использование технологий машинного обучения (ML) и глубокого обучения (DL) перестало быть уделом академических исследований, заняв свою нишу в создании цифровых продуктов. Стремительное развитие искусственных нейронных сетей (ИНС), повышение их точности и оптимизация вычислительных затрат позволили создавать продукты на основе ИИ, востребованные во всех сферах человеческой жизни. По оценке Harvard Business Review [1], в нынешнем десятилетии ИИ принесет более 13 трлн долл. в мировую экономику.

До того как технология ИИ стала мейнстримом, она проделала путь длиной в полвека. Первые два поколения ИИ пришлись на последнюю треть XX и начало XXI в. Первое поколение ИИ (1960—1990 гг.) было завершено переходом от экспертных систем и символьного ИИ к коннекционистким системам ИИ, основанным на глубоком обучении и больших данных, характерных для второго поколения ИИ (2000—2020 гг.). Искусственный интеллект третьего поколения (2020—2030 гг.) предполагает возможности интерпретации и объяснения используемых алгоритмов, что значительно повышает надежность по сравнению с предыдущими поколениями [2].

Подход в оценке развития ИИ с помощью разделения временных промежутков на “волны” или “поколения” предложен Управлением перспективных исследовательских проектов Министерства обороны США DARPA (рис. 1). На сегодняшний день программа DARPA по ИИ является наиболее дорогой правительственной программой по развитию ИИ в истории человечества. К 2022 г. по программе DARPA только в развитие третьего поколения ИИ уже инвестировано более 2 млрд долл. США [3].

На рис. 1 графически представлен финансовый вклад DARPA в ИИ начиная с 1962 г. [4]. Показано три волны инвестиций DARPA (с несколькими локальными экстремумами), высота каждой волны соответствует величине инвестиций DARPA. На рисунке также показаны избранные исторические программы ИИ, финансируемые DARPA. Первая волна называется “волна знаний ручной работы” (1^st wave handcrafted knowledge), что соответствует первому поколению символьного ИИ, основанного на экспертных знаниях. Вторая волна машинного обучения (2^rd wave machine learning) соответствует второму поколению ИИ, базирующемуся на нейронных сетях глубокого обучения. Третья волна “следующий искусственный интеллект” (3^rd wave AI next) соответствует третьему поколению ИИ, основанному на объяснительном ИИ (ОИИ). Программа AI next предполагает серьезные усилия по устранению ограничений существующего ИИ. DARPA считает, что текущие инвестиции в исследования и разработки по всему миру слишком сосредоточены на ИИ второго поколения или машинном обучении, которые хорошо подходят для поиска закономерностей в тексте и в изображениях и имеют множество коммерческих приложений, но являются плохо интерпретируемыми для пользователя. Программа AI next сделает ИИ второго поколения волны более надежным для защиты и интерпретации приложений и для обеспечения безопасности, одновременно помогая реализовать третье поколение ИИ (ОИИ и контекстуального мышления). Включение этих технологий в будущие системы ИИ должно облегчить процесс принятия решений; обеспечить совместное понимание большой по объему, неполной и противоречивой информации; расширить возможности автономных робототехнических и беспилотных систем для безопасного выполнения критических миссий.

Рис. 1. Вклад DARPA в ИИ [4]

В настоящее время ОИИ выступает неотъемлемой частью любых интеллектуальных систем (ИС), созданных для работы в ответственных предметных областях. Чаще всего ОИИ используется в медицине как одной их наиболее важных областей для оценки качества полученных ИИ решений. Методы ИИ в медицине применялись с 70-х годов прошлого века, но только с появлением решений на основе машинного обучения и глубокого обучения это направление достигло результатов, сравнимых с возможностями человека-врача, что привело к большому количеству коммерческих применений. Согласно метаобзору [5], уже в 2020 г. в базе данных PubMed было проиндексировано более 11 000 исследований, посвящённых использованию ИИ в медицине. Во многом это стало возможно благодаря накопленным объёмам медицинских данных (медицинские изображения, клинические записи). Применение ИИ в медицине сосредоточено в нескольких направлениях: анализ медицинских изображений [6] и изображений в области микроскопии [7], анализ клинических записей [8], выбор тактики лечения для конкретного заболевания [9], здравоохранение и медицинская помощь [10].

Главной проблемой использования ИИ в ответственных для принятия решений системах всегда была точность и надёжность. С возникновением ИНС прибавилась задача прозрачности процесса классификации и объяснения принятого решения, появилось доверие к технологии. Решением проблемы становится применение ИИ третьего поколения в медицинских системах за счет присутствующей ключевой возможности объяснения результата своей работы. В системах третьего поколения ИИ, как и в системах первого поколения, объясняется внутренняя работа системы. С этой целью системы первого поколения ИИ использовали экспертные знания в правилах и базах знаний и пытались составить языковые описания на базе оценок экспертов. В системах ИИ второго поколения задача оказалась значительно сложнее. Третье поколение ИИ решает эту проблему, хотя недостатки объяснительных систем первого поколения, связанные со слабым уровнем детализации и непонятным языком, могут стать вопросом и для систем третьего поколения. Решение этой проблемы облегчает тот факт, что со времени создания систем объяснения первого поколения, основанных на правилах, компьютерных технологиях и в визуализации данных, анимации, видео и т. п., значительно продвинулись вперед по сравнению с первым поколение, и много новых идей было предложено в качестве потенциальных методов для генерации объяснений [11].

Объяснительный ИИ устроен таким образом, чтобы наблюдающий со стороны пользователь мог понять, почему именно алгоритм принял то или иное решение. Такие методы приходят на смену принципу “черного ящика”, при котором даже сами создатели ИИ не всегда в состоянии объяснить принципы его работы. ОИИ — это важная часть общего тренда, который цикл зрелости технологий Гарднера называют “trust in algorithm” (доверие к алгоритму). Чем больше ИИ заменяет человеческие решения, тем больше он усиливает положительные и отрицательные последствия таких решений. Оставленные без контроля подходы на основе ИИ могут увековечить закрытость и предвзятость, ведущую к проблемам потери производительности и доходов. Двигаясь вперед, организации должны разрабатывать и эксплуатировать системы ИИ на принципах справедливости и прозрачности, заботиться о безопасности и конфиденциальности для общества в целом.

В настоящее время существует постоянно расширяющийся набор методов ОИИ, в англоязычных источниках — XAI (explainable artificial intelligence). Методы ОИИ могут делиться по типам интерпретации результатов. Они содержат модели с внутримодельным объяснением, которые хорошо структурированы и понятны. Эти модели могут давать ответы вместе с объяснениями на базе лингвистического интерпретатора. Другой тип моделей — это модели с постфактумным объяснением. Объяснения в этих моделях получаются с помощью внешних методов анализа моделей ИИ, т.е. методов обратного распространения, отображения активации классов и послойного распространения релевантности.

В моделях ОИИ различаются также модельно-независимые и модельно-зависимые методы, локально-интерпретируемые и глобально-интерпретируемые методы, модели замещения (суррогатные модели) и модели визуализации, стратегии предварительного моделирования, внутримодельного моделирования и модели корректировки уже разработанной архитектуры нейронной сети. Более детально эти модели будут рассмотрены в следующем разделе.

Массовое появление этих методов связано в основном с начавшейся в 2018 г. программой DARPA по созданию ИИ третьего поколения (ОИИ). Эта программа потребовала не только прогресса в представлении знаний и рассуждений, машинном обучение, языковых технологиях, зрении и робототехники, но также тесной интеграции каждого компонента для реализации надежных и прозрачных ИС, способных работать автономно или в команде, уметь объяснить свои решения. Программа DARPA по созданию систем ОИИ объединяет 11 групп университетов США и стремится создать такие системы ИИ, чьи модели обучения и решения могут быть понятны и должным образом проверены конечными пользователями. Команды разработчиков ОИИ решают эту проблему путем создания и развития технологий объяснимого машинного обучения, исследуя принципы, стратегии и методы взаимодействия человека и компьютера для получения эффективных объяснений.

Система ОИИ обычно состоит из модели принятия решений, которую нужно объяснить, и из объясняющего интерфейса. Подобные системы часто разрабатывается в ситуации, когда у пользователя имеется ИС, которая будет рекомендовать пользователю решения возникающих у пользователя проблем из его предметной области. Для каждого типа ИС строятся свои объяснительные системы, которые в диалоговом режиме с пользователем помогут ему разобраться с возникшими вопросами и получить необходимые объяснения.

Например, команда Исследовательского центра Пало-Альто (PARC) (включающая исследователей из Университета Карнеги—Меллона, Армейского киберинститута, Эдинбургского университета и Университета Мичигана) разрабатывает интерактивную систему объяснений, которая может объяснить возможности и действия смоделированной беспилотной воздушной системы. Объяснения системы XAI должны сообщать, какую информацию она использует для принятия решений и как работает ее модель. Чтобы решить эту проблему, система объяснения и ее пользователи устанавливают общую основу для определения того, какие термины применять в объяснениях и их значения. Это обеспечивается интроспективной моделью дискурса PARC, которая чередует процессы обучения и объяснения [11, 12]. В России аналогичные проблемы ставятся в работе [13] в задачах интеллектуальной поддержки экипажа антропоцентрического объекта в процессе выполнения им задания на сеанс функционирования, которые обеспечиваются бортовыми ИС тактического уровня в форме представления экипажу рекомендуемого способа решения оперативно возникшей тактической задачи.

1. Применение ОИИ в нейросетях глубокого обучения. 1.1. ОИИ для прикладных ИС. В России уделяется большое внимание направлению ОИИ. Один из основных принципов развития и использования технологий ИИ, сформулированных в Национальной стратегии развития ИИ на период с 2018 до 2030 г., является прозрачность, объяснимость работы ИИ и процесса достижения им результатов, недискриминационный доступ пользователей продуктов, которые созданы с помощью технологий ИИ, к информации о применяемых в этих продуктах алгоритмах работы ИИ. Так, Нижегородский государственный университет в 2020 г. стал победителем в конкурсе крупных научных проектов от Минобрнауки России с проектом “Надежный и логически прозрачный искусственный интеллект: технология, верификация и применение при социально-значимых и инфекционных заболеваниях”. Главным результатом проекта стала разработка новых методов и технологий, позволяющих преодолеть два основных барьера систем машинного обучения и ИИ-проблемы ошибок и явного объяснения решений. В 2022 г. РЭУ им. Г.В. Плеханова выиграл проект РНФ “Гибридные модели поддержки принятия решений на основе методов дополненного искусственного интеллекта, когнитивного моделирования и нечеткой логики в задачах персонализированной медицины”, посвященный созданию медицинских систем нового поколения, базирующихся на применении ОИИ для нейросетей глубокого обучения в задачах медицинской диагностики.

Главной составляющей второй и третьей волн ИИ являются технологии глубокого обучения. Множество методов глубокого обучения можно разделить на обучение с учителем и обучение без учителя. В настоящее время эти методы неразрывно связаны с некоторым набором моделей глубоких нейросетей специального вида.

Первая группа методов требует для определения параметров сети наличия размеченных тренировочных наборов данных больших объемов. Как правило, размер наборов для обучения глубоких нейронных сетей на порядки превышает размеры тренировочных баз, используемых для обучения традиционных моделей машинного обучения. К моделям, которые обучаются с учителем, относятся многослойные полностью связанные нейронные сети, сверточные нейронные сети, рекуррентные нейронные сети. Эти модели различаются способами связи нейронов, находящихся на соседних слоях сети, и количеством нейронов предыдущего слоя, влияющих на состояние отдельных нейронов текущего слоя. При этом для начальной инициализации весов этих моделей — предварительного обучения — могут применятся модели второй группы. Вторая группа моделей не требует наличия размеченных тренировочных наборов данных для настройки параметров сети. К данной группе моделей относятся различные виды автокодировщиков, ограниченные машины Больцмана, разверточные нейронные сети, генеративно-состязательные сети.

Стоит отметить, что около 30% публикаций в Scopus, связанных с использованием глубоких нейросетей в ОИИ, принадлежат авторам, хорошо признанным в области нечеткой логики. В основном это связано с приверженностью нечеткого сообщества созданию объяснимых нечетких систем, поскольку прозрачность и интерпретируемость являются важными составляющими нечетких систем, отмеченными уже в работах создателя аппарата нечетких множеств и мягких вычислений Лотфи Заде. Одним из наиболее интересных направлений в области разработки объяснительных моделей ИИ является извлечение правил с помощью нейронечетких моделей. Системы, основанные на нечетких правилах (СОНП), разработанные с использованием нечеткой логики, стали областью активных исследований с появлением направления мягких вычислений в 1993 г. Эти алгоритмы доказали свои сильные стороны в таких задачах, как управление сложными системами и создание нечетких элементов управления. Взаимосвязь между обоими подходами (ИНС и СОНП) была тщательно изучена, показана их эквивалентность для нейронечетких систем. Это приводит к двум важным выводам. Во-первых, можно применить то, что было обнаружено для одной из моделей, к другой. Во-вторых, можно перевести знания, заложенные в нейронную сеть, на более когнитивно приемлемый язык — нечеткие правила. Другими словами, получаем один из вариантов семантической интерпретации нейронных сетей [11]. В дальнейшем это привело исследовательское сообщество к реализации идей гибридных подходов, таких, как гибридные когнитивные нечеткие модели с функциональным замещением (с сочетанием нечеткой, нейросетевой и эволюционной технологий), композиционные гибридные нечеткие модели с взаимодействием для комплексных задач анализа систем и процессов, которые позднее стали взаимодействовать с нейросетями глубокого обучения [14]. В результате появились новые гибридные системы, классифицируемые как глубокие нейронечеткие системы (ГННС), обладающие высокой интерпретируемостью и сравнимой с классическими системами глубокого обучения точностью. В качестве перспективного типа ГННС можно упомянуть последовательные гибридные сверточные сети, последние полносвязные слои которых заменены нейронечеткой сетью. Исследования, посвященные реализации ГННС, активно применяются в таких областях, как вычислительная техника, здравоохранение, транспорт и финансы [15].

1.2. Методы ОИИ для прикладных ИС в анализе цифровыхизображений. Методы построения систем ОИИ можно подразделить на зависящие от принципов их разработки группы [16]. Рассмотрим основные из них.

1. Модельно-независимые и модельно-зависимые методы. Модельно-независимые методы — это те, которые не учитывают внутренние компоненты модели. Следовательно, их можно применять к любой классической ИНС структуры “черного ящика”. Напротив, модельно-зависимые методы определяются с помощью параметров отдельной модели, таких, как интерпретация весов линейной регрессии, или с использованием выведенных правил из дерева решений, которые будут специфичны для обученной модели. У методов, не зависящих от модели, есть некоторые преимущества, такие, как высокая гибкость для разработчиков в выборе любой модели ИНС для генерации и интерпретации, которая отличается от фактической модели “черного ящика”, генерирующей решения.
2. Локально интерпретируемые и глобально интерпретируемые методы. В зависимости от объема пояснений предоставленные методы можно разделить на два класса: локальные и глобальные. Локально интерпретируемые методы используют один результат или конкретные результаты предсказания и классификации модели для создания объяснений. Напротив, глобально интерпретируемые методы используют все возможности модели и общее поведение модели для создания объяснений. В локально интерпретируемых методах существенны только специфические признаки и характеристики. Важность признаков для глобальных методов используется для объяснения общего поведения модели.
3. Модели замещения (суррогатные модели) и модели визуализации. Популярный способ трактовать модель “черного ящика” — применить интерпретируемую приблизительную модель, которая заменяет модель “черного ящика” для объяснения решений. Эта приблизительная модель называется суррогатной моделью или моделью-заменителем, которая обучена аппроксимировать прогнозы “черного ящика” и позже используется для получения объяснений, интерпретирующих решения из модели “черного ящика”. Примером модели “черного ящика” может быть глубокая нейронная сеть, тогда как любая интерпретируемая модель может быть суррогатной моделью, такой, как деревья решений или линейные модели. Как и суррогатные модели, модели визуализации предлагают визуальные объяснения и помогают генерировать объяснения в более презентабельной форме, показывают внутреннюю работу многих моделей и не зависят от типа модели (например, какие пиксели помогают отличить кошку от собаки или какие слова помогают решить, является ли документ спамом или нет).
4. Стратегии предварительного моделирования, внутримодельного моделирования и модели корректировки уже разработанной архитектуры нейронной сети ОИИ можно применять на протяжении всего процесса разработки модели нейронной сети. Цель предварительного моделирования объяснимости состоит в том, чтобы описать набор данных с целью получения более полного представления о данных, используемых для построения модели. Общие цели предварительного моделирования заключаются в обобщении данных, описании набора данных, разработке объяснимых признаков и исследовательском анализе данных. Напротив, цель внутримодельного моделирования состоит в том, чтобы разработать объяснимые по своей сути модели, а не создавать модели “черного ящика”. Методологически существуют разные стратегии или способы построения внутримодельных объяснений. Наиболее очевидным является разработка объяснимой по своей сути модели, такой, как линейные модели, деревья решений и наборы правил. Однако необходимы специальные усилия по выбору типов объяснений, встраиваемых в модель.
5. Подходы, выходящие за рамки объяснимых по своей сути моделей, такие, как гибридные модели, совместное прогнозирование и объяснение, а также объяснимость посредством архитектурных корректировок. При гибридном подходе модели черного ящика сочетаются с объяснимыми моделями для разработки высокопроизводительной и объяснимой модели, например объединение глубокого скрытого слоя нейронной сети с методом k-ближайших соседей. Кроме того, модель может быть обучена для совместного предоставления прогноза и соответствующего объяснения. Идея здесь состоит в том, чтобы создать обучающий набор данных, в котором решение дополняется обоснованием. Наконец, объяснения посредством корректировки архитектуры сосредоточены на архитектуре глубокой сети для повышения объяснимости, например, использование фильтров более высокого уровня для представления части объекта, а не смеси шаблонов.
6. Методы постмодельной объяснимости извлекают объяснения, которые по своей сути не могут быть использованы для предварительного описания разработанной модели. Эти популярные апостериорные методы ОИИ обычно работают с четырьмя ключевыми характеристиками: цель — что должно быть объяснено в отношении модели; драйвер — почему решение должно быть объяснено; семейство объяснений — как объяснение будет представлено пользователю; оценщик — вычислительный процесс, порождающий объяснение.

1.3. Классификация алгоритмов ОИИ. Классификация произведена с точки зрения соответствующего типа ОИИ в различных таксономиях по типам алгоритмов ИИ, которые они могут объяснить (табл. 1).

Таблица 1. Классификация алгоритмов ОИИ

Рассмотрим основные алгоритмы из табл. 1. Среди модельно-независимых стратегий ОИИ — локальные интерпретируемые модель-агностические объяснения LIME (local interpretable model-agnostic explanations). Они являются наиболее популярными алгоритмами, которые объясняют полученный прогноз. LIME реализует линейную интерпретируемую модель, суррогатную (замещающую) модель в качестве локального приближения для объяснения прогноза. Из-за локальной аппроксимации LIME работает со всеми моделями черного ящика и со всеми типами данных (например, с текстовыми данными, табличными данными, изображениями, графиками).

Алгоритм аддитивных объяснений Шепли SHAP (shapley additive explanations) принципиально отличается от LIME с точки зрения того, каким образом получаются оценки важности, и в целом работает лучше, чем LIME. В SHAP вклад функции в решение оценивается значениями Шепли — классическим методом оценки предельного вклада. Однако агрегированные локальные прогнозы могут использоваться для создания глобальных объяснений. Также существуют алгоритмы оптимизации с точки зрения вычислительной сложности для SHAP, такие, как TreeSHAP (древовидный SHAP) и DeepSHAP (глубокий SHAP), которые не зависят от модели.

Контрафактический алгоритм (counterfactual) — это еще один алгоритм, доступный как для модельно-независимых, так и для модельно-зависимых вариантов. Контрафактический алгоритм основан на объяснении прогноза алгоритма предиктора путем нахождения малейшего изменения значений входных признаков, вызывающего изменение исходного прогноза. Например, если изменение индекса массы тела человека привело к изменению первоначального прогноза с болезни на выздоровление, то использование значения индекса массы тела является ориентировочным объяснением для корреляции с исходным прогнозом, таким образом подразумевая подходящие для человека объяснения.

Послойное распространение релевантности LRP (layerwise relevance propagation) — это алгоритм, разработанный для объяснения глубоких нейронных сетей с предположением, что классификатор может быть разложен на разные уровни, что делает его модельно-зависимым методом. Алгоритм LPR разработан с учетом того фактора, что определенные уровни входных данных имеют отношение к прогнозу. Кроме того, чтобы получить представление о том, какие нейроны являются значимыми, оценки активации каждого нейрона учитываются посредством обратного прохода и в конечном итоге дают информацию о входных данных. Алгоритм наиболее часто применяется к данным изображения, чтобы выделить значимые пиксели, которые позволяют сделать определенный прогноз.

Объяснимое обучение с подкреплением XRL (explainable reinforcement learning) — многообещающая, но сложная исследовательская ветвь ОИИ, поскольку модель обучения с подкреплением RL (reinforcement learning) часто содержит огромное количество состояний. Тем не менее XRL может ускорить процесс проектирования RL, облегчая разработчикам отладку систем. Существует классификация методов XRL, основанная на типах объяснений (текст или изображения), на уровне объяснения (локальный, только для прогнозов, или глобальный, если объясняется вся модель), а также на типах объясняющих алгоритмов.

Программно-интерпретируемое обучение с подкреплением PIRL (programmatically interpretable reinforcement learning) является примером глобально-интерпретируемого метода. Идея PIRL заключается в использовании языка программирования, гораздо более близкого к человеческому мышлению для имитации поведения модели глубокого обучения с подкреплением DRL (deep reinforcement learning). PIRL применяет структуру под названием нейроуправляемый программный поиск NDPS (neurally directed program search) для изучения поведения модели DRL путем имитации обучения. Таким образом, существует два шага: построение DRL и извлечение знаний о модели DRL для создания последовательности действий. Прогнозы, получаемые алгоритмом PIRL не такие точные, как у нейронной сети, но они могут быть гораздо более понятными. Модель PIRL успешно применялась в открытом гоночном симуляторе TORCS (the open racing car simulator).

Иерархическое интерпретируемое приобретение навыков в многозадачном обучении с подкреплением является примером локально-интерпретируемой модели. Этот подход состоит в представлении модели с высокоуровневыми действиями в виде последовательности более простых действий, поскольку она более знакома людям. Этот подход использовался для игры в Майнкрафт (minecraft), и он реализует иерархическую модель, основанную на двух уровнях, с помощью алгоритма актер-критик, он же использовался для объяснения многозадачной модели RL, играющей в Майнкрафт. Для объяснения модели RL также применяется модель стохастической временной грамматики, чтобы зафиксировать все отношения между действиями для создания иерархической модели. Люди часто просто просят припарковать автомобиль, вместо того чтобы определять все действия, связанные с рулем, сцеплением, акселератором и тормозом.

Метод иерархических политик (hierarchical policies) является еще одним встроенным в модель методом. Он используется для интерпретации процесса принятия решений в многозадачных сложных системах RL, но локально. Основной принцип этого подхода заключается в разбиении сложной задачи на более мелкие подзадачи, которые будут решаться с помощью уже изученных действий или путем овладения новым навыком.

Структурно-причинные модели SCM (structural causal model) — это очень четкий способ представления причинно-следственных связей событий. В SCM часто используется ориентированный ациклический граф DAG (directed acyclic graph), в котором узлы представляют состояния, а ребра — действия. Проходя по графу, можно наблюдать, какие действия приводят из одного состояния в другое. Процесс состоит из трех основных этапов: создание DAG; использование моделей многомерной регрессии для аппроксимации взаимосвязей с помощью минимального количества переменных; объяснения путем анализа переменных DAG, чтобы ответить на вопросы: “Почему действие A?” и “Почему не действие B?”.

1.4. Особенности применения в медицине. Далее на примере нескольких типов ИС в области медицины, основанных на анализе цифровых изображений нейронными сетями глубокого обучения, рассмотрены результативные объяснительные системы и продемонстрирована их эффективность для пользователя.

Отдельно стоит отметить, что использование объяснений в медицинских системах является традиционным для ИИ. Так, уже первая экспертная система MYCIN имела вопросно-ответный функционал в системе объяснений на базе дерева вывода, что можно считать вариантом ОИИ. Системы, основанные на знаниях, появившиеся в 1970-х годах прошлого века, также имели в своей структуре блок объяснения результата. Примерами таких систем являются NEOMYCIN и GUIDON. Успешное внедрение ИИ и машинного обучения в медицинские системы заставило задуматься о важности объяснения результатов как одной из первоочередных задач создания подобных систем.

Применение методов объяснения результатов в медицинских системах поддержки принятия решений способно вывести их на совершенно новый уровень, устранить семантический пробел, возникший при разработке подобных решений инженерами и дальнейшем их использовании клиницистами. Указанная проблема является общей для всех интерактивных медицинских систем, но особую актуальность приобретает при наличии в основе таких систем технологии нейросетей.

Так, для создателей систем поддержки принятия решений важно понимать, как модель получает те или иные результаты для улучшения ее характеристик и разработки новых алгоритмов. Нередко плохой результата после обучения модели тормозит процесс ее создания, так как нет понимания, почему это произошло. Возникает вопрос о наличии ошибок в реализации модели, приводящих к ухудшению результата. Учитывая многоэтапность создания модели, для поиска ошибок необходимо будет пройти все этапы построения модели и обучения заново. Использование методов ОИИ позволяет избежать необходимости пересмотра этапов создания модели за счет выявления ключевых признаков, сыгравших роль в предсказании результата (рис. 2).

Рис. 2. Объяснение для инженеров

Клиницистам как конечным пользователям продукта важно понимать алгоритм получения моделью результата. Возможна ситуация, когда клиницист убедился в компетентности ИС, которая для ряда возникших случаев дала ему правильные диагнозы и успешно решила возникшие проблемы. Но вот для очередной проблемы ИС рекомендовала решение, с которым пользователь не согласен. Клиницист ставит свой диагноз, отметив при этом, что в базе знаний его ИС произошел “семантический отказ”. Это может быть связано с неполнотой базы знаний, плохими обучающей выборкой или алгоритмом обучения, но может быть правильным решением, в справедливости которого нужно убедить пользователя. Получить обоснование результата можно за счет выделения ключевых признаков, повлиявших на результат предсказания. Эти признаки могут быть показаны клиницисту как в виде визуального объяснения, так и в виде текстового объяснения (рис. 3).

Рис. 3. Объяснение для клиницистов

Использование методов ОИИ в медицинских системах соответствует современным требованиям, предъявляемым к таким системам. Например, в Европейском союзе были разработаны основные требования к моделям ИИ в медицине, необходимые для повышения доверия к подобным алгоритмам.

1. Надежный контроль и свобода для человеческой деятельности. Подразумевается, что системы ИИ должны позволять людям самостоятельно принимать обоснованные решения и укреплять их собственные права, а не ущемлять их. ИИ должен расширять возможности людей, но не заменять их. Но также необходимо обеспечить надежный контроль за качеством выполняемых работ.
2. Помехоустойчивость и безопасность. Системы ИИ должны обладать высоким уровнем помехоустойчивости и безопасности. Системы, в том числе и медицинские, должны обеспечивать возможность разработки запасных планов действий, если основной план не сработал, они должны быть точными и легко воспроизводимыми вновь в случае сбоя.
3. Конфиденциальность и управление данными. Системы ИИ должны обеспечивать высокий уровень конфиденциальности и защиты данных, а также обладать всеми принципами эффективного управления данными.
4. Прозрачность моделей ИИ. Системы ИИ должны быть прозрачными, что является одним из основных принципов объяснимых моделей ИИ. Системы ИИ должны иметь такие способности объяснения, которые позволят адаптировать их для всех сторон — врачей и пациентов, профессионалов и простых пользователей. Системы должны информировать пользователей обо всех своих возможностях и ограничениях.
5. Разнообразие, недискриминация и справедливость. Системы ИИ должны избегать предвзятости, дискриминации и маргинализации уязвимых групп населения. Разнообразие подразумевает доступность систем ИИ для всех групп населения, независимо от их социального статуса и состояния здоровья.
6. Социальное и экологическое благополучие. Системы ИИ должны приносить пользу всем людям, в том числе и будущим поколениям. Они должны способствовать улучшению экологии, взаимодействовать и оценивать окружающую среду и социальное воздействие.
7. Подотчетность. Необходимо внедрять механизмы для обеспечения полной подотчетности систем ИИ. Необходима возможность аудита, оценки алгоритмов и данных, особенно это важно в таких критически значимых отраслях, как здравоохранение.

Применение ОИИ в медицине поможет не только устранить ограничения существующих решений ИИ, но и перейти на качественно новый уровень благодаря новому подходу к медицине — концепции Здравоохранения 5.0 (Healthcare 5.0) — ставящему в основу создание персонализированной медицины, появление и развитие систем медицинского ИИ. В сфере анализа медицинских изображений применение методов ОИИ уже позволило достичь результатов. Предоставление визуального объяснения результата работы ИНС способно увеличить уровень доверия медицинского персонала за счет представления интуитивно понятного объяснения в виде тепловой карты. Согласно обзору [17], на конец 2020 г. в базе данных Scopus суммарно было проиндексировано 223 публикации по исследованию возможностей применения ОИИ в анализе медицинских изображений.

Одной из областей медицины, где использование систем на основе ИИ и с помощью технологии ОИИ позволяет существенно улучшить результат, является офтальмология. Возможности ИИ в анализе изображений глаза с целью диагностики заболеваний исследовались в нескольких обзорах [18—20]. Авторы публикаций отмечают невысокую распространенность применения ИИ в анализе офтальмологических изображений. Системных обзоров применения ОИИ для тех же целей до настоящего времени нами не найдено.

Медицинскими изображениями в офтальмологии являются снимки высокого разрешения, полученные при офтальмоскопии — неинвазивной процедуре, позволяющей оценить состояние сетчатки, хрусталика, диска зрительного нерва, глазного дна, которая проводится с помощью офтальмоскопа. Офтальмоскопия бывает двух типов: прямая (не перевернутое изображение с 15-кратным увеличением) и непрямая (перевернутое изображение с не более чем 5-кратным увеличением). Офтальмоскоп представляет собой прибор (стационарный или ручной), использующий поток направленного света и линзы для увеличения изображения. Современные офтальмоскопы также имеют возможности подключения к персональному компьютеру для вывода изображения [21]. Другим вариантом медицинского изображения в офтальмологии является снимок оптической когерентной томографии (ОКТ) — метода диагностики офтальмологических заболеваний, заключающегося в визуализации структур глаза в сверхвысоком разрешении с помощью низкокогерентной интерферометрии для получения изображений поперечного сечения сетчатки и диска зрительного нерва [22].

Существуют созданные на основе цифровых технологий системы, позволяющие проводить осмотр работающих в опасных условиях. В [23] представлена специализированная система предрейсовых медицинских осмотров, использующая комплексный подход для предполетной диагностики состояния организма пилотов и членов экипажа. Внедрение в подобные системы решений на основе ИИ и ОИИ позволят повысить доверие к результатам работы и снизить нагрузку с оператора системы. Применение методов объяснения результатов в задачах диагностики состояния здоровья в ответственных системах имеет особое значение в контексте полного понимания врачом-диагностом результатов, полученных из системы [24]. Отечественные работы по исследованию возможностей раннего обнаружения патологий зрения методами интеллектуального анализа, отличающимися особым подходом к формулированию проблемы и нестандартными решениями представлены в [25]. В этих публикациях в основном рассматриваются возможности электроретинографии, что более предпочтительно для углубленной диагностики зрения, осуществляемой на базе высокоспециализированных центров, а не массовой диагностики на уровне первичного звена здравоохранения.

2. Методы ОИИ в обработке изображений в офтальмологии на основе нейронных сетей глубокого обучения. 2.1. Методы библиометрического анализа проблемной области. В исследовании авторами был проведён обзор публикаций, за прошедшие 5 лет, с 2018 до 2023 г., размещённых как в онлайн-библиотеках (Scopus, IEEE Digital Library, PubMed, ScienceDirect), так и отобранных с помощью поискового сервиса Google. В последнем случае, публикация должна была индексироваться в научных базах Scopus или Web of Science. Публикации подбирались с использованием поиска по ключевым словам и их комбинациям: “explainable artificial intelligence”, “explainable ai”, “xai”, “eye disease”, “glaucoma”, “diabetic retinopathy”, “cataract”, “retina”, “fundus image”, “eye image”, “ophthalmology”, “ophthalmoscopy”, “oct”. Результатами поиска стали 81 публикация, из которых отобрано 33 работы. Критериями отбора стали упоминание диагностики одного из офтальмологических заболеваний как цели исследования и применение методов ОИИ как визуального объяснения. Распределение исследований по годам публикаций и более подробное деление по исследуемым заболеваниям представлено на диаграммах ниже (рис. 4, 5).

Рис. 4. Количество публикаций по годам

Рис. 5. Количество публикаций по годам с разбиением на глазные заболевания

На основании представленных на диаграммах распределений можно сделать вывод о том, что количество исследований с помощью ОИИ в классификации офтальмологических заболеваний невелико по сравнению, например, с использованием ОИИ для анализа КТ/МРТ-снимков головного мозга (n = 42) или грудной клетки (n = 33), проиндексированных в систематическом обзоре [17]. Стоит отметить, что не обнаружено существенной разницы между количеством исследований применения методов объяснения для классификации глаукомы (n = 13) и диабетической ретинопатии (n = 12). Однако нами не было обнаружено отдельных исследований с помощью ОИИ при классификации катаракты. Проиндексированы исследования, содержащий использование методов объяснения в поиске редких глазных заболеваний на основании анализа фото/ОКТ-снимков (n = 4). Отдельно в обзоре упоминаются работы, посвященные улучшению качества исходных снимков при анализе изображений глазного дна и зрительного нерва (n = 3).

2.2. Методы ОИИ. 2.2.1. Определение. Таксономия. Методы объяснения результатов работы ИНС являются основной темой, когда речь идет о применении ОИИ в какой-либо задаче. Рассуждая об этом, мы говорим об использовании одного из многих методов объяснения результата работы ИНС (методов ОИИ).

Для правильного определения ОИИ необходимо найти ключевые термины в этой области — интерпретируемость и объяснимость, разобраться в их соотношении.

Интерпретируемость (interpretability) — способность модели машинного обучения к представлению механизма своей работы понятным для пользователя образом.

В то же время сама по себе интерпретируемость не может решить проблему объяснимости применительно к ИНС, но полезна для улучшения обучаемости [26]. Часто в литературе вместо слова интерпретируемость используется близкое ему по значению — прозрачность.

Прозрачность (transparency) — свойство модели быть понятной априори, без применения методов интерпретации. Выделяют прозрачные (линейная и логическая регрессия, деревья решений, метод k-ближайших соседей, байесовские модели, обобщенные аддитивные модели) и непрозрачные модели (ансамбли деревьев решений, метод опорных векторов, ИНС) машинного обучения [27].

Объяснимость (explainability) — свойство модели, относимое к процессу представления результатов ее работы пользователю в виде понятного интерфейса. Иными словами, краткое описание причины принятия моделью определенного решения, представленное, чаще всего, в интерактивном виде, но не позволяющее понять полный алгоритм его принятия. Таким образом, методы объяснения результата (методы ОИИ) — это внешние (model-agnostic) или использующие внутреннюю структуру объекта объяснения (model-specific) методы, позволяющие получить визуальное представление (visual explanation) о работе исследуемой модели ИНС (объяснение “черного ящика”) путем вывода интерактивного интерфейса. Объяснения могут даваться как в отношении модели в целом (global explanations), так и относительно работы модели на одном конкретном примере (local explanations). Объяснение результатов работы модели является постфактум- объяснением (post-hoc explanation).

Существует множество таксономий методов ОИИ [28—30]. В нашем исследовании будем использовать таксономию и определения, введённые в [27, 31].

Среди отобранных нами работ применялись следующие методы объяснения: CAM (n = 11), Grad-CAM и его вариации (n = 8), GBP (n = 3), LIME (n = 2), SHAP (n = 1), MIL (n = 2), IG (n = 1), TA (n = 1).

Методы LIME, SHAP, CAM, Grad-CAM, GBP, IG, согласно универсальной таксономии, предложенной в [31], относятся к методам, основанным на вычислении важности признаков. Этими признаками для задач работы с изображениями являются пиксели и их группировки на изображении. При этом методы, имеющие в основе своей работы создание суррогатной выборки (LIME) или компоненты теории игр (SHAP), могут применяться к любой модели машинного обучения. В то же время методы (CAM, Grad-CAM, GBP, IG), представляющие объяснения за счет вычисления карт активации классов и обратного распространения градиента, могут давать объяснения лишь для ИНС. Ниже приведено краткое описание принципов работы приведенных методов.

2.2.2. Метод CAM. Метод карты активации класса CAM (class activation mapping) был предложен в 2016 г. Принцип работы метода основан на создания карты локализации искомого класса на исследуемом изображении путем расчета взвешенной суммы карт активации классов последнего свёрточного слоя в объясняемой модели [32].

Метод CAM может применяться практически для всех архитектур ИНС, имеющих в своем составе свёрточные слои. Активно используется при объяснении работы ИНС в задачах классификации и поиска объектов на изображениях, например при объяснении классификации изображений свёрточной нейронной сетью VGG-16. Архитектура VGG-16 представлена пятью блоками свёрточных слоев и следующими за каждым из блоков экстракторами признаков — пятью слоями пулинга, а завершают цепочку три полносвязных слоя перед последним слоем Softmax.

Использование CAM для работы с любой архитектурой ИНС представляет собой имплементацию метода к последнему сверточному слою. Для VGG-16 — это последний свёрточный слой пятого блока (Conv 5-3). Размерность этого слоя свертки составляет i × j × 512, где i и j — размерность свёртки, а 512 — количество каналов (карт признаков — A_k), сопоставленных с метками классов набора данных для обучения. Так, для VGG-16, обученной на наборе данных ImageNet, количество меток составит 1000.

Карта активации целевого класса M_c показывает с помощью интенсивности цвета на тепловой карте важность пикселя f_k в точке с координатами (x, y) в полученном предсказании, где $w_c^k$ — вес важности предсказанного класса c:

$\begin{array}{c}{S}_c=\underset{x,y}{}\underset{k}{}{w}_c^k{f}_k\left(x,y\right),\end{array}$ (2.1)

$\begin{array}{c}{M}_c\left(x,y\right)= \underset{k}{}{w}_c^k{f}_k\left(x,y\right).\end{array}$ (2.2)

Обобщенный алгоритм работы метода CAM приведен на рис. 6, а схема получения визуального объяснения работы ИНС — на рис. 7.

Рис. 6. Алгоритм работы метода CAM

Рис. 7. Получение визуального объяснения с помощью метода CAM

2.2.3. Метод Grad-CAM. Метод градиентной карты активации класса Grad-CAM (gradient-class activation mapping) предложен в 2017 г. [33] и является обобщённой версией CAM, лишенной необходимости замены всех полносвязных слоев свёрточными. Grad-CAM использует вычисление градиента целевого класса для создания карт активации классов.

Алгоритм Grad-CAM (созданный на основе CAM) похож на предшествующий, но имеет несколько принципиальных отличий. Карты признаков A_k объединяются с помощью глобального среднего значения GAP (global average pooling), для каждого класса c ниже рассчитывается итоговое значение Y. Вычисляется градиент оценки класса Y^c относительно карт признаков A_k, который затем усредняется относительно размеров карт активации Z и определяются веса важности нейрона $w_k^c$, показывающие важность функции k для класса c:

$\begin{array}{c}{Y}^c=\underset{k}{}{w}_k^c\underset{i,j}{}{A}_{i,j }^k ,\end{array}$ (2.3)

$\begin{array}{c}{w}_k^c=\frac{1}{Z}\underset{i,j}{}\frac{\partial y^c}{\partial A_{i,j}^k} .\end{array}$ (2.4)

На финальном этапе создается визуальное объяснение в виде тепловых карт с помощью активации прямого распространения ReLU, применяемое к взвешенной комбинации карт активации. ReLU (rectified linear unit) — это функция активации, широко используемая в нейронных сетях. Она определяется следующим образом: ReLU(x) = max(0, x). Если значение входа x положительное, то ReLU просто возвращает его. Если x отрицательное или равно нулю, то ReLU равно нулю, что позволяет избежать проблемы исчезающего градиента, присущей другим популярным функциям активации (сигмоида и гиперболического тангенса). Применение ReLU необходимо для выделения с помощью интенсивности цвета пикселей, входящих в регионы изображения, которые имеют наибольшую важность в предсказании целевого класса через обнуление отрицательных значений. Схема получения объяснения предсказания ИНС с помощью метода Grad-CAM представлена на рис. 8:

$\begin{array}{c}{L}_{Grad-CAM}^c=ReLU\left(\underset{k}{}{w}_k^c{A}^k\right).\end{array}$ (2.5)

Рис. 8. Получение визуального объяснения с помощью метода Grad-CAM

Основными достоинствами методов CAM и Grad-CAM являются простота имплементации в объясняемую модель, при этом использование Grad-CAM не нуждается в замене слоев. Эти методы совместимы с различными типами выводов свёрточной нейронной сети для решения задач классификации изображений (визуальное объяснение) и создания подписей к изображениям (текстовое объяснение). Методы не требуют больших вычислительных затрат и значительного времени для получения объяснения и для них имеется репозиторий с открытым кодом [34, 35]. К основному недостатку метода Grad-CAM относят визуальное объяснение в виде грубой цифровой карты, которая не может дать представление о точных границах региона значимых признаков. Также при наличии на изображении нескольких объектов одного класса тепловая карта будет захватывать область между ними. Недостатком метода CAM является необходимость замены полносвязных слоев нейросети свёрточными слоями.

2.2.4. Метод GBP. Метод управляемого обратного распространения GBP (guided back propagation) был предложен в 2014 г. [36]. Он основывается на идее вычисления обратного распространения градиента и приравнивания отрицательных градиентов к нулю, что оставляет при визуализации объяснения лишь области изображения с наибольшим вкладом в предсказание.

2.2.5. Метод LIME. Метод локальных интерпретируемых модель-агностических объяснений для визуального объяснения результатов работы любой модели машинного обучения, основанный на локальной аппроксимации областей отдельного предсказания путем создания суррогатного набора примеров и признаков, а затем его оптимизации на базе метода Лассо. Визуальный вывод представляется пользователю в виде выделенных цветом областей изображения в зависимости от важности их роли в формировании итогового предсказания [37].

Алгоритм получения объяснения методом Лассо представлен на рис. 9:

$\begin{array}{c}\epsilon \left(x\right)=\arg \underset{g \in G}{\min }L\left(f, g, {\pi }_x\right)+ \Omega \left(g\right) ,\end{array}$ (2.6)

где x — признаки, g — модель объяснения из общего семейства моделей G, f — предиктор, π_x — мера близости между экземплярами класса; $\begin{array}{c}L\left(f, g, {\pi }_X\right)= \underset{z, z^{\text{'}}\in Z}{\overset{n}{\int }}{\pi }_x\left(z\right),\end{array}$(2.7)

где g — модель для обучения, z' — экземпляр обучающих суррогатных данных.

Рис. 9. Алгоритм работы метода LIME

Модификацией метода стал GraphLIME [38], предложенный в 2022 г. Данный метод был разработан для применения к графовым нейронным сетям. Его основой послужило использование критерия независимости Гильберта—Шмидта, который представляет собой нелинейный метод выбора признаков. Из-за необходимости генерации суррогатной выборки основным недостатком метода стала скорость получения объяснения, напрямую зависящая от объема выборки [39]. К достоинствам метода LIME относят возможность его применения для объяснения любой модели машинного обучения на любом типе данных, а также открытый доступ к репозиторию с кодом [40].

2.2.6. Метод SHAP. Метод, основанный на теоретико-игровом подходе Шепли, который может быть использован для объяснения любой модели машинного обучения. Он предназначен для локальных объяснений, а его отдельные вариации — для получения глобальных объяснений. Значение Шепли — это принцип оптимальности распределения выигрыша среди игроков коалиции в задачах кооперативных игр [41]. На основе этого подхода С. Лундберг в 2017 г. предложил метод аддитивного объяснения Шепли, заключающийся в объяснении предсказания целевого класса (выигрыша) путем вычисления распределения вклада отдельных признаков (игроков) из общего числа всех признаков (коалиции). В случае объяснения результата задачи классификации изображения, необходимо установить вклад отдельных участков изображения (суперпикселей) в предсказание, определенное ИНС [42].

Получение объяснения методом SHAP происходит путём вычисления значения вклада каждого отдельного признака в общий результата, где φ_i — значение Шепли для признака i, f — модель “черного ящика”, x — входящие данные, z’ — это подмножество вектора x’ (сохранены только ненулевые элементы) и |z’| равно количеству таких ненулевых элементов вектора z’:

$\begin{array}{c}{\varphi }_i\left(f,x\right)= \sum _{}^{}_{z^{\text{'}}\in x^{\text{'}}}^n\begin{array}{c}\begin{array}{c}\frac{\left|z^{\text{'}}\right|!\left(M-\left|z^{\text{'}}\right|-1\right)!}{M}\left[f_x\left(z^{\text{'}}\right)-f_x\left(\frac{z^{\text{'}}}{i}\right)\right]\end{array}\end{array}.\end{array}$ (2.8)

С. Лундберг также предложил несколько вариаций метода для создания объяснения конкретных моделей машинного обучения.

Tree Explainer — метод объяснения для деревьев решений. Идея метода заключается в получении глобального объяснения модели через локальные объяснения. Авторами был создан алгоритм локального объяснения деревьев решений за полиномиальное время на основе точных значений Шепли.

Deep Explainer основан на адаптации метода DeepLIFT и используется для получения объяснений в глубоких нейронных сетях.

Linear Explainer (Linear SHAP) оценивает значения SHAP, используя весовые коэффициенты модели с учетом независимых входных характеристик. Применяется для линейных моделей, если предполагается независимость входных признаков.

Kernel Explainer (Kernel SHAP) выполняет метод атрибуции аддитивных признаков случайным образом, сделав выборку коалиций путем удаления признаков из входных данных и линеаризации влияния модели с помощью ядер SHAP. Универсальность подхода достигается за счет уменьшения количества оценок, необходимых для получения объяснения. Алгоритм работы метода представлен на рис. 10.

Рис. 10. Алгоритм работы метода Kernel SHAP

Достоинством метода является вариативность объектов объяснения и наличие сложившийся библиотеки, находящейся в открытом доступе [43]. Недостатками метода выступают как необходимость больших вычислительных затрат для получения объяснения, так и возможность некорректного объяснения за счет выделения суперпикселей, относящихся к признакам-паттернам (участки фона изображения, повторяющиеся части изображений) набора данных [44]. В [45, 46] отмечено, что значения Шепли как основа метода игнорируют причинно-следственную структуру объясняемой модели. Для решения этой проблемы предлагается использовать ассиметричные значения Шепли, которые за счет применения причинно-следственной информации значительно улучшают точность и полноту объяснения работы исследуемой модели.

2.2.7. Метод MIL. Метод обучения с помощью нескольких примеров MIL (multiple instance learning) как метод визуализации объяснения использует подход на основе патчей для локализации участков изображения, внесших наибольший вклад в предсказание. Для MIL суррогатная выборка состоит из патчей экземпляров целевого класса, при этом патчи маркированы, а экземпляры в них — нет. Патч — это набор $X_i=\left\{x_{i,j} \right.\vee j= \left.\overline{\mathrm{1,}{N}_i}\right\} \subset {ℝ}^m$ из N_i экземпляров, где каждый экземпляр является m-мерным вектором признаков [47].

Метод не получил широкого распространения, имеются лишь единичные работы с его использованием в качестве визуального объяснения из-за специфики трактовки принципов его работы и отсутствия открытого репозитория с программной реализацией.

2.2.8. Метод IG. Метод интегрированных градиентов IG (integrated gradients) — метод объяснения, основанный на сопоставлении прогноза модели с ее входными функциями. Он определяет значение важности для значения функции в конкретной точке изображения по формуле путем интегрирования градиента по данному измерению [48]:

$\begin{array}{c}{\varphi }^{IG}\left(f,x,x^{\text{'}}\right)=\left(x_i-x_i^j\right)\underset{0}{\overset{1}{\int }}\frac{\partial f\left(x^{\text{'}}+a\left(x-x^{\text{'}}\right)\right)}{\partial x_i}da ,\end{array}$ (2.9)

где $\partial f\left(x\right)/\partial x_i$ — градиент функции f(x) по i-му измерению для входных данных x и базовой точки x’.

Большим недостатком для использования метода интегрированных градиентов для объяснения предсказаний глубоких нейронных сетей является проблема насыщения — градиенты входных признаков могут иметь небольшие значения вокруг выборки, даже если сеть сильно зависит от этих признаков.

2.2.9. Метод TA. Метод обучаемого внимания TA (trainable attention) в отличии от методов, фокусирующихся на определенных участках изображения, выделяет, где и в какой пропорции сеть уделяет внимание входным изображениям для классификации. В дальнейшем эти результаты используются для усиления соответствующих областей и подавления нерелевантных областей [49]. Исходный код TA представлен в открытом репозитории [50].

В табл. 2 приведен сравнительный анализ описанных ранее методов объяснения результатов, принадлежность каждого метода к одной из групп (backpropagation-based, perturbation-based) и типов методов (Model-agnostic, Model-specific) по типу (model-based, post-hoc) и виду (global, local) объяснения.

Таблица 2. Сравнение методов визуального объяснения

3. Современное состояние в области использования методов ОИИ в офтальмологии. 3.1. Диабетическая ретинопатия. Одним из наиболее частых осложнений у пациентов с сахарным диабетом является диабетическая ретинопатия — хроническое прогрессирующее нейромикрососудистое, последовательно развивающееся заболевание, связанное с поражением сосудов глаза, которое при отсутствии ранней диагностики и должного лечения приводит к частичной или полной слепоте [51]. Заболевание преимущественно поражает больных сахарным диабетом I типа — 27.2% случаев, по сравнению с больными сахарным диабетом II типа, на которых приходится 13% случаев [52]. К основным факторам риска развития диабетической ретинопатии у больных сахарным диабетом относят постоянный повышенный уровень глюкозы в крови (гипергликемия) и повышенное артериальное давление (артериальная гипертензия) [53].

Существует несколько классификаций стадий диабетической ретинопатии. В России общепринятой считается классификация диабетической ретинопатии, выделяющая три стадии (формы) заболевания: непролиферативная (НПДР), преполиферативная (ППДР) и пролиферативная (ПДР) [54]. В отдельных исследованиях по применению ИИ для классификации диабетической ретинопатии можно встретить две основные формы НПДР (Non-proliferativeDR (NPDR)), ПДР (ProliferativeDR (PDR)) и три подвида НПДР (Microaneurysms (Mild), Hemorrhages (Moderate), Exudates (Severe)) [55] (рис. 11).

Рис. 11. Стадии диабетической ретинопатии (DR): a) Without DR, b) Early DR, c) Mild DR, d) Moderate NPDR, e) Severe NPDR, f) Proliferative DR [56]

Отобранные для обзора публикации по исследованию применения методов объяснения при анализе медицинских изображений представлены в табл. 3, 4.

Таблица 3. Диабетическая ретинопатия

Таблица 4. Диабетическая ретинопатия (продолжение)

Приведенные в табл. 3 DL-составляющие исследований показывают, что меньшинством исследователей (n = 5) были выбраны стандартные архитектуры ИНС, представленные в библиотеке моделей Keras [93]. Архитектуры ИНС авторской разработки были выбраны в большинстве случаев (n = 6) [73, 80, 82, 84, 88, 89].

В табл. 4 представлены методы объяснения результата и метрики качества объяснения (при наличии), используемые в обозреваемых публикациях. Наиболее часто для объяснения результатов применялся метод CAM (n = 6), остальные методы — в единичных случаях: MIL (n = 2), Grad-CAM (n = 1), IG (n = 1). Предпочтение в применении метода CAM во многом связано как с удобством его имплементации, так и возможностями визуализации вывода [94] (рис. 12). Представлена визуализация объяснения классификации диабетической ретинопатии методом CAM.

Рис. 12. Результаты использования ОИИ в классификации диабетической ретинопатии [94]

Анализируя табл. 4, можно увидеть, что в подавляющем большинстве исследований не используются метрики оценки качества объяснения. Это связано с их существующим многообразием и их различием для разных методов ОИИ. Подобный вывод также был сделан в обзоре исследований по применению ОИИ в анализе рентгеновских снимков [95], где 81.56% отобранных публикаций не применяли метрики оценки качества объяснений.

3.2. Глаукома. Глаукомы являются особой группой заболеваний (невропатий) зрительного нерва, характеризующихся постоянно прогрессирующими дегенеративными изменениями ганглиозных клеток сетчатки глаза, обеспечивающих генерацию нервных импульсов. Заболевание сопровождается симптомами повышенного внутриглазного давления и повреждениями структур глаза. Патогенез глаукомы до конца не изучен. Глаукома при несвоевременной диагностике и отсутствии лечения в подавляющем большинстве случаев, приводит к полной потере зрения [96]. Согласно отечественным и зарубежным исследованиям, глаукомы выступают наиболее частой причиной потери зрения среди населения мира вне зависимости от уровня социального благополучия стран проживания. Снимок глазного дна с поражённым глаукомой глазным нервом представлен на рис. 13.

Рис. 13. Поражение глаза глаукомой [102]

Поскольку единственным доступным неинвазивным методом лечения глаукомы остается снижение уровня внутриглазного давления, то на первый план выходит задача ранней диагностики заболевания. Использование методов компьютерной диагностики за последнее десятилетие возросло в несколько раз.

Учитывая актуальность ранней диагностики глаукомы [97—102], с каждым годом появляется множество исследований по применению методов машинного и глубокого обучения для решения задачи. Благодаря росту использования нейронных сетей в медицине в последние годы установился тренд на преобладание методов, основанных на глубоком обучении в диагностике глаукомы на базе анализа снимков глазного дна [103—107] и ОКТ-снимков [108—110], что показано в представленных систематических обзорах. Точность большинства решений по диагностике глаукомы на основе нейронных сетей составляет более 95% и является приемлемой для практики.

Однако, несмотря на достигнутые успехи, одной из самых актуальных остается проблема отсутствия прозрачности при получении результата, что ведет к снижению доверия к технологии и решениям со стороны врачей-офтальмологов.

Представленные в табл. 5 характеристики DL-составляющей исследований говорят о предпочтении собственных архитектур стандартным вариантам из библиотеки Keras.

Таблица 5. Глаукома

Авторские архитектуры (n = 7) рассмотрены в исследованиях [111, 114, 117, 121, 123, 125, 127]. Как следует из табл. 6, метрики оценки объяснимости в данных работах не использовались.

Таблица 6. Глаукома. Сравнительная таблица (продолжение)

Применяемые для обучения нейросетей наборы данных также не отличаются разнообразием и в среднем содержат от 600 до 1000 изображений. Наибольшим по количеству примеров, использованных для обучения, стал набор данных LAG, содержащий 4 250 изображений.

3.3. Другие заболевания и методы улучшения результата объяснения. Использование методов объяснения результатов в офтальмологии не ограничивается лишь двумя вышеперечисленными заболеваниями. Существуют также некоторые другие, менее распространенные состояния, к диагностике которых исследователи также применили методы ОИИ. Нельзя забывать о важности наличия качественных снимков для правильной диагностики. В вопросах повышения качества офтальмологических снимков, поисков в них аномалий и устранения артефактов также помогает ОИИ. Речь об этом пойдет в данном разделе.

В [129] предлагается использовать новый Few-Shot Learning фреймворк для обучения ИНС классификации редких заболеваний, таких как передняя ишемическая нейропатия зрительного нерва. Автор отмечает, что предложенный подход способен устранить проблему необходимости большого количества примеров при традиционном обучении ИНС. Результатами исследования стало достижение показателей AUC в 0.938 при обучении сети на наборе данных, полученном из телемедицинской системы OPHDIAT [130], содержащей 164 660 изображений. Использование метода объяснения GBP позволило минимизировать ошибки детектора и показало возможность классифицировать 37 из 41 заболевания, входящего в OPHDIAT.

Несмотря на большое количество исследований (например, [131—139]), посвящённых объяснению различных медицинских изображений в офтальмологии, обзорные работы по ОИИ в области офтальмологии очень редки. Только в сентябре 2023 г. появился первый обзор по ОИИ [140], гораздо более узкий, чем настоящее исследование. Там также предложено несколько методов ОИИ, которые все чаще применяются в офтальмологических DL-приложениях, преимущественно в задачах анализа медицинских изображений.

Заключение. Рассмотрена эволюция методов ОИИ для распознавания объектов на цифровых изображениях. Рассмотрены классификация методов ОИИ для прикладных интеллектуальных систем, применение ОИИ в нейросетях глубокого обучения, примеры реализованных методов ОИИ в области анализа цифровых изображений на основе нейронных систем глубокого обучения для некоторых офтальмологических заболеваний. Отобранные из различных источников исследования были разделены на несколько групп относительно изучаемых заболеваний и возможностей применений методов ОИИ. Дополнительно для каждой группы исследований составлена проанализированная информация о подходах в области глубокого обучения (архитектура ИНС, точность, набор данных, доступность набора данных) и ОИИ (метод объяснения результата, критерии точности объяснения).

About the authors

A. N. Averkin

Author for correspondence.
Email: averkin2003@inbox.ru
Russian Federation, Moscow

E. N. Volkov

Email: envolkoff@gmail.com
Russian Federation, Moscow

S. A. Yarushev

Email: sergey.yarushev@icloud.com
Russian Federation, Moscow

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Fig. 1. DARPA's contribution to AI [4]

Download (333KB)

Indexing metadata

3. Fig. 2. Explanation for engineers

Download (148KB)

Indexing metadata

4. Fig. 3. Explanation for clinicians

Download (144KB)

Indexing metadata

5. Fig. 4. Number of publications by year

Download (111KB)

Indexing metadata

6. Fig. 5. Number of publications by year, broken down by eye diseases

Download (117KB)

Indexing metadata

7. Fig. 6. Algorithm of the CAM method

Download (76KB)

Indexing metadata

8. Fig. 7. Obtaining a visual explanation using the CAM method

Download (229KB)

Indexing metadata

9. Fig. 8. Obtaining a visual explanation using the Grad-CAM method

Download (178KB)

Indexing metadata

10. Fig. 9. Algorithm of the LIME method

Download (64KB)

Indexing metadata

11. Fig. 10. Algorithm of the Kernel SHAP method

Download (96KB)

Indexing metadata

12. Ашп. 11. Stages of diabetic retinopathy (DR): a) Without DR, b) Early DR, c) Mild DR, d) Moderate NPDR, e) Severe NPDR, f) Proliferative DR [56]

Download (363KB)

Indexing metadata

13. Fig. 12. Results of using the OII in the classification of diabetic retinopathy [94]

Download (342KB)

Indexing metadata

14. Fig. 13. Glaucoma eye damage [102]

Download (58KB)

Indexing metadata