Detecting and explaining anomalies in industrial Internet of things systems using an autoencoder

Full Text

Введение

Технологии Интернета вещей (умного города, умных зданий, заводов, ферм и др.) призваны осуществлять сбор и анализ данных со всех объектов инфраструктуры, контролировать их работу и управлять ими [1, 2]. В промышленной области индустриальные системы Интернета вещей (ИСИВ) позволяют увеличить эффективность производственных процессов, снизить затраты и обеспечить более высокую степень автоматизации. Подобные системы представляют собой сеть взаимосвязанных устройств (датчиков и систем), используемых для сбора, передачи и анализа данных.

В то время как экономическая выгода от интеллектуализации очевидна, обратная сторона этого процесса заключается в значительном увеличении ущерба, который может быть причинён посредством информационных атак¹. Процесс интеллектуализации объектов критически важной инфраструктуры далёк от завершения, а решения по защите подобных объектов не успевают за темпом их технологического развития. Это создаёт разрыв между возможностями атакующих и защитных мер.

В то же время существует большое количество средств защиты информации, основанных на методах искусственного интеллекта (ИИ) [3, 4]. Большинство передовых технологий, таких как глубокие нейронные сети (НС), работают в режиме «чёрного ящика», когда причины принятия решения относительно состояния безопасности остаются неизвестными. В данном случае большим подспорьем для операторов систем безопасности становится объяснимый ИИ (ОИИ) [5]. Объяснение отклонений в данных ИСИВ позволяет различить выбросы² и аномалии³, специфичные для этой предметной области. Механизм обнаружения аномалий с использованием ОИИ способен выделить как аномалии, заслуживающие внимания с точки зрения поведения системы, так и выбросы из-за редкости значений в данных, не интересные с точки зрения её безопасности. Определение причин отклонений может сократить объём проверки, выполняемой экспертами. ОИИ может использовать различные методы, чтобы предоставить информацию о том, какие факторы способствовали возникновению аномалии.

В этой статье предложен подход к обнаружению аномалий при помощи автокодировщика (АК)⁴ и их объяснению на основе метода аддитивных объяснений Шепли (SHapley Additive exPlanations, SHAP) [6]. Модель АК используется для реконструкции входных данных от датчиков ИСИВ. Целью объяснения аномалий является предоставление набора признаков, которые способствуют ошибке реконструкции аномальных случаев.

1 Методы обнаружения аномалий

1.1 Обнаружение аномалий на основе интеллектуальных методов

Как правило, обнаружение атак осуществляется системами обнаружения вторжений, которые используют известные сигнатуры атак и ищут аномалии в виде отклонений от нормального поведения. Масштаб и разнообразие данных часто приводят к тому, что создавать «ручные» правила обнаружения атак и уязвимостей становится непрактичным. Использование машинного обучения позволяет искать закономерности в больших наборах данных и обучаться на них, чтобы предотвратить аналогичные атаки и динамически реагировать на изменение поведения ИСИВ.

Среди методов машинного обучения для обнаружения атак в ИСИВ часто применяются методы классификации: метод k-ближайших соседей [7], метод опорных векторов [8], скрытые марковские модели [9] и др. Традиционное машинное обучение зависит от экспертов, которые создают иерархию признаков данных. Для глубокого машинного обучения не всегда требуется наличие размеченного набора данных, оно способно использовать неструктурированные данные и автоматически определять особенности, которые отличают один образец от других. По этой причине широкое распространение получили глубокие НС для обнаружения атак [10, 11]. Сравнительно простым вариантом такой архитектуры являются глубокие НС с прямой связью для обнаружения вторжений. Но таким моделям часто не хватает способности обучаться на предыдущих входных данных и предыдущих итерациях обучения. Свёрточные НС (Convolutional Neural Network, CNN) позволяют анализировать структурированные данные [12]. Временные зависимости помогают учитывать рекуррентные НС, в частности с блоками долговременной краткосрочной памяти (Long Short-Term Memory, LSTM) [13].

При обучении моделей обнаружения аномалий получение большого количества маркированных аномальных данных, как это требуется при обучении с учителем, может быть трудоёмким, поскольку требуется ручная работа эксперта в предметной области. В результате полностью контролируемое обнаружение аномалий часто непрактично [14]. Ряд исследований направлен на применение методов обучения без учителя, для которых не требуются предварительные знаний о вредоносной активности.

Известной моделью подобного типа является АК, который представляет собой глубокую НС для реконструкции входа (входных данных). АК формирует данные в более низкой размерности (кодирование) и реконструирует данные в исходной размерности (декодирование), т.е. восстанавливает оригинальные данные. Ошибка реконструкции – это мера, которая используется для оценки качества работы АК (и других моделей, которые могут восстанавливать данные). Ошибка реконструкции определяется как разница между оригинальными и восстановленными данными.

Для обнаружения аномалий АК анализирует функцию идентичности нормальных экземпляров, которые соответствуют ожидаемым или типичным образцам. Эти данные представляют собой поведение или характеристики, которые модель считает стандартными, и на основе которых она будет определять, что является аномалией. Аномалии имеют высокую погрешность (ошибку) реконструкции, что и способствует их обнаружению. На таких принципах работают инструменты RANSynCoder [15] и InterFusion [16]. В [17] проводится сравнение ряда АК, включая вариационный АК (Variational AE, VAE) и неполный АК c CNN-1D с методом главных компонент обнаружения аномальной активности в ИСИВ.

В качестве кодера и декодера также могут использоваться рекуррентные НС, что даёт преимущество при анализе временных рядов. Например, такой подход реализован в LSTM-FWED (LSTM Encoder-Decoder Feature Weight) [18]. АК может быть включён в генеративно-состязательную сеть (Generative Adversarial Network, GAN), как это сделано в USAD [19], или объединён с графовой НС, как в FuSAGNet [20].

1.2 Объяснимое обнаружение аномалий

Система ОИИ пытается описать своё поведение, чтобы сделать его более понятным для людей. ОИИ позволяет исследователям и разработчикам анализировать, какие факторы влияют на результаты работы моделей.

Интерпретируемость модели можно разделить на две категории: глобальную и локальную. Глобальная интерпретируемость означает, что пользователи могут понять модель непосредственно из её общей структуры. Локальная интерпретируемость проверяет входные данные и пытается выяснить, почему модель принимает определённое решение. Примерами глобальных моделей ОИИ можно назвать нейронно-аддитивную модель (Neural Additive Model, NAM) [21] и объяснимую сеть глубокого доверия (Deep Belief Networks, DBN) [22]. Примерами локальных моделей являются TRUST (Transparency Relying Upon Statistical Theory) [23], LIME (Local Interpretable Model-Agnostic) [24] и SHAP [6]. Ряд моделей совместно используют глобальную и локальную интерпретации, например, [25, 26].

Методы ОИИ подразделяется на методы апостериорного объяснения и методы предварительного объяснения. Методы апостериорного объяснения используются для объяснения производительности модели после её обучения [27, 28]. Методы предварительного объяснения используются для объяснения производительности модели до её обучения, например, LIME. Данная модель аппроксимирует предсказания моделей чёрного ящика и обучается на локальной суррогатной модели для интерпретации отдельных прогнозов.

Большинство исследований об объяснениях вредоносной активности посвящены моделям, обучаемым с учителем, т.е. на заранее размеченных данных. Так, для обнаружения атак в [29] модели глубокого обучения объединяются с SHAP, который позволяет оценить вклад каждого признака в предсказание модели на основе теории игр. В [30] предложен подход к объяснению конкретной аномалии путём создания для неё случайного леса и дальнейшего извлечения правил, которые объясняют классификацию этой аномалии.

Модели для обнаружения аномалий, как правило, основаны на обучении без учителя. Объяснение результатов подобных моделей встречается реже, чем для моделей, основанных на обучении с учителем [31]. В [32] проводится анализ градиентов, «вносимых» каждым признаком конкретного экземпляра данных, которые можно получить из вариационного АК посредством автоматического дифференцирования⁵. Объяснимое обнаружение аномалий в [33] осуществляется на основе метода главных компонент и векторов Шепли, которые используются для объяснения полученных ошибок реконструкции. Схожим образом в [31, 34-36] объясняются при помощи метода SHAP ошибки реконструкции, полученные АК для выявления аномалий. Перечисленные подходы позволяют выделить признаки данных, которые наиболее важны с точки зрения их влияния на ошибку реконструкции для конкретного экземпляра данных.

2 Предлагаемый подход

Предлагается использовать АК в качестве модели обучения без учителя для обнаружения аномалий на основе полученных ошибок реконструкции данных. В обучении без учителя алгоритмы предназначены для выявления скрытых структур в данных без явных указаний на то, что искать. Ошибка реконструкции при этом представляет собой разницу между входным и выходным (реконструированным) значением. Экземпляры данных с ошибкой реконструкции, превышающий установленный для нормы порог, считаются аномальными. Целью модели ОИИ является определение признаков, оказывающих наибольшее влияние на результаты работы модели. Для этого модель ОИИ на основе SHAP вычисляет вектор Шепли для реконструированных признаков и связывает их с истинными значениями входных данных.

Предлагаемый подход включает следующие этапы.

2.1 Предобработка данных

После сбора данных для обучения модели необходимо провести их предобработку, включая удаление пропусков и дубликатов, нормализацию, кодирование категориальных признаков и разделение на обучающую и тестовую выборки. Подготовленные входные данные для модели ОИИ представляют собой набор векторов признаков (экземпляров):

X = {x₁, x₂, …, x_N},

x_i = {f_i1, f_i2, …, f_iM}

где x_i – i-ый вектор признаков, N – число векторов (длина набора данных), f_ij – значение j-того признака для i-ого вектора, M – число признаков данных.

Можно выделить множества значений отдельных признаков:

F_j = {f_1j, f_2j, …, f_Nj}.

2.2 Подготовка модели реконструкции данных

На данном этапе определяется модель АК, включая выбор архитектуры, определение слоёв, настройку функции потерь и оптимизатора. В данном подходе предлагается использовать АК с полносвязными слоями. Размер входного слоя кодера и выходного слоя декодера соответствуют числу признаков (M).

Выбираются и оптимизируются следующие гиперпараметры модели: количество скрытых слоёв кодера, количество нейронов на скрытых слоях, размер скрытого пространства, функция активации на скрытых слоях и функция активации на выходном слое. Для этого предлагается использовать алгоритм байесовской оптимизации [37]. Множество искомых гиперпараметров модели обозначается как множество λ, а пространство поиска этих гиперпараметров – как множество Λ, так что λ∊Λ. Функцию оптимизации β можно представить как β: (X, Λ) → Φ_λ, где Φ_λ – итоговая модель реконструкции данных с гиперпараметрами λ.

2.3 Обучение модели реконструкции данных

Обучение осуществляется на основе АК на нормальных данных. Кодировщик принимает входные данные и преобразует их в сжатое представление или латентное пространство. Декодировщик принимает сжатое представление и пытается восстановить исходные данные. Во время обучения АК минимизирует разницу между исходными и восстановленными данными, используя функцию потерь. Процесс реконструкции данных при помощи модели АК можно представить в следующем виде:

$\Phi \left(x_i\right)={x^{\text{'}}}_i=\left\{{f^{\text{'}}}_{i1},{f^{\text{'}}}_{i2},\dots ,{f^{\text{'}}}_{iM}\right\}\text{,}$

где x_i – входной вектор данных, x_i ∊X; xʹ_i – выходной (реконструированный) вектор данных, xʹ_i ∊ Xʹ, Xʹ – множество выходных векторов.

Можно выделить множества значений отдельных реконструированных признаков:

${F^{\text{'}}}_j=\left\{{f^{\text{'}}}_{1j},{f^{\text{'}}}_{2j},\dots ,{f^{\text{'}}}_{Nj}\right\}.$

2.4 Вычисление пороговых значений для обнаружения аномалий

На этом этапе определяется ошибка реконструкции нормальных данных. В качестве показателя предлагается использовать значение среднеквадратичной ошибки реконструкции. Для каждого вектора данных:

${\epsilon }_i=\left|x_i-{x^{\text{'}}}_i\right|=\frac{1}{M}\underset{j=1}{\overset{M}{\sum }}{\left(f_{ij}-{f^{\text{'}}}_{ij}\right)}^2\text{, } i=\mathrm{1..}N\text{.}$

Для отдельных признаков:

${\xi }_j=\left|F_j-{F^{\text{'}}}_j\right|=\frac{1}{N}\underset{i=1}{\overset{N}{\sum }}{\left(f_{ij}-{f^{\text{'}}}_{ij}\right)}^2\text{, } j=\mathrm{1..}M\text{.}$

Таким образом, для исходного набора данных получается множество ошибок реконструкции отдельных экземпляров E = {ε₁, ε₂, …, ε_N} и ошибки реконструкции признаков данных R = {ξ₁, ξ₂, …, ξ_M}, где ε_i = ε(x_i, xʹ_i) – ошибка реконструкции для i-того вектора данных.

Для определения порогового значения на обучающих данных используется метод 90-го процентиля, чтобы смягчить влияние выбросов в нормальных данных: P(E ≤ δ) ≥ 0.9, где P(E) – вероятностная мера, задающая распределение E, δ – пороговое значение ошибки реконструкции.

2.5 Обнаружение аномалий на тестовых данных

На данном этапе проводится сопоставление полученных ошибок прогнозирования с пороговым значением для выявления аномальных выбросов:

y_i = 1, если ε_i ≥ δ, иначе 0, ε_i ∊ E,

где y_i ∊ (0,1) – метка состояния безопасности для вектора признаков, значение 1 соответствует аномалии, а 0 – норме.

Для входного набора данных X результатом обнаружения является множество:

Y = {y₁, y₂, …, y_N}.

Отдельно можно выделить подмножество аномальных экземпляров:

X^* = {x_i | y_i = 1}, i = 1..n,

где n – количество аномальных образцов.

2.6 Выбор признаков с наибольшими ошибками реконструкции

Для этого необходимо определить упорядоченное множество:

Rʹ = {ξ₍₁₎, ξ₍₂₎, …, ξ_(M)},

для которого:

ξ₍₁₎ ≥ ξ₍₂₎ ≥ … ≥ξ_(M), ξ_(j) ∊ R.

Здесь индекс в скобках обозначает порядковый номер, где ξ₍₁₎ – значение наибольшей ошибки реконструкции.

Выбирается подмножество r, которое содержит наибольшую ошибку реконструкции для m признаков: r = {ξ₍₁₎, ξ₍₂₎, …, ξ_(m)}, m ≤ M, r ⊆ Rʹ.

2.7 Вычисление векторов Шепли для выбранных признаков

Для объяснения модели реконструкции необходимо определить модель объяснения Ω. Чтобы объяснить единичный случай x_i, модель использует упрощённые входные данные z и отображение h, такое, что x = h(z), z ∈ {0, 1}. Таким образом, модель использует собственное упрощённое представление входных данных.

Для каждого признака из множества r необходимо объяснить, какие признаки (кроме выбранного) привели к ошибке реконструкции. Влияние каждого признака на реконструкцию определяется значением Шепли, которое описывает, как распределить общий выигрыш (или полезность) между участниками кооперативной игры. Значение Шепли для игрока определяется как среднее значение его предельного вклада по всем возможным порядкам входа игроков в игру. В данном случае число упорядоченных игроков равно M (число признаков). Пусть s подмножество j первых игроков (признаков) в этом упорядочении. В качестве характеристической функции кооперативной игры выступает модель АК, обозначенная как Φ. Тогда вклад j-го игрока определяется как разница между Φ(s) и Φ(s\j), где Φ(s) – результат реконструкции по выбранному подмножеству признаков, а Φ(s\j) – результат реконструкции по выбранному подмножеству признаков, исключая j-ый признак. Предыдущие разности вычисляются для всех возможных подмножеств s ⊆ F\{j}, где F\{j} – множество всех признаков, за исключением j-го.

Значение Шепли для j-го признака вектора данных x_i при этом вычисляется как [6]:

${\phi }_{ij}\left(\Phi ,x_i\right)=\underset{s\subseteq F_i\backslash \left\{j\right\}}{\sum }\frac{\left|s\right|!\left(M-\left|s\right|-1\right)!}{M!}\left[\Phi \left(s\right)-\Phi (s\backslash j)\right]\text{,}$

где cимволом «!» обозначена функция факториала, а символом | | – размер множества.

Разница значений Φ(s) и Φ(s\j) определяет, как интересующий j-ый признак способствует реконструкции данных в заданном подмножестве признаков. Функцию модели ОИИ можно определить в форме линейной функции:

$\left(z_i\right)={\phi }_{i0}\text{+}\sum _{j=1}^M{\phi }_{ij}{z}_i\text{,}$

где φ_i0 – значение Шепли, при котором подмножество признаков является пустым.

Вектор Шепли – это вектор значений Шепли для всех игроков в игре. Для каждого признака в множестве r вычисляются векторы, которые содержат значения Шепли для всех признаков, помимо выбранного. Для этого исходная модель АК изменяется путём обнуления веса выбранного признака: Φ^k, k = 1..m. Так модель объяснения принимает на вход модель Φ^k и векторы данных x_i, предсказывает целевое значение k-го признака и определяет вектор Шепли. Результатом этого шага является матрица V (размером m×M), в которой каждая строка представляет вектор Шепли для одного признака с наибольшей ошибкой реконструкции:

${\mathbf{V}}_{\mathbf{i}}\mathbf{=}{\left({\phi }_{\mathrm{ij}}({\Phi }^k,x_i)\right)}_{\mathbf{k}\mathbf{=}\mathbf{1,}\mathbf{j}\mathbf{=}\mathbf{1}}^{\mathbf{m}\mathbf{,}\mathbf{M}}\mathbf{,}$

Для каждого признака определяется среднее абсолютное значение Шепли. В результате получается вектор:

V_i = {v_i1, v_i2, …v_iM},

$v_{ij}=\frac{1}{m}\underset{k=1}{\overset{m}{\sum }}\left|{\phi }_{ij}\left({\Phi }^k,x_i\right)\right|\text{, }j=\mathrm{1..}M\text{.}$

Для выборки данных таким образом можно получить множество векторов:

{V₁, V₂, …, V_N}.

2.8 Определение общего вклада признаков в обнаружение аномалий

Наивысшее значение Шепли соответствует наибольшему его вкладу в полученную ошибку реконструкции, т.е. впоследствии в результат обнаружения аномалий. Для каждого вектора V_i значения Шепли ранжируются от наибольшего к наименьшему:

v_i(1) ≥ v_i(2) ≥ … ≥v_i(M), v_i(j) ∊ V_i.

Здесь индексы (1)..(M) соответствует рейтингу признаков, где признак под индексом (1) соответствует наибольшему вкладу, а (M) – наименьшему.

Для всей выборки определяется средний рейтинг признаков по всем аномальным образцам и составляется множество:

G = {g₁, g₂, …, g_M},

$g_j=\frac{1}{n}\underset{i=1}{\overset{n}{\sum }}\left(j\right)\text{,}j\text{=1}\mathrm{..}M\text{,}$

где (j) – рейтинг j-го признака для i-го образца.

Данный рейтинг и определяет общий вклад каждого признака в результат обнаружения аномалий на всей выборке.

3 Экспериментальная оценка

Задачей поставленных экспериментов является оценка эффективности подхода к объяснимому обнаружению аномалий в ИСИВ с целью повышения надёжности и безопасности производственных процессов. Входными данными являются показатели датчиков ИСИВ, а выходными – набор показателей качества, таких как аккуратность, точность, полнота и F-мера обнаружения аномалий, а также средний рейтинг общего вклада признаков.

3.1 Наборы данных

В качестве экспериментальных наборов данных используются BATADAL⁶ [38] и HAI⁷ [39]. Выбор обусловлен намерением сравнить подход к объяснимому обнаружению аномалий на данных ИСИВ с различным количеством признаков и объёмом данных. Указанные наборы часто используются на практике при оценке подходов к обнаружению аномалий в промышленных системах.

Набор данных BATADAL собран на основе показателей индустриальной системы для распределения воды. Хранение и распределение воды по узлам спроса гарантируется семью резервуарами, уровень воды в которых запускает работу одного клапана и одиннадцати насосов, распределённых по пяти насосным станциям. Насосы, клапаны и датчики уровня воды в резервуарах подключены к девяти программируемым логическим контроллерам, которые расположены в непосредственной близости от монитора контроля гидравлических компонентов. Набор BATADAL содержит показатели 42 датчиков и актуаторов. Размер нормальной выборки составляет 8 761, а выборки с аномалиями – 4 177 экземпляров.

Наборы данных HAI за 2020 (HAI 1.0) и 2021 (HAI 2.0) годы собраны на испытательном стенде промышленной системы управления, на котором имитируется выработка электроэнергии паровыми турбинами и гидроаккумулирующими электростанциями. Технологический процесс испытательного стенда разделён на четыре процесса: процесс котла (P1), процесс турбины (P2), процесс очистки воды (P3) и аппаратно-программное моделирование (P4). Набор данных HAI 1.0 содержит записи 59 точек сбора (показателей датчиков, положения клапанов и т.д.) в выборке 550 800 экземпляров нормальных и 295 000 – аномальных данных. Набор данных HAI 2.0 содержит записи 78 точек сбора в выборке 921 603 экземпляров нормальных и 402 005 – аномальных данных. С подробной структурой испытательных стендов и полным наименованием признаков можно ознакомиться в [38, 39]. Далее упоминаются отдельные элементы систем в том виде, в котором они приведены в оригинальных источниках. Технические подробности опущены.

3.2 Параметры моделей реконструкции данных

Размер входного слоя АК (n_input) соответствует количеству признаков данных. Для оптимизации гиперпараметров архитектуры АК для каждого набора данных используется байесовский оптимизатор библиотеки KerasTuner⁸. Области поиска составляют:

• количество скрытых слоёв (n_layers) – 1, 2 или 3;
• количество нейронов на скрытых слоях (n_units) – 64, 35, 32, 28 или 25;
• размер скрытого пространства (encoding_dim) – 32, 31 или 21;
• функция активации на скрытых слоях (hidden_afunc) – tanh⁹ или relu¹⁰;
• функция активации на выходном слое (output_afunc)– tanh или relu.

Параметры обучения на наборе данных BATADAL: размер пакета¹¹ – 32; скорость обучения – 0.001; число эпох – 500. Параметры обучения на наборах данных HAI: размер пакета – 64; скорость обучения – 0.001; число эпох – 50. Чтобы ускорить расчёт SHAP, используется метод кластеризации k-средних. Число кластеров установлено в 100, а параметр m принят равным 5.

Описанный подход реализован с использованием языка Python.

3.3 Аналоги для сравнения

В качестве подходов к обнаружению аномалий для сравнения полученных результатов выбраны следующие подходы, основанные на методах обучения без учителя:

• USAD [19] – подход к обнаружению аномалий, основанный на двух АК в архитектуре GAN;
• VAE [17] – подход к обнаружению аномалий с использованием вариационного АК;
• RANSynCoder [15] – подход к обнаружению аномалий, включающий самонастройку признаков для случайного выбора наборов входных признаков и построения нескольких АК для реконструкции данных временного ряда;
• InterFusion [16] – подход к обнаружению аномалий, который основан на использовании иерархического VAE с двумя стохастическими скрытыми переменными, каждая из которых изучает низкоразмерные межметрические или временные вложения;
• FuSAGNet и SAE [20] – подход к обнаружению аномалий, который объединяет разреженный АК и графовую НС, явно моделируя взаимосвязи внутри многомерных временных рядов.
• LSTM-FWED [18] – подход к обнаружению аномалий на основе кодера-декодера LSTM с защитой веса признаков от состязательных атак.

3.4 Показатели качества

В качестве функции потерь для всех наборов данных и моделей используется среднеквадратичная ошибка. Показателями качества обнаружения аномалий является аккуратность (ACC), точность (P), полнота (R) и F-мера (F1):

$ACC=\frac{TP+TN}{TP+TN+FP+FN}\text{,}$ $P=\frac{TP}{TP+FP}\text{,}$ $R=\frac{TP}{TP+FN}\text{,}$ $F1=\frac{2TP}{2TP+FP+FN}\text{,}$

где TP – количество правильно классифицированных аномальных образцов; TN – количество правильно классифицированных нормальных образцов; FP – количество нормальных образцов, ошибочно классифицированных как аномальные образцы; FN – количество аномальных образцов, ошибочно классифицированных как нормальные.

Каждый показатель фокусируется на различных аспектах производительности модели. Аккуратность показывает общую долю правильных предсказаний, но зависит от сбалансированности классов. Точность важна, когда необходимо минимизировать количество ложноположительных результатов, а полнота – когда нужно максимизировать количество правильно идентифицированных положительных случаев. F-мера объединяет точность и полноту в одну метрику, что позволяет лучше оценить баланс между ними.

3.5 Результаты

В результате оптимизации гиперпараметров на нормальной выборке получены модели АК, описание архитектуры которых представлено в таблице 1. Целью оптимизации являлась минимизация ошибки реконструкции нормальных данных.

 

Таблица 1 – Описание архитектуры итоговых моделей автокодировщиков

Модель	n_input	n_layers	n_units	encoding_dim	hidden_afunc	output_afunc
AК-1	32	3	35, 28, 21	21	tanh	tanh
AК-2	58	1	31	31	tanh	tanh
AК-3	78	2	64, 32	32	tanh	tanh

 

В таблице 2 представлены результаты обнаружения аномалий на выбранных наборах данных. Результаты аналогов для набора данных BATADAL взяты из [38], для HAI 1.0 из [20], а для HAI 2.0 из [40].

 

Таблица 2 – Результаты обнаружения аномалий

Набор данных	Модель	ACC	P	R	F1
BATADAL	АК-1	0.9725	0.8919	0.8720	0.8818
	VAE [17]	–	0.9630	0.7620	0.8510
	LSTM-FWED [18]	0.9396	0.9228	0.4740	0.6293
HAI 1.0	АК-2	0.9931	0.9435	0.9112	0.9271
	FuSAGNet [20]	–	0.8679	0.7479	0.8034
	SAE [20]	–	0.7839	0.6566	0.7239
	USAD [19].	–	0.0932	0.1335	0.1098
HAI 2.0	АК-3	0.9963	0.8699	0.9808	0.9220
	RANSynCoder [15]	–	0.8910	0.7760	0.8290
	InterFusion [16]	–	0.7440	0.8390	0.7890
	USAD [19].	–	0.7600	0.4800	0.5880

 

Для каждого набора данных выбрано 5 признаков с наибольшей ошибкой реконструкции (в скобках приведён перевод наименований признаков из оригинального описания соответствующих наборов данных):

• BATADAL – S_V2 (статус клапана V2), P_J14 (давление сочленения J14), S_PU4 (статус насоса PU4), F_PU6 (поток насоса PU6) и F_PU7 (поток насоса PU7);
• HAI0 – P2_SIT01 (текущая частота вращения турбины), P1_PCV02Z (текущее положение клапана PCV02), P1_PCV02D (команда для положения клапана PCV2), P1_FCV03D (команда для положения клапана FCV03) и P1_ FCV03Z (текущее положение клапана FCV03);
• HAI0 – P2_VT01 (сигнал фазовой задержки ключевого фазового зонда), P1_PCV02Z (текущее положение клапана PCV02), P2_SIT01, P2_SIT02 (текущая частота вращения турбины) и P1_PCV02D (команда для положения клапана PCV2).

Вектор Шепли для каждого признака можно изобразить в виде графика (см. рисунок 1). Из рисунка видно, как признак с наибольшей ошибкой реконструкции для экземпляра с наибольшей ошибкой влияет на предсказание модели, приближая его к ожидаемому значению. Тёмно-серыми значениями (слева) выделены признаки, которые приближают полученное значение образца к ожидаемому (выделен полужирным), а серыми справа – отдаляющие признаки. Снизу (на графиках - а, б, в) приведены наименования признаков и их значения для выбранного экземпляра. Положительный вклад имеют признаки, которые увеличивают предсказание целевого признака (S_V2 для BATADAL, P2_SIT01 для HAI 1.0 и P2_VT01 для HAI 2.0) и приближают предсказание к ожидаемому значению. Отрицательный вклад имеют признаки, которые уменьшают предсказание модели.

 

Рисунок 1 – Вектор Шепли для одного образца и признака: (а) S_V2 набора данных BATADAL, (б) P2_SIT01 набора данных HAI 1.0, (в) P2_VT01 набора данных HAI 2.0

 

Определён вектор средних значений Шепли для каждого образца данных. На рисунке 2 представлен график десяти признаков с наибольшим вкладом для экземпляра с высшей ошибкой реконструкции, т.е. первые 10 значений вектора средних значений Шепли V_i, i = 234 для HAI 1.0 и i = 653 для HAI 2.0. Вычислены значения среднего рейтинга каждого признака по всем аномальным экземплярам. На рисунке 3 представлен вклад признаков в обнаружение аномалий на наборе данных BATADAL, на рисунке 4 – на наборе данных HAI 1.0, на рисунке 5 – на наборе данных HAI 2.0.

 

Рисунок 2 – Вклад признаков в ошибку реконструкции для одного образца набора данных (а) HAI 1.0 и (б) HAI 2.0

 

Рисунок 3 – Вклад признаков в ошибку реконструкции на аномальных образцах набора данных BATADAL

 

Рисунок 4 – Вклад признаков в ошибку реконструкции на аномальных образцах набора данных HAI 1.0

 

Рисунок 5 – Вклад признаков в ошибку реконструкции на аномальных образцах набора данных HAI 2.0

 

3.6 Анализ результатов

Предложенный подход позволил получить наибольшую полноту обнаружения аномалий для всех экспериментальных наборов данных 87-98%, а точность обнаружения 87-94%, уступая не более 7% подходам, использованным в [15, 17]. При этом гармоничное среднее по F-мере для АК-1, 2 и 3 выше, чем у аналогов (88-93%), что свидетельствует о сбалансированном результате по полноте и точности обнаружения аномалий. Это позволяет минимизировать ложноположительные срабатывания и не пропустить положительные случаи. В задачах обнаружения аномалий значимость ложноположительных и ложноотрицательных срабатываний может значительно различаться.

Например, пропуск аномалии может иметь серьёзные последствия, в то время как ложное срабатывание может быть менее критичным. В производственных процессах пропуск аномалий может привести к поломке оборудования или снижению качества продукции и вызвать значительные финансовые потери. Ложные срабатывания могут привести к ненужным действиям, таким как блокировка процессов, вызов служб безопасности или др. В системах, где критически важно обнаруживать угрозы, часто принимается решение о повышении чувствительности к аномалиям, даже если это может привести к большему количеству ложных срабатываний.

Показатель аккуратности редко используется для оценки в задачах обнаружения аномалий. Причиной этому является несбалансированность данных – в большинстве случаев аномалии составляют лишь небольшую часть общего объёма данных. Высокая аккуратность может быть достигнута за счёт предсказания большинства классов без учёта аномалий.

Использование векторов Шепли позволяет продемонстрировать влияние признаков на полученный результат реконструкции. Например, на рисунке 1б можно видеть, что в равной степени (значение Шепли ± 0.0065) на текущую частоту вращения турбины стенда HAI влияют текущее положение клапанов FCV01 (P1_FCV01Z) и FCV02 (P1_FCV02D). Значения данных признаков имеют наибольший вклад в ошибку реконструкции экземпляра данных в целом (см. рисунок 2).

Наибольший вклад в обнаружение аномалий на наборе данных BATADAL вносят признаки F_PU8 (поток насоса PU8), P_J306 (давление сочленения J306) и L_T6 (уровень воды в баке T6).

Наибольший вклад в обнаружение аномалий на наборе данных HAI 1.0 вносят признаки P1_FCV01Z (текущее положение клапана FCV01), P1_B3004 (заданное значение уровня воды), P1_FCV01D (команда для положения клапана FCV01).

Наибольший вклад в обнаружение аномалий на наборе данных HAI 2.0 вносят признаки P1_FT02 (измеренный расход воды в баке нагревателя), P1_FT02Z (преобразование расхода воды из P1_FT02) и P1_B4002 (заданное значение температуры на выходе теплообменника). Как и для предыдущей версии набора данных, большое влияние имеют параметры, осуществляющие контроль температуры воды.

Объяснение аномалий помогает исследователям лучше понять поведение интеллектуальных моделей обнаружения, выявить факторы, влияющие на их выводы, и открыть незамеченные ранее закономерности. На практике предложенный подход может способствовать лучшему пониманию текущих процессов в системах безопасности, помогая обнаруживать угрозы и ошибки в данных.

Заключение

В статье описан подход к обнаружению аномалий при помощи АК и их объяснению на основе метода SHAP. АК обучается без учителя, исследуя функцию идентичности данных для реконструкции нормальных экземпляров. В отличие от аналогов, в разработанном подходе предлагается определять вклад признаков для отдельных образцов аномалий и вычислять средний вклад для всей выборки. Понимание того, какие признаки способствуют аномалиям, может помочь в улучшении моделей и алгоритмов для более точного обнаружения аномалий.

Оценка качества предлагаемого подхода проведена на известных наборах данных (BATADAL, HAI 1.0 и HAI 2.0). По итоговой F-мере обнаружения достигнут результат в 88-93%, который превосходит рассмотренные аналоги. Показано, как ОИИ может помочь раскрыть причины аномалий в отдельных образцах, и в выборке данных.

Авторский вклад

Котенко И.В. – выбор и постановка задачи исследования; Левшун Д.А., Левшун Д.С. – выбор решений; Левшун Д.А. – программная реализация и проведение экспериментов; Левшун Д.А., Левшун Д.С., Котенко И.В. – обсуждение результатов экспериментов, анализ полученных результатов.

 

¹ Информационная атака — это преднамеренное действие, направленное на нарушение работы компьютерных систем, сетей или цифровых устройств с целью нанесения ущерба.

² Выброс – в статистике результат измерения, выделяющийся из общей выборки.

³ Аномалия – это отклонение поведения системы от стандартного (ожидаемого). Они могут включать выбросы, а также охватывать более широкий спектр несоответствий, таких как временные изменения или неожиданные тенденции. Все выбросы могут быть аномалиями, но не все аномалии являются выбросами.

⁴ Автокодировщик (англ. Autoencoder, AE) – специальная архитектура искусственных НС, состоящая из двух частей: кодировщика (англ. encoder) и декодировщика (англ. decoder).

⁵ Автоматическое дифференцирование – это способ вычисления производной функции, заданный программно. Этот вид дифференцирования опирается на правило дифференцирования сложной функции, представление функции в виде последовательности элементарных операций и перегрузке программных инструкций (функций, операторов).

⁶ BATADAL (BATtle of the Attack Detection Algorithms). https://www.batadal.net/data.html.

⁷ HAI (Hardware-in-the-loop-based Augmented Industrial control system). https://github.com/icsdataset/hai.

⁸ KerasTuner. https://keras.io/keras_tuner/.

⁹ Гиперболический тангенс (англ. tanh) – функция активации, которая преобразует входные значения в диапазоне от -1 до 1на основе гиперболического тангенса.

¹⁰Линейный выпрямитель (англ. Rectified Linear Unit, ReLU) - это нелинейная функция активации, которая преобразует входное значение в значение от 0 до положительной бесконечности (если входное значение меньше или равно 0, то ReLU выдаёт 0, в противном случае – входное значение).

¹¹ В глубоком обучении пакет (или батч) – это подмножество данных, которое используется для обучения модели за один шаг обновления весов.

About the authors

Diana A. Levshun

St. Petersburg Federal Research Center of the Russian Academy of Sciences

Email: gaifulina@comsec.spb.ru
ORCID iD: 0000-0002-5266-8649
Scopus Author ID: 58114512500
ResearcherId: ABG-9837-2020

Junior Researcher at the Laboratory of Computer Security Problems

Russian Federation, St. Petersburg

Dmitry S. Levshun

St. Petersburg Federal Research Center of the Russian Academy of Sciences

Email: levshun@comsec.spb.ru
ORCID iD: 0000-0003-1898-6624
Scopus Author ID: 57189306576
ResearcherId: C-1566-2018

Ph.D., Senior Researcher at the Laboratory of Computer Security Problems, Associate Professor at the Saint Petersburg State University of Telecommunications named after prof. M.A. Bonch-Bruevich and at the European University at St. Petersburg

Russian Federation, St. Petersburg

Igor V. Kotenko

St. Petersburg Federal Research Center of the Russian Academy of Sciences

Author for correspondence.
Email: ivkote@comsec.spb.ru
ORCID iD: 0000-0001-6859-7120
Scopus Author ID: 15925268000

Sc. Eng., professor, Honored Scientist of the Russian Federation, Chief Researcher and Head of the Laboratory of Computer Security Problems at St. Petersburg Federal Research Center of the Russian Academy of Sciences, professor at ITMO University, Saint Petersburg State University of Telecommunications, Ural Federal University, Harbin Institute of Technology (China) and Heilongjiang University (China)

Russian Federation, St. Petersburg

References

Supplementary files