Вокодер WaveNet в задаче предсказания временного ряда с экстремальными событиями
- Авторы: Громов Н.В.1, Леванова Т.А.1
-
Учреждения:
- Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского
- Выпуск: Том 18, № 4 (2023)
- Страницы: 847-849
- Раздел: Материалы конференции
- URL: https://journals.rcsi.science/2313-1829/article/view/256352
- DOI: https://doi.org/10.17816/gc623433
- ID: 256352
Цитировать
Открытый доступ
Доступ предоставлен
Только для подписчиков
Аннотация
Экстремальными событиями обычно считаются редкие и непредсказуемые события или события, которые сильно отклоняются от типичного поведения. Однако объективные критерии экстремальных событий ещё не определены. Редкость требует некоторых характерных масштабов или временных и пространственных границ, в то время как интенсивность должна отражать способность события вызвать большие изменения. Одним из наиболее ярких примеров экстремальных событий в нейронауке и медицине являются эпилептические припадки [1].
В синтезе речи сети-вокодеры, такие как WaveNet [2], используются для генерации аудиодорожек. Эта модель представляет из себя свёрточную нейронную сеть, представленную как каузальный фильтр, который не смотрит в будущее. Эта особенность вокодера может быть потенциально применима к предсказанию временных рядов. Звуковые временные ряды тоже могут быть рассмотрены как динамическая система, довольно хаотическая, с переключением режимов (например, переход от одной буквы к другой). В таких рядах присутствуют большие отклонения амплитуды, что может быть сравнимо с экстремальным событием. Эта сеть получает r последних временных отсчётов (так называемое рецептивное поле) на вход и предсказывает следующий за ними отсчёт, основываясь на этом рецептивном поле. Структура сети имеет древовидный вид. Расстояние между входами на последующие слои растёт экспоненциально. Это необходимо, потому что рецептивное поле r обычно достаточно большое, порядка тысячи или двух тысяч. И если не увеличивать экспоненциально расстояние между входами, то количество слоёв будет линейно зависеть от r. У рекуррентных нейронных сетей, широко применяемых в задачах предсказания последовательностей, есть следующая проблема: во временных рядах им проще предсказывать очень похожий семпл на последний увиденный для оптимизации функции потерь и тем самым сеть в предсказании может сойтись к моде, а в свёрточной сети выход на моду будет дольше, потому что рецептивное поле достаточно большое: в звуке, например, на нём происходит множество осцилляций и сеть не отдаёт предпочтения какому-либо отсчёту.
Эксперименты были проведены с искусственными данными, сгенерированными системой двух нейронов Хидмарш–Роуз с химической синаптической связью. Мы выбрали суммарный мембранный потенциал как наблюдаемую переменную, основываясь на биологической составляющей этой системы. Описанная система демонстрирует экстремальные события для широкого набора параметров связи. Численный критерий для экстремальных событий выбран аналогично тому, как это было сделано в прошлых исследованиях [3]. Вокодер WaveNet демонстрирует точность 91% и полноту 82% для предсказательной длины, равной ширине экстремального события. Заметим, что полнота в данной задаче более важна, так как она отвечает за те случаи, когда модель предсказывает ложное отсутствие экстремального события.
Полный текст
Экстремальными событиями обычно считаются редкие и непредсказуемые события или события, которые сильно отклоняются от типичного поведения. Однако объективные критерии экстремальных событий ещё не определены. Редкость требует некоторых характерных масштабов или временных и пространственных границ, в то время как интенсивность должна отражать способность события вызвать большие изменения. Одним из наиболее ярких примеров экстремальных событий в нейронауке и медицине являются эпилептические припадки [1].
В синтезе речи сети-вокодеры, такие как WaveNet [2], используются для генерации аудиодорожек. Эта модель представляет из себя свёрточную нейронную сеть, представленную как каузальный фильтр, который не смотрит в будущее. Эта особенность вокодера может быть потенциально применима к предсказанию временных рядов. Звуковые временные ряды тоже могут быть рассмотрены как динамическая система, довольно хаотическая, с переключением режимов (например, переход от одной буквы к другой). В таких рядах присутствуют большие отклонения амплитуды, что может быть сравнимо с экстремальным событием. Эта сеть получает r последних временных отсчётов (так называемое рецептивное поле) на вход и предсказывает следующий за ними отсчёт, основываясь на этом рецептивном поле. Структура сети имеет древовидный вид. Расстояние между входами на последующие слои растёт экспоненциально. Это необходимо, потому что рецептивное поле r обычно достаточно большое, порядка тысячи или двух тысяч. И если не увеличивать экспоненциально расстояние между входами, то количество слоёв будет линейно зависеть от r. У рекуррентных нейронных сетей, широко применяемых в задачах предсказания последовательностей, есть следующая проблема: во временных рядах им проще предсказывать очень похожий семпл на последний увиденный для оптимизации функции потерь и тем самым сеть в предсказании может сойтись к моде, а в свёрточной сети выход на моду будет дольше, потому что рецептивное поле достаточно большое: в звуке, например, на нём происходит множество осцилляций и сеть не отдаёт предпочтения какому-либо отсчёту.
Эксперименты были проведены с искусственными данными, сгенерированными системой двух нейронов Хидмарш–Роуз с химической синаптической связью. Мы выбрали суммарный мембранный потенциал как наблюдаемую переменную, основываясь на биологической составляющей этой системы. Описанная система демонстрирует экстремальные события для широкого набора параметров связи. Численный критерий для экстремальных событий выбран аналогично тому, как это было сделано в прошлых исследованиях [3]. Вокодер WaveNet демонстрирует точность 91% и полноту 82% для предсказательной длины, равной ширине экстремального события. Заметим, что полнота в данной задаче более важна, так как она отвечает за те случаи, когда модель предсказывает ложное отсутствие экстремального события.
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ
Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).
Источник финансирования. Работа была поддержана грантом Российского научного фонда № 19-72-10128.
Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.
Об авторах
Н. В. Громов
Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского
Автор, ответственный за переписку.
Email: gromov@itmm.unn.ru
Россия, Нижний Новгород
Т. А. Леванова
Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского
Email: gromov@itmm.unn.ru
Россия, Нижний Новгород
Список литературы
- Engel Jr.J., Pedley T.A. Generalized convulsive seizures. In: Tassinar C.A., Michelucci R., Shigematsu H., et al., editors. Epilepsy: a comprehensive text-book. 1997.
- Van den Oord A., Dieleman D., Zen H., et al. Wavenet: a generative model for raw audio // arXiv. Vol. 1609. P. 03499. doi: 10.48550/arXiv.1609.03499
- Gromov N., Gubina E., Levanova T. Loss functions in the prediction of extreme events and chaotic dynamics using machine learning approach. In: Proceedings of the Fourth International Conference Neurotechnologies and Neurointerfaces (CNN); 2022 Sept 14–16; Kaliningrad, Russian Federation. Kaliningrad, 2022. P. 46–50. doi: 10.1109/CNN56452.2022.9912515
Дополнительные файлы
