Влияние шума на рекуррентные нейронные сети с нелинейными нейронами

Обложка

Цитировать

Полный текст

Аннотация

Цель настоящего исследования — установить особенности распространения и накопления шумов в рекуррентной нейронной сети на примере упрощенной эхо-сети. В данной работе исследовалось влияние типа функции активации искусственных нейронов и матриц связи между ними. Методы. В качестве источников шумов рассматриваются источники белого Гауссова шума. В зависимости от способа воздействия шума на искусственные нейроны использовались аддитивный, мультипликативный и смешанный шум. Оценка шумового воздействия проводилась с использованием дисперсии (вариации) выходного сигнала. Результаты. Показано, что функция активации играет существенную роль в накоплении шумов. Рассмотрены две нелинейные функции активации: гиперболический тангенс и сигмоида со значениями от 0 до 1. Показано, что для второй функции происходит подавление некоторых типов шумов. В результате рассмотрения влияния матриц связи было выявлено, что диагональные матрицы связи с большим коэффициентом рассеяния приводят к меньшему накоплению шума в резервуаре эхо-сети при увеличении влияния памяти резервуара. Заключение. Показано, что функции активации вида сигмоиды со значениями от 0 до 1 подходят для подавления мультипликативных и смешанных шумов. Было рассмотрено накопление шума в резервуаре для трех типов матриц связи внутри резервуара: однородная матрица, ленточная матрица с малым коэффициентом рассеяния и ленточная матрица с большим коэффициентом рассеяния. Было установлено, что эхо-сети с ленточной матрицей с большим коэффициентом рассеяния накапливают шумы меньше всех остальных. Это работает как для аддитивных, так и для мультипликативных шумов.

Об авторах

Виктор Максимович Москвитин

Саратовский национальный исследовательский государственный университет имени Н.Г. Чернышевского

410012, Россия, Саратов, ул. Астраханская, 83

Надежда Игоревна Семенова

Саратовский национальный исследовательский государственный университет имени Н.Г. Чернышевского

ORCID iD: 0000-0002-9180-3030
SPIN-код: 6741-5068
Scopus Author ID: 57193880346
ResearcherId: HGD-4629-2022
410012, Россия, Саратов, ул. Астраханская, 83

Список литературы

  1. LeCun Y, Bengio Y, Hinton G. Deep learning. Nature. 2015;521(7553):436–444. DOI: 10.1038/ nature14539.
  2. Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. Commun. ACM. 2017;60(6):84–90. doi: 10.1145/3065386.
  3. Maturana D, Scherer S. VoxNet: A 3D Convolutional Neural Network for real-time object recognition. In: 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 28 September 2015 – 02 October 2015, Hamburg, Germany. New York: IEEE; 2015. P. 922–928. doi: 10.1109/IROS.2015.7353481.
  4. Graves A, Mohamed AR, Hinton G. Speech recognition with deep recurrent neural networks. In: 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. 26–31 May 2013, Vancouver, BC, Canada. New York: IEEE; 2013. P. 6645–6649. doi: 10.1109/ICASSP.2013. 6638947.
  5. Kar S, Moura JMF. Distributed consensus algorithms in sensor networks with imperfect communication: Link failures and channel noise. IEEE Transactions on Signal Processing. 2009;57(1):355–369. doi: 10.1109/TSP.2008.2007111.
  6. Mandic DP, Chambers JA. Recurrent Neural Networks for Prediction: Learning Algorithms, Architectures and Stability. New York: Wiley; 2001. 304 p. doi: 10.1002/047084535X.
  7. Bailador G, Roggen D, Troster G, Trivino G. Real time gesture recognition using continuous time recurrent neural networks. In: 2nd International ICST Conference on Body Area Networks. 11th–13th Jun 2007, Florence, Italy. ICST; 2007. 8 p. doi: 10.4108/bodynets.2007.149.
  8. Hasler J, Marr H. Finding a roadmap to achieve large neuromorphic hardware systems. Frontiers in Neuroscience. 2013;7:118. doi: 10.3389/fnins.2013.00118.
  9. Gupta S, Agrawal A, Gopalakrishnan K, Narayanan P. Deep learning with limited numerical precision. In: Proceedings of the 32nd International Conference on International Conference on Machine Learning - Volume 37. 6-11 July 2015, Lille, France. JMLR; 2015. P. 1737–1746.
  10. Karniadakis GE, Kevrekidis IG, Lu L, Perdikaris P, Wang S, Yang L. Physics-informed machine learning. Nature Reviews Physics. 2021;3(6):422–440. doi: 10.1038/s42254-021-00314-5.
  11. Brunner D, Soriano MC, Mirasso CR, Fischer I. Parallel photonic information processing at gigabyte per second data rates using transient states. Nature Communications. 2013;4(1):1364. doi: 10.1038/ncomms2368.
  12. Tuma T, Pantazi A, Le Gallo M, Sebastian A, Eleftheriou E. Stochastic phase-change neurons. Nature Nanotechnology. 2016;11(8):693–699. doi: 10.1038/nnano.2016.70.
  13. Torrejon J, Riou M, Araujo FA, Tsunegi S, Khalsa G, Querlioz D, Bortolotti P, Cros V, Yakushiji K, Fukushima A, Kubota H, Yuasa S, Stiles MD, Grollier J. Neuromorphic computing with nanoscale spintronic oscillators. Nature. 2017;547(7664):428–431. doi: 10.1038/nature23011.
  14. Psaltis D, Brady D, Gu XG, Lin S. Holography in artificial neural networks. Nature. 1990;343 (6256):325–330. doi: 10.1038/343325a0.
  15. Bueno J, Maktoobi S, Froehly L, Fischer I, Jacquot M, Larger L, Brunner D. Reinforcement learning in a large-scale photonic recurrent neural network. Optica. 2018;5(6):756–760. DOI: 10.1364/ OPTICA.5.000756.
  16. Lin X, Rivenson Y, Yardimci NT, Veli M, Luo Y, Jarrahi M, Ozcan A. All-optical machine learning using diffractive deep neural networks. Science. 2018;361(6406):1004–1008. doi: 10.1126/science. aat8084.
  17. Shen Y, Harris NC, Skirlo S, Prabhu M, Baehr-Jones T, Hochberg M, Sun X, Zhao S, Larochelle H, Englund D, Soljacic M. Deep learning with coherent nanophotonic circuits. Nature Photonics. 2017;11(93):441–446. doi: 10.1038/nphoton.2017.93.
  18. Tait AN, de Lima TF, Zhou E, Wu AX, Nahmias MA, Shastri BJ, Prucnal PR. Neuromorphic photonic networks using silicon photonic weight banks. Scientific Reports. 2017;7(1):7430. doi: 10.1038/s41598-017-07754-z.
  19. Moughames J, Porte X, Thiel M, Ulliac G, Larger L, Jacquot M, Kadic M, Brunner D. Three dimensional waveguide interconnects for scalable integration of photonic neural networks. Optica. 2020;7(6):640–646. doi: 10.1364/OPTICA.388205.
  20. Dinc NU, Psaltis D, Brunner D. Optical neural networks: The 3D connection. Photoniques. 2020;(104):34–38. doi: 10.1051/photon/202010434.
  21. Moughames J, Porte X, Larger L, Jacquot M, Kadic M, Brunner D. 3D printed multimode splitters for photonic interconnects. Opt. Mater. Express. 2020;10(11):2952–2961. DOI: 10.1364/ OME.402974.
  22. Semenova N, Porte X, Andreoli L, Jacquot M, Larger L, Brunner D. Fundamental aspects of noise in analog-hardware neural networks. Chaos: An Interdisciplinary Journal of Nonlinear Science. 2019;29(10):103128. doi: 10.1063/1.5120824.
  23. Semenova N, Larger L, Brunner D. Understanding and mitigating noise in trained deep neural networks. Neural Networks. 2022;146:151–160. doi: 10.1016/j.neunet.2021.11.008.
  24. Semenova N, Brunner D. Noise-mitigation strategies in physical feedforward neural networks. Chaos: An Interdisciplinary Journal of Nonlinear Science. 2022;32(6):061106. DOI: 10.1063/ 5.0096637.
  25. Jaeger H. Tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF and the “echo state network” approach. GMD-Report 159. Bonn: German National Research Center for Information Technology; 2002. 48 p.
  26. Prokhorov D. Echo state networks: appeal and challenges. In: Proceedings. 2005 IEEE International Joint Conference on Neural Networks. Vol. 3. 31 July 2005 – 04 August 2005, Montreal, QC, Canada. New York: IEEE; 2005. P. 1463–1466. doi: 10.1109/IJCNN.2005.1556091.
  27. Cerina L, Santambrogio MD, Franco G, Gallicchio C, Micheli A. EchoBay: Design and optimization of echo state networks under memory and time constraints. ACM Transactions on Architecture and Code Optimization. 2020;17(3):1–24. doi: 10.1145/3404993.
  28. Lukosevicius M, Jaeger H. Reservoir computing approaches to recurrent neural network training. Computer Science Review. 2009;3(3):127–149. doi: 10.1016/j.cosrev.2009.03.005.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».