The impact of internal noise on the performance of convolutional neural network

Capa

Citar

Texto integral

Resumo

Purpose. This study aims to establish the characteristics of noise propagation and accumulation in convolutional neural networks. The article investigates how the accuracy of a trained convolutional network varies depending on the type and intensity of noise exposure. Methods. White Gaussian noise sources were used as the basis for noise exposure. Two types of noise exposure were applied to artificial neurons: additive and multiplicative. Additionally, the effects of correlated and uncorrelated noise on the layers of neurons were examined. Results. The findings indicate that additive noise (both correlated and uncorrelated) accumulates more significantly in networks with convolutional layers compared to those without. The relationship between network accuracy and the intensity of multiplicative correlated noise is similar for both types of networks. However, the impact of multiplicative uncorrelated noise is more favorable for networks with convolutional layers. The study also considered pooling layers, specifically MaxPooling and MeanPooling, which significantly enhance accuracy in the presence of additive noise within the convolutional layer. The decline in accuracy due to increasing intensity of multiplicative correlated noise is nearly identical for networks with and without pooling layers. Conversely, networks employing MaxPooling demonstrate reduced resilience to uncorrelated multiplicative noise. Conclusion. The study demonstrates that additive noise severely degrades network performance when a convolutional layer is present, though this negative effect can be mitigated by including a pooling layer immediately following the convolutional layer. In contrast, the effects of multiplicative noise are less clear-cut. In most cases, its impact remains consistent regardless of the presence of convolution and pooling layers. However, the use of MaxPooling in the pooling layer may compromise the network’s robustness against multiplicative uncorrelated noise.  

Sobre autores

Nadezhda Semenova

Saratov State University

ORCID ID: 0000-0002-9180-3030
Código SPIN: 6741-5068
Scopus Author ID: 57193880346
Researcher ID: HGD-4629-2022
ul. Astrakhanskaya, 83, Saratov, 410012, Russia

Bibliografia

  1. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. 2015. Vol. 521, no. 7553. P. 436-444 doi: 10.1038/nature14539.
  2. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet classification with deep convolutional neural networks // Commun. ACM. 2017. Vol. 60, no. 6. P. 84-90 doi: 10.1145/3065386.
  3. Maturana D., Scherer S. VoxNet: A 3D Convolutional Neural Network for real-time object recognition // In: 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2015, Hamburg, Germany. 2015. P. 922-928 doi: 10.1109/IROS.2015.7353481.
  4. Graves A., Mohamed A., Hinton G. Speech recognition with deep recurrent neural networks // In: 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. 2013, Vancouver, BC, Canada. 2013. P. 6645-6649 doi: 10.1109/ICASSP.2013.6638947.
  5. Kar S., Moura J. M.,F. Distributed consensus algorithms in sensor networks with imperfect communication: Link failures and channel noise // IEEE Transactions on Signal Processing. 2009. Vol. 57, no. 1. P. 355-369 doi: 10.1109/TSP.2008.2007111.
  6. AI and compute . [Electronic resource]. 2018. Available from: https://openai.com/index/ai-and-compute/https://openai.com/index/ai-and-compute/.
  7. Hasler J., Marr H. B. Finding a roadmap to achieve large neuromorphic hardware systems // Front. Neurosci. 2013. Vol. 7. P. 118 doi: 10.3389/fnins.2013.00118.
  8. Gupta S., Agrawal A., Gopalakrishnan K., Narayanan P. Deep Learning with Limited Numerical Precision // In: Proceedings of the 32nd International Conference on International Conference on Machine Learning. 2015. Vol. 37. P. 1737-1746 doi: 10.1109/72.80206.
  9. Karniadakis G. E., Kevrekidis I. G., Lu L., Perdikaris P., Wang S., Yang L. Physics-informed machine learning // Nat. Rev. Phys. 2021. Vol. 3. P. 422-440 doi: 10.1038/s42254-021-00314-5.
  10. Aguirre F., Sebastian A., Le Gallo M., Song W., Wang T., Yang J. J., Lu W., Chang M.-F., Ielmini D., Yang Y., Mehonic A., Kenyon A., Villena M. A., Roldán J. B., Wu Y., Hsu H u.-H., Raghavan N., Suñé J., Miranda E., Eltawil A., Setti G., Smagulova K., Salama K. N., Krestinskaya O., Yan X., Ang K.-W., Jain S., Li S., Alharbi O., Pazos S., Lanza M. Hardware implementation of memristor-based artificial neural networks // Nat. Commun. 2024. Vol. 15. P. 1974 doi: 10.1038/s41467-024-45670-9.
  11. Chen Y., Nazhamaiti M., Xu H., Meng Y., Zhou T., Li G., Fan J., Wei Q., Wu J., Qiao F., Fang L., Dai Q. All-analog photoelectronic chip for high-speed vision tasks // Nature. 2023. Vol. 623. P. 48-57 doi: 10.1038/s41586-023-06558-8.
  12. Brunner D., Soriano M. C., Mirasso C. R., Fischer I. Parallel photonic information processing at gigabyte per second data rates using transient states // Nat. Commun. 2023. Vol. 4. P. 1364 doi: 10.1038/ncomms2368.
  13. Tuma T., Pantazi A., Le Gallo M., Sebastian A., Eleftheriou E. Stochastic phase-change neurons // Nature Nanotech. 2016. Vol. 11. P. 693-699 doi: 10.1038/nnano.2016.70.
  14. Torrejon J., Riou M., Araujo F., Tsunegi S., Khalsa G., Querlioz D., Bortolotti P., Cros V., Yakushiji K., Fukushima A., Kubota H., Yuasa S h., Stiles M. D., Grollier J. Neuromorphic computing with nanoscale spintronic oscillators // Nature. 2017. Vol. 547. P. 428-431. 10.1038/nature2301110.1038/nature23011.
  15. Psaltis D., Brady D., Gu X. G., Lin S. Holography in artificial neural networks // Nature. 1990. Vol. 343. P. 325-330 doi: 10.1038/343325a0.
  16. Bueno J., Maktoobi S., Froehly L., Fischer I., Jacquot M., Larger L., Brunner D. Reinforcement learning in a large-scale photonic recurrent neural network // Optica. 2018. Vol. 5, no. 6. P. 756-760 doi: 10.1364/OPTICA.5.000756.
  17. Lin X., Rivenson Y., Yardimci N. T., Veli M., Jarrahi M., Ozcan A. All-optical machine learning using diffractive deep neural networks // Science. 2018. Vol. 361. P. 1004-1008. 10.1126/science.aat808410.1126/science.aat8084.
  18. Shen Y., Harris N. C., Skirlo S., Prabhu M., Baehr-Jones T., Hochberg M., Sun X., Zhao S., Larochelle H., Englund D., Soljacic M. Deep learning with coherent nanophotonic circuits // Nature Photonics. 2017. Vol. 11. P. 441-446 doi: 10.1038/nphoton.2017.93.
  19. Tait A. N., De Lima T. F., Zhou E., Wu A. X., Nahmias M. A., Shastri B. J., Prucnal P. R. Neuromorphic photonic networks using silicon photonic weight banks // Sci. Rep. 2017. Vol. 7, no. 1. P. 7430 doi: 10.1038/s41598-017-07754-z.
  20. Moughames J., Porte X., Thiel M., Ulliac G., Larger L., Jacquot M., Kadic M., Brunner D. Three-dimensional waveguide interconnects for scalable integration of photonic neural networks // Optica. 2020. Vol. 7, no. 6. P. 640-646 doi: 10.1364/OPTICA.388205.
  21. Dinc N. U., Psaltis D., Brunner D. Optical neural networks: The 3D connection // Photoniques. 2020. Vol. 104. P. 34-38 doi: 10.1051/photon/202010434.
  22. Moughames J., Porte X., Larger L., Jacquot M., Kadic M., Brunner D. 3D printed multimode-splitters for photonic interconnects // Optical Materials Express. 2020. Vol. 10, no. 11. P. 2952-2961 doi: 10.1364/OME.402974.
  23. Semenova N., Larger L., Brunner D. Understanding and mitigating noise in trained deep neural networks // Neural Netw. 2022. Vol. 146. P. 151-160 doi: 10.1016/j.neunet.2021.11.008.
  24. Semenova N. Impact of white Gaussian internal noise on analog echo-state neural networks // arXiv:2405.07670. arXiv Preprint, 2024. 10 p doi: 10.48550/arXiv.2405.07670.
  25. Semenova N., Brunner D. Noise-mitigation strategies in physical feedforward neural networks // Chaos. 2022. Vol. 32, no. 6. P. 061106 doi: 10.1063/5.0096637.
  26. Semenova N., Brunner D. Impact of white noise in artificial neural networks trained for classification: Performance and noise mitigation strategies // Chaos. 2024. Vol. 34, no. 5. P. 051101 doi: 10.1063/5.0206807.
  27. Semenova N., Porte X., Andreoli L., Jacquot M., Larger L., Brunner D. Fundamental aspects of noise in analog-hardware neural networks // Chaos. 2019. Vol. 29, no. 20. P. 103128 doi: 10.1063/1.5120824.
  28. Li Z., Liu F., Yang W., Peng S., Zhou J. A survey of convolutional neural networks: Analysis, applications, and prospects // IEEE Transactions on Neural Networks and Learning Systems. 2022. Vol. 33, no. 12. P. 6999-7019 doi: 10.1109/TNNLS.2021.3084827.
  29. LeCun Y. The MNIST database of handwritten digits [Electronic resourse] // 1998. Available from: http://yann.lecun.com/exdb/mnist/.
  30. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. М.: ДМК Пресс, 2018. 652 c.
  31. Chollet F. et a l. Keras [Electronic resource]. 2015. Available from: https://github.com/fchollet/keras.
  32. Stephanie M. V., Pham L., Schindler A., Grasser T., Waltl M., Schrenk B. Photonic neuron with on frequency-domain ReLU activation function // Journal of Lightwave Technology. 2024. Vol. 42, no. 22. P. 7919-7928 doi: 10.1109/JLT.2024.3413976.
  33. Li G. H.,Y., Sekine R., Nehra R., Gray R. M., Ledezma L., Guo Q., Marandi A. All-optical ultrafast ReLU function for energy-efficient nanophotonic deep learning // Nanophotonics. 2023. Vol. 12, no. 5. P. 847-855 doi: 10.1515/nanoph-2022-0137.

Arquivos suplementares

Arquivos suplementares
Ação
1. JATS XML
Baixar

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».