Hardware implementation of an asynchronous analog neural network with training based on unified cmos ip blocks

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

An approach to designing neuromorphic electronic devices based on convolutional neural networks with backpropagation training is presented. The approach is aimed at improving the energy efficiency and performance of autonomous systems. The developed approach is based on the use of a neural network topology compiler based on five basic CMOS blocks intended for analog implementation of all computational operations in training and inference modes. The developed crossbar arrays of functional analog CMOS blocks with digital control of the conductivity level ensure the execution of the matrix-vector multiplication operation in the convolutional and fully connected layers without using the DAC and using the ADC in the synaptic connection weight control circuits only in the training mode. The effectiveness of the approach is demonstrated by the example of the digit classification problem solved with an accuracy of 97.87 % on test data using the developed model of hardware implementation of an asynchronous analog neural network with training.

About the authors

M. O. Petrov

Saint Petersburg Electrotechnical University ETU “LETI”

Email: nvandr@gmail.com
St. Petersburg, Russia

E. A. Ryndin

Saint Petersburg Electrotechnical University ETU “LETI”

Email: nvandr@gmail.com
St. Petersburg, Russia

N. V. Andreeva

Saint Petersburg Electrotechnical University ETU “LETI”

Author for correspondence.
Email: nvandr@gmail.com
St. Petersburg, Russia

References

  1. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016. P. 770–778.
  2. Zagoruyko S., Komodakis N. Wide residual networks // arXiv:1605.07146. 2016. P. 1–15.
  3. Voulodimos A., Doulamis N., Doulamis A., Protopapadakis E. Deep learning for computer vision: A brief review // Computational intelligence and neuroscience. 2018. V. 2018. N. 1. 7068349.
  4. Goyal P., Sumit P., Karan J. Deep learning for natural language processing. Apress Berkeley, CA. 2018. 277 p.
  5. Petrov M.O., Ryndin E.A., Andreeva N.V. Compiler for Hardware Design of Convolutional Neural Networks with Supervised Learning Based on Neuromorphic Electronic Blocks // 2024 Sixth International Conference Neurotechnologies and Neurointerfaces (CNN). 2024. P. 1–4.
  6. Petrov M.O., Ryndin E.A., Andreeva N.V. Automated design of deep neural networks with in-situ training architecture based on analog functional blocks // The European Physical Journal Special Topics. 2024. P. 1–14.
  7. Gupta I., Serb A., Khiat A., Zeitler R., Vassanelli S., Prodromakis T. Sub 100 nW volatile nano-metal-oxide memristor as synaptic-like encoder of neuronal spikes // IEEE transactions on biomedical circuits and systems. 2018. V. 12. N. 2. P. 351–359.
  8. Valueva M.V., Valuev G.V., Babenko M.G., Cherny`x A., Kortes-Mendosa X.M. Metod apparatnoj realizacii svertochnoj nejronnoj seti na osnove sistemy` ostatochny`x klassov // Trudy` Instituta sistemnogo programmirovaniya RAN. 2022. T. 34. № 3. S. 61–74.
  9. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. 2015. V. 521. N. 7553. P. 436–444.
  10. Goodfellow I., Bengio Y., Courville A. Regularization for deep learning // Deep learning. 2016. P. 216–261.
  11. Schmidhuber J. Deep learning in neural networks: An overview // Neural networks. 2015. V. 61. P. 85–117.
  12. TensorFlow. MNIST dataset in Keras. 2024. URL: https://www.tensorflow.org/api_docs/python/tf/keras/datasets/mnist

Supplementary files

Supplementary Files
Action
1. JATS XML

Copyright (c) 2025 Russian Academy of Sciences

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».