ARTIFICIAL INTELLIGENCE AND DECISION MAKINGARTIFICIAL INTELLIGENCE AND DECISION MAKINGИскусственный интеллект и принятие решений2071-859426943610.14357/20718594230207Machine Learning, Neural NetworksМашинное обучение, нейронные сетиResearch ArticleParabola as an Activation Function of Artificial Neural NetworksПарабола как функция активации искусственных нейронных сетейKhachumovMikhail V.ХачумовМихаил Вячеславович
Russian Federation

Candidate of Physical and Mathematical Sciences, Senior Researcher; Senior Researcher; Associate Professor

кандидат физико-математических наук, старший научный сотрудник; старший научный сотрудник; доцент

khmike@inbox.ruEmelyanovaYulia G.ЕмельяноваЮлия Геннадиевна
Russian Federation

Candidate of Technical Sciences, Researcher

кандидат технических наук, научный сотрудник

yuliya.emelyanowa2015@yandex.ruAilamazyan Program Systems Institute of the Russian Academy of SciencesИнститут программных систем им. А. К. Айламазяна РАНComputer Science and Control Federal Research Center of the Russian Academy of SciencesФедеральный исследовательский центр «Информатика и управление» РАНPeoples' Friendship University of RussiaРоссийский университет дружбы народов15042023289971111202411112024Copyright ©; 2023, ФИЦ ИУ РАНCopyright ©; 2023,2023ФИЦ ИУ РАНhttps://journals.rcsi.science/2071-8594/article/view/269436

The use of parabola and its branches as a nonlinearity expanding the logical capabilities of artificial neurons is considered. In particular, the applicability of parabola branches for constructing an s-shaped function suitable for tuning a neural network by reverse error propagation is determined. The implementation of the XOR function on two and three neurons using the proposed approach is demonstrated. The main advantage of the parabola over the sigmoid is a simpler implementation, which speeds up the work of artificial neural networks.

Рассматриваются вопросы применения параболы и ее ветвей как нелинейности, расширяющей логические возможности искусственных нейронов. В частности, обусловлена применимость ветвей параболы для построения s-образной функции активации, пригодной для настройки нейронной сети методом обратного распространения ошибки. Продемонстрирована реализация функции XOR на двух и трех нейронах с применением предложенного подхода. Основное преимущество параболы перед сигмоидом – более простая реализация, что ускоряет работу искусственных нейронных сетей.

sigmoidparabolas-shaped activation functionneuronneural networkXOR problemtuning rateсигмоидпараболаs-образная функция активациинейроннейронная сетьXORскорость настройкиThe research was carried out at the expense of Russian Science Foundation Grant No. 21-71-10056Исследование выполнено за счет гранта Российского научного фонда № 21-71-10056Zakharov A.V., Khachumov V.M. Bit-parallel Representation of Activation Functions for Fast Neural Networks // Proceedings of the 7-th International Conference on Pattern Recognition and Image Analysis. 2014. V. 2. P. 568-571.Zakharov A.V., Khachumov V.M. Bit-parallel Representation of Activation Functions for Fast Neural Networks // Proceedings of the 7th International Conference on Pattern Recognition and Image Analysis. 2014. V. 2. P. 568-571.Arce F., Zamora E., Humberto S. Barrón, R. Differential evolution training algorithm for dendrite morphological neural networks // Applied Soft Computing. 2018. V. 68. P. 303-313.Dimitriadis N., Maragos, P. Advances in the training, pruning and enforcement of shape constraints of Morphological Neural Networks using Tropical Algebra // IEEE International Conference On Acoustics, Speech And Signal Processing. 2021. P. 3825-3829.Limonova E.E., Nikolaev D.P., Alfonso D.M., Arlazarov V.V. Bipolar Morphological Neural Networks: Gate-Efficient Architecture for Computer Vision // IEEE Access. 2021. V.9. P. 97569-97581.Limonova E.E., Nikolaev D.P., Alfonso D.M., Arlazarov V.V. Bipolar Morphological Neural Networks: GateEfficient Architecture for Computer Vision // IEEE Access. 2021. V.9. P. 97569-97581.Limonova E.E., Nikolaev D.P., Arlazarov V.V. Bipolar Morphological U-Net for Document Binarization // Thirteenth International Conference on Machine Vision. 2021. P. 1-9.Limonova E.E., Nikolaev D.P, Alfonso D., Arlazarov V.V. ResNet-like Architecture with Low Hardware Requirements // 25th International Conference on Pattern Recognition. 2021. P. 6204-6211.Limonova E.E., Nikolaev D.P, Alfonso D., Arlazarov V.V. ResNet-like Architecture with Low Hardware Requirements // 25th International Conference on Pattern Recognition. 2021. P. 6204–6211.Limonova E., Matveev D., Nikolaev D., Arlazarov V. Bipolar morphological neural networks: convolution without multiplication // Twelfth International Conference on Machine Vision. 2020. V. 11433. P. 1-18.Khachumov V.M. Logicheskie elementy na neyronah [Logical elements on neurons] // Trudy IX Mezhdunarodnoy Conferentcyi “Intellectualnye systemy i comp’uternye nauki” [Proceedings of the 9th International Conference “Intelligent Systems and Computer Science”]. Moscow, 2006. V. 1. P. 297-300.Хачумов В.М. Логические элементы на нейронах // Труды IX международной конференции «Интеллектуальные системы и компьютерные науки». 2006. T.1. Ч.2. C. 297-300.Kruflov V.V., Borisov V.V. Iskusstvennye neuronnye seti. Teoriya i practika [Artificial neural networks. Theory and practice]. Moscow: Hotline-Telecom, 2002.Круглов В.В., Борисов В. В. Искусственные нейронные сети. Теория и практика. M.: Горячая линияТелеком. 2002.Haykin S. Neyronnye seti: Polny’ kurs [Neural Networks: The Full Course]. Мoscow: Williams. 2006.Хайкин С. Нейронные сети: полный курс. М.: Вильямс. 2006.Callan R. Osnovnye koncepcii neyronnykh setej [The Essence of Neural Networks]. Мoscow: Williams. 2001.Каллан Р. Основные концепции нейронных сетей. Пер. с англ. М.: Вильямс. 2001.