ARTIFICIAL INTELLIGENCE AND DECISION MAKINGARTIFICIAL INTELLIGENCE AND DECISION MAKINGИскусственный интеллект и принятие решений2071-859426974610.14357/20718594230407OACLBWAI-enabled SystemsСистемы, включающие искусственный интеллектResearch ArticleRecognizing, Analyzing and Assessing Human Interactions by Emotional ReactionsРаспознавание, анализ и оценка взаимодействия людей по эмоциональным реакциямZaboleeva-ZotovaAlla V.Заболеева-ЗотоваАлла Викторовна
Russian Federation

Doctor of Technical Sciences, Professor; Adviser of the Russian Center for Scientific Information

доктор технических наук, профессор, советник Российского центра научной информации

zabzot@gmail.comPetrovskyAlexey B.ПетровскийАлексей Борисович
Russian Federation

Doctor of Technical Sciences, Professor; Chief Researcher

доктор технических наук, профессор; главный научный сотрудник

a.b.petrovsky@mail.ruUlyevAndrey D.УльевАндрей Дмитриевич
Russian Federation

Graduate Student of the Department of Software Engineering

аспирант кафедры программного обеспечения автоматизированных систем

ulyev-ad@yandex.ruVolgograd State Technical UniversityВолгоградский государственный технический университетComputer Science and Control Federal Research Center of the Russian Academy of SciencesФедеральный исследовательский центр «Информатика и управление» РАН15122023471811211202412112024Copyright ©; 2023, ФИЦ ИУ РАНCopyright ©; 2023,2023ФИЦ ИУ РАНhttps://journals.rcsi.science/2071-8594/article/view/269746

The paper describes the concept and information model for recognizing, analyzing and assessing the interaction of people from different target groups based on emotional reactions. The model includes classification and identification of people by the cloth color, tracking their movement in a limited space, determining the fact of interaction between people and assessing the quality of interaction by human emotions, which are determined by face images and voice sounds. The concept and information model are realized in the developed automated video surveillance system for human interactions. The results of testing the automated system are presented.

В работе описываются концепция и информационная модель распознавания, анализа и оценки взаимодействия людей из разных целевых групп по эмоциональным реакциям. Модель включает классификацию и идентификацию людей по цвету одежды, отслеживание их перемещения в ограниченном пространстве, определение факта взаимодействия людей и оценку качества взаимодействия по эмоциям человека, определяемым по изображениям лица и звуку голоса. Концепция и информационная модель реализованы в разработанной автоматизированной системе видеонаблюдения за взаимодействием людей. Приведены результаты апробации автоматизированной системы.

recognitionanalysisassessmenthuman interactionhuman emotionsface imagevoice soundраспознаваниеанализоценкавзаимодействие людейэмоции человекаизображение лицазвук голосаBaryshev D.A., Makarevich I.V., Zubankov A.S., Rozaliyev V.L. Neyrosetevoy podkhod k opredeleniyu emotsiy cheloveka po rechi [Neural network approach to determining human emotions from speech] // Inzhenernyy vestnik Dona [Engineering Bulletin of the Don]. 2022. No 5 (89). P. 183-193.Барышев Д.А., Макаревич И.В., Зубанков А.С., Розалиев В.Л. Нейросетевой подход к определению эмоций человека по речи // Инженерный вестник Дона. 2022. № 5 (89). С. 183-193.Berne E. Games people play: the psychology of human relationships. London: Penguin Books, 2010.Берн Э. Игры, в которые играют люди. Психология человеческих взаимоотношений. Пер. с англ. М.: Бомбора. 2020.Wundt W. Einführung in die psychologie. Leipzig: Voigtländers Verlag. 1911.Вундт В. Введение в психологию. Пер. с нем. СПб.: Питер. 2002.Zaboleeva-Zotova A.V., Orlova Yu.A., Rozaliev V.L. Avtomatizirovannoe opredelenie emotsional’nogo sostoyaniya cheloveka po telodvizheniyam i rechi [Automated determination of a person’s emotional state by body movements and speech] // Vestnik Rostovskogo gosudarstvennogo universiteta putey soobshcheniya [Bulletin of the Rostov State Transport University]. 2013. No 3 (51). P. 61-68.Заболеева-Зотова А.В., Орлова Ю.А., Розалиев В.Л. Автоматизированное определение эмоционального состояния человека по телодвижениям и речи // Вестник Ростовского государственного университета путей сообщения. 2013. № 3 (51). С. 61–68.Izard C.E. The psychology of emotions. New York: Plenum Press, 1991.Изард К.Э. Психология эмоций. Пер. с англ. СПб.: Питер. 2012.Ilyin E.P. Psikhologiya obshcheniya i mezhlichnostnykh otnosheniy [Psychology of communication and interpersonal relationships]. St. Petersburg: Piter. 2009.Ильин Е.П. Психология общения и межличностных отношений. СПб.: Питер. 2009.Perls F., Hefferline R., Goodman P. Gestalt therapy. Excitement and growth in the human personality. New York: Julian Press. 1951.Перлз Ф., Гудман П. Теория Гештальт-терапии. Возбуждение и рост человеческой личности. Пер. с англ. М.: Институт общегуманитарных исследований, 2015.Petrovsky A.B. Teoriya prinyatiya resheniy [Decision theory]. Moscow: Publishing center "Academy". 2009.Петровский А.Б. Теория принятия решений. М.: Академия. 2009.Petrovsky A.B. Gruppovoy verbal’niy analiz resheniy [Group verbal decision analysis]. Moscow: Nauka. 2019.Петровский А.Б. Групповой вербальный анализ решений. М.: Наука. 2019.Rozaliev V.L., Zaboleeva-Zotova A.V., Orlova Yu.A., Ulyev A.D., Alekseev A.V. Avtomaticheskaya sistema kontrolya aktivnosti pokupateley v magazine s modulyami otsenki raboty ego sotrudnikov [Automatic system for monitoring customer activity in a store with modules for assessing the work of its employees // Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal: Control and high technologies]. 2020. No 2 (50). P. 22-32.Розалиев В.Л., Заболеева-Зотова А.В., Орлова Ю.А., Ульев А.Д., Алексеев А.В. Автоматическая система контроля активности покупателей в магазине с модулями оценки работы его сотрудников // Прикаспийский журнал: управление и высокие технологии. 2020. № 2 (50). C. 22-32.Rozaliev V.L., Orlova Yu.A. Opredelenie dvizheniy i poz dlya identifikatsii emotsional’nykh reaktsiy cheloveka [Determination of movements and poses to identify human emotional reactions] // 11 Mezhdunarodnaya konferentsiya po raspoznavaniyu obrazov i analizu izobrazheniy: novye informatsionnye tekhnologii. Trudy konferentsii [11th International Conference on Pattern Recognition and Image Analysis: New Information Technologies] (PRIA-112013). Proceedings of the Conference. Samara. 2013. V. 2. P. 713-716.Розалиев В.Л., Орлова Ю.А. Определение движений и поз для идентификации эмоциональных реакций человека // 11 Международная конференция по распознаванию образов и анализу изображений: новые информационные технологии (PRIA-11-2013). Труды конференции. Самара. 2013. Т. 2. С. 713-716.Simonov V.P. Lektsii o rabote golovnogo mozga. Potrebnostno-informatsionnaya teoriya vysshey nervnoy deyatel’nosti [Lectures on the functioning of the brain. Need-information theory of higher nervous activity]. Moscow: Nauka. 2001.Симонов В.П. Лекции о работе головного мозга. Потребностно-информационная теория высшей нервной деятельности. М.: Наука. 2001.Sistema kontrolya sotrudnikov [System for monitoring employees] // Electronic resource. URL: https://xn-80aidjgwzd.xn-p1ai/news/kontrol_sotrudnikov_instrumenty_sposoby_i_oshibki/ (accessed 09.03.2023).Система контроля сотрудников // Электронный ресурс. URL: https://xn-80aidjgwzd.xn-p1ai/news/kontrol_sotrudnikov_instrumenty_sposoby_i_oshibki/ (дата обращения 09.03.2023).Sistemy podscheta posetiteley [Systems for counting visitors] // Electronic resource. URL: https://cetera.ru/about/articles/sistemy-podscheta-posetitelej-countmax/ (accessed 09.03.2023).Системы подсчета посетителей // Электронный ресурс. URL: https://cetera.ru/about/articles/sistemy-podscheta-posetitelej-countmax/ (дата обращения 09.03.2023).Ulyev A.D., Donskaya A.R., Zubkov A.V. Avtomatizirovannoe raspoznavanie i kontrol vzaimodeystviya lyudey po videoizobrazheniyu [Automated recognition and control of human interaction from video images] // Izvestiya YugoZapadnogo gosudarstvennogo universiteta. Seriya: Upravlenie, vychislitel’naya tekhnika, informatika. Meditsinskoe priborostroyenie [News of the South-West State University. Series: Control, computer technology, computer science. Medical instrumentation]. 2023. V. 13. No 2. P. 45-64.Ульев А.Д., Донская А.Р., Зубков А.В. Автоматизированное распознавание и контроль взаимодействия людей по видеоизображению // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2023. Т. 13. № 2. С. 45-64.Ulyev A.D., Orlova Yu.A., Rozaliev V.L., Donskaya A.R. Metody i sredstva slezheniya za peremeshcheniyem i vzaimodeystviyem sotrudnikov i pokupateley po videoizobrazheniyu [Methods and means of tracking the movement and interaction of employees and customers using video images] // Izvestiya YuFU. Tekhnicheskie nauki [News of the Southern Federal University. Technical sciences]. 2023. No P. 263-273.Ульев А.Д., Орлова Ю.А., Розалиев В.Л., Донская А.Р. Методы и средства слежения за перемещением и взаимодействием сотрудников и покупателей по видеоизображению // Известия ЮФУ. Технические науки. 2023. № 2. С. 263-273.Ulyev A.D., Rozaliev V.L., Zaboleeva-Zotova A.V., Orlova Yu.A. Intellektual’naya sistema videonablyudeniya za povedeniem cheloveka [Intelligent video surveillance system for human behavior] // Iskusstvenniy intellekt i prinyatie resheniy [Artificial intelligence and decision making]. 2020. No 4. P. 3-14.Ульев А.Д., Розалиев В.Л., Заболеева-Зотова А.В., Орлова Ю.А. Интеллектуальная система видеонаблюдения за поведением человека // Искусственный интеллект и принятие решений. 2020. № 4. C. 3-14.Fominykh I.B. Inzheneriya obrazov, tvorcheskie zadachi, emotsional’nye otsenki [Image engineering, creative tasks, emotional assessments] // Ontologiya proyektirovaniya [Ontology of designing]. 2018. V. 8. No 2 (28). P. 175–189.Фоминых И.Б. Инженерия образов, творческие задачи, эмоциональные оценки // Онтология проектирования. 2018. Т. 8. № 2 (28). С. 175–189.Ekman P. Emotions revealed: Recognizing faces and feelings to improve communication and emotional life. New York: Henry Holt. 2007.Экман П. Психология эмоций. Я знаю, что ты чувствуешь. 2-е изд. Пер. с англ. СПб.: Питер. 2010.A beginner’s guide to customer satisfaction metrics // Electronic resource. URL: https://www.simplesat.io/acad- emy/customer-satisfaction-metrics/ (accessed 09.03.2023).Azena // Electronic resource. URL: https://www.azena.com/ (accessed 09.03.2023).Azena//Electronicresource.URL: https://www.azena.com/ (accessed 09.03.2023).Cao Z., Simon T., Wei S.-E., Sheikh Y. Realtime multi-person 2D pose estimation using part affinity fields // Electronicresource.2017.URL: http://arxiv.org/abs/1611.08050 (accessed 17.05.2023).Hussain S.A., Al Balushi A.S.A. A real-time face emotion classification and recognition using deep learning model // Journal of Physics: Conference Series. 2020. V. 1432. No 1. P. 012087.Kumar P., Kaushik V., Raman B. Towards the explainability of multimodal speech emotion recognition. Proceedings of the 22nd Annual Conference of the International Speech Communication Association (Interspeech 2021). 2021. P. 1748-1752.Kumar P., Kaushik V., Raman B. Towards the explainability of multimodal speech emotion recognition. Proceedings of the 22nd Annual Conference of the International Speech Communication Association (Interspeech 2021). 2021. P. 1748 -1752.Li L., Mu X., Li S., Peng, H. A Review of face recognition technology // IEEE Access. 2020. V. 8. P. 139110-139120.Li L., Mu X., Li S., Peng, H. A Review of face recognition technology // IEEE Access. 2020. V. 8. P. 139110 -139120.Nasr M., Osama R., Ayman H., Mosaad N., Ebrahim А. Realtime multi-person 2D pose estimation // International Journal of Advanced Networking and Applications. 2020. V. 11. No 6. Р. 4501–4508.Nasr M., Osama R., Ayman H., Mosaad N., Ebrahim А. Realtime multi-person 2D pose estimation // International Journal of Advanced Networking and Applications. 2020. V. 11. No 6. Р. 4501-4508.NTechLab // Electronic resource. URL: https://www.ntechlab.ru/ (accessed 09.03.2023).Rozaliev V., Guschin R., Orlova Yu., Zaboleeva-Zotova A., Berdnik V. The method for searching emotional content in images based on low-level parameters with using neural networks // Advances in Intelligent Systems and Computing. 2019. V. 848. P. 260-265.Samyak S., Gupta A., Raj T., Karnam A., Mamatha H.R. Speech emotion analyzer // Proceedings of the 4th International Conference on Innovative Data Communication Technologies and Application (ICIDCA 2022). 2022. Р. 113–124.Samyak S., Gupta A., Raj T., Karnam A., Mamatha H.R. Speech emotion analyzer // Proceedings of the 4th International Conference on Innovative Data Communication Technologies and Application (ICIDCA 2022). 2022. Р. 113-124.Sharmila Sk., Kavya Nagasai G., Sowmya M., Sai Prasanna A., Navya Sri S., Meghana N. Automatic attendance system based on face recognition using machine learning // Proceedings of the 7th International Conference on Computing Methodologies and Communication (ICCMC). 2023. P. 170–174.Sharmila Sk., Kavya Nagasai G., Sowmya M., Sai Prasanna A., Navya Sri S., Meghana N. Automatic attendance system based on face recognition using machine learning // Proceedings of the 7th International Conference on Computing Methodologies and Communication (ICCMC). 2023. P. 170-174.Xia J., Zhang H., Wen S., Yang S., Xu M. An efficient multitask neural network for face alignment, head pose estimation and face tracking // Expert Systems with Applications. 2022. V. 205. Р. 117368.Zaboleeva-Zotova A.V., Bobkov A.S., Rozaliev V.L., Petrovsky A.B. Automated identification of human emotions by gestures and poses // Proceedings of the 1st BRICS Countries Congress on Computational Intelligence (BRICS-CCI 2013). 2013. P. 300-303.