State Estimation of an Agent with Stochastic Dynamics Using Recurrent Filters

封面

如何引用文章

全文:

详细

The paper proposes a method for estimating the state vector of an agent in a multi-agent biological system based on noisy measurements using recurrent filters. It addresses the issues of scalability in existing approaches to monitoring the behavior of laboratory rodents and the absence of a unified mathematical framework. A mathematical description of an agent in the biological system is provided, along with the formulation of the task of estimating its state. The mathematical model is built upon a non-linear discrete-time system in state space. The solution to this problem is demonstrated using the example of skeletal keypoints in a Wistar rat, which are detected using a pre-trained detector. A fully connected neural network is proposed to parameterize the unknown dynamics of the system. The particle filter (a sequential Monte Carlo method) and the unscented Kalman filter were selected for a comparative analysis. The comparison of the methods was conducted on a collected and preprocessed dataset comprising images with a resolution of 1060×548 pixels and annotations of rat skeletal keypoints. The experimental results demonstrate the high efficacy of the proposed method and its advantage over an analytical description of the system's nonlinear dynamics. Among the compared methods, the dual estimation of both the state vector and the neural network parameters using two unscented Kalman filters achieved the minimal mean error of 6.4 pixels. However, for practical applications in real-time scenarios, a single filter employing a pre-trained neural network proves to be more advantageous. Moreover, the unscented Kalman filter in this case demonstrated higher accuracy than the particle filter (mean error of 8.1 pixels vs. 12.0 pixels). The results of this study can be used to solve the task of automated registration of Wistar rat behavior by parameterizing the functions that link state vectors with the output vectors of individual and group behavior.

作者简介

D. Krasnov

ITMO University

Email: dmitriy_krasnov@outlook.com
Kronverksky Av. 49

M. Volynsky

ITMO University

Email: maxim.volynsky@gmail.com
Kronverksky Av. 49

A. Gusev

ITMO University

Email: gusew@internet.ru
Kronverksky Av. 49

参考

  1. Кузнецов А.В. Краткий обзор многоагентных моделей // Управление большими системами: сборник трудов. 2018. № 71(5). С. 6–44. doi: 10.25728/ubs.2018.71.1.
  2. Bernardi S., Scianna M. An agent-based approach for modelling collective dynamics in animal groups distinguishing individual speed and orientation // Philosophical Transactions of the Royal Society B. 2020. vol. 375. doi: 10.1098/rstb.2019.0383.
  3. Rashid M.M., Seyedi M., Jung S. Simulation of pedestrian interaction with autonomous vehicles via social force model // Simulation Modelling Practice and Theory. 2024. vol. 132. doi: 10.1016/j.simpat.2024.102901.
  4. Antonelli G. Interconnected dynamic systems: An overview on distributed control // IEEE Control Systems Magazine. 2013. vol. 33. no. 1. pp. 76–88. doi: 10.1109/MCS.2012.2225929.
  5. Proskurnikov A.V., Fradkov A.L. Problems and methods of network control // Autom Remote Control. 2016. vol. 77. pp. 1711–1740. doi: 10.1134/S0005117916100015.
  6. Xue Y., Chen W. Multi-Agent Deep Reinforcement Learning for UAVs Navigation in Unknown Complex Environment // IEEE Transactions on Intelligent Vehicles. 2024. vol. 9. no. 1. pp. 2290–2303. doi: 10.1109/TIV.2023.3298292.
  7. Zhao X., Yang R., Zhong L., Hou Z. Multi-UAV Path Planning and Following Based on Multi-Agent Reinforcement Learning // Drones. 2024. vol. 8. no. 1. doi: 10.3390/drones8010018.
  8. Shi H., Zhao Z., Chen J., Zhou M., Liu Y. Enhancing Unmanned Aerial Vehicle Path Planning in Multi-Agent Reinforcement Learning through Adaptive Dimensionality Reduction // Drones. 2024. vol. 8. no. 10. doi: 10.3390/drones8100521.
  9. Podelenyuk, P., Epifantsev I. Modeling the Formation of a Multi-Agent System as a System of Points of a Rigid // IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus). 2021. pp. 594–597. doi: 10.1109/ElConRus51938.2021.9396179.
  10. Cong Y., Feng Z., Song H., Wang S. Containment control of singular heterogeneous multi-agent systems // Journal of the Franklin Institute. 2018. vol. 355. no. 11. pp. 4629–4643. doi: 10.1016/j.jfranklin.2018.04.009.
  11. Thummalapeta M., Liu Y.-C. Survey of containment control in multi-agent systems: concepts, communication, dynamics, and controller design // International Journal of Systems Science. 2023. vol. 54. no. 14. pp. 2809–2835.
  12. Luo R., Peng Z., Hu J. On Model Identification Based Optimal Control and it’s Applications to Multi-Agent Learning and Control // Mathematics. 2023. vol. 11. no. 4. doi: 10.3390/math11040906.
  13. Iarosh D., Reneva G., Kornilova A., Konovalov P. Multiagent System of Mobile Robots for Robotic Football // 26th Saint Petersburg International Conference on Integrated Navigation Systems (ICINS). 2019. pp. 1–3. doi: 10.23919/ICINS.2019.8769365.
  14. Ribeiro A.F.A., Lopes A.C.C., Ribeiro T.A., Pereira N.S.S.M., Lopes G.T., Ribeiro A.F.M. Probability-Based Strategy for a Football Multi-Agent Autonomous Robot System // Robotics. 2024. vol. 13. no. 1. doi: 10.3390/robotics13010005.
  15. Dewantara B.S.B., Ariyadi B.N.D. Adaptive Behavior Control for Robot Soccer Navigation Using Fuzzy-based Social Force Model // Smart Science. 2021. vol. 9. no. 1. pp. 14–29. doi: 10.1080/23080477.2021.1871799.
  16. Du Z., Negenborn R.R., Reppa V. Cooperative Multi-Agent Control for Autonomous Ship Towing Under Environmental Disturbances // IEEE/CAA Journal of Automatica Sinica. 2021. vol. 8. no. 8. pp. 1365–1379. doi: 10.1109/JAS.2021.1004078.
  17. Bonnet F., Gribovskiy A., Halloy J., Mondada F. Closed-loop interactions between a shoal of zebrafish and a group of robotic fish in a circular corridor // Swarm Intelligence. 2018. vol. 12. no. 3. pp. 227–244. doi: 10.1007/s11721-017-0153-6.
  18. Kim C., Ruberto T., Phamduy P., Porfiri M. Closed-loop control of zebrafish behaviour in three dimensions using a robotic stimulus // Scientific Reports. 2018. vol. 8. no. 1. doi: 10.1038/s41598-017-19083-2.
  19. Kopman V., Laut J., Polverino G., Porfiri M. Closed-loop control of zebrafish response using a bioinspired robotic-fish in a preference test // Journal of The Royal Society Interface. 2013. vol. 10. no. 78. doi: 10.1098/rsif.2012.0540.
  20. Swain D.T., Couzin I.D., Ehrich Leonard N. Real-Time Feedback-Controlled Robotic Fish for Behavioral Experiments with Fish Schools // Proceedings of the IEEE. 2012. vol. 100. no. 1. pp. 150–163. doi: 10.1109/JPROC.2011.2165449.
  21. Landgraf T., Bierbach D., Nguyen H., Muggelberg N., Romanczuk P., Krause J. RoboFish: increased acceptance of interactive robotic fish with realistic eyes and natural motion patterns by live Trinidadian guppies // Bioinspiration & Biomimetics. 2016. vol. 11. no. 1. doi: 10.1088/1748-3190/11/1/015001.
  22. Collignon B., Séguret A., Halloy J. A stochastic vision-based model inspired by zebrafish collective behaviour in heterogeneous environments // Royal Society Open Science. 2016. vol. 3. no. 1. doi: 10.1098/rsos.150473.
  23. Mwaffo V., Anderson R.P., Butail S., Porfiri M. A jump persistent turning walker to model zebrafish locomotion // Journal of The Royal Society Interface. 2015. vol. 12. no. 102. doi: 10.1098/rsif.2014.0884.
  24. Zienkiewicz A.K., Ladu F., Barton D.A.W. Data-driven modelling of social forces and collective behaviour in zebrafish // Journal of Theoretical Biology. 2018. vol. 443. pp. 39–51. doi: 10.1016/j.jtbi.2018.01.011.
  25. Tuqan M., Porfiri M. Mathematical Modeling of Zebrafish Social Behavior in Response to Acute Caffeine Administration // Frontiers in Applied Mathematics and Statistics. 2021. vol. 7. doi: 10.3389/fams.2021.751351.
  26. van Dam E.A., Noldus L.P.J.J., van Gerven M.A.J. Deep learning improves automated rodent behavior recognition within a specific experimental setup // Journal of Neuroscience Methods. 2020. vol. 332. doi: 10.1016/j.jneumeth.2019.108536.
  27. Grieco F., Bernstein B.J., Biemans B. et al. Measuring Behavior in the Home Cage: Study Design, Applications, Challenges, and Perspectives // Frontiers in Behavioral Neuroscience. 2021. vol. 15. doi: 10.3389/fnbeh.2021.735387.
  28. Segalin C., Williams J., Karigo T. et al. The Mouse Action Recognition System (MARS) software pipeline for automated analysis of social behaviors in mice // eLife. 2021. vol. 10. doi: 10.7554/eLife.63720.
  29. Hsu A.I., Yttri E.A. B-SOiD, an open-source unsupervised algorithm for identification and fast prediction of behaviors // Nature Communications. 2021. vol. 12. doi: 10.1038/s41467-021-25420-x.
  30. Ru Z., Duan F. Hierarchical Spatial-Temporal Window Transformer for Pose-Based Rodent Behavior Recognition // IEEE Transactions on Instrumentation and Measurement. 2024. vol. 73. pp. 1–14. doi: 10.1109/TIM.2024.3379081.
  31. Weinreb C., Pearl J.E., Lin S. et al. Keypoint-MoSeq: parsing behavior by linking point tracking to pose dynamics // Nature Methods. 2024. vol. 21. pp. 1329–1339. doi: 10.1038/s41592-024-02318-2.
  32. Donnarumma F., Prevete R., Maisto D. et al. A framework to identify structured behavioral patterns within rodent spatial trajectories // Scientific Reports. 2021. vol. 11. doi: 10.1038/s41598-020-79744-7.
  33. van Dam E.A., Noldus L.P.J.J., van Gerven M.A.J. Disentangling rodent behaviors to improve automated behavior recognition // Front. Neurosci. 2023. vol. 17. doi: 10.3389/fnins.2023.1198209.
  34. Краснов Д.И., Волынский М.А., Гусев А.А. Предобработка траекторий ключевых точек скелета в задаче автоматизации регистрации поведения лабораторных животных // Научно-технический вестник информационных технологий, механики и оптики. 2025. Т. 25. № 2. С. 295–302.
  35. Buizza C., Fischer T., Demiris Y. Real-Time Multi-Person Pose Tracking using Data Assimilation // IEEE Winter Conference on Applications of Computer Vision (WACV). 2020. pp. 438–447. doi: 10.1109/WACV45572.2020.9093442.
  36. Svensson D. Derivation of the discrete-time constant turn rate and acceleration motion model // Sensor Data Fusion: Trends, Solutions, Applications (SDF). 2019. pp. 1–5. doi: 10.1109/SDF.2019.8916654.
  37. Yuan H., Han Y., Zhou Y. et al. State of Charge Dual Estimation of a Li-ion Battery Based on Variable Forgetting Factor Recursive Least Square and Multi-Innovation Unscented Kalman Filter Algorithm // Energies. 2022. vol. 15. no. 4. doi: 10.3390/en15041529.
  38. Huang J., Zhu Z., Guo F., Huang G. The Devil Is in the Details: Delving into Unbiased Data Processing for Human Pose Estimation // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2020. pp. 5699–5708. doi: 10.1109/CVPR42600.2020.00574.
  39. Lyu C., Zhang W., Huang H. et al. RTMDet: An Empirical Study of Designing Real-Time Object Detectors. 2024. arXiv preprint arXiv:2212.07784.
  40. Wan E. A., Van Der Merwe R. The unscented Kalman filter for nonlinear estimation // Proceedings of the IEEE 2000 Adaptive Systems for Signal Processing, Communications, and Control Symposium (Cat. No.00EX373). 2000. pp. 153–158. doi: 10.1109/ASSPCC.2000.882463.
  41. Волынский М.А., Гуров И.П., Скаков П.С. Рекуррентный алгоритм обработки интерферометрических сигналов на основе мультиоблачной модели предсказания // Научно-технический вестник информационных технологий, механики и оптики. 2014. Т. 14. № 4. С. 18–22.

补充文件

附件文件
动作
1. JATS XML
下载

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».