Оценка состояния агента с динамикой стохастического характера с помощью рекуррентных фильтров

Обложка

Цитировать

Полный текст

Аннотация

В работе представлен метод оценки состояния агента многоагентной биологической системы по зашумленным измерениям с помощью рекуррентных фильтров. Рассмотрена проблема масштабируемости существующих подходов к регистрации поведения лабораторных грызунов и отсутствия единого математического описания. Приведено математическое описание агента биологической системы как нелинейной дискретной стохастической системы в пространстве состояний и постановка задачи оценки его состояния. Представлено решение поставленной задачи на примере ключевых точек крысы линии Wistar, которые измеряются с помощью предварительно обученного детектора. В работе предлагается использовать полносвязную нейронную сеть для параметризации неизвестной динамики системы. Для сравнительного анализа выбраны фильтр частиц (последовательный метод Монте-Карло) и ансцентный фильтр Калмана. Сравнение методов производилось на собранном и подготовленном наборе данных, который содержит изображения с разрешением 1060×548 и разметку скелетных точек крысы. Представленные результаты экспериментов по сравнению методов оценки состояния показывают высокую эффективность предложенного метода и его преимущество перед аналитическим описанием нелинейной динамики системы. Среди сравниваемых подходов минимальную среднюю ошибку 6,4 пикселей показала двойная оценка вектора состояния и параметров нейронной сети с помощью двух ансцентных фильтров Калмана. Однако для практического применения в реальном времени больше подходит один фильтр с предварительно обученной нейронной сетью. В таких условиях ансцентный фильтр Калмана показал лучшие результаты по точности, чем фильтр частиц (средняя ошибка 8,1 пикселя против 12,0 пикселей). Результаты работы могут быть использованы для решения задачи автоматической регистрации поведения крыс линии Wistar с помощью параметризации функций, связывающих векторы состояния с выходными векторами индивидуального и группового поведения.

Об авторах

Д. И Краснов

Университет ИТМО

Email: dmitriy_krasnov@outlook.com
Кронверкский проспект 49

М. А Волынский

Университет ИТМО

Email: maxim.volynsky@gmail.com
Кронверкский проспект 49

А. А Гусев

Университет ИТМО

Email: gusew@internet.ru
Кронверкский проспект 49

Список литературы

  1. Кузнецов А.В. Краткий обзор многоагентных моделей // Управление большими системами: сборник трудов. 2018. № 71(5). С. 6–44. doi: 10.25728/ubs.2018.71.1.
  2. Bernardi S., Scianna M. An agent-based approach for modelling collective dynamics in animal groups distinguishing individual speed and orientation // Philosophical Transactions of the Royal Society B. 2020. vol. 375. doi: 10.1098/rstb.2019.0383.
  3. Rashid M.M., Seyedi M., Jung S. Simulation of pedestrian interaction with autonomous vehicles via social force model // Simulation Modelling Practice and Theory. 2024. vol. 132. doi: 10.1016/j.simpat.2024.102901.
  4. Antonelli G. Interconnected dynamic systems: An overview on distributed control // IEEE Control Systems Magazine. 2013. vol. 33. no. 1. pp. 76–88. doi: 10.1109/MCS.2012.2225929.
  5. Proskurnikov A.V., Fradkov A.L. Problems and methods of network control // Autom Remote Control. 2016. vol. 77. pp. 1711–1740. doi: 10.1134/S0005117916100015.
  6. Xue Y., Chen W. Multi-Agent Deep Reinforcement Learning for UAVs Navigation in Unknown Complex Environment // IEEE Transactions on Intelligent Vehicles. 2024. vol. 9. no. 1. pp. 2290–2303. doi: 10.1109/TIV.2023.3298292.
  7. Zhao X., Yang R., Zhong L., Hou Z. Multi-UAV Path Planning and Following Based on Multi-Agent Reinforcement Learning // Drones. 2024. vol. 8. no. 1. doi: 10.3390/drones8010018.
  8. Shi H., Zhao Z., Chen J., Zhou M., Liu Y. Enhancing Unmanned Aerial Vehicle Path Planning in Multi-Agent Reinforcement Learning through Adaptive Dimensionality Reduction // Drones. 2024. vol. 8. no. 10. doi: 10.3390/drones8100521.
  9. Podelenyuk, P., Epifantsev I. Modeling the Formation of a Multi-Agent System as a System of Points of a Rigid // IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus). 2021. pp. 594–597. doi: 10.1109/ElConRus51938.2021.9396179.
  10. Cong Y., Feng Z., Song H., Wang S. Containment control of singular heterogeneous multi-agent systems // Journal of the Franklin Institute. 2018. vol. 355. no. 11. pp. 4629–4643. doi: 10.1016/j.jfranklin.2018.04.009.
  11. Thummalapeta M., Liu Y.-C. Survey of containment control in multi-agent systems: concepts, communication, dynamics, and controller design // International Journal of Systems Science. 2023. vol. 54. no. 14. pp. 2809–2835.
  12. Luo R., Peng Z., Hu J. On Model Identification Based Optimal Control and it’s Applications to Multi-Agent Learning and Control // Mathematics. 2023. vol. 11. no. 4. doi: 10.3390/math11040906.
  13. Iarosh D., Reneva G., Kornilova A., Konovalov P. Multiagent System of Mobile Robots for Robotic Football // 26th Saint Petersburg International Conference on Integrated Navigation Systems (ICINS). 2019. pp. 1–3. doi: 10.23919/ICINS.2019.8769365.
  14. Ribeiro A.F.A., Lopes A.C.C., Ribeiro T.A., Pereira N.S.S.M., Lopes G.T., Ribeiro A.F.M. Probability-Based Strategy for a Football Multi-Agent Autonomous Robot System // Robotics. 2024. vol. 13. no. 1. doi: 10.3390/robotics13010005.
  15. Dewantara B.S.B., Ariyadi B.N.D. Adaptive Behavior Control for Robot Soccer Navigation Using Fuzzy-based Social Force Model // Smart Science. 2021. vol. 9. no. 1. pp. 14–29. doi: 10.1080/23080477.2021.1871799.
  16. Du Z., Negenborn R.R., Reppa V. Cooperative Multi-Agent Control for Autonomous Ship Towing Under Environmental Disturbances // IEEE/CAA Journal of Automatica Sinica. 2021. vol. 8. no. 8. pp. 1365–1379. doi: 10.1109/JAS.2021.1004078.
  17. Bonnet F., Gribovskiy A., Halloy J., Mondada F. Closed-loop interactions between a shoal of zebrafish and a group of robotic fish in a circular corridor // Swarm Intelligence. 2018. vol. 12. no. 3. pp. 227–244. doi: 10.1007/s11721-017-0153-6.
  18. Kim C., Ruberto T., Phamduy P., Porfiri M. Closed-loop control of zebrafish behaviour in three dimensions using a robotic stimulus // Scientific Reports. 2018. vol. 8. no. 1. doi: 10.1038/s41598-017-19083-2.
  19. Kopman V., Laut J., Polverino G., Porfiri M. Closed-loop control of zebrafish response using a bioinspired robotic-fish in a preference test // Journal of The Royal Society Interface. 2013. vol. 10. no. 78. doi: 10.1098/rsif.2012.0540.
  20. Swain D.T., Couzin I.D., Ehrich Leonard N. Real-Time Feedback-Controlled Robotic Fish for Behavioral Experiments with Fish Schools // Proceedings of the IEEE. 2012. vol. 100. no. 1. pp. 150–163. doi: 10.1109/JPROC.2011.2165449.
  21. Landgraf T., Bierbach D., Nguyen H., Muggelberg N., Romanczuk P., Krause J. RoboFish: increased acceptance of interactive robotic fish with realistic eyes and natural motion patterns by live Trinidadian guppies // Bioinspiration & Biomimetics. 2016. vol. 11. no. 1. doi: 10.1088/1748-3190/11/1/015001.
  22. Collignon B., Séguret A., Halloy J. A stochastic vision-based model inspired by zebrafish collective behaviour in heterogeneous environments // Royal Society Open Science. 2016. vol. 3. no. 1. doi: 10.1098/rsos.150473.
  23. Mwaffo V., Anderson R.P., Butail S., Porfiri M. A jump persistent turning walker to model zebrafish locomotion // Journal of The Royal Society Interface. 2015. vol. 12. no. 102. doi: 10.1098/rsif.2014.0884.
  24. Zienkiewicz A.K., Ladu F., Barton D.A.W. Data-driven modelling of social forces and collective behaviour in zebrafish // Journal of Theoretical Biology. 2018. vol. 443. pp. 39–51. doi: 10.1016/j.jtbi.2018.01.011.
  25. Tuqan M., Porfiri M. Mathematical Modeling of Zebrafish Social Behavior in Response to Acute Caffeine Administration // Frontiers in Applied Mathematics and Statistics. 2021. vol. 7. doi: 10.3389/fams.2021.751351.
  26. van Dam E.A., Noldus L.P.J.J., van Gerven M.A.J. Deep learning improves automated rodent behavior recognition within a specific experimental setup // Journal of Neuroscience Methods. 2020. vol. 332. doi: 10.1016/j.jneumeth.2019.108536.
  27. Grieco F., Bernstein B.J., Biemans B. et al. Measuring Behavior in the Home Cage: Study Design, Applications, Challenges, and Perspectives // Frontiers in Behavioral Neuroscience. 2021. vol. 15. doi: 10.3389/fnbeh.2021.735387.
  28. Segalin C., Williams J., Karigo T. et al. The Mouse Action Recognition System (MARS) software pipeline for automated analysis of social behaviors in mice // eLife. 2021. vol. 10. doi: 10.7554/eLife.63720.
  29. Hsu A.I., Yttri E.A. B-SOiD, an open-source unsupervised algorithm for identification and fast prediction of behaviors // Nature Communications. 2021. vol. 12. doi: 10.1038/s41467-021-25420-x.
  30. Ru Z., Duan F. Hierarchical Spatial-Temporal Window Transformer for Pose-Based Rodent Behavior Recognition // IEEE Transactions on Instrumentation and Measurement. 2024. vol. 73. pp. 1–14. doi: 10.1109/TIM.2024.3379081.
  31. Weinreb C., Pearl J.E., Lin S. et al. Keypoint-MoSeq: parsing behavior by linking point tracking to pose dynamics // Nature Methods. 2024. vol. 21. pp. 1329–1339. doi: 10.1038/s41592-024-02318-2.
  32. Donnarumma F., Prevete R., Maisto D. et al. A framework to identify structured behavioral patterns within rodent spatial trajectories // Scientific Reports. 2021. vol. 11. doi: 10.1038/s41598-020-79744-7.
  33. van Dam E.A., Noldus L.P.J.J., van Gerven M.A.J. Disentangling rodent behaviors to improve automated behavior recognition // Front. Neurosci. 2023. vol. 17. doi: 10.3389/fnins.2023.1198209.
  34. Краснов Д.И., Волынский М.А., Гусев А.А. Предобработка траекторий ключевых точек скелета в задаче автоматизации регистрации поведения лабораторных животных // Научно-технический вестник информационных технологий, механики и оптики. 2025. Т. 25. № 2. С. 295–302.
  35. Buizza C., Fischer T., Demiris Y. Real-Time Multi-Person Pose Tracking using Data Assimilation // IEEE Winter Conference on Applications of Computer Vision (WACV). 2020. pp. 438–447. doi: 10.1109/WACV45572.2020.9093442.
  36. Svensson D. Derivation of the discrete-time constant turn rate and acceleration motion model // Sensor Data Fusion: Trends, Solutions, Applications (SDF). 2019. pp. 1–5. doi: 10.1109/SDF.2019.8916654.
  37. Yuan H., Han Y., Zhou Y. et al. State of Charge Dual Estimation of a Li-ion Battery Based on Variable Forgetting Factor Recursive Least Square and Multi-Innovation Unscented Kalman Filter Algorithm // Energies. 2022. vol. 15. no. 4. doi: 10.3390/en15041529.
  38. Huang J., Zhu Z., Guo F., Huang G. The Devil Is in the Details: Delving into Unbiased Data Processing for Human Pose Estimation // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2020. pp. 5699–5708. doi: 10.1109/CVPR42600.2020.00574.
  39. Lyu C., Zhang W., Huang H. et al. RTMDet: An Empirical Study of Designing Real-Time Object Detectors. 2024. arXiv preprint arXiv:2212.07784.
  40. Wan E. A., Van Der Merwe R. The unscented Kalman filter for nonlinear estimation // Proceedings of the IEEE 2000 Adaptive Systems for Signal Processing, Communications, and Control Symposium (Cat. No.00EX373). 2000. pp. 153–158. doi: 10.1109/ASSPCC.2000.882463.
  41. Волынский М.А., Гуров И.П., Скаков П.С. Рекуррентный алгоритм обработки интерферометрических сигналов на основе мультиоблачной модели предсказания // Научно-технический вестник информационных технологий, механики и оптики. 2014. Т. 14. № 4. С. 18–22.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».