Метод формирования цифровой тени процесса перемещения человека на основе объединения систем захвата движений

Обложка

Цитировать

Полный текст

Аннотация

В статье рассматривается задача формирования цифровой тени процесса перемещения человека. Проведен анализ предметной области, который показал необходимость формализации процесса создания цифровых теней для имитации движений человека в виртуальном пространстве, тестировании программно-аппаратных комплексов, функционирующих на основе действий человека, а также в различных системах опорно-двигательной реабилитации. Выявлено, что среди существующих подходов к захвату движений человека нельзя выделить универсальный и стабильно работающий при различных условиях внешней среды. Разработан метод формирования цифровой тени на основе комбинирования и синхронизации данных из трех систем захвата движений (трекеры виртуальной реальности, костюм motion capture и камеры с использованием технологий компьютерного зрения). Объединение перечисленных систем позволяет получить комплексную оценку положения и состояния человека независимо от условий внешней среды (электромагнитные помехи, освещенность). Для реализации предложенного метода проведена формализация цифровой тени процесса перемещения человека, включающая описание механизмов сбора и обработки данных от различных систем захвата движений, а также этапы объединения, фильтрации и синхронизации данных. Научная новизна метода заключается в формализации процесса сбора данных о перемещении человека, объединении и синхронизации аппаратного обеспечения используемых систем захвата движений для создания цифровых теней процесса перемещения человека. Полученные теоретические результаты будут использоваться в качестве основы для программной абстракции цифровой тени в информационных системах для решения задач тестирования, имитации человека и моделирования его реакции на внешние раздражители за счет обобщения собранных массивов данных о его перемещении.

Об авторах

А. Д Обухов

Тамбовский государственный технический университет

Email: obuhov.art@gmail.com
улица Советская 106

А. А Волков

Тамбовский государственный технический университет

Email: didim@eclabs.ru
улица Советская 106

Н. А Вехтева

Тамбовский государственный технический университет

Email: magicanloner@gmail.com
улица Советская 106

К. И Патутин

Тамбовский государственный технический университет

Email: kirill-patutin@mail.ru
улица Советская 106

А. О Назарова

Тамбовский государственный технический университет

Email: nazarova.al.ol@yandex.ru
улица Советская 106

Д. Л Дедов

Тамбовский государственный технический университет

Email: hammer68@mail.ru
улица Советская 106

Список литературы

  1. Grieves M. Origins of the Digital Twin Concept. 2016. URL: https://www.researchgate.net/publication/307509727_ (дата обращения: 03.11.2022).
  2. Царев М.В., Андреев Ю.С. Цифровые двойники в промышленности: история развития, классификация, технологии, сценарии использования // Известия высших учебных заведений. Приборостроение. 2021. Т. 64. №. 7. С. 517-531.
  3. Kritzinger W. et al. Digital Twin in manufacturing: A categorical literature review and classification // IFAC-PapersOnLine. 2018. vol. 51. no. 11. pp. 1016-1022.
  4. Krüger J. et al. Innovative control of assembly systems and lines // CIRP annals. 2017. vol. 66. no. 2. pp. 707-730.
  5. Botín-Sanabria D.M. et al. Digital twin technology challenges and applications: A comprehensive review // Remote Sensing. 2022. vol. 14. no. 6. p. 1335.
  6. Pause D., Blum M. Conceptual Design of a Digital Shadow for the Procurement of Stocked Products // IFIP International Conference on Advances in Production Management Systems (APMS). IEEE, 2018. pp. 288-295.
  7. Srinivasan V. et al. Digital Shadow Model for automated Cabin assembly process. 2021.
  8. Lee S. et al. Scalable muscle-actuated human simulation and control // ACM Transactions on Graphics (TOG). 2019. vol. 38. no. 4. pp. 1-13.
  9. Park S. et al. Learning predict-and-simulate policies from unorganized human motion data // ACM Transactions on Graphics (TOG). 2019. vol. 38. no. 6. pp. 1-11.
  10. Mourot L. et al. A Survey on Deep Learning for Skeleton‐Based Human Animation // Computer Graphics Forum. 2022. vol. 41 (1). pp. 122-157.
  11. Nikolakis N. et al. The digital twin implementation for linking the virtual representation of human-based production tasks to their physical counterpart in the factory-floor // International Journal of Computer Integrated Manufacturing. 2019. vol. 32. no. 1. pp. 1-12.
  12. Gagneré G., Ternova A. A CAstelet in Virtual reality for shadOw AVatar (CAVOV) // ConVRgence (VRIC) Virtual Reality International Conference Proceedings. Simon Richir (dir.). International Journal of Virtual Reality. 2020. vol. 3316.
  13. Liu S., Zhang J., Zhang Y., Zhu R. A wearable motion capture device able to detect dynamic motion of human limbs // Nature communications. 2020. vol. 11. no. 1. pp. 1-12.
  14. Богомолов А.В. Информационные технологии цифровой адаптационной медицины // Информатика и автоматизация. 2021. Т. 20. №. 5. С. 1154-1182.
  15. Wu Y. et al. A Comprehensive Analysis of the Validity and Reliability of the Perception Neuron Studio for Upper-Body Motion Capture // Sensors. 2022. vol. 22. no. 18. pp. 6954.
  16. Niehorster D.C., Li L., Lappe M. The accuracy and precision of position and orientation tracking in the HTC vive virtual reality system for scientific research // i-Perception. 2017. vol. 8. no. 3. pp. 2041669517708205.
  17. Ikbal M.S., Ramadoss V., Zoppi M. Dynamic pose tracking performance evaluation of HTC Vive virtual reality system // IEEE Access, 2020. vol. 9. pp. 3798-3815.
  18. Cherkasov K.V. et al. The use of open and machine vision technologies for development of gesture recognition intelligent systems // Journal of Physics: Conference Series, IOP Publishing. 2018. vol. 1015. no. 3. pp. 032166.
  19. Moeslund T.B., Hilton A., Krüger V. A survey of advances in vision-based human motion capture and analysis // Computer vision and image understanding. 2006. vol. 104. no. 2-3. pp. 90-126.
  20. Hellsten T. et al. The Potential of Computer Vision-Based Marker-Less Human Motion Analysis for Rehabilitation // Rehabilitation Process and Outcome. 2021. vol. 10. pp. 11795727211022330.
  21. Mekruksavanich S., Hnoohom N., Jitpattanakul A. A Deep Residual-based Model on Multi-Branch Aggregation for Stress and Emotion Recognition through Biosignals // 2022 19th International Conference on Electrical Engineering / Electronics, Computer, Telecommunications and Information Technology (ECTI-CON). IEEE, 2022. pp. 1-4.
  22. Zielinski E. Live Perception and Real Time Motion Prediction with Deep Neural Networks and Machine Learning // Diss. Harvard University. 2021.
  23. Ohri A., Agrawal S., Chaudhary G.S. On-device Realtime Pose Estimation & Correction // International Journal of Advances in Engineering and Management (IJAEM). 2021.
  24. Choo C.Z.Y., Chow J.Y., Komar J. Validation of the Perception Neuron system for full-body motion capture // PloS one. 2022. vol. 17. no. 1. pp. e0262730.
  25. Obukhov A. et al. Organization of Three-Dimensional Gesture Control Based on Machine Vision and Learning Technologies // Computer Science On-line Conference. Springer, Cham, 2022. pp. 70-81.
  26. Bazarevsky V. et al. Blazepose: On-device real-time body pose tracking // arXiv preprint arXiv: 2006.10204. 2020.
  27. Chen Y. et al. Adversarial posenet: A structure-aware convolutional network for human pose estimation // Proceedings of the IEEE International Conference on Computer Vision, 2017. pp. 1212-1221.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).