Algorithm for motion detection and gait classification based on mobile phone accelerometer data

Cover Page

Cite item

Full Text

Abstract

This paper briefly describes the development of information technology tools using biometric data, in particular, human gait parameters. The problems of assessing gait parameters using a mobile phone accelerometer in real conditions are briefly described. The relevance of this research is substantiated in the field of developing algorithms for assessing biometric gait indicators based on data from wearable devices. The main approaches to the processing of wearable device accelerometer data are considered, the main shortcomings and problems in improving the quality of gait parameter estimation are indicated. The algorithm for processing data from a mobile phone accelerometer is described. In the proposed algorithm, the selection of movement patterns during gait  in the recorded data is carried out on the basis of statistical information within the “floating” time window (frequency component with the maximum contribution to the spectrum of the accelerometer signal, the duration of the selected time segments), as well as on the basis of the value of the correlation coefficient, selected time segments. At the stage of data segmentation, the time window of searching of movement segments, as well as the allowable thresholds of selecting movements by their duration, change depending on the individual characteristics of the gait and human activity. The classification of the selected segments according to the nature of gait movements is carried out on the basis of a feed-forward neural network. The sigmoid was used as the activation function for the hidden layers, and the normalized exponential function was used for the output layer. The neural network was trained using the gradient backdescent method with cross entropy as an optimization criterion. Due to the selection of segments with a high correlation coefficient, the classification of data shows the quality of distinguishing movements above 95%.

About the authors

Nikolay Viktorovich Dorofeev

Vladimir State University

ORCID iD: 0000-0002-1636-7654
Scopus Author ID: 23982295000
ResearcherId: L-3343-2016
87 Gorky St., Vladimir 600000, Russia

Anastasya V. Grecheneva

Vladimir State University

ORCID iD: 0000-0002-7341-5237
87 Gorky St., Vladimir 600000, Russia

References

  1. Sprager S., Juric M. B. Inertial Sensor-Based Gait Recognition: A Review // Sensors. 2015. Vol. 15. P. 22089–22127. https://doi.org/10.3390/s150922089
  2. Connor P., Ross A. Biometric recognition by gait: A survey of modalities and features // Computer Vision and Image Understanding. 2018. Vol. 167. P. 1–27. https://doi.org/10.1016/j.cviu.2018.01.007
  3. Guelta B., Tlemsani R., Chouraqui S., Benouis M. An improved behavioral biometric system based on gait and ECG signals // International Journal of Intelligent Engineering & Systems. 2019. Vol. 12, iss. 6. P. 147–156. https://doi.org/10.22266/ijies2019/1231.14
  4. Ren Y., Chuah M. C. User verification leveraging gait recognition for smartphone enabled mobile healthcare systems // IEEE Transactions on Mobile Computing. 2015. Vol. 14, iss. 9. P. 1961–1974. https://doi.org/10.1109/TMC.2014.2365185
  5. Khabir K. M., Siraj Md. S., Ahmed M., Ahmed M. U. Prediction of gender and age from inertial sensor-based gait dataset // Joint 2019 8th International Conference on Informatics, Electronics & Vision (ICIEV) & 3rd International Conference on Imaging, Vision & Pattern Recognition (IVPR), Eastern Washington University, May 30 – June 4, 2019, pp. 371–376. https://doi.org/10.1109/ICIEV.2019.8858521
  6. Shema-Shiratzaky S., Beer Y., Mor A., Elbaz A. Smartphone-based inertial sensors technology — Validation of a new application to measure spatiotemporal gait metrics // Gait & Posture. 2022. Vol. 93. P. 102–106. https://doi.org/10.1016/j.gaitpost.2022.01.024
  7. Garufov D., Bours P. User authentication based on foot motion // SIViP. 2011. Vol. 5. P. 457–467. https://doi.org/10.1007/s11760-011-0249-1
  8. Reyes O. C., Vera-Rodriguez R., Scully P. J., Ozanyan K. B. Analysis of spatio-temporal representations for robust footstep recognition with deep residual neural networks // IEEE Transaction on Pattern Analysis and Machine Intelligence. 2018. Vol. 4. P. 1–13. https://doi.org/10.1109/TPAMI.2018.2799847
  9. Соколова А. И., Конушин А. С. Методы идентификации человека по походке в видео // Труды института системного программирования РАН. 2019. Т. 31, вып. 1. С. 69–82. https://doi.org/10.15514/ISPRAS-2019-31(1)-5, EDN: PGFXZW
  10. Хельвас А. В., Беляйкина Н. Г., Гиля-Зетинов А. А., Черникова Д. Д., Шабунин В. М., Япрынцев Е. О. Распознавание жестов с помощью нейронной сети и применение этого подхода для создания игровых гаджетов нового поколения // Труды МФТИ. 2017. № 2 (34). C. 1–7. EDN: ZBMXML
  11. Teh P.S., Zhang N., Tan S.-Y., Shi Q., Khoh W.H., Nawaz R. Strengthen user authentication on mobile devices by using user’s touch dynamics pattern // Journal of Ambient Intelligence and Humanized Computing. 2020. Vol. 11, iss. 10. P. 4019–4039. https://doi.org/10.1007/s12652-019-01654-y
  12. Zhang X., Yao L., Huang C., Gu T., Yang Z., Liu Y. DeepKey: A multimodal biometric authentication system via deep decoding gaits and brainwaves // ACM Transactions on Intelligent Systems and Technology. 2020. Vol. 11, iss. 4. Art. 49. https://doi.org/10.1145/3393619
  13. Grecheneva A. V., Dorofeev N. V., Goryachev M. S. Estimation of human biomechanics during registration with a wearable device // Journal of Physics Conference Series. 2021. Vol. 2096, iss. 1. Art. 012117. https://doi.org/10.1088/1742-6596/2096/1/012117
  14. Lu H., Huang J., Saha T., Nachman L. Unobtrusive gait verification for mobile phones // Proceedings of the 2014 ACM International Symposium on Wearable Computers. Seattle, WA, USA, Sept. 13–17, 2014. P. 91–98. https://doi.org/10.1145/2634317.2642868
  15. Oguz A., Ertugrul O. F. Human identification based on accelerometer sensors obtained by mobile phone data // Biomedical Signal Processing and Control. 2022. Vol. 77. Art. 103847. https://doi.org/10.1016/j.bspc.2022.103847
  16. Tandon R., Javid P., Giulio I. D. Mobile phone use is detrimental for gait stability in young adults // Gait & Posture. 2021. Vol. 88. P. 37–41. https://doi.org/10.1016/j.gaitpost.2021.05.001
  17. Pierce A., Ignasiak N. K., Eiteman-Pang W. K., Rakovsky C. Mobile phone sensors can discern medication-related gait quality changes in Parkinson’s patients in the home environment // Computer Methods and Programs in Biomedicine Update. 2021. Vol. 1, Art. 100028. https://doi.org/10.1016/j.cmpbup.2021.100028
  18. Lunardini F., Malavolti M., Pedrocchi A. L. G., Borghese N. A., Ferrante S. A mobile app to transparently distinguish single-from dual-task walking for the ecological monitoring of age-related changes in daily-life gait // Gait & Posture. 2021. Vol. 86. P. 27–32. https://doi.org/10.1016/j.gaitpost.2021.02.028

Supplementary files

Supplementary Files
Action
1. JATS XML


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».