Promising systems for controlling prosthetics: a review

Cover Page

Cite item

Full Text

Abstract

People with disabilities in the enormous scientific-technological revolution hope that it will overshadow the provision of assistance and find suitable solutions for them to lead their normal lives. The intersection of sciences among themselves took into account the problem of physical disabilities and, in particular, the loss of both upper and lower limbs. Modern prostheses are the product of the intersection of science and the technological revolution, which are still in the ladders of modernity and development due to they contain operators that can be controlled by brain signals according to the principle of neurainterfaces. Neuroimaging techniques such as electromyography, functional infrared spectroscopy and electroencephalography are the superior methods of controlling these modern prostheses can be modelled on two functions, namely independent work and hybrid work. In light of these data the article takes upon itself these systems in their individual and hybrid states. In addition, this article indicates which of these techniques is the most worthy in creating the preferred system. The scope of the research methodology limited to neuroimaging techniques towards scenarios of neurological rehabilitation and restoration of lost functions. The review has three axes. The first axis collects, summarizes and evaluates information from relevant studies published over the last decade. The second axis presents important results from previous experimental results in this field in relation to current research. This study was systematically conducted to provide a rich image and evidence-based evidence of prosthetic control techniques to all experts and scientists. The third axis is to identify a wide area of knowledge that requires further investigation, and follow-up the succession of scientific events of these systems towards the possibility of integration among themselves to create the most promising system for controlling prostheses.

About the authors

Ali M. Samandari

Belgorod State National Research University

Author for correspondence.
Email: aliofphysics777ali@gmail.com

Graduate Studen

Russian Federation, Belgorod

References

  1. Neelum Y. S., Zareena K., syed Usama A. fNIRS-Based Upper Limb Motion Intention Recognition Using an Artificial Neural Network for Transhumeral Amputees // Sensors. 2022. Vol. 22. 726. doi: 10.3390/s22030726. (In Engl.).
  2. Асадуллаев Р. Г., Афонин А. Н., Щетинина Е. С. Распознавание паттернов двигательной активности нейронной сетью по непрерывным данным оптической томографии fNIRS // Экономика. Информатика. 2022. T. 48 (4). C. 735–746. doi: 10.52575/2687-0932-2021-48-4-735-746. EDN: NFDBUX. (In Russ.).
  3. Hramov A. E., Maksimenko V. A., Pisarchik A. N. Physical principles of brain–computer interfaces and their applications for rehabilitation, robotics and control of human brain state // Physics Reports. 2021. Vol. 918. P. 1–133. doi: 10.1016/j.physrep.2021.03.002. doi: 10.3390/s22030726. (In Engl.).
  4. Peksa J., Mamchur D. State-of-the-Art on Brain-Computer Interface Technology // Sensors 2023. Vol. 23. 6001. DOI: 10.3390/ s23136001. (In Engl.).
  5. Sergio L. N., Alex C. C., Forti R. M. [et al.]. Revealing the spatiotemporal requirements for accurate subject identification with resting-state functional connectivity: a simultaneous fNIRS-fMRI study // Neurophotonics. 2023. Vol. 10(1). doi: 10.1117/1.NPh.10.1.013510. (In Engl.).
  6. Klein F. S., Debener K. W., Kranczioch C. fMRI-based validation of continuous-wave fNIRS of supplementary motor area activation during motor execution and motor imagery // Scientific Reports. 2022. Vol. 12 (1). doi: 10.1038/s41598-022-06519-7. (In Engl.).
  7. Deligani R. J., Borgheai S. B., McLinden J. [et al.]. Multimodal fusion of EEG-fNIRS: a mutual information-based hybrid classification framework // Biomed Opt Express. 2021. Vol. 12 (3). 1635. doi: 10.1364/boe.413666. (In Engl.).
  8. Asanza V., Pelaez E., Loayza F. [et al.]. Identification of lower-limb motor tasks via brain-computer interfaces: a topical overview // Sensors. 2022. Vol. 22 (5). doi: 10.3390/s22052028. (In Engl.).
  9. Khajuria A., Sharma R., Joshi D. EEG Dynamics of Locomotion and Balancing: Solution to Neuro-Rehabilitation // Clinical EEG and Neuroscience. 2024. Vol. 55 (1). P. 143–163. doi: 10.1177/15500594221123690. (In Engl.).
  10. Mondini V., Sburlea A. I., Müller-Putz G. R. Towards unlocking motor control in spinal cord injured by applying an online EEG-based framework to decode motor intention, trajectory and error processing // Scientific Reports. 2024. Vol. 14. 4714. doi: 10.1038/s41598-024-55413-x. (In Engl.).
  11. Usama A. S., Zareena K., Neelum Y. S. Control of a Prosthetic Arm using fNIRS, A Neural-Machine Interface // Data Acquisition – Recent Advances and Applications in Biomedical Engineering. 2020. doi: 10.5772/intechopen.93565. (In Engl.).
  12. Афонин А. Н., Асадуллаев Р. Г., Ситникова М. А. Анализ данных FNIRS-томографа для управления протезами конечностей с помощью интерфейса мозг-компьютер // Научно-технический Вестник Поволжья. 2018. T. 11. C. 182–185. EDN: YTOMIP. (In Russ.).
  13. Dario F., Ning J., Hubertus R. [et al.]. The extraction of neural information from the surface EMG for the control of upper-limb prostheses: Emerging avenues and challenges // IEEE Trans. Neural Syst. Rehabil. Eng. 2014. Vol. 22, no. 4. P. 797–809. doi: 10.1109/TNSRE.2014.2305111. (In Engl.).
  14. Becerra-Fajardo L., Minguillon J., Krob M. O. [et al.]. First-in-human demonstration of floating EMG sensors and stimulators wirelessly powered and operated by volume conduction // Journal of NeuroEngineering and Rehabilitation. 2024. Vol. 21 (1). 4. doi: 10.1186/s12984-023-01295-5. (In Engl.).
  15. Osama M., Allauddin U. Design and modelling of lower prosthetic limb for additive manufacturing // Proceedings of IMEC-2022, 14th – 15th January, Karachi, Pakistan. 2022. 8 p. (In Engl.).
  16. Satam I. A. A comprehensive study of EEG-based41control of artificial arms // Vojnotehnički glasnik / Military Technical Courier. 2023. Vol. 71, Issue 1. doi: 10.5937/vojtehg71-41366. (In Engl.).
  17. Tao S., Zhe Y., Guo Sh. [et al.] Review of sEMG for Robot Control: Techniques and Applicationsby // Applied Sciences. 2023.Vol. 13 (17). 9546. doi: 10.3390/app13179546. (In Engl.).
  18. Khorasani A., Hulsizer J., Paul V. [et al.]. Myoelectric interface for neurorehabilitation conditioning to reduce abnormal leg co activation after stroke: a pilot study // Journal NeuroEngineering Rehabil. 2024. Vol. 21. 11. doi: 10.1186/s12984-024-01305-0. (In Engl.).
  19. Asanza V., Pelaez E., Loayza F. [et al.]. Identification of lower-limb motor tasks via brain-computer interfaces: a topical overview. Sensors. 2022. Vol. 22 (5). 2028. doi: 10.3390/s22052028. (In Engl.).
  20. Abdalmalak A., Milej D., Cohenet D. [et al.]. Using fMRI to investigate the potential cause of inverse oxygenation reported in fNIRS studies of motor imagery // Neurosci Lett. 2020. Vol. 714. 134607. doi: 10.1016/j.neulet.2019.134607. (In Engl.).
  21. Wang H., Yan F., Xu T. [et al.]. Brain-Controlled Wheelchair Review: From Wet Electrode to Dry Electrode, from Single Modal to Hybrid Modal, from Synchronous to Asynchronous // IEEE Access. 2021. Vol. 9. P. 55920–55938. doi: 10.1109/ACCESS.2021.3071599. (In Engl.).
  22. Xu B., Wenlong L., Deping L. [et al.]. Continuous Hybrid BCI Control for Robotic Arm Using Noninvasive Electroencephalogram, Computer Vision, and Eye Tracking // Mathematics. 2022. Vol. 10, no. 4. doi: 10.3390/math10040618. (In Engl.).
  23. Sun Z., Zihao H., Feng D. [et al.]. A Novel Multimodal Approach for Hybrid Brain-Computer Interface // IEEE Access. 2020. Vol. 8. P. 89909–89918. doi: 10.1109/ACCESS.2020.2994226. (In Engl.).
  24. Pichiorri F., Toppi J., de Seta V. [et al.]. Exploring high-density corticomuscular networks after stroke to enable a hybrid Brain-Computer Interface for hand motor rehabilitation // Journal of NeuroEngineering and Rehabilitation. 2023. Vol. 20(1). doi: 10.1186/s12984-023-01127-6. (In Engl.).
  25. Si J., Yang Y., Xu L. [et al.]. Evaluation of residual cognition in patients with disorders of consciousness based on functional near-infrared spectroscopy // Neurophotonics. 2023. Vol. 10, no. 2. doi: 10.1117/1.nph.10.2.025003. (In Engl.).
  26. Hamid H., Naseer N., Nazeer H. [et al.]. Analyzing Classification Performance of fNIRS-BCI for Gait Rehabilitation Using Deep Neural Networks // Sensors. Vol. 22 (5). 1932. doi: 10.3390/s22051932, 2022. (In Engl.).
  27. Mustafa A. H. H., Muhammad U. K., Deepti M. A Computationally Efficient Method for Hybrid EEG-fNIRS BCI Based on the Pearson Correlation // BioMed Research International. 2020. Vol. 2020. 1838140. 13 p. doi: 10.1155/2020/1838140. (In Engl.).
  28. Sial M. B., Wang S., Wang X. [et al.]. A Survey on EEG-fNIRS based Non-invasive hBCIs // 2021 International Conference on Artificial Intelligence (ICAI). 2021. P. 240–245. doi: 10.1109/ICAI52203.2021.9445246. (In Engl.).
  29. Wang Z., Lu Y., Yijie Z. [et al.]. Incorporating EEG and fNIRS Patterns to Evaluate Cortical Excitability and MI-BCI Performance During Motor Training // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2023. Vol. 31. P. 2872–2882. doi: 10.1109/TNSRE.2023.3281855. (In Engl.).
  30. Radha H. M., Karim A., Ali Al-Timemy H. University of Baghdad [et al.]. Recognition of Upper Limb Movements Based on Hybrid EEG and EMG Signals for Human-Robot Interaction // Iraqi Journal of Computer Communication Control and System Engineering. 2023. Vol. 23, no. 2. doi: 10.33103/uot.ijccce.23.2.14. (In Engl.).
  31. Lubo F., Haoyang L., Hongfei J. [et al.]. EEG-EMG analysis method in hybrid brain computer interface for hand rehabilitation training // Computing and Informatics. 2023. Vol. 42 (3). P. 741–761. doi: 10.31577/cai_2023_3_741. (In Engl.).
  32. Kwon J., Shin J., Im C. H. Toward a compact hybrid brain-computer interface (BCI): Performance evaluation of multi-class hybrid EEG-fNIRS BCIs with limited number of channels // PLoS One. 2020. Vol. 15, no. 3. doi: 10.1371/journal.pone.0230491. (In Engl.).
  33. Beniczky S., Donald L. S. Electroencephalography: basic biophysical and technological aspects important for clinical applications // Epileptic Disord. 2020. Vol. 22, no. 6. doi: 10.1684/epd.2020.1217. (In Engl.).
  34. Marius V. D., Hadăr A., Goga N. [et al.]. Design and implementation of an eeg-based bci prosthetic lower limb using raspberry PI 4 // U.P.B. Sci. Bull., Series C. 2023. Vol. 85, Issue. 3. P. 353–366. (In Engl.).
  35. He L., Guo Sh., Bu D. [et al.]. Subject-Independent Estimation of Continuous Movements Using CNN-LSTM for a Home-Based Upper Limb Rehabilitation System // IEEE Robotics and Automation Letters. 2023. P. 1–8. doi: 10.1109/LRA.2023.3303701. (In Engl.).
  36. Jin H. Li C., Sun L., Hu H. [et al.]. To classify two-dimensional motion state of step length and walking speed by applying cerebral hemoglobin information // 2017 10th International Conference on Human System Interactions (HSI). 2017. P. 216–222. doi: 10.1109/HSI.2017.8005032. (In Engl.).
  37. Yang L., Song Y., Ma K. [et al.]. A novel motor imagery EEG decoding method based on feature separation // Journal of Neural Engineering. 2021. Vol. 18. 036022. doi: 10.1088/1741-2552/abe39b. (In Engl.).
  38. Milanes D. H., Codorniu R. T., Baracaldo R. [et al.]. Shallow Convolutional Network Excel for Classifying Motor Imagery EEG in BCI Applications // IEEE Access. 2021. Vol. 9. P. 98275–98286. doi: 10.1109/ACCESS.2021.3091399. (In Engl.).
  39. Aydin E. A. Subject-specific feature selection for near infrared spectroscopy based brain–computer interfaces // Computer Methods and Programs in Biomedicine. 2020. Vol. 195 (12). 105535. doi: 10.1016/j.cmpb.2020.105535. (In Engl.).
  40. Bin Abdul Ghaffar M. S., Khan U. S., Naseer N. [et al.]. Improved Classification Accuracy of Four Class FNIRS-BCI // 2020 12th International Conference on Electronics, Computers and Artificial Intelligence (ECAI). 2020. P. 1–5. doi: 10.1109/ECAI50035.2020.9223258. (In Engl.).
  41. Guo W. C., Zhang X., Liu H. [et al.]. Toward an enhanced human machine interface for upper-limb prosthesis control with combined EMG and NIRS signals // IEEE Trans. Human-Mach. Syst. 2017. Vol. 47, no. 4. P. 1–12. 564575. doi: 10.1109/THMS.2016.2641389. (In Engl.).
  42. Lin J. F. L. Dual-MEG interbrain synchronization during turn-taking verbal interactions between mothers and children // Cerebral Cortex. 2023. Vol. 33 (7). P. 4116–4134. doi: 10.1093/cercor/bhac330. (In Engl.).
  43. Maher A., Salankar N., Qaisar S. M. [et al.]. Hybrid EEG-fNIRS brain-computer interface based on the non-linear features extraction and stacking ensemble learning // Journal of Applied Biomedicine. 2023. Vol. 43 (1). P. 463–475. DOI: doi: 10.1016/j.bbe.2023.05.001. (In Engl.).
  44. Liu Z., Shore J., Wang M. [et al.]. A systematic review on hybrid EEG/fNIRS in brain-computer interface // Biomed Signal Process Control. 2021. Vol. 68. 102595. doi: 10.1016/j.bspc.2021.102595. (In Engl.).
  45. Xu T., Yang Y., Zhou Zh. [et al.]. Motor Imagery Decoding Enhancement Based on Hybrid EEG-fNIRS Signals // IEEE Access. 2023. Vol. 1(1). P. 1–12. doi: 10.1109/ACCESS.2023.3289709. (In Engl.).
  46. Li R., Yang D., Fang F. [et al.]. Concurrent fNIRS and EEG for Brain Function Investigation: A Systematic, Methodology-Focused Review // Sensors. 2022. Vol. 22, no. 15. 5865. doi: 10.3390/s22155865. (In Engl.).
  47. Chunfu L., Ruite G., Zhichuan T. [et al.]. Multi-channel FES gait rehabilitation assistance system based on adaptive sEMG modulation // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2023. Vol. 31. P. 3652–3663. doi: 10.1109/tnsre.2023.3313617. (In Engl.).
  48. Song T., Yan Z., Guo S. [et al.]. Review of sEMG for Robot Control: Techniques and Applications // Applied Sciences. 2023. Vol. 13, no. 17. doi: 10.3390/app13179546. (In Engl.).
  49. Radek M., Martina L., Michaela S. [et al.]. Advanced bioelectrical signal processing methods: Past, present, and future approach – Part III: Other biosignals // Sensors. 2021. Vol. 21 (18). 6064. doi: 10.3390/s21186064. (In Engl.).
  50. Cheng X., Sie E. J., Boas D. A. [et al.]. Choosing an optimal wavelength to detect brain activity in functional near-infrared spectroscopy // Optics Letters. 2021. Vol. 46 (4). 924. doi: 10.1364/ol.418284. (In Engl.).
  51. Kimoto H. F., Machida M. A wireless multi-layered EMG/MMG/NIRS sensor for muscular activity evaluation // Sensors. 2023. Vol. 23 (3). 1539. doi: 10.3390/s23031539. (In Engl.).
  52. Giminiani R. D., Marco C., Marco F. [et al.]. Validation of fabric-based thigh-wearable EMG sensors and oximetry for monitoring quadricep activity during strength and endurance exercises // Sensors. 2020. Vol. 17. P. 1–13. 4664. doi: 10.3390/s20174664. (In Engl.).
  53. Daniel N., Sybilski K., Kaczmarek W. [et al.]. Relationship between EMG and fNIRS during Dynamic Movements // Sensors. 2023. Vol. 23 (11). 5004. doi: 10.3390/s23115004. (In Engl.).
  54. Atzori M., Gijsberts A, Castellini C. [et al.]. Electromyography data for non-invasive naturally-controlled robotic hand prostheses // Nature. 2014. Vol. 1. doi: 10.1038/sdata.2014.53. (In Engl.).
  55. Dario F., Ning J., Hubertus R. [et al.]. The extraction of neural information from the surface EMG for the control of upper-limb prostheses: Emerging avenues and challenges // IEEE Trans. Neural Syst. Rehabil. Eng. 2014. Vol. 22, no. 4. P. 797–809. doi: 10.1109/TNSRE.2014.2305111. (In Engl.).
  56. Arif A., Khan M., Kashif J. [et al.]. Hemodynamic response detection using integrated EEG-fNIRS-VPA for BCI // Computers, Materials and Continua. 2021. Vol. 70, no. 1. P. 535–555. doi: 10.32604/cmc.2022.018318. (In Engl.).
  57. Kwak Y., Song W. J., Kim S. E. FGANet: FNIRS-Guided Attention Network for Hybrid EEG-fNIRS Brain-Computer Interfaces // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2022. Vol. 30. P. 329–339. doi: 10.1109/TNSRE.2022.3149899. (In Engl.).
  58. Neelum Y. S., Zareena K., Usama S. [et al.]. Enhancing classification accuracy of transhumeral prosthesis: a hybrid sEMG and fNIRS approach // IEEE Access. 2021. Vol. 9. P. 113246–113257. doi: 10.1109/ACCESS.2021.3099973. (In Engl.).
  59. Nsugbe E., Phillips C., Fraser M. F. [et al.]. Gesture recognition for transhumeral prosthesis control using EMG and NIR // IET Cyber-Systems and Robotics. 2020. Vol. 2, Issue 3. P. 122–131. doi: 10.1049/iet-csr.2020.0008. (In Engl.).
  60. Xiang Z., Yao L., Wang X. [et al.]. A Survey on Deep Learning-based Non-Invasive Brain Signals: Recent Advances and New Frontiers // Journal of Neural Engineering. 2020. Vol. 18 (3). doi: 10.1088/1741-2552/abc902. (In Engl.).
  61. Moufassih M., Tarahi O., Hamou S. [et al.]. Boosting motor imagery brain-computer interface classification using multiband and hybrid feature extraction // Multimedia Tools and Applications. 2023. Vol. 83 (16). P. 1–32. doi: 10.1007/s11042-023-17118-7. (In Engl.).
  62. Shelishiyah R., Dharan M., Kumar T. [et al.]. Signal Processing for Hybrid BCI Signals // Journal of Physics Conference Series. 2022. Vol. 2318 (1). 012007doi: 10.1088/1742-6596/2318/1/012007. (In Engl.).
  63. Ali M. U., Kim K. S., Kallu K. D. [et al.]. OptEF-BCI: An Optimization-Based Hybrid EEG and fNIRS–Brain Computer Interface // Bioengineering. 2023. Vol. 10, no. 5. doi: 10.3390/bioengineering10050608. (In Engl.).
  64. Brian F. S., Charles P., Christopher H. [et al.]. The evolution of neuromodulation for chronic stroke: From neuroplasticity mechanisms to brain-computer interfaces // Neurotherapeutics. 2024. Vol. 21, Issue 3. e00337. doi: 10.1016/j.neurot.2024.e00337. (In Engl.).
  65. Na L., Rui Z., Bharath K. [et al.]. Non-invasive Techniques for Muscle Fatigue Monitoring: A Comprehensive Survey // ACM Computing Surveys. 2024.Vol. 56, Issue 9. 221. P. 1–40. doi: 10.1145/3648679. (In Engl.).
  66. Samandari А. М. Functional near-infrared spectroscopy (fNIRS) as a hybrid system: a review // Modeling, Optimization and Information Technology. 2024. Vol. 12 (1). P. 1–18. doi: 10.26102/2310-6018/2024.44.1.005. (In Engl.).
  67. Marinelli A., Canepa M., Domenico D. D. [et al.]. A comparative optimization procedure to evaluate pattern recognition algorithms on hannes prosthesis // Neurocomputing. 2024. Vol. 569 (7). 127123. doi: 10.1016/j.neucom.2023.127123. (In Engl.).

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».