Перспективные системы для управления протезами: обзор

Обложка

Цитировать

Полный текст

Аннотация

Люди с ограниченными возможностями в условиях стремительной научно-технической революции надеются, что она преодолеет лишь оказание им поддержки и найдет подходящие решения, чтобы вести нормальную жизнь. Взаимодействие наук между собой учитывает проблему физических недостатков и, в частности, потерю как верхних, так и нижних конечностей. Современные протезы являются продуктом пересечения науки и технологической революции и все еще находятся на пути своего становления, поскольку содержат исполнительные механизмы, которые могут управляться сигналами мозга по принципу нейроинтерфейсов. Методы нейровизуализации, такие как электромиография, функциональная инфракрасная спектроскопия и электроэнцефалография, являются превосходными методами управления этими современными протезами, которые можно смоделировать по двум функциям, а именно по независимой работе и гибридной работе. В свете этих данных статья рассматривает эти системы в их индивидуальных и гибридных состояниях. Кроме того, в статье указывается, какой из этих методов может быть выбран в качестве предпочтительной системы. Область применения методологии исследования ограничена методами нейровизуализации в отношении сценариев неврологической реабилитации и восстановления утраченных функций. Обзор имеет три направления. Первое направление собирает, обобщает и оценивает информацию из соответствующих исследований, опубликованных за последнее десятилетие. Второе представляет важные результаты предыдущих экспериментальных результатов в этой области в отношении текущих исследований. Исследование было проведено систематически, чтобы предоставить всем экспертам и ученым полное представление и основанные на доказательствах методы управления протезами. Третья часть заключается в выявлении широкой области знаний, требующей дальнейшего изучения, и отслеживании последовательности научных достижений в этих системах и возможности интеграции между собой для создания наиболее перспективной системы управления протезами.

Об авторах

Али Мирдан Самандари

Белгородский государственный национальный исследовательский университет

Автор, ответственный за переписку.
Email: aliofphysics777ali@gmail.com

aспирант

Россия, г. Белгород

Список литературы

  1. Neelum Y. S., Zareena K., syed Usama A. fNIRS-Based Upper Limb Motion Intention Recognition Using an Artificial Neural Network for Transhumeral Amputees // Sensors. 2022. Vol. 22. 726. doi: 10.3390/s22030726.
  2. Asadullayev R. G., Afonin A. N., Shchetinina E. S. Recognition of patterns of motor activity by a neural network based on continuous optical tomography FNIRS data // Economics. Information technologies. 2021.Vol. 48, no. 4 P. 735–746. doi: 10.52575/2687-0932-2021-48-4-735-746. EDN: NFDBUX.
  3. Hramov A. E., Maksimenko V. A., Pisarchik A. N. Physical principles of brain–computer interfaces and their applications for rehabilitation, robotics and control of human brain state // Physics Reports. 2021. Vol. 918. P. 1–133. doi: 10.1016/j.physrep.2021.03.002.
  4. Peksa J., Mamchur D. State-of-the-Art on Brain-Computer Interface Technology // Sensors 2023. Vol. 23. 6001. DOI: 10.3390/ s23136001.
  5. Sergio L. N., Alex C. C., Forti R. M. [et al.]. Revealing the spatiotemporal requirements for accurate subject identification with resting-state functional connectivity: a simultaneous fNIRS-fMRI study // Neurophotonics. 2023. Vol. 10(1). doi: 10.1117/1.NPh.10.1.013510.
  6. Klein F. S., Debener K. W., Kranczioch C. fMRI-based validation of continuous-wave fNIRS of supplementary motor area activation during motor execution and motor imagery // Scientific Reports. 2022. Vol. 12 (1). doi: 10.1038/s41598-022-06519-7.
  7. Deligani R. J., Borgheai S. B., McLinden J. [et al.]. Multimodal fusion of EEG-fNIRS: a mutual information-based hybrid classification framework // Biomed Opt Express. 2021. Vol. 12 (3). 1635. doi: 10.1364/boe.413666.
  8. Asanza V., Pelaez E., Loayza F. [et al.]. Identification of lower-limb motor tasks via brain-computer interfaces: a topical overview // Sensors. 2022. Vol. 22 (5). doi: 10.3390/s22052028.
  9. Khajuria A., Sharma R., Joshi D. EEG Dynamics of Locomotion and Balancing: Solution to Neuro-Rehabilitation // Clinical EEG and Neuroscience. 2024. Vol. 55 (1). P. 143–163. doi: 10.1177/15500594221123690.
  10. Mondini V., Sburlea A. I., Müller-Putz G. R. Towards unlocking motor control in spinal cord injured by applying an online EEG-based framework to decode motor intention, trajectory and error processing // Scientific Reports. 2024. Vol. 14. 4714. doi: 10.1038/s41598-024-55413-x.
  11. Usama A. S., Zareena K., Neelum Y. S. Control of a Prosthetic Arm using fNIRS, A Neural-Machine Interface // Data Acquisition – Recent Advances and Applications in Biomedical Engineering. 2020. doi: 10.5772/intechopen.93565.
  12. Afonin A. N., Asadullaev R. G., Sitnikova M. A. Analysis of data of FNIRS-tomograph for management of LIMB-protoses by means of Brain-computer interface // Scientific and Technical Volga region Bulletin. 2018. Vol. 11. P. 182–185. EDN: YTOMIP.
  13. Dario F., Ning J., Hubertus R. [et al.]. The extraction of neural information from the surface EMG for the control of upper-limb prostheses: Emerging avenues and challenges // IEEE Trans. Neural Syst. Rehabil. Eng. 2014. Vol. 22, no. 4. P. 797–809. doi: 10.1109/TNSRE.2014.2305111.
  14. Becerra-Fajardo L., Minguillon J., Krob M. O. [et al.]. First-in-human demonstration of floating EMG sensors and stimulators wirelessly powered and operated by volume conduction // Journal of NeuroEngineering and Rehabilitation. 2024. Vol. 21 (1). 4. doi: 10.1186/s12984-023-01295-5.
  15. Osama M., Allauddin U. Design and modelling of lower prosthetic limb for additive manufacturing // Proceedings of IMEC-2022, 14th – 15th January, Karachi, Pakistan. 2022. 8 p.
  16. Satam I. A. A comprehensive study of EEG-based41control of artificial arms // Vojnotehnički glasnik / Military Technical Courier. 2023. Vol. 71, Issue 1. doi: 10.5937/vojtehg71-41366.
  17. Tao S., Zhe Y., Guo Sh. [et al.] Review of sEMG for Robot Control: Techniques and Applicationsby // Applied Sciences. 2023.Vol. 13 (17). 9546. doi: 10.3390/app13179546.
  18. Khorasani A., Hulsizer J., Paul V. [et al.]. Myoelectric interface for neurorehabilitation conditioning to reduce abnormal leg co activation after stroke: a pilot study // Journal NeuroEngineering Rehabil. 2024. Vol. 21. 11. doi: 10.1186/s12984-024-01305-0.
  19. Asanza V., Pelaez E., Loayza F. [et al.]. Identification of lower-limb motor tasks via brain-computer interfaces: a topical overview. Sensors. 2022. Vol. 22 (5). 2028. doi: 10.3390/s22052028.
  20. Abdalmalak A., Milej D., Cohenet D. [et al.]. Using fMRI to investigate the potential cause of inverse oxygenation reported in fNIRS studies of motor imagery // Neurosci Lett. 2020. Vol. 714. 134607. doi: 10.1016/j.neulet.2019.134607.
  21. Wang H., Yan F., Xu T. [et al.]. Brain-Controlled Wheelchair Review: From Wet Electrode to Dry Electrode, from Single Modal to Hybrid Modal, from Synchronous to Asynchronous // IEEE Access. 2021. Vol. 9. P. 55920–55938. doi: 10.1109/ACCESS.2021.3071599.
  22. Xu B., Wenlong L., Deping L. [et al.]. Continuous Hybrid BCI Control for Robotic Arm Using Noninvasive Electroencephalogram, Computer Vision, and Eye Tracking // Mathematics. 2022. Vol. 10, no. 4. doi: 10.3390/math10040618.
  23. Sun Z., H. Zihao, D. Feng [et al.]. A Novel Multimodal Approach for Hybrid Brain-Computer Interface // IEEE Access. 2020. Vol. 8. P. 89909–89918. doi: 10.1109/ACCESS.2020.2994226.
  24. Pichiorri F., Toppi J., de Seta V. [et al.]. Exploring high-density corticomuscular networks after stroke to enable a hybrid Brain-Computer Interface for hand motor rehabilitation // Journal of NeuroEngineering and Rehabilitation. 2023. Vol. 20(1). doi: 10.1186/s12984-023-01127-6.
  25. Si J., Yang Y., Xu L. [et al.]. Evaluation of residual cognition in patients with disorders of consciousness based on functional near-infrared spectroscopy // Neurophotonics. 2023. Vol. 10, no. 2. doi: 10.1117/1.nph.10.2.025003.
  26. Hamid H., Naseer N., Nazeer H. [et al.]. Analyzing Classification Performance of fNIRS-BCI for Gait Rehabilitation Using Deep Neural Networks // Sensors. Vol. 22 (5). 1932. doi: 10.3390/s22051932, 2022.
  27. Mustafa A. H. H., Muhammad U. K., Deepti M. A Computationally Efficient Method for Hybrid EEG-fNIRS BCI Based on the Pearson Correlation // BioMed Research International. 2020. Vol. 2020. 1838140. 13 p. doi: 10.1155/2020/1838140.
  28. Sial M. B.,Wang S., Wang X. [et al.]. A Survey on EEG – fNIRS based Non-invasive hBCIs // 2021 International Conference on Artificial Intelligence (ICAI). 2021. P. 240–245. doi: 10.1109/ICAI52203.2021.9445246.
  29. Wang Z., Lu Y., Yijie Z. [et al.]. Incorporating EEG and fNIRS Patterns to Evaluate Cortical Excitability and MI-BCI Performance During Motor Training // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2023. Vol. 31. P. 2872–2882. doi: 10.1109/TNSRE.2023.3281855.
  30. Radha H. M., Karim A., Ali Al-Timemy H. University of Baghdad [et al.]. Recognition of Upper Limb Movements Based on Hybrid EEG and EMG Signals for Human-Robot Interaction // Iraqi Journal of Computer Communication Control and System Engineering. 2023. Vol. 23, no. 2. doi: 10.33103/uot.ijccce. 23.2.14.
  31. Lubo F., Haoyang L., Hongfei J. [et al.]. EEG-EMG analysis method in hybrid brain computer interface for hand rehabilitation training // Computing and Informatics. 2023. Vol. 42 (3). P. 741–761. doi: 10.31577/cai_2023_3_741.
  32. Kwon J., Shin J., Im C. H. Toward a compact hybrid brain-computer interface (BCI): Performance evaluation of multi-class hybrid EEG-fNIRS BCIs with limited number of channels // PLoS One. 2020. Vol. 15, no. 3. doi: 10.1371/journal.pone.0230491.
  33. Beniczky S., Donald L. S. Electroencephalography: basic biophysical and technological aspects important for clinical applications // Epileptic Disord. 2020. Vol. 22, no. 6. doi: 10.1684/epd.2020.1217.
  34. Marius V. D., Hadăr A., Goga N. [et al.]. Design and implementation of an eeg-based bci prosthetic lower limb using raspberry PI 4 // U.P.B. Sci. Bull., Series C. 2023. Vol. 85, Issue. 3. P. 353–366.
  35. He L., Guo Sh., Bu D. [et al.]. Subject-Independent Estimation of Continuous Movements Using CNN-LSTM for a Home-Based Upper Limb Rehabilitation System // IEEE Robotics and Automation Letters. 2023. P. 1–8. doi: 10.1109/LRA.2023.3303701.
  36. Jin H. Li C., Sun L., Hu H. [et al.]. To classify two-dimensional motion state of step length and walking speed by applying cerebral hemoglobin information // 2017 10th International Conference on Human System Interactions (HSI). 2017. P. 216–222. doi: 10.1109/HSI.2017.8005032.
  37. Yang L., Song Y., Ma K. [et al.]. A novel motor imagery EEG decoding method based on feature separation // Journal of Neural Engineering. 2021. Vol. 18. 036022. doi: 10.1088/1741-2552/abe39b.
  38. Milanes D. H., Codorniu R. T., Baracaldo R. [et al.]. Shallow Convolutional Network Excel for Classifying Motor Imagery EEG in BCI Applications // IEEE Access. 2021. Vol. 9. P. 98275–98286. doi: 10.1109/ACCESS.2021.3091399.
  39. Aydin E. A. Subject-specific feature selection for near infrared spectroscopy based brain–computer interfaces // Computer Methods and Programs in Biomedicine. 2020. Vol. 195 (12). 105535. doi: 10.1016/j.cmpb.2020.105535.
  40. Bin Abdul Ghaffar M. S., Khan U. S., Naseer N. [et al.]. Improved Classification Accuracy of Four Class FNIRS-BCI // 2020 12th International Conference on Electronics, Computers and Artificial Intelligence (ECAI). 2020. P. 1–5. doi: 10.1109/ECAI50035.2020.9223258.
  41. Guo W. C., Zhang X., Liu H. [et al.]. Toward an enhanced human machine interface for upper-limb prosthesis control with combined EMG and NIRS signals // IEEE Trans. Human-Mach. Syst. 2017. Vol. 47, no. 4. P. 1–12. 564575. doi: 10.1109/THMS.2016.2641389.
  42. Lin J. F. L. Dual-MEG interbrain synchronization during turn-taking verbal interactions between mothers and children // Cerebral Cortex. 2023. Vol. 33 (7). P. 4116–4134. doi: 10.1093/cercor/bhac330.
  43. Maher A., Salankar N., Qaisar S. M. [et al.]. Hybrid EEG-fNIRS brain-computer interface based on the non-linear features extraction and stacking ensemble learning // Journal of Applied Biomedicine. 2023. Vol. 43 (1). P. 463–475. DOI: doi: 10.1016/j.bbe.2023.05.001.
  44. Liu Z., Shore J., Wang M. [et al.]. A systematic review on hybrid EEG/fNIRS in brain-computer interface // Biomed Signal Process Control. 2021. Vol. 68. 102595. doi: 10.1016/j.bspc.2021.102595.
  45. Xu T., Yang Y., Zhou Zh. [et al.]. Motor Imagery Decoding Enhancement Based on Hybrid EEG–fNIRS Signals // IEEE Access. 2023. Vol. 1(1). P. 1–12. doi: 10.1109/ACCESS.2023.3289709.
  46. Li R., Yang D., Fang F. [et al.]. Concurrent fNIRS and EEG for Brain Function Investigation: A Systematic, Methodology-Focused Review // Sensors. 2022. Vol. 22, no. 15. 5865. doi: 10.3390/s22155865.
  47. Chunfu L., Ruite G., Zhichuan T. [et al.]. Multi-channel FES gait rehabilitation assistance system based on adaptive sEMG modulation // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2023. Vol. 31. P. 3652–3663. doi: 10.1109/tnsre.2023.3313617.
  48. Song T., Yan Z., Guo S. [et al.]. Review of sEMG for Robot Control: Techniques and Applications // Applied Sciences. 2023. Vol. 13, no. 17. doi: 10.3390/app13179546.
  49. Radek M., Martina L., Michaela S. [et al.]. Advanced bioelectrical signal processing methods: Past, present, and future approach — Part III: Other biosignals // Sensors. 2021. Vol. 21 (18). 6064. doi: 10.3390/s21186064.
  50. Cheng X., Sie E. J., Boas D. A. [et al.]. Choosing an optimal wavelength to detect brain activity in functional near-infrared spectroscopy // Optics Letters. 2021. Vol. 46 (4). 924. doi: 10.1364/ol.418284.
  51. Kimoto H. F., Machida M. A wireless multi-layered EMG/MMG/NIRS sensor for muscular activity evaluation // Sensors. 2023. Vol. 23 (3). 1539. doi: 10.3390/s23031539.
  52. Giminiani R. D., Marco C., Marco F. [et al.]. Validation of fabric-based thigh-wearable EMG sensors and oximetry for monitoring quadricep activity during strength and endurance exercises // Sensors. 2020. Vol. 17. P. 1–13. 4664. doi: 10.3390/s20174664.
  53. Daniel N., Sybilski K., Kaczmarek W. [et al.]. Relationship between EMG and fNIRS during Dynamic Movements // Sensors. 2023. Vol. 23 (11). 5004. doi: 10.3390/s23115004.
  54. Atzori M., Gijsberts A., Castellini C. [et al.]. Electromyography data for non-invasive naturally-controlled robotic hand prostheses // Nature. 2014. Vol. 1. doi: 10.1038/sdata.2014.53.
  55. Dario F., Ning J., Hubertus R. [et al.]. The extraction of neural information from the surface EMG for the control of upper-limb prostheses: Emerging avenues and challenges // IEEE Trans. Neural Syst. Rehabil. Eng. 2014. Vol. 22, no. 4. P. 797–809. doi: 10.1109/TNSRE.2014.2305111.
  56. Arif A., Khan M., Kashif J. [et al.]. Hemodynamic response detection using integrated EEG–fNIRS-VPA for BCI // Computers, Materials and Continua. 2021. Vol. 70., no. 1. P. 535–555. doi: 10.32604/cmc.2022.018318.
  57. Kwak Y., Song W. J., Kim S. E. FGANet: FNIRS-Guided Attention Network for Hybrid EEG–fNIRS Brain-Computer Interfaces // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2022. Vol. 30. P. 329–339. doi: 10.1109/TNSRE.2022.3149899.
  58. Neelum Y. S., Zareena K., Usama S. [et al.]. Enhancing classification accuracy of transhumeral prosthesis: a hybrid sEMG and fNIRS approach // IEEE Access. 2021. Vol. 9. P. 113246–113257. doi: 10.1109/ACCESS.2021.3099973.
  59. Nsugbe E., Phillips C., Fraser M. F. [et al.]. Gesture recognition for transhumeral prosthesis control using EMG and NIR // IET Cyber-Systems and Robotics. 2020. Vol. 2, Issue 3. P. 122–131. doi: 10.1049/iet-csr.2020.0008.
  60. Xiang Z., Yao L., Wang X. [et al.]. A Survey on Deep Learning-based Non-Invasive Brain Signals: Recent Advances and New Frontiers // Journal of Neural Engineering. 2020. Vol. 18 (3). doi: 10.1088/1741-2552/abc902.
  61. Moufassih M., Tarahi O., Hamou S. [et al.]. Boosting motor imagery brain-computer interface classification using multiband and hybrid feature extraction // Multimedia Tools and Applications. 2023. Vol. 83 (16). P. 1–32. doi: 10.1007/s11042-023-17118-7.
  62. Shelishiyah R., Dharan M., Kumar T. [et al.]. Signal Processing for Hybrid BCI Signals // Journal of Physics Conference Series. 2022. Vol. 2318 (1). 012007. doi: 10.1088/1742-6596/2318/1/012007.
  63. Ali M. U., Kim K. S., Kallu K. D. [et al.]. OptEF-BCI: An Optimization-Based Hybrid EEG and fNIRS–Brain Computer Interface // Bioengineering. 2023. Vol. 10, no. 5. doi: 10.3390/bioengineering10050608.
  64. Brian F. S., Charles P., Christopher H. [et al.]. The evolution of neuromodulation for chronic stroke: From neuroplasticity mechanisms to brain-computer interfaces // Neurotherapeutics. 2024. Vol. 21, Issue 3. e00337. doi: 10.1016/j.neurot.2024.e00337.
  65. Na L., Rui Z., Bharath K. [et al.]. Non-invasive Techniques for Muscle Fatigue Monitoring: A Comprehensive Survey // ACM Computing Surveys. 2024. Vol. 56, Issue 9. 221. P. 1–40. doi: 10.1145/3648679.
  66. Samandari А. М. Functional near-infrared spectroscopy (fNIRS) as a hybrid system: a review // Modeling, Optimization and Information Technology. 2024. Vol. 12 (1). P. 1–18. doi: 10.26102/2310-6018/2024.44.1.005.
  67. Marinelli A., Canepa M., Domenico D. D. [et al.]. A comparative optimization procedure to evaluate pattern recognition algorithms on hannes prosthesis // Neurocomputing. 2024. Vol. 569 (7). 127123. doi: 10.1016/j.neucom.2023.127123.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».