Three-Position Vehicle Control Based on Neural Interface Using Machine Learning

Cover Page

Cite item

Full Text

Abstract

The brain-computer interface is a complex system that allows you to control external electronic devices using brain activity. This system includes several elements – a device for reading brain activity signals, a hardware and software complex that processes and analyzes these signals, and a control object. The main challenge here is the development of methods and algorithms that can correctly recognize and predict the intentions of the person who uses this interface to provide solutions to control problems. This paper describes the mathematical formulation of the equipment control problem. Methods for preprocessing EEG signals, analyzing them, and making decisions about issuing a control signal are described; the structure of the software implementation of these methods is described, as well as a plan for experimental testing of the performance of the entire system that forms the brain-computer interface. For classification of EEG signals the methods of machine learning are used. A modification of the k-nearest neighbors method is proposed – the so-called fuzzy almost nearest neighbors method. An algorithm for the adaptive classification of EEG taking into account the drift of the parameters of the subject's model based on the method of recurrent objective inequalities (ROI) has also been developed. The control algorithm was implemented in the Python programming language. A remote-controlled wheelchair is considered as a control object, and turning the chair to the right or left is considered as a control task. To experimentally test the performance of the developed model and algorithms, more than 15 tests were carried out with five subjects in total. The approach developed and described in this article and its software implementation during testing demonstrated its effectiveness in the tasks of controlling the rotation of a wheelchair. Special attention was also paid to the resource intensity of the software implementation. Methods and algorithms were implemented taking into account the requirements that arise when performing calculations on low-performance devices with a limited amount of memory.

About the authors

A. L Fradkov

Institute for Problems in Mechanical Engineering of the Russian Academy of Sciences

Email: fradkov@mail.ru
Bolshoi Av. of V.O. 61

N. A Babich

Institute for Problems in Mechanical Engineering of the Russian Academy of Sciences

Email: nickware@mail.ru
Bolshoi Av. of V.O. 61

References

  1. Левицкая О.С., Лебедев М.А. Интерфейс мозг–компьютер: будущее в настоящем // Вестник РГМУ. 2016. № 2. С. 4–16.
  2. Каплан А.Я., Кочетова А.Г., Шишкин С.Л., Басюл И.А., Ганин И.П., Васильев А.Н., Либуркина С.П. Экспериментально-теоретические основания и практические реализации технологии «интерфейс мозг-компьютер» // Бюллетень сибирской медицины. 2013. № 12(2). С. 21–29.
  3. Лунев Д.В., Полетыкин С.К., Кудрявцев Д.О. Нейроинтерфейсы: обзор технологий и современные решения // Современные инновации, системы и технологии. 2022. № 2(3). C. 117–126.
  4. Станкевич Л.А., Сонькин К.М., Нагорнова Ж.В., Хоменко Ю.Г., Шемякина Н.В. Классификация электроэнцефалографических паттернов воображаемых движений пальцами руки для разработки интерфейса мозг-компьютер // Труды СПИИРАН. 2015. Т. 3(40). С. 163–182.
  5. Гунделах Ф.В., Станкевич Л.А. Классификация пространственно-временных паттернов на основе нейроморфных сетей // Информатика и автоматизация. 2024. Т. 23. № 3. С. 886–908.
  6. Гунделах Ф.В., Станкевич Л.А., Сонькин К.М., Нагорнова Ж.В., Шемякина Н.В. Применение интерфейсов «мозг-компьютер» в ассистивных технологиях // Труды СПИИРАН. 2020. Т. 19. № 2. С. 277–301.
  7. Лобода Ю.О., Функ А.В., Гасымов З.А., Рачкован О.А. Управление мехатронными системами нейроинтерфейсом // XIII Международная научно-практическая конференция «Электронные средства и системы управления», посвященная 55-летию ТУСУРа (г. Томск, 29 ноября – 1 декабря 2017 г.). 2017. С. 143–146.
  8. Бодин О.Н., Солодимова Г.А., Спиркин А.Н. Нейроинтерфейс для управления роботизированными устройствами // Измерение. Мониторинг. Управление. Контроль. 2019. № 4(30). С. 70–76.
  9. Миронов В.И., Лобов С.А., Крылова Н.П., Гордлеева C.Ю., Каплан А.Я., Буйлова Т.В., Бахшиев А.В., Щуровский Д.В., Вагнер В.О., Кастальский И.А., Ли А.Н., Казанцев В.Б. Разработка нейроуправляемого автомобиля для мобилизации людей с двигательным дефицитом – нейромобиля // Современные технологии в медицине (СТМ). 2018. Т. 10. № 4. С. 49–56.
  10. Rashid Mamunur, Sulaiman Norizam, P.P. Abdul Majeed Anwar, Musa Rabiu Muazu, Ab. Nasir Ahmad Fakhri, Bari Bifta Sama, Khatun Sabira. Current Status, Challenges, and Possible Solutions of EEG-Based Brain-Computer Interface: A Comprehensive Review. Frontiers in Neurorobotics. 2020. vol. 14. doi: 10.3389/fnbot.2020.00025.
  11. Varbu K., Muhammad N., Muhammad Y. Past, Present, and Future of EEG-Based BCI Applications. Sensors. 2022. vol. 22. no. 9. doi: 10.3390/s22093331.
  12. Yadav H., Maini S. Electroencephalogram based brain‑computer interface: Applications, challenges, and opportunities. Multimedia Tools and Applications. 2023. vol. 82. pp. 47003–47047.
  13. Сазонова Н.Н., Дегтярев С.В., Сазонова Е.С. Аппаратно-программный комплекс на основе нейроинтерфейса и vr-технологии в системе реабилитации пациентов с поражением головного мозга после инсульта // Информационные технологии в управлении, автоматизации и мехатронике: Сборник научных статей 4-й Международной научно-технической конференции (г. Курск, 7 апреля 2022 г.). 2022. С. 180–183.
  14. Боброва Е.В., Решетникова В.В., Вершинина Е.А., Гришин А.А., Исаев М.Р., Бобров П.Д., Герасименко Ю.П. Оценка эффективности управления мозг-компьютерным интерфейсом при обучении воображению движений верхних и нижних конечностей // Журнал высшей нервной деятельности им. И.П. Павлова. 2023. Т. 73. № 1. С. 52–61.
  15. Каплан А.Я. Некоторые теоретические и практические основания к реализации нейроинтерфейсных технологий в психиатрии // Психическое здоровье человека и общества. Актуальные междисциплинарные проблемы. Научно-практическая конференция (г. Москва, 30 октября 2017 г.). Москва: КДУ, 2018. С. 366–372.
  16. Wang H., Yan F., Xu T., Yin H., Chen P., Yue H., Chen C., Zhang H., Xu L., He Y., Bezerianos A. Brain-Controlled Wheelchair Review: From Wet Electrode to Dry Electrode, From Single Modal to Hybrid Modal, From Synchronous to Asynchronous. IEEE Access. 2021. vol. 9. pp. 55920–55938.
  17. Fernandez-Rodriguez A., Velasco-Alvarez F., Ron-Angevin R. Review of real brain-controlled wheelchairs. Journal of neural engineering. 2016. vol. 13. no. 6. doi: 10.1088/1741-2560/13/6/061001.
  18. Sha’abani M.N.A.H., Fuad N., Jamal N., Ismail M.F. kNN and SVM Classification for EEG: A Review. Lecture Notes in Electrical Engineering. Springer, Singapore. 2020. vol. 632. pp. 555–565.
  19. Palumbo A., Gramigna V., Calabrese B., Ielpo N. Motor-Imagery EEG-Based BCIs in Wheelchair Movement and Control: A Systematic Literature Review. Sensors 2021. vol. 21. no. 18. doi: 10.3390/s21186285.
  20. Яшин А.С., Васильев А.Н., Шишкин С.Л. Чем квазидвижения полезны для изучения произвольных движений? Взгляд со стороны нейронаук, психологии и философии. Гены и Клетки. 2023. Т. 18. № 4. С. 649–652.
  21. Babbysh N. Computing brain rhythm indicators of EEG signal. 5th Scientific School Dynamics of Complex Networks and their Applications (DCNA), Kaliningrad, Russian Federation. IEEE, 2021. pp. 32–35.
  22. Shanarova N., Pronina M., Lipkovich M., Ponomarev V., Müller A., Kropotov J. Application of Machine Learning to Diagnostics of Schizophrenia Patients Based on Event-Related Potentials. Diagnostics. 2023. vol. 13. no. 3. doi: 10.3390/diagnostics13030509.
  23. Lipkovich M., Knyazeva V., Aleksandrov A., Shanarova N., Sagatdinov A., Fradkov A. Evoked Potentials Detection During Self-Initiated Movements Using Machine Learning Approach. 2023 Fifth International Conference on Neurotechnologies and Neurointerfaces (CNN). Kaliningrad, Russian Federation, 2023. pp. 47–50.
  24. Овод И.В., Осадчий А.Е., Пупышев А.А., Фрадков А.Л. Формирование нейрообратной связина основе адаптивной модели активности головного мозга // Нейрокомпьютеры: разработка, применение. 2012. № 2. С. 36–41.
  25. Rybalko A., Fradkov A. Identification of Two-Neuron FitzHugh-Nagumo Model Based on the Speed-Gradient and Filtering. Chaos: An Interdisciplinary Journal of Nonlinear Science. 2023. vol. 33. no. 8. doi: 10.1063/5.0159132.
  26. Обухов С.А., Степанов В.П., Рудаков И.В. Математическая модель нейрокомпьютерного интерфейса на основе анализа вызванных потенциалов P300 // Вестник РГГУ. Серия: Информатика. Информационная безопасность. Математика. 2021. № 2. С. 48–67.
  27. Chen Z, Wang Y, Song Z. Classification of Motor Imagery Electroencephalography Signals Based on Image Processing Method. Sensors (Basel). 2021. vol. 21(14). doi: 10.3390/s21144646.
  28. Lun X., Liu J., Zhang Y., Hao Z., Hou Y., A Motor Imagery Signals Classification Method via the Difference of EEG Signals Between Left and Right Hemispheric Electrodes. Frontiers in Neuroscience. 2022. vol. 16. doi: 10.3389/fnins.2022.865594.
  29. Васильев В.П., Муро Э.Л., Смольский С.М. Основы теории и расчета цифровых фильтров: учебное пособие, 2-еизд., стер. // М.: НИЦ ИНФРА-М. 2024. 272 с.
  30. Hussin S.F., Birasamy G., Hamid Z. Design of Butterworth Band-Pass Filter // Politeknik and Kolej Komuniti Journal of Engineering and Technology. 2016. vol. 1. no. 1. pp. 32–46.
  31. Haykin S. Neural Networks: A Comprehensive Foundation Second Edition. 2019. 1104 p.
  32. Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. The MIT Press. 2012. 504 p.
  33. Капралов Н.В., Нагорнова Ж.В., Шемякина Н.В. Методы классификации ЭЭГ-паттернов воображаемых движений // Информатика и автоматизация. 2021. Т. 20. № 1. С. 94–132.
  34. Keller J.M., Gray M.R., Givens J.A. A fuzzy K-nearest neighbor algorithm // IEEE Transactions on Systems, Man, and Cybernetics. 1985. vol. 15. no. 4. pp. 580–585.
  35. Kumbure M.M., Luukka P. A generalized fuzzy k-nearest neighbor regression model based on Minkowski distance // Granular Computing. 2022. vol. 7. pp. 657–671.
  36. Бабич Н.А. Программная платформа для чтения, обработки и анализа данных ЭЭГ // Программная инженерия. 2023. № 5. С. 254–260.
  37. Официальная страница электроэнцефалографа NeoRecCAP. URL: https://mks.ru/product/neoreccap/ (дата обращения: 10.04.2024).
  38. Официальная страница процессорного модуля Orange-Pi-3B. URL: http://www.orangepi.org/html/hardWare/computerAndMicrocontrollers/details/Orange-Pi-3B.html (дата обращения: 03.05.2024).
  39. Kovalchukov A. Approximate Hindmarsh-Rose model identification: application to EEG data // 7th Scientific School on Dynamics of Complex Networks and their Applications (DCNA). 2023. pp. 151–154.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».