Бесконтактное управление роботизированной рукой посредством жестов человека

В работе рассмотрена задача бесконтактного управления роботизированной рукой посредством жестов руки человека. Предлагается новый метод, позволяющий в реальном времени распознавать и отслеживать позиции ладони и кончиков пальцев руки человека и на основе этих данных осуществить управления кистью и тремя пальцами роботизированной руки. В качестве устройства ввода информации о жестах руки используется трёхмерный сенсор, работающий на принципах триангуляции и структурированного света. Распознавание жестов руки осуществляется посредством поэтапной обработки каждого кадра видеоряда, которые представляют собой дальностные изображения. На первом этапе распознаётся позиция произвольной точки ладони руки. На втором этапе извлекается изображение руки по распознанной позиции ладони. Позиции кончиков пальцев и длины пальцев руки вычисляются посредством анализа расстояний между точками контура фигуры руки и произвольной точкой кисти руки. Отслеживание кончиков пальцев осуществляется посредством алгоритма k ближайших соседей. Распознанная позиция ладони руки человека используется для перемещения кисти роботизированной руки в трёхмерном пространстве. Позиции кончиков пальцев руки человека и их длины используется для управления пальцами роботизированной руки. Предложенный метод апробирован на компьютерной модели роботизированной руки.

распознавание жестов, роботизированная рука, обработка изображений, дальностное изображение, управление роботом