A machine vision-based method for aligning coordinate systems of components in Robotic Technological Complexes

全文:

Введение. В условиях современной автоматизации производства растут требования к гибкости и адаптивности производственных систем. Роботизированные технологические комплексы (РТК) становятся ключевыми элементами для достижения высокой производительности и качества продукции. Такие комплексы представляют собой интегрированные системы, состоящие из промышленных роботов, конвейеров, станков с числовым программным управлением (ЧПУ) и других автоматизированных устройств. РТК позволяют повысить эффективность производства за счёт автоматизации и оптимизации технологических процессов, что особенно важно в конкурентных рыночных условиях.

В стремлении увеличить гибкость производства и быстро адаптироваться к изменяющимся потребностям рынка, в многономенклатурном мелкосерийном производстве всё более востребованными становятся реконфигурируемые РТК. Такие комплексы позволяют изменять положение или конфигурацию компонентов для адаптации к новым производственным задачам. Например, могут использоваться мобильные столы, которые перемещаются в пределах рабочей зоны робота. Мобильные столы могут менять своё местоположение, добавляться или убираться в зависимости от текущих потребностей, изменяя конфигурацию РТК. Это повышает гибкость системы и позволяет оперативно реагировать на изменения в номенклатуре продукции или объёмах производства.

Внедрение реконфигурируемых РТК сопровождается новыми техническими сложностями, связанными с частыми переналадками системы. Использование подвижных элементов РТК вызывает необходимость регулярного обновления данных при каждой реконфигурации, включая задачи по согласованию систем координат, определению новых траекторий для роботов-манипуляторов, синхронизации действий между различными компонентами и адаптации программного обеспечения. Каждое изменение конфигурации увеличивает время, затрачиваемое на переналадку, и может приводить к неточностям в позиционировании или сбоям в работе системы, что снижает общую эффективность производства. Согласование систем координат компонентов комплекса является одной из наиболее критичных и трудоёмких задач в процессе переналадки, от результатов которого зависит дальнейшая точность работы всего РТК.

1. Анализ существующих методов согласования систем координат в РТК. В научной литературе представлено множество методов, направленных на решение проблемы согласования систем координат в роботизированных технологических комплексах (РТК). Методы охватывают различные подходы, включая классические методы калибровки, самокалибровку роботизированных систем, применение цифровых двойников и технологии машинного зрения.

Классические методы калибровки традиционно основываются на использовании специальных калибровочных объектов и процедур для установления преобразований между системами координат робота и камеры. Одним из таких распространенных подходов является калибровка "рука-глаз" (hand-eye calibration). Для повышения точности вычисления преобразований используются методы, основанные на анализе Прокруста [1], позволяющие учитывать одновременно вращение и трансляцию при преобразовании координат. Кроме того, в некоторых работах [2-5] применяют алгебру кватернионов и двойных кватернионов для более точного представления пространственных преобразований. Несмотря на высокую точность, эти методы зачастую сложны в реализации и требуют значительных вычислительных ресурсов, а также использования специальных калибровочных объектов.

Методы самокалибровки роботизированных систем направлены на автоматизацию процесса калибровки без необходимости использования специальных объектов. В работе [6] предложен метод самокалибровки для роботизированных систем, который использует информацию, полученную в процессе эксплуатации робота, для обновления калибровочных параметров. Алгоритм автоматически идентифицирует и накапливает информативные измерения, используя информационно-теоретические меры, и обновляет параметры по мере их наблюдения. Такой подход позволяет системе адаптироваться к изменениям без постоянной необходимости вмешательства оператора. Однако метод чувствителен к качеству данных и требует применения сложных вычислительных алгоритмов.

Применение цифровых двойников в РТК открывает новые возможности для моделирования и оптимизации процессов интеграции и настройки компонентов в виртуальной среде. Цифровые двойники позволяют создавать виртуальные копии реальных объектов или систем, что способствует снижению времени и затрат на реальную настройку системы [7]. В работе [8] обсуждаются технологии разработки цифровых двойников изделий, что позволяет проводить предварительную настройку и тестирование процессов интеграции компонентов РТК. Однако создание точных моделей всех компонентов и необходимость значительных вычислительных ресурсов являются серьезными вызовами.

Несмотря на прогресс в области машинного зрения и глубокого обучения, точное определение положения объектов в пространстве и их согласование с системой координат робота без проведения сложной калибровки остается сложной задачей. Это связано с тем, что преобразование координат из системы координат камеры в систему координат робота требует высокой точности в определении параметров преобразования и учета множества факторов, таких, как калибровка камеры, геометрия системы и возможные искажения. Кроме того, интеграция методов машинного зрения в процесс согласования систем координат без использования специальных калибровочных объектов требует дальнейших исследований [9-11].

На основании проведенного анализа был сделан вывод, что существующие методы согласования систем координат в РТК либо требуют значительных временных и ресурсных затрат, либо не обеспечивают необходимой гибкости и оперативности, особенно в условиях реконфигурируемых систем. Традиционные методы калибровки требуют значительных временных и трудовых затрат, так как они выполняются вручную оператором, используют специальные калибровочные объекты и требуют сложных вычислений. Использование таких методов приводит к увеличению времени переналадки системы и снижает общую эффективность производства. В условиях многономенклатурного мелкосерийного производства, где частые изменения конфигурации являются нормой, такие задержки становятся критическими.

Данная работа посвящена разработке метода согласования систем координат компонентов РТК, объединяющего в себе преимущества машинного зрения, моделей глубокого обучения и автоматизации процессов калибровки. Для этого были проанализированы существующие методы согласования систем координат, разработан алгоритм на основе метода калибровки “eye-to-hand” («глаз-к-руке») без использования специальных калибровочных объектов с применением методов машинного зрения и модели глубокого обучения YOLOv5. Для апробации метода была создана виртуальная экспериментальная модель РТК и собраны данные для оценки точности позиционирования и времени переналадки системы.

2. Описание метода согласования систем координат компонентов в РТК на основе машинного зрения. Полный цикл работы метода согласования систем координат компонентов РТК представлен на рисунке 1.

 

Рис. 1. Метод согласования систем координат компонентов РТК

 

Первоначально рабочее пространство сканируется с помощью RGB-D камеры, установленной над рабочей зоной робота. Такая установка обеспечивает стабильное положение камеры и полный обзор области, где робот взаимодействует с объектами. Полученные от камеры данные проходят предварительную обработку. Изображения фильтруются с помощью фильтра Гаусса для удаления шумов, а карты глубины обрабатываются билатеральным фильтром. Коррекция оптических искажений осуществляется с настройкой параметров внутренней калибровки камеры, что повышает точность последующего анализа. Далее производится идентификация и классификация объектов с использованием модели YOLOv5, обученной на пользовательском наборе данных, включающем объекты, с которыми взаимодействует робот. Классы объектов включают заготовки и детали различных типов, оснастку и инструменты, компоненты РТК, а также элементы безопасности. Входными данными для модели служат отфильтрованные RGB-изображения, а выходными – координаты ограничивающих рамок объектов и их классы. Это позволяет системе определить, какие объекты присутствуют в рабочей зоне и где они находятся на изображении. После идентификации и классификации объектов возникает необходимость преобразовать их координаты из системы координат камеры в систему координат робота, а затем в системы координат других компонентов РТК, с которыми робот должен взаимодействовать. Для этого используется метод калибровки "eye-to-hand" без применения специальных калибровочных объектов.

2.1. Калибровка между камерой и роботом. Для обеспечения точного взаимодействия робота с объектами необходимо согласовать системы координат камеры и робота. Робот-манипулятор выполняет серию заранее определённых движений, перемещая схват в различные положения и ориентации в рабочей зоне. Камера фиксирует эти положения, получая соответствующие изображения и карты глубины. Синхронизация данных между системой управления робота и камерой обеспечивается с помощью временных меток, что позволяет точно сопоставить каждое положение робота с соответствующим изображением.

С использованием модели YOLOv5 на полученных изображениях определяется положение схвата робота в пиксельных координатах $u_{center, }{v}_{center}$. Из карты глубины извлекается значение глубины $z_{camera}$ в соответствующей точке:

$z_{camera}=D(u_{center}, v_{center)}$ (1)

Затем, используя параметры внутренней калибровки камеры – фокусные расстояния $f_x, f_y$ и координаты оптического центра $c_x, c_y$, вычисляются координаты схвата робота-манипулятора в декартовой системе координат камеры по следующим формулам:

$\left\{\begin{array}{l}{x}_{camera}=\frac{\left(u_{center}-c_x\right)·z_{camera}}{f_x}\\ y_{camera}=\frac{\left(v_{center}-c_y\right)·z_{camera}}{f_y}\\ z_{camera}=z_{camera}\end{array}\right.$ (2)

Для каждого положения схвата робота-манипулятора собираются пары соответствующих точек в пространстве: координаты в системе координат камеры $x_{camera}, y_{camera}, z_{camera}$ и соответствующие им координаты в системе координат робота $x_{robot}, y_{robot}, z_{robot}$, полученные из системы управления роботом.

Собранные пары точек используются для вычисления матрицы преобразования $T_{camera\_to\_robot}$, описывающей отношение между системами координат камеры и робота. Матрица $T_{camera\_to\_robot}$ является гомогенной матрицей 4x4, включающей матрицу вращения и вектор трансляции:

$T_{camera\_to\_robot}=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]$ (3)

Вычисление матрицы осуществляется путём решения задачи наименьших квадратов, что позволяет определить параметры вращения $R$ и трансляции $t$ между системами координат с минимальной ошибкой. Оценка точности калибровки производится путём применения полученной матрицы к контрольным точкам и сравнения преобразованных координат с соответствующими координатами в системе координат робота. Если среднеквадратичная ошибка не превышает допустимого порога, матрица считается корректной и может быть использована для преобразования координат объектов.

2.2. Калибровка между роботом и другими компонентами РТК. Калибровка между роботом и другими компонентами РТК, такими, как станок с ЧПУ, мобильный стол или конвейерная линия, проводится аналогичным образом. Робот перемещает свой схват к заранее определённым опорным точкам, расположенным в рабочей зоне компонента РТК, координаты которых известны в локальной системе координат этого компонента. Эти опорные точки могут находиться непосредственно на поверхности оборудования или в области, где робот взаимодействует с компонентом. Координаты схвата фиксируются в системе координат робота для каждого положения схвата при соприкосновении с опорными точками на компоненте РТК. Затем вычисляется матрица преобразования $T_{robot\_to\_component}$ с использованием пар соответствующих точек координат:

$\left[\begin{array}{c}{x}_{machine}\\ y_{machine}\\ z_{machine}\\ 1\end{array}\right]=T_{robot\_to\_component}\left[\begin{array}{c}{x}_{robot}\\ y_{robot}\\ z_{robot}\\ 1\end{array}\right]$ (4)

Оценка точности производится путём сравнения преобразованных координат с известными координатами в системе компонента РТК. Если точность соответствует требованиям, матрица используется для дальнейших преобразований.

2.3. Преобразование координат объектов. После успешной калибровки осуществляется преобразование координат обнаруженных объектов. Сначала определяется центр объекта на изображении по координатам ограничивающей рамки $u_{min}, v_{min}, u_{max}, v_{max}$:

$\left\{\begin{array}{l}{u}_{center}=\frac{u_{min}+u_{max}}{2}\\ v_{center}=\frac{v_{min}+v_{max}}{2}\end{array}\right.$ (5)

Глубина в точке извлекается из карты глубины по формуле (1). Координаты объекта в системе координат камеры вычисляются по формулам (2).

Затем координаты объекта преобразуются в систему координат робота с использованием матрицы $T_{camera\_to\_robot}$:

$\left[\begin{array}{c}{x}_{robot}\\ y_{robot}\\ z_{robot}\\ 1\end{array}\right]=T_{camera\_to\_robot}\left[\begin{array}{c}{x}_{camera}\\ y_{camera}\\ z_{camera}\\ 1\end{array}\right]$ (6)  

Для преобразования координат объектов, выраженных в системе координат робота, в систему координат компонента РТК, используется матрица $T_{robot\_to\_component}$ (4). Объединенное преобразование может быть выражено общей матрицей:

$T_{camera\_to\_component}=T_{camera\_to\_robot}·T_{robot\_to\_component}$ (7)

Полученные координаты используются роботом для планирования траектории движения к объекту с учетом кинематических ограничений и возможных препятствий в рабочей зоне.

3. Разработка экспериментальной модели. Для проверки предложенного метода была разработана виртуальная модель РТК с использованием среды 3D-моделирования производства «R-про». Модель (рисунок 2) включает:

• шестиосевой промышленный робот-манипулятор с точностью позиционирования схвата в модели 0.1 мм. и рабочей зоной, охватывающей область взаимодействия с конвейером и станком с ЧПУ;
• два мобильных промышленных стола;
• станок с ЧПУ с интерфейсом для передачи команд и статуса в модель робота;
• RGB-D камера, установленная над рабочей зоной в конфигурации "eye-to-hand", с разрешением 1920x1080 пикселей, полем зрения 90 градусов по горизонтали и диапазоном измерения глубины от 0.5 м до 5 м.

 

Рис. 2. Модель РТК

 

Для реализации метода использовался язык программирования Python с библиотеками OpenCV и PyTorch. Данные с RGB-D камеры обрабатывались в следующей последовательности: сначала изображения и карты глубины считывались и проходили предварительную обработку, затем осуществлялись обнаружение, классификация и получение координат объектов, после чего координаты объектов преобразовывались и передавались системе управления роботом (рисунок 3).

 

Рис. 3. Пример визуализации работы RGB-D камеры в модели РТК

 

На листинге 1 представлены получение и предварительная обработка данных с камеры. Сначала считываются RGB-изображения и соответствующие им карты глубины. Для удаления шумов и улучшения качества изображений применяются фильтры: к RGB-изображениям – фильтр Гаусса, к картам глубины – билатеральный фильтр. Также проводится коррекция оптических искажений с использованием параметров внутренней калибровки камеры.

Листинг 1. Получение и предварительная обработка данных с камеры

import cv2

import numpy as np

camera_matrix = np.array([[fx,  0, cx],

                          [ 0, fy, cy],

                          [ 0,   0,   1]])

dist_coeffs = np.array([k1, k2, p1, p2, k3])

rgb_image = cv2.imread('rgb_image.png')

depth_map = cv2.imread('depth_map.png', cv2.IMREAD_UNCHANGED)

rgb_undistorted = cv2.undistort(rgb_image, camera_matrix, dist_coeffs)

depth_undistorted = cv2.undistort(depth_map, camera_matrix, dist_coeffs)

rgb_filtered = cv2.GaussianBlur(rgb_undistorted, (5, 5), 0)

depth_filtered = cv2.bilateralFilter(depth_undistorted, 9, 75, 75)

После предварительной обработки данные готовы для анализа. На рисунке 4 показаны результаты этой обработки: отфильтрованное RGB-изображение и соответствующая ему карта глубины.

 

Рис. 4. Пример полученного изображения и карты глубины после фильтрации

 

Далее осуществляется обнаружение и классификация объектов (рисунок 5) с помощью модели глубокого обучения YOLOv5, обученной на пользовательском наборе данных (листинг 2).

 

Рис. 5. Пример работы YOLOv5

 

Листинг 2. Применение модели YOLOv5, обученной на пользовательском наборе данных

import torch

model = torch.hub.load('ultralytics/yolov5', 'custom', path='best.pt')

results = model(rgb_filtered)

detections = results.pandas().xyxy[0]

for index, row in detections.iterrows():

    xmin = int(row['xmin'])

    ymin = int(row['ymin'])

    xmax = int(row['xmax'])

    ymax = int(row['ymax'])

    class_name = row['name']

    confidence = row['confidence']

    print(f"Обнаружен объект {class_name} с уверенностью {confidence:.2f} в координатах ({xmin}, {ymin}), ({xmax}, {ymax})")

После идентификации объектов необходимо определить их пространственные координаты. Для каждого обнаруженного объекта вычисляются координаты центра ограничивающей рамки на изображении (4). Затем из карты глубины извлекается значение глубины в этой точке (1). Используя параметры внутренней калибровки камеры, координаты объекта в пиксельной системе преобразуются в метрические координаты системы координат камеры (2).

Полученные координаты объектов в системе координат камеры необходимо преобразовать в систему координат робота. Для этого применяется ранее вычисленная матрица преобразования $T_{camera\_to\_robot}$ (5). Эти координаты используются для формирования команд управления роботом (листинг 3).

Листинг 3. Формирование команд управления роботом

move_command = f"MOVE_TO X:{x_robot:.2f} Y:{y_robot:.2f} Z:{z_robot:.2f}"

def send_command_to_robot(command):

robot_ip = "192.168.1.100" 

robot_port = 5000 

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

    try:

        sock.connect((robot_ip, robot_port))

        sock.send(command.encode("utf-8"))

        response = sock.recv(1024).decode("utf-8")

        print(f"Ответ от робота: {response}")

    except Exception as e:

        print(f"Ошибка при отправке команды: {e}")

    finally:

        sock.close()

send_command_to_robot(move_command)

Таким образом, весь процесс – от получения данных с камеры до передачи команд роботу – автоматизирован и не требует постоянного вмешательства оператора.

Результаты. Для проверки эффективности предложенного метода была разработана модель робототехнического комплекса (РТК), в которой были проведены виртуальные эксперименты. Робот-манипулятор выполнял задачу установки заготовки с мобильного стола в виртуальный станок с ЧПУ. Положение заготовки определялось с помощью, симулированной RGB-D камеры, интегрированной в модель РТК и модели YOLOv5, обученной на пользовательском наборе данных. Точность позиционирования схвата робота-манипулятора оценивалась путем измерения отклонения фактического положения рабочего органа от целевого положения по каждой из осей (таблица 1).

Пространственное отклонение в каждом испытании не превышало 3.90 мм, а среднее пространственное отклонение составило 3.76 мм. Это отклонение соответствует требованиям ряда промышленных задач и подтверждает адекватность предложенного метода в рамках модели РТК.

Для сравнения был реализован классический метод калибровки "глаз-к-руке" с использованием маркеров. Точность позиционирования схвата робота оценивалась аналогично.

 

Таблица 1. Результаты измерений точности позиционирования в модели

Номер испытания	Отклонение по X (мм)	Отклонение по Y (мм)	Отклонение по Z (мм)	Пространственное отклонение (мм)
1	1.9	2.2	2.6	3.90
2	2.1	2.0	2.4	3.76
3	1.8	2.3	2.1	3.60
4	2.2	1.9	2.5	3.84
5	2.0	2.1	2.3	3.70
Среднее	2.0	2.1	2.4	3.76

 

Результаты показали, что среднее пространственное отклонение при использовании классического метода составило 2.23 мм, что на 1.53 мм меньше, чем при использовании предложенного метода. Для некоторых приложений РТК такая точность является достаточной. Для систем, где требуется более высокая точность, возможно применение дополнительной калибровки или доработка метода для повышения точности позиционирования.

Было проведено сравнение времени, затрачиваемого на переналадку системы, с использованием классического и предложенного методов. Время переналадки при использовании предложенного метода было оценено в 5 минут, тогда как при использовании метода с маркерами оно увеличивается до 15 минут. Это связано с тем, что классический метод требует установки и калибровки с использованием маркеров, что занимает дополнительное время и требует участия оператора. Сокращение времени переналадки системы является существенным преимуществом в условиях многономенклатурного мелкосерийного производства.

Время, затрачиваемое на обработку изображений и вычисление координат объектов в модели, составило в среднем 0.1 секунды на кадр, что позволило системе работать в режиме реального времени с частотой обновления 10 Гц.

Полученные в работе результаты подтверждают работоспособность предложенного метода. Метод без использования специальных калибровочных объектов обеспечивает достаточную для ряда технологических процессов точность позиционирования схвата робота и сокращает время переналадки системы.

Заключение. Предложенный метод согласования систем координат компонентов в РТК, основанный на использовании машинного зрения, метода калибровки «глаз-к-руке» и модели глубокого обучения, делает возможным согласование систем координат компонентов без использования специальных калибровочных объектов, что повышает гибкость системы. Также уменьшается трудоемкость процесса переналадки за счёт отсутствия необходимости поверять позиции компонентов РТК вручную, что особенно актуально в условиях многономенклатурного мелкосерийного производства. Несмотря на снижение точности по сравнению с методом с использованием маркеров, преимущества в скорости наладки делают предложенный метод актуальным для РТК, где время и гибкость являются критичными факторами.

Для использования предложенного метода в системах, требующих более высокой точности позиционирования, требуются дальнейшие разработки и исследования. Возможные направления для улучшений включают эксперименты с другими моделями глубокого обучения, совершенствование алгоритмов калибровки, использование дополнительных датчиков и камер.

作者简介

Vladimir Kholopov

MIREA - Russian technological university

Email: Holopov@gmail.com
ORCID iD: 0000-0003-2108-8462
SPIN 代码: 6007-8117

Ph.D, associate professor, head of the department of industrial informatics

俄罗斯联邦, Moscow

Maxim Makarov

MIREA - Russian technological university

编辑信件的主要联系方式.
Email: MakMak95@yandex.ru
SPIN 代码: 1359-7222

Senior lecturer of the department of industrial informatics

俄罗斯联邦, Moscow

Ivan Blagoveshchensky

MIREA - Russian technological university

Email: Igblagov@mail.ru
SPIN 代码: 7057-5071

Doctor of technical sciences, professor of the department of industrial informatics

俄罗斯联邦, Moscow

参考

补充文件