Automatic calibration of the laser-scanner system using an external camera

Full Text

Введение

Аддитивные технологии (АТ) эволюционировали от инструмента для создания прототипов до ключевого метода производства деталей в различных отраслях, таких как аэрокосмическая, медицинская и автомобильная. Основным преимуществом АТ является возможность изготовления сложнопрофильных изделий, которые представляют значительные трудности для традиционных методов производства. В технологии селективного лазерного плавления (СЛП) [1] (рис. 1) высокоэнергетический лазерный луч направляется на плоскость печати через зеркала, управляемые гальванометрическими двигателями. Лазерный пучок избирательно приплавляет тонкий слой металлического порошка к платформе построения, формируя слои желаемой структуры. Процесс плавления повторяется с последующим нанесением слоев металлического порошка до тех пор, пока изделие не будет полностью изготовлено.

Геометрическая точность является одним из важнейших факторов, влияющих на качество деталей, производимых с помощью технологии СЛП. Центральное место в достижении высокой точности занимает калибровка гальванометрических зеркал. Традиционные методы калибровки включают нанесение рисунка на подложку, проведение тщательных измерений с помощью оптических координатно-измерительных машин и ручное сопоставление с заданными координатами [2, 3]. Однако данный подход является трудоемким, затратным по времени и подверженным риску возникновения человеческой ошибки.

 

Рис. 1. Схематичная иллюстрация технологии СЛП с установленной внешней камерой

Fig. 1. Schematic illustration of the SLM technology with an external camera installed

 

В литературе описаны различные методы ускорения и автоматизации калибровки гальванометрических зеркал. Один из подходов заключается в использовании соосной камеры и подсветки [4, 5]. Недостатком данного метода является необходимость модификации конструкции сканирующей системы и, в частности, изменение оптического пути. Другой подход основан на изготовлении дополнительных устройств для определения положения лазерного луча непосредственно в момент включения модуляции лазера [6, 7]. Дороговизна и сложность производства специализированных измерительных приборов – главные недостатки этого подхода.

В данной статье мы представляем новую методику калибровки, предназначенную для технологии СЛП. Наш подход основан на использовании внешней камеры для проведения процедуры. Стоит отметить, что эта камера может быть использована не только в целях калибровки, но и в различных системах мониторинга и контроля процесса печати изделия [8, 9].

По сравнению с другими исследованиями, в которых изучались различные методики калибровки, наш подход отличается тем, что он легко интегрируется в существующие принтеры, использующие технологию СЛП. Метод требует минимальных модификаций оборудования и позволяет регулярно проводить калибровки с минимальными затратами усилий и времени.

1. Метод калибровки

Данный раздел описывает процедуру калибровки гальвомоторов. Алгоритм включает следующие этапы:

1. Калибровка камеры и привязка ее системы координат к системе координат платформы построения.
2. Прожиг направленного асимметричного калибровочного паттерна на подложке.
3. Распознание и сопоставление прожженных точек.
4. Построение корректирующего алгоритма на основе сопоставленных точек.
5. Совмещение полученной системы координат сканатора и системы координат камеры.

2.1. Калибровка камеры

Рассмотрим  модель камеры-обскуры [10], схематичное изображение которой представлено на рисунке 2. Данная модель описывает соотношение между трехмерными координатами ключевой точки в системе координат мира и ее двумерными координатами на изображении.

Точка $(X_c,Y_c,X_c)$ обозначает систему координат камеры, $(X_w,Y_w,Z_w)$ – систему координат мира, $(C_x,C_y)$ – центр плоскости изображения, $L$ – ключевую точку объекта, $f$ – фокусное расстояние, $(x_i,y_i,f)$ – трехмерные координаты проекции ключевой точки объекта на плоскость изображения, а $(u,v)$ – двумерные координаты проекции ключевой точки объекта. Матрица $[R\mid t]$ используется для перехода от системы координат мира к системе координат камеры.

 

Рис. 2. Изображение, демонстрирующее модель камеры-обскуры

Fig. 2. Image demonstrating the camera obscura model

 

Параметры камеры описываются внешней и внутренней матрицей [11]. Матрица $[R\mid t]$ является внешней матрицей, в то время как внутренняя описывается следующей формулой:

$K:=\left(\begin{array}{ccc}{f}_x& s& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)$

где s – это значение перекоса пикселей. Таким образом,

$H:=K\cdot \left[R|t\right]$

будет являться матрицей проективного преобразования, переводящей из трехмерной системы координат мира в двумерную систему координат камеры. Используя калибровочную пластинку, найдем параметры матрицы K.

Для нахождения параметров матрицы $[R\mid t]$ необходимо найти трехмерные координаты точек на калибровочной пластинке. Координаты по оси x и y известны из параметров пластинки. Чтобы найти координату z, необходимо померить толщину пластинки. Таким образом, мы получили систему координат камеры, в которой плоскость, образованная нулем оси z, совпадает с плоскостью платформы построения.

2.2. Прожиг калибровочного паттерна

После выполнения процедуры калибровки камеры можно приступить к генерации и прожигу калибровочного паттерна. В качестве паттерна была выбрана асимметричная направленная сетка кругов N × N с шагом L, содержащая круги разных радиусов (рис. 3). Радиус меленьких кругов равен 0,2L, а больших 0,4L. Расположение больших кругов специально было выбрано таким образом, чтобы паттерн был асимметричным относительно поворотов и симметрий. Обозначим $\left\{\right(u_{nm},v_{nm})\mid n,m\in [1...N]\}$ координаты сканатора, соответствующие центрам кругов.

 

 

Рис. 3. Калибровочный паттерн для прожига лазера при N = 31

Fig. 3. Calibration pattern for laser burn-through at N = 31

 

Перед началом процесса подложка, по которой будет проводиться прожиг паттерна, устанавливается на платформу построения и выравнивается относительно нуля. После этого платформа поднимается на высоту, равную высоте порошкового слоя, обозначаемой как . С использованием пилотного лазера визуализируется контур паттерна. При этом величина шага L, размер сетки N и смещение подбираются таким образом, чтобы паттерн полностью вмещался в область подложки. Далее осуществляется процедура прожига.

2.3. Сопоставление системы координат сканатора и камеры

После осуществления прожига изображение подложки фиксируется с помощью камеры. Полученное изображение подвергается обработке с применением медианного фильтра для удаления следов гари. Для точного определения координат центров кругов к изображению применяется функция findCirclesGrid, доступная в библиотеке OpenCV. Обозначим за $\left\{\right(x_i,y_i)\mid n,m\in [1..N^2\left]\right\}$ набор точек, найденных на изображении. Заметим, что функция findCirclesGrid находит точки построчно, слева направо в каждом ряду. Таким образом, если мы введем индексацию $(x_{nm},y_{nm})=(x_{n*N+m},y_{n*N+m})$, то она образует сетку точек N × N. Однако данная индексация зависит от расположения камеры относительно пластинки, но не от порядка прожига точек, а значит, найденные точки нельзя напрямую сопоставить с центрами кругов в системе координат сканатора $\left\{(u_{nm},v_{nm})\right\}$. Для данного сопоставления воспользуемся следующим алгоритмом.

Сопоставим точкам $(x_{nm},y_{nm})$ точки $(n*S+2*S,m*S+2*S)$, где S – масштабный коэффициент. Найдем проективное преобразование $H_{rect}$ по данным точкам. Применим $H_{rect}$ к фотографии прожженного паттерна. Тогда на полученной фотографии шаг сетки будет гарантированно равен S пикселей, при этом радиус маленьких кружков равен 0.2S, а больших 0.4S. Воспользуемся алгоритмом поиска кругов HoughCircles с использованием преобразования Хафа, задав минимальные и максимальные радиусы кругов, равные 0.3S и 0.5S соответственно. Затем сопоставим каждому найденном кругу точку $(n*S+2*S,m*S+2*S)$, ближайшую к центру круга. Таким образом, мы нашли индексы больших кругов на получившейся сетке точек. Расположение больших кругов было выбрано таким образом, чтобы являться асимметричным относительно поворотов и симметрии, поэтому можно подобрать такой набор симметрии и поворота, корректно сопоставляющий индексы точек $(x_{nm},y_{nm})$ и $\left\{(u_{nm},v_{nm})\right\}$. Стоит заметить, что поворот и симметрия применяются не к координатам точек, а именно непосредственно к индексам.

2.4. Построение корректирующего алгоритма на основе найденных точек

Преобразуем найденные точки из пикселей в миллиметры. Пусть H является матрицей размером 3 × 4, которая описывает проекцию трехмерной системы координат на плоскость изображения камеры, а $Z_p$ обозначает высоту, на которой находилась подложка в момент проведения эксперимента. Пусть

$H=\left(\begin{array}{l}\begin{array}{cccc}{h}_{11}& h_{12}& h_{13}& h_{14}\end{array}\\ \begin{array}{cccc}{h}_{21}& h_{22}& h_{23}& h_{24}\end{array}\\ \begin{array}{cccc}{h}_{31}& h_{32}& h_{33}& h_{34}\end{array}\\ \begin{array}{cccc}{h}_{41}& h_{42}& h_{43}& h_{44}\end{array}\end{array}\right)$.

Тогда заметим, что

$\begin{array}{l}\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=H\cdot \left(\begin{array}{c}X\\ Y\\ Z_p\\ 1\end{array}\right)=\left(\begin{array}{l}\begin{array}{cccc}{h}_{11}& h_{12}& h_{13}& h_{14}\end{array}\\ \begin{array}{cccc}{h}_{21}& h_{22}& h_{23}& h_{24}\end{array}\\ \begin{array}{cccc}{h}_{31}& h_{32}& h_{33}& h_{34}\end{array}\\ \begin{array}{cccc}{h}_{41}& h_{42}& h_{43}& h_{44}\end{array}\end{array}\right)\cdot \left(\begin{array}{c}X\\ Y\\ Z_p\\ 1\end{array}\right)=\\ =\left(\begin{array}{l}\begin{array}{cccc}{h}_{11}& h_{12}& h_{13}\ast Z_p+& h_{14}\end{array}\\ \begin{array}{cccc}{h}_{21}& h_{22}& h_{23}\ast Z_p+& h_{24}\end{array}\\ \begin{array}{cccc}{h}_{31}& h_{32}& h_{33}\ast Z_p+& h_{34}\end{array}\\ \begin{array}{cccc}{h}_{41}& h_{42}& h_{43}\ast Z_p+& h_{44}\end{array}\end{array}\right)\cdot \left(\begin{array}{c}X\\ Y\\ 1\end{array}\right)=H_{Z_p}\cdot \left(\begin{array}{c}X\\ Y\\ 1\end{array}\right).\\ \left(\begin{array}{c}X\\ Y\\ 1\end{array}\right)=H_{Z_p}^{-1}\cdot \left(\begin{array}{c}x\\ y\\ 1\end{array}\right).\end{array}$

Таким образом, матрица $H_{Z_p}^{-1}$ является матрицей преобразования из системы координат пикселей в систему координат камеры. Следует отметить, что данное преобразование зависит от координаты $Z_p$ и, следовательно, может быть применено даже при изменении уровня порошка, на котором производится печать. Обозначим за $\left\{\right(X_{nm},Y_{nm})\mid n,m\in [1...N\left]\right\}$ точки, полученные путем применения матрицы $H_{Z_p}^{-1}$ к точкам $\left\{\right(x_{nm},y_{nm})\mid n,m\in [1...N\left]\right\}$. Отметим, что область значений координат точек $\left\{\right(X_{nm},Y_{nm}\left)\right\}$ может не обладать симметрией относительно осей x и y и даже не включать в себя начало координат. Тем не менее возможно применить параллельный перенос к этим координатам без искажения калибровки для обеспечения симметричности. Таким образом, мы сопоставили систему координат сканатора $\left\{(u_{nm},v_{nm})\right\}$ и систему координат камеры $\left\{\right(X_{nm},Y_{nm}\left)\right\}$.

2.5. Построение корректирующего алгоритма на основе сопоставленных точек

Пусть $f_l:\{(u_{nm},v_{nm}\to (X_{nm},Y_{nm})\}$ – функция отображения из координат сканатора в координаты камеры. Для проведения печати в миллиметрах необходимо найти обратную функцию $f_l^{-1}$. В данном исследовании для этой цели использовалась билинейная интерполяция из-за ее высокой вычислительной скорости. Билинейная интерполяция применима только на прямоугольной сетке, но набор точек $\left\{\right(X_{nm},Y_{nm}\left)\right\}$ ею не является.

Для решения данной проблемы построим прямоугольную сетку точек с равным шагом, основанную на точках $\left\{\right(X_{nm},Y_{nm}\left)\right\}$. Сначала найдем вписанный в сетку точек $\left\{\right(X_{nm},Y_{nm}\left)\right\}$ прямоугольник максимальной площади. Рассмотрим точки $\left\{({X_i}_1,{Y_i}_1)\right\},\left\{\right({X_i}_N,{Y_i}_N)\},\left\{\right({X_1}_i,{Y_1}_i)\},\left\{\right({X_N}_i,{Y_N}_i)\},$ при $i\in [1...N].$ Определим горизонтальные и вертикальные линии, затем найдем минимумы и максимумы по соответствующим осям. Полученные значения формируют координаты искомого прямоугольника $X_{Ni},Y_{Ni}$.

Далее построим равномерную сетку $\left\{\right(X_{nm}^{\text{'}},Y_{nm}^{\text{'}}\left)\right\}$ внутри данного квадрата и интерполируем значения $\{(u_{nm},v_{nm}\}\to \left\{\right(u_{nm}^{\text{'}},v_{nm}^{\text{'}}\}.$ На данном этапе мы не ограничены скоростью работы алгоритма, поэтому можем использовать для этого вычислительно более сложные алгоритмы, например, преобразования Clough-Tocher [12]. Таким образом, мы получаем сопоставление между координатами в миллиметрах и координатами сканатора $\left\{\right(u_{nm}^{\text{'}},v_{nm}^{\text{'}}\}\leftrightarrow \left\{\right(X_{nm}^{\text{'}},Y_{nm}^{\text{'}})\}$ на равномерной прямоугольной сетке, что позволяет построить билинейную интерполяцию $f_l^{-1}$.

3. Результаты

В данном исследовании был выполнен эксперимент на принтере, использующем технологию СЛП, модели «Наука3D/21 СЛП-150». Для сбора данных использовалась камера Daheng MER2-2000-19U3M с разрешением 5496 × 3672. Калибровка параметров камеры производилась с использованием пластины Edmund Optics 100 x 100 мм, 2.0mm spacing, glass distortion target. Ошибка расчета матрицы камеры составила 0,14 пикселей. В качестве подложки для прожига паттерна использован стеклянный круг с радиусом, равным радиусу платформы, на который была нанесена самоклеящаяся черная глянцевая бумага (рис. 4). Область прожига была равна 110 × 110 мм, размер сетки паттерна равнялся 31. После завершения процесса калибровки сетка была прожжена повторно, и итоговая ошибка составила 0,018 мм.

 

Рис. 4. Полученное камерой изображение паттерна (рис. 3), прожженного на подложке

Fig. 4. The image of the pattern (fig. 3), burned on the substrate, obtained by the camera

 

4. Сравнительный анализ методов

Сравнение с другими методами представлено в таблице 1. Исследование, проведенное H. Yeung и S. Grantham [7], показало наименьшую абсолютную среднюю ошибку. Однако область применения их метода ограничена размером объектива камеры, что делает его непригодным для рабочих полей большего размера. Метод Q. Zhong и др. [6] обеспечил наилучшую относительную ошибку, но точность их метода не зависит от размера рабочего поля, а значит, не может быть улучшена при применении метода на поле меньшего размера. Величина средней ошибки в работе B. Lane и др. [3] составляет 0,018 мм, что совпадает с результатами, полученными нашим методом. Исследование O. Delgado и A. Lasagni [4] показало несколько лучшие относительные и абсолютные средние ошибки, но их метод лишь рассчитывает смещение между итерациями алгоритма, не вычисляя точность напрямую.

 

Таблица 1. Cравнение результатов калибровки между различными методами

Table 1. Comparison of calibration results among different methods

Метод	Размер рабочего поля, mm × mm	Средняя ошибка, mm	Отн. ошибка, %
Q. Zhong и др. [6]	2000 × 2000	0,24	0,012
O. Delgado и A. Lasagni [4]	100 × 100	0,014	0,014
B. Lane и др. [3]	70 × 70	0,018	0,033
H. Yeung, S. Grantham [7]	4 × 5	0,0079	0,158
Наш	110 × 110	0,018	0,016

 

Величина 0,014 мм не является точностью напрямую, а показывает величину минимального полученного шага при схождении метода.

Заключение

Данный метод позволяет с высокой точностью и скоростью откалибровать лазерно-сканаторную систему. Стоит отметить, что не все шаги данного алгоритма обязательны для исполнения. Например, в качестве измерения необязательно использовать камеру, достаточно использовать любой другой откалиброванный измерительный прибор. Также в качестве функции $f_l^{-1}$ необязательно использовать билинейную интерполяцию, если нет необходимости в высокой скорости подсчета, а нужно максимизировать точность. В качестве улучшения алгоритма можно предложить использование направленного паттерна не только на этапе прожига подложки, но и при калибровке камеры для минимизации потенциальных ошибок.

Финансирование. Исследование проведено без спонсорской поддержки.

Funding. The study was performed without external funding.

About the authors

Yuri D. Shmelev

National University of Science and Technology “MISIS”

Author for correspondence.
Email: yura0512@gmail.com
ORCID iD: 0009-0000-9041-3033

Post-graduate Student

Russian Federation, 119049, Moscow, Leningradsky avenue, 4, 1 building

References

Supplementary files