Formation of a panoramic image of the inner surface of the pipe

Толық мәтін

Введение

При производстве, ремонте и инспекции труб в различных областях народного хозяйства контроль внутренней поверхности, как правило, выполняет специально обученный оператор, который производит визуальный контроль каждой трубы с целью поиска дефектов. При подозрении на наличие дефекта в трубу вводится видеоэндоскоп, и на экране видеоконтрольного устройства детально просматривается подозрительный участок. Исключить субъективные факторы и автоматизировать операцию контроля качества можно с помощью системы компьютерного зрения, которая представляет собой аппаратно-программный комплекс с высокоразрешающей ТВ-камерой, оснащенной сверхширокоугольным объективом и равномерно перемещаемой внутри трубы. Для удобства анализа получаемой видеоинформации ее целесообразно представлять в виде цилиндрической панорамы внутренней поверхности, изображение которой может являться паспортом качества трубы. Формирование такой панорамы является одной из главных задач системы компьютерного зрения.

Для формализации алгоритма построения панорамного изображения внутренней поверхности рассмотрим модель, показанную на рис. 1. Модель включает видеокамеру, находящуюся внутри цилиндрического объекта (трубы), оптическая ось которой совмещена с продольной осью симметрии трубы.

Рис. 1. Модель формирования изображения внутренней поверхности

Fig. 1. Image model forming the inner surface

В модели используется несколько систем координат.

1. Трехмерная система координат камеры X_CY_CZ_C, начало которой О совпадает с оптическим центром объектива, а ось глубины Z_C – с продольной осью симметрии трубы. На расстоянии OF по оси Z_C, которое равно фокусному расстоянию объектива f, находится поверхность светочувствительного сенсора, на которой формируется оптическое изображение объектов, находящихся в поле зрения.
2. С поверхностью сенсора совмещена система вещественных координат изображений X_IY_I, которая является двумерной. Ее начало находится в точке F камеры, а оси X_I и Y_I параллельны осям X_C и Y_C камерной системы.
3. Формируемое камерой изображение анализируется на экране монитора в системе двумерных пиксельных координат изображения X_pY_p. Начало координат этой системы лежит в верхнем левом углу изображения размером M × N, а центр изображения находится в точке C с координатами (x_p, y_p) = (M/2, N/2), как показано на рис. 1.

В отличие от ортоскопических объективов с исправленной дисторсией, для построения изображений в которых можно пользоваться законами геометрической оптики, для сверхширокоугольных объективов это неприменимо. В сверхширокоугольных Fisheye объективах сильная отрицательная дисторсия задается специально, обеспечивая уменьшение линейного оптического увеличения при возрастании угла наблюдения объекта [1; 2]. На модели (рис. 1) это видно из анализа углов наблюдения в пространстве предметов $\angle Z_{C}O{P}_1=\angle Z_{C}O{P}_2=$$\angle Z_{C}O{P}_3=\angle Z_{C}O{P}_4=\theta$ и соответствующих углов в пространстве изображений $\angle Z_{C}O{{P^{\text{'}}}_1}_{}=\angle Z_{C}O{P^{\text{'}}}_2=$$\angle Z_{C}O{P^{\text{'}}}_3=\angle Z_{C}O{P^{\text{'}}}_4,$ которые будут значительно меньше $\theta .$ Если подбор пары объектив – светочувствительная матрица камеры выполнен правильно, то на матрице образуется оптическое изображение в виде круговой панорамы из объектов (циркулярное изображение), попадающих в поле зрения объектива (field of view (FOV)), которое соответствует полусфере 360 × × 180 градусов [3; 4]. Такое изображение показано на рис. 1 в виде круга (на матрице и на экране монитора). Светлый круг в центре – изображение левого открытого конца трубы, кольцевое изображение вокруг него – круговая панорама внутренней поверхности. Оставшаяся часть изображения на периферии кадра не используется.

Если в показанной на рис. 1 модели реализовать равномерное поступательное перемещение видео камеры вдоль оси симметрии трубы, можно получить видеопоследовательность, кадры которой содержат круговые панорамные изображения внутренней поверхности. Методами цифровой обработки изображений эти кадры можно преобразовать в цилиндрические панорамные изображения. А если соседние кадры видеопоследовательности сформированы с некоторым перекрытием, то из них можно сформировать полное панорамное изображение внутренней поверхности. Три кадра реального изображения, снимаемых с ТК, приведены на рис. 2.

Рис. 2. Последовательность из трех кадров круговой панорамы внутренней поверхности

Fig. 2. Sequence of three frames of a circular panorama of the inner surface

Формирование цилиндрической полной панорамы из последовательности таких кадров является нетривиальной задачей и имеет ряд особенностей, которые рассматриваются ниже.

1. Формирование полной панорамы внутренней поверхности

Процесс формирования полной панорамы состоит из последовательности этапов.

1. Формирование последовательности перекрывающихся кадров кругового панорамного изображения с помощью видеокамеры с оптической системой типа Fisheye.
2. Преобразование кадров круговой панорамы в кадры цилиндрического панорамного изображения.
3. Сшивка кадров цилиндрической панорамы для получения полного панорамного изображения внутренней поверхности.

Этап 1 реализован с помощью аппаратно-программного комплекса, изготовленного в лаборатории Научно-прикладного телевидения и компьютерного зрения ПГУТИ (см. раздел 2) всоответствии с описанным выше алгоритмом. Этап 2 достаточно подробно изложен в работе [3], написанной с участием автора. Для реализации этапа 3 необходимо решить ряд задач, обусловленных спецификой формирования изображения внутренней поверхности:

• компенсации вариаций яркости и контраста изображений, возникающих из-за неравномерного освещения внутренней поверхности и особенностей характеристик оптической системы Fisheye;
• оптимизации процесса поиска особенностей на сшиваемых кадрах;
• выравнивания яркости и контраста изображений в области перекрытия сшиваемых кадров.

Задача компенсации вариаций яркости и контраста изображений по полю порождена особенностями оптической системы, которая приводит к снижению освещенности на краях поля изображения, и неравномерностью освещенности на внутренней поверхности трубы, создаваемой светодиодным осветителем. Наличие вариаций яркости и контраста ведет к сильному ухудшению качества сшитого панорамного изображения. Это иллюстрируется рис. 3, на котором представлены пять кадров цилиндрической панорамы, подлежащие сшивке. Анализ показывает, что использование таких изображений приводит к неприемлемой заметности сшивки.

Еще одной причиной необходимости компенсации вариаций яркости и контраста является поиск соответственных особых точек в области перекрытия соседних кадров, которые применяются для сшивки панорамы. Если пары соответственных особых точек, находящихся в области перекрытия, будут различаться яркостью, это затруднит процесс их поиска и сопоставления.

Рис. 3. Пять кадров цилиндрической панорамы внутренней поверхности трубы, подлежащие сшивке

Fig. 3. Five frames of a cylindrical panorama of the inner surface of the pipe, subject to stitching

Компенсацию вариаций яркости и контраста можно осуществить разными способами. Для снижения вычислительных затрат ее целесообразно выполнять на изображениях круговых панорам, снимаемых с видеокамеры. Один кадр такого изображения показан на рис. 4.

Рис. 4. Кадр круговой панорамы, снимаемый с выхода ТВ-камеры

Fig. 4. A frame of a circular panorama taken from the output of a TV camera

Компенсация указанных вариаций происходит выполнением следующих действий.

1. Кадры исходного цветного RGB изображения преобразуются в цветовое пространство HSI, в котором выделяется компонента яркости I.
2. Полученная яркостная компонента подвергается низкочастотной фильтрации фильтром большого размера с целью выделения фона. Результат такой фильтрации показан на рис. 5, а. Видно, что низкочастотная фильтрация позволила отделить низкочастотную фоновую составляющую от информативных элементов на внутренней поверхности трубы.
3. Из усредненной яркостной компоненты вырезается кольцевая область, которая будет использоваться для формирования цилиндрической панорамы (рис. 5, б), и из нее путем привязки минимального значения яркости к нулю и инверсии формируется матрица коррекции (рис. 5, в).
4. Коррекция путем добавления инвертированной матрицы коррекции к кольцевой яркостной компоненте. Скорректированная компонента яркости представлена на рис. 5, г.
5. В изображении HSI компонента яркости заменяется на скорректированную, затем скорректированное HSI изображение преобразуется в цветовую систему RGB, которое используется для формирования цилиндрической панорамы, кадры которой приведены на рис. 6.

Рис. 5. Шаги компенсации изменений яркости по полю изображения

Fig. 5. Steps to compensate for brightness changes across the image field

Рис. 6. Пять кадров цилиндрической панорамы после коррекции неравномерности фона

Fig. 6. Five frames of a cylindrical panorama after background unevenness correction

Для выполнения сшивки соседних кадров цилиндрической панорамы, на которых скомпенсирована неравномерность фона (рис. 6), нужно произвести поиск особых точек в области перекрытия и установить их соответствие. В результате экспериментальных исследований было установлено, что наиболее подходящим методом поиска особых точек является метод обнаружения максимально устойчивых экстремальных областей – MSER (Maximally Stable Extremal Region) [5; 6]. Метод MSER использует монохромное изображение и производит поиск регионов с экстремальными свойствами функции интенсивности (яркости) внутри региона и на его внешней границе. Метод решает проблемы инвариантности при изменении масштаба, что является весьма важным. Существующие программные реализации алгоритма MSER включены в библиотеки MATLAB и OpenCV [7].

Использование функции detectMSERFeaturs в сис- теме MATLAB с синтаксисом

regions = detectMSERFeaturs(I)

возвращает дескрипторы найденных в изображении I регионов MSER в виде структуры, состоящей из пяти полей:

• Count – скаляр nr, равный числу обнаруженных регионов;
• Location – матрица nr × 2, включающая координаты центров обнаруженных регионов;
• Axes – матрица nr × 2, содержащая длины большой и малой осей эллипсов, описанных вокруг обнаруженных регионов;
• Orientation – матрица nr × 1, показывающая векторы ориентации описанных эллипсов в виде угла диапазона [–pi/2 ... pi/2];
• PixelList – матрица nr × 2, содержащая координаты каждого пиксела обнаруженных регионов.

Использование дескрипторов координат центров регионов (Location) позволяет установить соответствия между обнаруженными особыми точками и вычислить взаимные смещения изображений соседних кадров для их сшивки. Это реализуется выполнением последовательности следующих операций и иллюстрируется рис. 7.

1. Цветные RGB кадры цилиндрической панорамы преобразуются в монохромные, поскольку для работы алгоритма MSER требуется только компонента яркости изображения (рис. 7, а).
2. Область предполагаемого перекрытия соседних кадров контрастируется с целью повышения вероятности обнаружения особых точек на малоконтрастном изображении (рис. 7, б).
3. Детектор MSER обнаруживает особые точки и формирует их дескрипторы. Эти особые точки на рис. 7, в выделены зелеными окружностями.
4. Установка соответствий особых точек происходит сопоставлением дескрипторов центров соседних кадров, исходя из условий: точки считаются соответствующими, если модуль разности их вертикальных координат не превышает две строки:

$\begin{array}{l}abs(Location\_gf\_1(i\mathrm{,2})-\\ -Location\_gf\_2\left(k\mathrm{,2}\right))<=2\end{array}$

и разность горизонтальных координат не превышает допустимого шага перемещения камеры:

$\begin{array}{l}d{D}_{\min }<n-Location\_gf\_2\left(k\mathrm{,1}\right)+\\ +Location\_gf\_1\left(i\mathrm{,1}\right)<d{D}_{\max },\end{array}$

где gf_1, gf_2 – изображения текущего и следующего кадров; n – размер изображения по горизонтали; dD_min, dD_max – минимальный и максимальный шаг перемещения камеры.

Горизонтальные координаты особых точек, соответствие которых установлено, записываются в таблицу.

5. Вычисление взаимных смещений изображений соседних кадров производится по формуле:

$\begin{array}{l}DX=n-Location\_gf\_2\left(k\mathrm{,1}\right)+\\ +Location\_gf\_1\left(i\mathrm{,1}\right),\end{array}$

причем если в сформированной таблице координат оказались записанными горизонтальные координаты нескольких пар особых точек, то значение смещения DX вычисляется как среднее арифметическое.

6. После вычисления величины взаимных смещений DX выполняется сшивка соседних кадров. Это можно сделать двумя способами:

Способ 1 предполагает обрезку одного из кадров (рис. 7, а) слева или справа на величину перекрытия DX и выполнение конкатенации матриц изображений по горизонтали. Результат такой сшивки для пяти кадров, которые для наглядности расположены горизонтально, показан на рис. 8.

Из анализа результата (рис. 8) видно, что, несмотря на выполненную коррекцию неравномерности освещенности, на изображении наблюдаются места сшивки отдельных кадров. Это объясняется тем, что зрение очень чувствительно к ступенчатым изменениям яркости (эффекту «полос Маха»). Поэтому выполненной коррекции неравномерности недостаточно для получения качественного сшитого изображения.

Рис. 7. Иллюстрация процесса сшивки двух соседних кадров: а – два соседних кадра формируемой панорамы; б – два соседних кадра после контрастирования в областях перекрытия; в – два соседних кадра с обнаруженными регионами MSER

Fig. 7. Illustration of the process of stitching two adjacent frames: a – two adjacent frames of the generated panorama; b – two adjacent frames after contrasting in areas of overlap; c – two adjacent frames with detected MSER regions

Рис. 8. Пять кадров цилиндрической панорамы, сшитых методом обрезки перекрывающихся областей

Fig. 8. Five frames of a cylindrical panorama, stitched using the method of cropping overlapping areas

Способ 2 предполагает совмещение соседних кадров без обрезки перекрывающихся областей, а путем их наложения и суммирования. При этом в областях перекрытия сшиваемых кадров яркость изображений должна изменяться линейно, но с градиентами, направления которых противоположны. Это иллюстрируется рис. 9, а и б. А на рис. 9, в содержится результат такого совмещения для двух кадров из которого видно, что граница сшивки визуально незаметна.

Это подтверждается и результатом сшивки девяти кадров, которые расположены горизонтально и приведены на рис. 10.

Рис. 9. Сшивка кадров способом наложения перекрывающихся областей: а – следующий кадр с линейным градиентом в области перекрытия; б – текущий кадр с линейным градиентом в области перекрытия; в – результат совмещения двух кадров

Fig. 9. Stitching frames by overlapping overlapping areas: a – next frame with a linear gradient in the overlap area; b – current frame with a linear gradient in the overlap area; c – the result of combining two frames

Рис. 10. Результат сшивки девяти кадров способом наложения перекрывающихся областей

Fig. 10. The result of stitching nine frames using the method of overlapping overlapping areas

2. Результаты экспериментальных исследований

Экспериментальные исследования предлагаемого алгоритма выполнялись на макете аппаратно-программного комплекса телевизионного контроля внутренней поверхности труб, созданного с участием автора [8; 9]. В аппаратную часть комплекса входят: высокоскоростная IP-видеокамера со сверхширокоугольным объективом типа Fisheye с угловым полем 180 градусов; светодиодный осветитель, размещенный на камере и блок линейного перемещения камеры внутри трубы. В качестве камеры используется видеокамера для машинного зрения Basler a2F1920-51gmBAS с интерфейсом GigE, CMOS-матрицей IMX392. Камера формирует изображения с максимальной частотой 51 кадр/с с числом элементов 2,3 Мpx.

За счет синхронизации затвора камеры с блоком линейного перемещения формирование кадров происходит с фиксированным шагом, который выбирается из условий частичного перекрытия соседних кадров, что необходимо для формирования общей панорамы внутренней поверхности. Кадры видеопоследовательности представляют собой круговые изображения объектов, которые попадают в полусферу поля зрения камеры с разрешением 1980 × 1200 px (см. рис. 2).

Программная часть комплекса включает специально разработанное программное обеспечение [10–12] для обработки кадров видеопоследовательности, снимаемой с видеокамеры, развернутое на ноутбуке Dell c характеристиками:

• ОС: Windows 11 для образовательных учреждений, x64;
• Процессор Intel(R) Core™ i7-11370H, 3,30 ГГц;
• ОЗУ: 32 Гб, 3200 Мгц;
• Видеокарта: Nvidia GeForce MX450, 2 Гб.

Внешний вид аппаратно-программного комплекса показан на рис. 11.

Рис. 11. Аппаратно-программный комплекс для телевизионного контроля внутренней поверхности труб

Fig. 11. Hardware and software complex for television monitoring of the internal surface of pipes

Комплекс позволяет проводить эксперименты с трубами внутренним диаметром от 50 до 160 мм и длиной до 1000 мм.

Построение панорамного изображения выполняется с помощью разработанного программного обеспечения. Программное обеспечение производит ввод изображения от видеокамеры и его отображение на дисплее. Выводиться на дисплей может как исходное изображение, в том числе статический кадр, так и полученное панорамное изображение в различных режимах отображения.

Программное обеспечение разработано на языке Python, имеет стандартный оконный интерфейс пользователя, содержащий главное меню для доступа ко всем основным функциям и окно отображения видеоинформации. В программном обеспечении широко используются библиотеки языка Python, в частности библиотека обработки изображений и компьютерного зрения OpenCV.

Разработанная версия программы предоставляет пользователю следующие возможности:

• ввод изображения от видеокамеры со сверхширокоугольным объективом, перемещающейся внутри трубопровода;
• фиксацию кадров и их отображение в окне дисплея оператора контрольно-измерительной установки;
• построение панорамного изображения для каждого кадра и коррекцию геометрических искажений;
• компоновку единого изображения внутренней поверхности трубопровода из полученных панорам;
• управление направлением и скоростью перемещения камеры внутри трубопровода;
• включение освещения.

Кроме перечисленных выше функций поддерживаются вспомогательные операции:

• калибровка геометрических преобразований;
• установка режимов работы программы;
• сохранение и считывание файлов неподвижных кадров, видеопоследовательностей, панорам, таблиц геометрических преобразований, настроек программы.

Практическая реализация рассмотренного алгоритма показывает, что принятые решения позволяют обеспечить высокое качество изображения полной панорамы внутренней поверхности труб. Пример панорамного изображения для трубы с внутренним диаметром 50 мм показан на рис. 12. Оно состоит из 100 сшитых кадров и имеет размер 3487 × 11849 px. Такое изображение можно использовать как «паспорт качества» трубы.

Рис. 12. Сформированное панорамное изображение внутренней поверхности трубы из 100 последовательных кадров

Fig. 12. Generated panoramic image of the inner surface of a pipe from 100 consecutive frames

Заключение

Представленный в статье алгоритм и его экспериментальное исследование показали эффективность принятых решений. В результате на сформированном панорамном изображении отсутствуют визуально заметные яркостные артефакты, которые могут приводить к ошибкам обнаружения дефектов на внутренней поверхности.

Для обнаружения и классификации дефектов можно использовать различные детекторы, например семейство YOLO. Однако это целый комплекс крупных по объему и сложности задач – необходим анализ возможных архитектурных решений, формирование обучающего датасета, правильное и корректное обучение детектора. Эти задачи требуют полноценного исследования в отдельной статье.

Финансирование

Исследования проводились при поддержке гранта Российского научного фонда № 23-21-10075.

Авторлар туралы

Alexey Loshkarev

Хат алмасуға жауапты Автор.
Email: lozhkarev-as@mail.ru
ORCID iD: 0000-0001-8598-8908
SPIN-код: 1743-0740
ResearcherId: L-1597-2018

senior lecturer of the Department of Information Systems and Technologies

Әдебиет тізімі

Қосымша файлдар

Қосымша файлдар

Әрекет

1. JATS XML

Жүктеу

2. Fig. 1. Image model forming the inner surface

Жүктеу (186KB)

Метадеректер

3. Fig. 2. Sequence of three frames of a circular panorama of the inner surface

Жүктеу (89KB)

Метадеректер

4. Fig. 3. Five frames of a cylindrical panorama of the inner surface of the pipe, subject to stitching

Жүктеу (243KB)

Метадеректер

5. Fig. 4. A frame of a circular panorama taken from the output of a TV camera

Жүктеу (64KB)

Метадеректер

6. Fig. 5. Steps to compensate for brightness changes across the image field

Жүктеу (133KB)

Метадеректер

7. Fig. 6. Five frames of a cylindrical panorama after background unevenness correction

Жүктеу (265KB)

Метадеректер

8. Fig. 7. Illustration of the process of stitching two adjacent frames: a – two adjacent frames of the generated panorama; b – two adjacent frames after contrasting in areas of overlap; c – two adjacent frames with detected MSER regions

Жүктеу (484KB)

Метадеректер

9. Fig. 8. Five frames of a cylindrical panorama, stitched using the method of cropping overlapping areas

Жүктеу (218KB)

Метадеректер

10. Fig. 9. Stitching frames by overlapping overlapping areas: a – next frame with a linear gradient in the overlap area; b – current frame with a linear gradient in the overlap area; c – the result of combining two frames

Жүктеу (384KB)

Метадеректер

11. Fig. 10. The result of stitching nine frames using the method of overlapping overlapping areas

Жүктеу (348KB)

Метадеректер

12. Fig. 11. Hardware and software complex for television monitoring of the internal surface of pipes

Жүктеу (268KB)

Метадеректер

13. Fig. 12. Generated panoramic image of the inner surface of a pipe from 100 consecutive frames

Жүктеу (187KB)

Метадеректер