Development of a software module to recognize linear structures in aerial images using ENVI

Full Text

ВВЕДЕНИЕ

С момента появления доступных ЭВМ начались попытки адаптации алгоритма для автоматизации процесса анализа. Разрабатываемые программы основывались как на прямом переносе существующего метода в цифровую форму [2–5], так и на разработке новых методик [6–7].

Исследовательские работы по автоматизации методов распознавания образов на изображениях ведутся уже десятки лет как путем компьютерного воплощения традиционных методов, так и путем разработки новых алгоритмов. Этому посвящен ряд научных публикаций и монографий как российских авторов, так и их зарубежных коллег [1–15].

В работе [4] подробно рассматриваются проблемы, которые встречаются на всех этапах алгоритмов данного класса: необходимость поиска эффективных и универсальных способов нормирования значений полей, которые строятся на первом этапе; проблема, возникающая в точках пересечения протяженных элементов при операции утоньшения. Имеется также ряд работ (например, [8]), предлагающих двухэтапные алгоритмы автоматизированного выделения ЛЭ малой протяженности, для чего используются методы полосовой пространственной фильтрации.

Работа Розенфельда [14] предлагает анализ изображения путем последовательного применения алгоритма к увеличивающейся области, причем в каждом следующем проходе в качестве элементов изображения рассматриваются области, обработанные на предыдущем проходе. Марр [12] предлагает последовательное применение различных алгоритмов и формулирует некоторые правила комбинирования.

Таким образом, отдельные ЛЭ, представленные на изображениях, могут являться объектами разного происхождения, но оценка геологического значения каждого объекта не входит в спектр поставленных задач. Достаточно построения сети ЛЭ для дальнейшего отсева.

Кроме рассмотренных выше, существуют еще методы, основанные на анализе многоцветных изображений. В связи со спецификой представленного экспериментального материала (монохромные изображения) эти методы рассматриваться не будут.

Таким образом, в качестве дополнительного фильтра в модуль будет добавлен алгоритм Кэнни как дающий наиболее точные результаты поиска пограничных точек и имеющий больше возможностей для дальнейшей доработки программы.

МАТЕРИАЛЫ И МЕТОДЫ

Исследовательские работы по автоматизации операций распознавания образов на изображениях ведутся уже десятки лет как путем компьютерного воплощения традиционных методов, так и путем разработки новых алгоритмов.

Таким образом, целью исследования является разработка программного модуля для автоматизированного поиска линейных структур на цифровых изображениях.

В работе решаются следующие задачи:

– выполнить анализ проблемы выделения линеаментов на цифровых изображениях;

– выполнить оценку эффективности модуля «LINEAMENTS», используемого в ГИС-центре Института геологии и минералогии Сибирского отделения Российской академии наук (ИГМ СО РАН) для выделения линеаментов на аэрокосмоснимках;

– разработать новый программный модуль для выделения линеаментов на аэрокосмоснимках.

Линеамент выражается на снимке как набор пограничных точек определенной пространственной конфигурации, поэтому для надежного обнаружения линеаментов будут использованы одновременно алгоритм, описанный Дементьевым [3], и метод Кэнни [9]. Для обеспечения высокого качества результатов в модуле применяется алгоритм Кэнни, оптимизированный в соответствии с работой Чжоу [13], и затем по обнаруженным пограничным точкам алгоритм Дементьева отмечает протяженные линии. Во-первых, это позволяет использовать математически определенные критерии поиска граней Кэнни. Во-вторых, дополнительно отсеиваются шумовые отклики и недостаточно протяженные участки границ. В своей работе Кэнни ставил задачу выработки критериев, позволяющих определить качество полученных при помощи какого-либо алгоритма результатов поиска границ на изображении. Таких критериев Кэнни определил три.

Во-первых, повышение качества обнаружения, то есть увеличение соотношения сигнал/шум (SNR) в результатах работы алгоритма. Математическое выражение этого критерия вычисляется с помощью формулы

$SNR=\frac{\left|{\displaystyle {\int }_{-w}^{+w}E(-x)f\left(x\right)dx}\right|}{\delta \sqrt{{\displaystyle {\int }_{-w}^{+w}{f}^2\left(x\right)dx}}}$,

где f(x) – это отклик на грани [-w, +w],

E(-x) – функция грани,

δ – среднее квадратичное гауссова шума.

Качество обнаружения прямо пропорционально SNR.

Во-вторых, улучшение локализации, то есть минимизация расстояния между точкой результата и реальным положением центра границы. Математическое выражение этого критерия:

$L_{oc}=\frac{\left|{\displaystyle {\int }_{-w}^{+w}{E}^{\text{'}}(-x)f^{\text{'}}\left(x\right)dx}\right|}{\delta \sqrt{{\displaystyle {\int }_{-w}^{+w}{\left(f\text{'}\left(x\right)\right)}^{2}dx}}}$.

Качество обнаружения прямо пропорционально Loc.

В-третьих, отсев дублирующихся результатов, то есть обеспечение только одного результата для каждой границы. Максимальное расстояние между шумовыми откликами на f равно

$x_{\max }\left(f\right)=2x_{zc}\left(f\right)=2\pi {\left[\frac{{\displaystyle {\int }_{-\infty }^{+\infty }{\left(f^{\text{'}}\left(x\right)\right)}^{2}dx}}{\delta \sqrt{{\displaystyle {\int }_{-\infty }^{+\infty }f\text{'}\text{'}\left(x\right)dx}}}\right]}^{1/2}$.

Если это выполнено, то исключаются множественные отклики по одной грани.

На основе выведенных Кэнни критериев оптимального обнаружения грани строится большинство современных методов распознания границ. Эти методы можно условно разделить на следующие группы:

1. Распознание на основе оператора градиентов.

Граница – место резкого изменения яркости изображения, поэтому наиболее распространены методы, основанные на производных оператора градиентов. Примеры такого подхода – оператор Собеля, оператор Прюитта, оператор Робертса.

2. Распознание на основе оператора оптимумов.

Градиент грани изображения – это значение локального максимума, другими словами, точки перегиба моноцветного изображения лежат на границе. Методы, основанные на нахождении таких точек, включают оператор Кэнни и оператор Марра-Гилдрета.

3. Многокомпонентное обнаружение грани.

РЕЗУЛЬТАТЫ

В работе был проведен анализ методов поиска линейных элементов на цифровых изображениях. Проведен сравнительный анализ методов и алгоритмов обработки изображений, выявлены пути для разработки новых методов и средств обработки изображений. В результате проведенного анализа наиболее известных алгоритмов поиска границ оптимальным методом решения поставленной задачи была выбрана комбинация алгоритмов Кэнни и Дементьева. Данный алгоритм позволит повысить качество получения результирующих высокоинформативных изображений с возможностью выделения участков с предельно высоким качеством изображения.

В ГИС-центре для решения поставленной проблемы ранее использовался одноступенчатый алгоритм, описанный в работе [3]. В этом алгоритме ЛЭ рассматривается как линейная протяженная граница двух подмножеств элементов цифрового изображения, характеризующихся определенным набором статистических величин. Обнаружение ЛЭ производится путем проверки статистических гипотез о существовании двух совокупностей элементов, отличающихся сдвигом значений яркости. Величины яркости вдоль линии X1…Xn и параллельно оси за краем Y1…Yn с высокой вероятностью таковы, что есть ненулевой сдвиг значений яркости Di=Yi-Xi. Для обнаружения ЛЭ должно выполняться утверждение H:P(Di<0)!=P(Di>0), то есть разности Di не должны быть случайной флуктуацией яркости.

Алгоритм Кэнни состоит из следующих стадий:

1. Применение фильтра Гаусса для сглаживания белого шума.

Фильтр Гаусса размывает изображение, из-за чего точность обнаружения граней незначительно падает, но при этом слабо выраженные пики сигнала пропадают из пределов обнаружения. На стадии подавления не-максимумов ошибка нивелируется из-за размытия изображения. Формула матрицы Гаусса размера 2k+1*2k+1 (4).

$H_{ij}=1/\left(2\pi {\sigma }^2\right)\ast \exp \left(2-\left({\left(i-k-1\right)}^2+{\left(j-k-1\right)}^2\right)/\left(2{\sigma }^2\right)\right)$,

где σ – среднее квадратичное гауссова шума;

i – величина яркости;

k – сдвиг значения яркости.

2. Нахождение градиентов интенсивности.

В качестве оператора нахождения направления градиента могут использоваться многие функции, например, оператор Собеля или Прюитта. Это дает широкие возможности оптимизации алгоритма. Найденные значения градиента по вертикали Gy и по горизонтали Gx могут быть использованы для нахождения градиента грани и ее направления (5).

$\text{G}=\surd \left(〖\text{Gx}〗2+〖\text{Gy}〗2\right);\text{ Θ}=\text{atan}2\left(\text{G}\_\text{x},\text{G}\_\text{y}\right)$,

где G – градиент интенсивности;

i – величина яркости;

k – сдвиг значения яркости.

Затем направление округляется до ближайшего из основных направлений. В оригинальной работе этих направлений было 4 – вертикаль, горизонталь и две диагонали.

3. Подавление не-максимумов.

Это механизм утоньшения грани. После вычисления градиентов грань все еще размыта, а по критерию 3 нужно иметь лишь один отклик для грани. Для этого интенсивность точки сравнивается с интенсивностью точек на одной прямой с направлением градиента в этой точке. Яркость точек, не являющихся локальным максимумом, подавляется, и остается единственный отклик. Таким образом, отсеиваются точки, не принадлежащие рассматриваемой грани.

4. Двойная пороговая фильтрация.

Для окончательного отсеивания применяются два пороговых значения. С их помощью обнаруженные пикселы разбиваются на группы сильных откликов (больше максимума), слабых откликов (больше минимума, но меньше максимума) и ложных откликов (меньше минимума). Ложные отклики подавляются.

5. Гистерезисная трассировка области неоднозначности.

Для отсеивания слабых откликов производится анализ соседствующих с откликами пикселов. Если среди соседствующих 8 пикселей нет сильного отклика, слабый отклик подавляется как ложный.

Алгоритм Кэнни обладает замечательным соотношением простоты и эффективности. Для работы алгоритм использует всего два параметра – размер маски Гаусса, от которого зависит резкость искомых граней, и пороговые значения, отвечающие за отсев недостаточно выраженных результатов. Недостатком исходного алгоритма является использование нерекурсивного фильтра, что ведет к низкому уровню сглаживания граней. Отсюда недостаточная точность определения граней с осевой симметрией и искажение в пользу вертикальных и горизонтальных линий.

Путем усложнения алгоритма можно добиться увеличения точности работы. Основные способы улучшения работы алгоритма:

1. Замена сглаживающего фильтра.

Так как простой фильтр Гаусса не различает шум и сигнал, размытие приводит к потере точного местоположения граней. Адаптивный фильтр, учитывающий значения сигнала в окрестности обрабатываемой точки, может варьировать размытие в зависимости от вычисленного веса этой точки [10].

2. Расширение окна вычисления и диапазона значений градиента.

В исходной работе Кэнни градиент определялся на окне 2х2 пиксела и мог принимать 6 значений. Можно увеличить окно, что позволит вычислять вектор градиента более точно. Пример такой работы – [13].

3. Автоматизация определения пороговых значений.

Выведение математического критерия нахождения пороговых значений на основе параметров исходного изображения может ускорить работу алгоритма путем исключения необходимости эмпирического поиска подходящих параметров для каждого изображения. К сожалению, нечеткость определения искомого объекта не позволяет использовать этот подход в данной работе.

4. Оптимизация утоньшения грани.

Путем введения дополнительных алгоритмов вычисления места грани можно не только улучшить точность нахождения, но и дифференцировать грани разного характера.

В качестве основы для модуля взят старый модуль LINEAMENTS. В него добавлена функция обработки изображения по алгоритму Кэнни. Каждый считанный тайл перед передачей алгоритму Дементьева проходит через эту функцию, и таким образом алгоритм Дементьева работает уже не с исходным изображением, но с картой граничных точек.

Затем для каждой точки производится вычисление градиентов по осям X и Y, направлений полного градиента и его величины. Далее к полученным массивам применяется процедура подавления не-максимумов направления градиентов обобщаются до набора кардинальных направлений, после для каждого направления каждой точке изображения вычисляется точка локального максимума, которая и считается лежащей на грани. И, наконец, производится гистерезисная трассировка карты возможных граней.

Модуль добавляет в меню программы ENVI опцию «Basic Tools>Preprocessing> Lineaments>Lineaments detection – Canny».

При вызове этой опции выводится диалоговое окно выбора входных данных (рис. 1). В этом окне можно выбрать файл исходных данных, а в случае мультиспектральных изображений – нужный спектр.

 

Рис. 1. Окно выбора вводных данных. Source: [Compiled by the authors]

Fig. 1. Input data selection window. Source: [Compiled by the authors]

 

Недавно выбиравшиеся файлы могут быть открыты через подпункт меню «Open> Previous File».

В этом окне можно задать следующие параметры:

– величина фильтра Гаусса (поле Gaussian seed). Значение по умолчанию – 1, 2. Чем выше этот параметр, тем меньше обнаруживается шума; при этом большие значения параметра могут привести к потере мелких деталей. Данный параметр не может быть меньше единицы;

– размер окна сканирования (поле Window size). Значение по умолчанию – 13. Этот параметр равен размеру выявляемых линеаментов в пикселях и должен выражаться нечетным целым числом не менее 11.

После выбора входных данных вызывается окно ввода параметров алгоритма (рис. 2):

 

Рис. 2. Окно ввода параметров алгоритма. Source: [Compiled by the authors]

Fig. 2. Algorithm parameters input window. Source: [Compiled by the authors]

 

– порог выявления линии (поле Trace threshold). Значение по умолчанию – 10. Параметр регулирует величину перепада градиентов в отслеживаемых линиях. Чем выше значение параметра, тем меньше выделяется линий;

– верхний и нижний пороги гистерезиса (поля High Threshold и Low Threshold). От этих значений зависит, какие точки будут учтены в качестве основных граней (верхний предел) и какие будут отброшены как шумовые отклики (нижний предел). При этом принимают значения от 0 до 1, верхний предел должен быть выше нижнего;

– выходной файл (поле Output shape file). Должен быть корректный путь до существующей папки, в которой будет создан шейп-файл с результатами обработки исходных данных.

При первом запуске модуля в сессии ENVI параметры задаются по умолчанию. В случае изменения пользователем параметров последующий запуск берет параметры из предыдущего.

Затем информация направляется для обработки. Производится потайловое считывание данных из файла, затем к каждому тайлу применяется алгоритм Кэнни. На выходе функция выдает два массива, содержащих карту вероятных высот и отфильтрованные границы соответственно. Затем эти массивы обрабатываются алгоритмом Дементьева для нахождения прямых линий достаточной протяженности. Каждый найденный результат пишется в заданный в начале работы shp-файл.

Для сравнения качества работы старого и нового модулей была проведена обработка одного изображения обеими программами, используя одни и те же параметры. Результат эксперимента можно видеть на рисунке 3. Как видно из рисунка 3 г, качество обнаружения линеаментов заметно улучшилось.

Тем не менее, в некоторых случаях однозначного отклика для обнаруженного элемента добиться не удается. Данная проблема может быть решена постобработкой полученного shp-файла для объединения близко лежащих векторов в один.

 

Рис. 3. Результаты эксперимента, проведенного с входными данными: размер окна 13, шаг 1, порог отслеживания 10, градиент 1, зерно фильтра Гаусса 1,2, верхний предел 0,7, нижний предел 0,5: а) исходное изображение; б) результат обработки старым модулем; в) результат обработки новым модулем; г) комбинированное изображение, хорошо видны откинутые новым модулем шумовые отклики. Source: [Compiled by the authors]

Fig. 3. Results of the experiment conducted with the input data: window size 13, step 1, tracking threshold 10, gradient 1, Gaussian filter grain 1.2, upper limit 0.7, lower limit 0.5: a) original image; b) result of processing by the old module; c) result of processing by the new module; d) combined image, the noise impacts rejected by the new module are clearly visible. Source: [Compiled by the authors]

 

ОБСУЖДЕНИЕ

В настоящее время известны примеры в области фотограмметрии, где применяются технологии для обработки и анализа геопространственных изображений, в том числе мультиспектральных, лидарных и радарных. ENVI включает в себя большое количество аналитических модулей, например, для выделения аномалий на фоне или автоматической орторектификации снимков по координатной привязке.

Представленные результаты исследования имеют положительные отзывы на международных и национальных конференциях: международной научной конференции студентов и молодых ученых «Молодежь. Наука. Технологии» (г. Новосибирск), национальной научно-практической конференции «Регулирование земельно-имущественных отношений в России: правовое и геопространственное обеспечение, оценка недвижимости, экология, технологические решения» (г. Новосибирск), международном форуме «Интерэкспо ГЕО-Сибирь 2021» (г. Новосибирск).

Основными преимуществами данного алгоритма в момент разработки в сравнении с аналогами являлись малое потребление вычислительных ресурсов и высокая скорость работы, связанные с простотой алгоритма. Недостатком алгоритма является низкое качество работы с неконтрастными линиями – если линия представляет собой границу между относительно плавно переходящими друг в друга тонами, алгоритм вместо четкой линии выделяет множество близколежащих элементов.

В процессе дискуссий на конференциях отмечено, что с помощью данного модуля можно существенно расширить функциональные возможности программы для решения специализированных задач: автоматизировать существующие алгоритмы, а также создавать собственные алгоритмы обработки данных и выполнять пакетную обработку данных дистанционного зондирования.

Также было предложено в качестве дополнительного фильтра в модуль добавить алгоритм Кэнни как дающий наиболее точные результаты поиска пограничных точек и имеющий больше возможностей для дальнейшей доработки программы.

ЗАКЛЮЧЕНИЕ

Эффективность модуля «LINEAMENTS», используемого в ГИС-центре ИГМ СО РАН для выделения линеаментов на аэрокосмоснимках была оценена и признана недостаточной в современных условиях. Поэтому на основе модуля LINEAMENTS был создан модуль LINEAMENTS2, использующий алгоритм Кэнни в качестве основного метода поиска границ, что позволяет отсеять значительное количество ложных результатов.

Отличительной особенностью разработанного программного модуля является то, что с помощью него можно существенно расширить функциональные возможности программы для решения специализированных задач:

1. Автоматизировать существующие алгоритмы, а также создавать собственные алгоритмы обработки данных и выполнять пакетную обработку данных дистанционного зондирования.
2. Создавать сложные карты и трехмерные модели рельефа.
3. Визуализировать данные, обеспечивая двумя типами рендеринга.
4. Работать с данными различных форматов.
5. Визуализировать данные и получать информацию с помощью современных методов обработки изображений.

Модуль LINEAMENTS2 используется в ГИС-центре ИГМ СО РАН для поиска линеаментов на изображениях, и качество работы значительно улучшилось в сравнении со старым модулем.

Вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.

Contribution of the authors: the authors contributed equally to this article. The authors declare no conflicts of interests.

Финансирование. Исследование проведено без спонсорской поддержки.

Funding. The study was performed without external funding.

About the authors

Andrey A. Basargin

Siberian State University of Geosystems and Technology

Author for correspondence.
Email: abaspirant@mail.ru
ORCID iD: 0000-0002-9006-8468
SPIN-code: 2837-2393

Candidate of Technical Sciences, Associate Professor of the Department of Applied Informatics and Information Systems

Russian Federation, Novosibirsk

Tatyana Yu. Bugakova

Siberian State University of Geosystems and Technology

Email: kaf.pi@ssga.ru
ORCID iD: 0000-0001-7365-9349
SPIN-code: 4528-0302

Candidate of Technical Sciences, Associate Professor of the Department of Applied Informatics and Information Systems

Russian Federation, Novosibirsk

Dmitry Yu. Smirnov

Siberian State University of Geosystems and Technology

Email: smirdu@yandex.ru
ORCID iD: 0000-0002-4185-7866
SPIN-code: 9554-4138

Candidate of Economic Sciences, Associate Professor of the Department of Applied Informatics and Information Systems

Russian Federation, Novosibirsk

Artem A. Sharapov

Siberian State University of Geosystems and Technology

Email: kaf.pi@ssga.ru
ORCID iD: 0000-0001-9578-5055
SPIN-code: 9825-4257

Assistant of the Department of Applied Informatics and Information Systems

Russian Federation, Novosibirsk

References

Supplementary files