Neural network system for laser diagnostics of aircraft cabin glazing elements

Full Text

Введение

В зависимости от материалов, конструктивных особенностей, климатических факторов, в элементах остекления образуются дефекты, приводящие к снижению их прочности. Кроме этого, на техническое состояние элементов остекления оказывает влияние прочность клеевого соединения, герметика, удерживающего остекление в корпусе кабины. Существующие методы и устройства неразрушающего контроля, используемые для определения целостности клеевого соединения в заделке остекления, имеют низкую достоверность результатов измерений. В интересах решения этой проблемы на основе использования лазерных и нейросетевых технологий предлагается использовать оптико-электронную систему, которая позволяет в режиме реального времени определять величину выхода остекления из заделки и производить оценку степени опасности обнаруженного дефекта.

1. Существующие методы и устройства обнаружения внутренних дефектов в заделке остекления с корпусом кабины воздушного судна

В настоящее время для обнаружения дефектов в заделке остекления в процессе эксплуатации используется метод, основанный на измерении величины смещения бумажных индикаторов (рис. 1, а), устанавливаемых на участках (Т₁ – Т₁₂) (рис. 1, б) при создании избыточного давления внутри кабины от 0 до 0,4 кгс/см² [Степанов и др., 2023].

 

Рисунок 1 – Оценка технического состояния остекления «ленточным методом»

1 ‒ липкая лента, 2 ‒ бумажная полоска, 3 ‒ каркас фонаря; Т₁ – Т₁₂ - места установки бумажных индикаторов

 

Основными недостатками данного метода являются:

• низкая чувствительность на начальном этапе создания давления, так как измерение величины смещения бумажных индикаторов осуществляется при создании давления внутри кабины от 0,2 кгс/см² до 0,4 кгс/см²;
• присутствие субъективной человеческой составляющей, оказывающей воздействие на результат контроля;
• большая продолжительность диагностики, обусловленная ручным измерением величины выхода остекления из заделки по смещению 12 контрольных бумажных индикаторов на каждом этапе создания избыточного давления внутри кабины.

Для повышения достоверности результатов дефектоскопического контроля элементов остекления [Степанов и др., 2023] кабин самолетов разработаны и протестированы экспериментальные образцы аппаратно-программных комплексов (АПК) неразрушающего контроля, принцип работы которых основан на использовании методов акустической эмиссии (АЭ) [Новые способы ..., 2022; Попов, 2018] и спекл-структур оптического излучения [Оценка усталостных …, 2019; Спекл-диагностика …, 2021].

Применение метода акустической эмиссии позволяет выявлять нарушение прочности клеевого соединения по изменению параметров акустических сигналов при создании избыточного давления внутри кабины, но он не способен определить величину выхода остекления из заделки.

 

Рисунок 2 – Аппаратно-программный комплекс акустико-эмиссионной диагностики

а) – подготовка АПК АЭ к работе; б) – размещение датчиков АЭ на кабине

 

В ходе испытаний метода спекл-структур оптического излучения установлено, что значение коэффициента корреляции η (1) регистрируемых спекл-полей от участков остекления при создании избыточного давления может использоваться в качестве критерия для определения величины выхода остекления из заделки [Степанов и др., 2023]. Однако при испытаниях у разработанного АПК выявлено ряд недостатков:

• длительное время подготовки, калибровки оптико-электронной системы на кабине воздушного судна;
• операторный (ручной) способ определения места положения бумажных индикаторов на участках Т₁ – Т₁₂ кабины самолета;
• отсутствие возможности одновременного измерения величины выхода остекления из заделки на всех контролируемых участках кабины.

 

Рисунок 3 – Аппаратно-программный комплекс спекл-лазерной диагностики

а) – подготовка АПК к работе; б) – регистрация спекл-полей от остекления кабины

 

Таким образом, установлено, что «ленточный» метод остается более простым и удобным в эксплуатации, а АПК неразрушающего контроля, основанный на использовании метода спекл-структур оптического излучения, требует доработки [Степанов и др., 2023].

Для сокращения времени диагностики и повышения достоверности результатов измерений величины выхода остекления из заделки методом спекл-структур оптического излучения необходимо, чтобы процесс определения места положения и степени опасности обнаруженного дефекта в заделке остекления осуществлялся в реальном масштабе времени при плавном создании избыточного давления внутри кабины воздушного судна от 0 до 0,4 кгс/см² [Степанов и др., 2023].

2. Метод исследования параметров дефектов в заделке остекления кабины воздушного судна с использованием лазерных и нейросетевых технологий

Сущность исследования параметров дефектов в заделке остекления по анализу параметров регистрируемых спекл-полей от участков остекления при создании избыточного давления [Степанов и др., 2023] внутри кабины заключается в том, что на первоначальном этапе на поверхности остекления кабины, как показано на рис. 1 б, на заданных участках остекления (Т₁ – Т₁₂) (рис. 1, б) наносят контрольные маркеры, далее с помощью оптико-электронной системы (см. рис. 4) облучают остекление кабины 4 спекл-полем, сформированным за счет прохождения когерентного излучения 2 через матовое стекло 3, регистрируют прошедшее через диафрагму 5 спекл-поле на ПЗС-матрице 6 видеокамеры, повышают избыточное давление внутри кабины и повторно регистрируют спекл-изображения, производят расчет величины перемещения установленных индикаторов u_x c учетом определения величины коэффициента корреляции η:

$\eta =\frac{\frac{1}{nm}{\displaystyle \sum _{i=1}^n\sum _{j=1}^m\left(A_{ij}-\overline{A}\right)\left(B_{ij}-\overline{B}\right)}}{{\left(\frac{1}{nm}{\displaystyle \sum _{i=1}^n\sum _{j=1}^m{\left(A_{ij}-\overline{A}\right)}^2}\right)}^{\frac{1}{2}}{\left(\frac{1}{nm}{\displaystyle \sum _{i=1}^n\sum _{j=1}^m{\left(B_{ij}-\overline{B}\right)}^2}\right)}^{\frac{1}{2}}}$, (1)

где i, j – номера пикселей строки и столбца ПЗС-матрицы, n, m – число пикселей строки и столбца ПЗС-матрицы, A_ij – числовое значение интенсивности пикселя (от 0 до 256) с номерами i и j при t₁ (до создания избыточного давления внутри кабины), B_ij – числовое значение интенсивности этого же пикселя в момент времени t₂ (после увеличения избыточного давления внутри кабины), $\overline{A}$ – среднеарифметическая величина интенсивности элементов матрицы в момент времени t₁, $\overline{B}$ - среднеарифметическая величина интенсивности элементов матрицы в момент времени t₂ [Степанов и др., 2023].

 

Рисунок 4 – Схема записи спекл-полей от остекления кабины

1 – лазер; 2 – освещающее излучение; 3 – матовый рассеиватель; 4 – остекление кабины; 5 – объектив с диафрагмой; ПЗС-матрица

 

Величину перемещения контрольных индикаторов определяют по формуле (2):

$u_x=2x_s\left(1-\eta \right)$, (2)

где $x_s$ – размер диафрагмы видеокамеры.

Для того, чтобы оптическая система самостоятельно определяла контролируемые участки остекления с заранее установленными маркерами, предлагается использовать технологию искусственного интеллекта, позволяющую автоматизировать процесс нахождения и захвата оптической системой установленных маркеров в местах кабины на участках Т₁ – Т₁₂ кабины самолета, что позволит сократить время на обработку результатов измерений.

В настоящее время нейронные сети стали универсальным средством решения сложных задач в современных технологиях, особенно в области обработки систем технического зрения и распознавания образов [Михалев, 2022, с. 119]. Они могут быть использованы для выполнения различных задач, включая поиск и идентификацию определенных объектов на изображениях.

3. Использование искусственного интеллекта при контроле технического состояния элементов остекления кабин самолетов

Для исключения ошибок, связанных с неправильным выбором оператором контролируемых участков на кабине, обусловленных появлением на поверхности стекла бликов от внешних или внутренних осветительных приборов, небесных светил, изменением освещенности, необходимо, чтобы в программном модуле были реализованы алгоритмы обработки изображений, позволяющие исключить влияние внешних факторов на правильный выбор оператором контролируемой области остекления, с которой будет производиться расчет выхода остекления из заделки.

Анализ научной литературы показал, что для реализации технологий искусственного интеллекта при распознавании сложных образов и структуры на изображениях широко применяются сверточные нейронные сети (СНС), что делает их идеальным выбором для конкретной задачи [Ариничев и др., 2023; Беликов, 2023; Гаврилов, 2021].

Для реализации технического зрения нами была выбрана за прототип архитектура нейронной сети YOLOv8 [Terven и др., 2023]. Выбор этой архитектуры был сделан по нескольким причинам:

1. Скорость: YOLOv8 известна своей скоростью обработки, что может быть полезно для приложений в реальном времени на слабых вычислительных мощностях.
2. Высокая точность обнаружения объектов: YOLOv8 может обнаруживать и классифицировать различные объекты на изображении в различных условиях и в различном качестве.
3. Распространенность: YOLO является одной из самых известных моделей для обнаружения объектов, и она широко используется во многих приложениях, что позволяет создать высокий потенциал для модернизации и совершенствования [Половинкин и др., 2023; Преснецов и др., 2023; Прокопенко, 2023; Филичкин и др., 2023].

Обучение нейросети осуществлялось по 20000 различным изображениям контрольных меток, нанесенных вручную меловым маркером на поверхности остекления кабины самолета под различным ракурсом, с разной мощностью облучения лазера и различной внешней фоновой обстановкой (рис. 5). Данные изображения были использованы как обучающая выборка данных.

 

Рисунок 5 – Изображения контрольных меток для обучения нейросети

 

Для решения этой задачи был реализован процесс семантической сегментации. Семантическая сегментация – это процесс разделения изображения на сегменты, где каждый сегмент представляет собой набор пикселей, принадлежащих одному и тому же классу объектов. В нашем случае на изображении с видеокамеры семантическая сегментация может разделить изображение на области, такие как «маркер», «блик», «надпись» и «обшивка».

После обучения нейронная сеть стала способна автоматически распознавать контрольные маркеры на поверхности остекления кабины с учетом внешних помех и особенностей ракурса съемки, как показано на рис. 6.

 

Рисунок 6 – Принцип обработки изображений контрольных маркеров на поверхности остекления нейросетью

 

Для разработки был использован фреймворк PyTorch в среде разработки Visual Studio Code. PyTorch – это библиотека машинного обучения, которая предоставляет высокоуровневый интерфейс для создания и обучения нейросетей. Visual Studio Code – это легковесная и мощная среда разработки, которая поддерживает множество языков программирования, включая Python.

Использование PyTorch в Visual Studio Code для разработки нейросети было полезным, так как это позволило реализовать возможности автодополнения кода, отладки, интеграции с системами контроля версий и многое другое.

После того как нейронная сеть была обучена, она может быть использована для анализа новых изображений на остеклении самолета. Сеть позволяет сканировать изображения и искать области, которые соответствуют обученным образам квадратных белых маркеров, как показано на рис. 7.

 

Рисунок 7 – Процесс распознавания контрольных квадратных маркеров

 

Использование нейронных сетей для автоматического поиска места положения установленных маркеров на остеклении кабины самолета – это эффективный способ дистанционного определения контролируемых участков остекления для оценки степени опасности и расположения обнаруженного дефекта в заделке. Правильно обученная и реализованная нейросеть значительно упрощает и ускоряет процесс оценки технического состояния элементов остекления кабин самолетов с использованием метода спекл-структур оптического излучения [Степанов и др., 2023].

На рис. 8 изображен интерфейс программного модуля спекл-лазерного контроля, который позволяет оператору автоматически в режиме реального времени определять области контролируемых участков остекления, настраивать и устанавливать параметры оптической системы, управлять и следить за процессом определения величины выхода остекления из заделки при создании избыточного давления внутри кабины.

 

Рисунок 8 – Интерфейс программного модуля обработки спекл-полей

1 – панель управления; 2 – окно загрузки исходного изображения; 3 ‒ окно загрузки повторного изображения; 4 – сектора контрольных маркеров, установленных на остеклении кабины; 5 – поле установки параметров спекл-полей; 6 ‒ график изменения величины перемещения маркера при создании избыточного давления; 7 – таблица с результатами измерения величины выхода остекления из заделки; 8 – панель управления режимами работы системы; 9 – предельные значения величины выходов остекления; 10 – панель управления режимов работы видеокамеры; 11 – поле зарегистрированных спекл-полей от участков остекления

 

4. Результаты натурных испытаний нейросетевой системы лазерной диагностики элементов остекления кабин самолетов

Тестирование разработанного программного модуля проводилось на ноутбуке MSI Stealth 15M (A11Sek-206XRU) cо следующими характеристиками:

• процессор Intel Core i7-118G7 3ГГц;
• оперативная память DDR4, объем 16 ГБ;
• видеокарта GeForce RTX 2060, тип памяти GDDR6, объем 6 ГБ.

Алгоритм испытаний программного модуля [Свидетельство…, 2023] проходил по аналогии с методикой определения величины выходов остекления из заделки согласно регламенту технического обслуживания самолета Т-10В, кн. 4/8, ТК № 13 «ленточным методом». Для проведения испытаний из состава авиапарка полка согласно данным «Журнала учета контроля технического состояния элементов остекления кабин самолетов» было выбрано воздушное судно, у которого было зафиксировано значение выхода остекления из заделки больше 1 мм. Поэтому в качестве контрольных участков остекления были выбраны участки остекления кабины самолета с величиной выхода остекления 0 мм, 0,5 мм и 1,2 мм. С помощью мелового маркера на данных участках кабины были нанесены контрольные маркеры, как показано на рис. 9 а. Далее на кабину была установлена оптико-электронная система комплекса таким образом, чтобы все контрольные маркеры попадали в поле зрения объектива видеокамеры. В процессе юстировки оптической системы установлена диафрагма объектива из расчета, чтобы средний размер спекла на изображении был чуть больше размера пикселя ПЗС-матрицы 8,3 мкм. Далее контролируемая область остекления облучалась спекл-полем, при наличии всех необходимых признаков (см. рис. 7) для контрольных маркеров с требуемой вероятностью программный модуль производит захват контролируемых участков (см. рис. 9 а) с последующей фильтрацией и выделением для анализа только области контролируемых участков остекления (см. рис. 9 б).

 

Рисунок 9 – Нейросетевая обработка установленных маркеров на остеклении кабины самолета

 

Далее оператором на трех контролируемых участках остекления выбирался любой сектор, находящийся на поверхности захваченного маркера, при этом каждый сектор соответствует определенному цвету: 1-ый – «зеленый», 2-ой – «красный» и 3-ий – «синий» (см. рис. 9 б).

 

Рисунок 10 – Результаты измерений величины выхода остекления из заделки в графическом – а) и численном виде – б)

 

По команде оператора одновременно с повышением избыточного давления внутри кабины до 0,4 кгс/см² происходит регистрация спекл-полей и расчет величины выхода остекления из заделки. При этом одновременно на секторе 6 и панели 7 отображается информация о расчете величины выхода остекления на трех контролируемых участках как в графическом, так и в числовом значении (см. рис. 10), кроме этого, поле, в котором отображается числовое значение величины выхода остекления из заделки, подкрашивается соответствующим цветом: «зеленый» – норма; «желтый» – опасно; «красный» – критически опасно (недопустимо). Верификация результатов испытаний разработанного программного модуля с результатами, полученными в ходе оценки технического состояния кабины «ленточным» методом, показало, что погрешность полученных результатов на 20% больше, чем у «ленточного».

Эти расхождения связаны со вкладом в изменение регистрируемого спекл-поля эффектов поворота стекла за счет изменения давления в кабине самолета [Степанов и др., 2023].

Для того, чтобы рассчитать перемещение стекла в трех проекциях, необходимо доработать структуру оптической системы путем изменения угла регистрации отраженного спекл-поля, что будет учтено при выполнении дальнейших исследований.

Заключение

Таким образом, в ходе испытания разработанной нейросетевой системы лазерной диагностики установлено, что реализация алгоритмов семантической сегментации и распознавания установленных контрольных маркеров на участках Т₁ - Т₁₂ позволяет автоматизировать процесс определения величины выходов остекления из заделки по анализу параметров регистрируемых спекл-полей [Степанов и др., 2023] в ходе увеличения избыточного давления внутри кабины. Применение сверточной нейросетевой системы диагностики на архитектуре YOLOv8 позволит сократить время на проведение операций по оценке технического состояния элементов остекления кабины самолетов не менее чем в 10 раз за счет одновременного измерения величины выхода остекления из заделки на участках Т₁ – Т₁₂ (рис. 1 б).

В перспективе доработанный программно-аппаратный комплекс может использоваться в ходе:

• оперативного контроля технического состояния элементов остекления кабин самолетов при расследовании серьезных авиационных происшествий и инцидентов;
• оценки качества выполненных работ после замены элементов остекления кабины самолетов представителями предприятия-изготовителя на базовых аэродромах;
• при проведении операций по дефектоскопическому контролю элементов остекления кабин самолетов на авиационных заводах и авиаремонтных предприятиях.

About the authors

Pavel V. Pavlov

Military Training and Research Center of the Air Force "Air Force Academy named after Professor N. E. Zhukovsky and Y. A. Gagarin"

Author for correspondence.
Email: pavlov.pave@yandex.ru
ORCID iD: 0000-0001-5655-3649

Candidate of Technical Sciences, Associate Professor

Russian Federation, 394064, Voronezh, Starykh Bolshevikov street, 54A

Daniil I. Tyurnev

Military Training and Research Center of the Air Force "Air Force Academy named after Professor N. E. Zhukovsky and Y. A. Gagarin"

Email: 33dd44dd55ddd@gmail.com
ORCID iD: 0009-0004-9184-5267
Russian Federation, 394064, Voronezh, Starykh Bolshevikov street, 54A

Nikita V. Sukhachev

Military Training and Research Center of the Air Force "Air Force Academy named after Professor N. E. Zhukovsky and Y. A. Gagarin"

Email: n-suhachev@mail.ru
ORCID iD: 0009-0009-3768-5246
Russian Federation, 394064, Voronezh, Starykh Bolshevikov street, 54A

References

Supplementary files