Technique of automatic optical quality control of printed circuit boards using neural networks

Full Text

Введение

Современное производство печатных плат (ПП) для радиотехнических устройств предъявляет высокие требования к качеству и надёжности межсоединений, что обусловлено миниатюризацией элементов и увеличением плотности монтажа [1-3]. Нарушения целостности проводников, межслойные короткие замыкания, нарушения изоляции и дефекты металлизации могут приводить к отказам аппаратуры в условиях электромагнитных помех и вибрационных нагрузок [4]. Автоматический оптический контроль (АОК) является ключевым этапом технологического процесса, обеспечивающим выявление дефектов на ранних стадиях производства [5].

Традиционные методы АОК, основанные на алгоритмах обработки изображений (пороговая сегментация, анализ текстур, выделение контуров), обладают ограниченной эффективностью при анализе сложных многослойных структур с вариативным фоном и наличием теней [6]. В последние годы активно развиваются методы машинного обучения, в частности, свёрточные нейронные сети (CNN), которые демонстрируют высокую точность в задачах детектирования дефектов на изображениях [7, 8]. Однако их применение для контроля ПП связано с необходимостью обработки изображений высокого разрешения в реальном времени, что требует оптимизации вычислительных алгоритмов.

В данной работе предлагается методика автоматического оптического контроля качества изготовления ПП с использованием глубокой нейронной сети YOLOv8, оптимизированной для работы в составе распределённой системы с применением технологий OpenVINO и DeepSparse. Особое внимание уделено обеспечению отказоустойчивости, масштабируемости и интеграции с системами управления производством.

 Постановка задачи

Каждый производственный дефект печатной платы, от технологического нарушения до применения материалов ненадлежащего качества, потенциально ведет к отказу конечного радиоустройства. Контроль качества изготовления печатных плат, включая классификацию допустимых дефектов по их типам, геометрическим параметрам и критичности, регламентирован - ГОСТ Р53432-2009.

Выделим следующих типов дефектов:

1. Дефекты травления (рис. 1):

- Недотрав: неполное удаление меди с незащищённых участков, приводящее к коротким замыканиям между проводниками.

- Перетрав: чрезмерное травление, истончающее проводники, может привести к обрыву цепи или изменению волнового сопротивления.

- Подтрав под маску: травление меди под защитной маской, что ослабляет адгезию и может вызвать отслоение маски.

Рис. 1. Дефекты травления

 

2. Дефекты паяльной маски:

- Непрокрасы: отсутствие маски может привести к коротким замыканиям при пайке.

- Наплывы маски: попадание маски на контактные площадки.

- Отслоение маски: нарушение адгезии маски к основе, ведущее к её отслоению в процессе эксплуатации.

3. Дефекты металлизации:

- недостаточная толщина гальванического покрытия: снижает проводимость и механическую прочность переходных отверстий.

- пористость покрытия: приводит к окислению и коррозии контактов.

- отслоение металлизации: нарушение связи между слоями меди в отверстиях, приводящее к обрыву цепи.

4. Дефекты переходных отверстий:

- заполнение отверстий при пайке: закупорка отверстий припоем, препятствующая монтажу компонентов.

- отслоение покрытия в отверстиях: нарушение целостности металлизации ведет к обрыву межслойных соединений.

5. Дефекты пайки:

- Холодная пайка: недостаточный прогрев, приводящий к ненадёжному контакту.

- Перегрев: разрушение паяного соединения или повреждение компонентов.

- Пустоты в паяных соединениях снижающие механическую прочность и теплопроводность.

6. Механические повреждения (рис. 2):

- Сколы и трещины: нарушение целостности диэлектрика или проводников.

- Деформация платы: искривление ПП, затрудняющее монтаж в корпус.

Рис. 2. Дефект скол

 

Оптические проявления дефектов характеризуются изменением яркости, текстуры и геометрии элементов на изображении, получаемом с помощью телевизионных систем технического зрения. Пример дефекта «обрыв проводника» представлен на рис. 3.

Рис. 3. Пример дефекта «обрыв проводника» на оптическом снимке

 Методы контроля качества печатных плат

Для выявления перечисленных дефектов применяются различные методы контроля, которые можно разделить на контактные и бесконтактные.

1. Визуальный контроль (рис. 4). Представляет собой ручной осмотр. Используется лупа или микроскоп для выявления явных дефектов (трещины, сколы, непрокрасы). Недостаток — субъективность и низкая скорость.

Рис. 4. Визуальный контроль

 

2. Автоматический оптический контроль (АОК). Система захвата изображения ПП с помощью камер высокого разрешения и сравнивает их с эталонным изображением или CAD-моделью. Обнаруживаемые дефекты:

- Обрывы и короткие замыкания проводников.

- Дефекты паяльной маски (непрокрасы, наплывы).

- Положение и наличие компонентов (для собранных плат).

 - Дефекты травления (недотравы, перетравы).

Преимущества: высокая скорость и объективность; возможность интеграции в производственную линию; обнаружение дефектов на ранних стадиях.

3. Оптический контроль с помощью 3D-сканеров. Позволяет оценивать высоту компонентов, паяльных паст, выявлять непропаи.

Применение: Контроль качества паяных соединений после монтажа компонентов.

4. Рентгеновский контроль. Просвечивание платы рентгеновскими лучами для выявления скрытых дефектов.

Обнаруживаемые дефекты:

- Пустоты в паяных соединениях.

- Короткие замыкания под компонентами.

- Качество переходных отверстий.

5. Контроль импеданса. Проверка волнового сопротивления проводников, критичного для высокочастотных устройств. Используются специализированные измерители импеданса (TDR-анализаторы).
6. Электрический контроль. Проверка целостности цепей и отсутствия коротких замыканий. На специализированных стендах проводится массовая проверка собранных плат на соответствие электрическим параметрам.

Оптические исследования, в частности рассматриваемый автоматический оптический контроль (АОК), являются одним из наиболее эффективных и распространённых методов контроля печатных плат, особенно на этапах изготовления основы и монтажа компонентов.

Ключевые преимущества оптических методов:

- Высокая скорость и производительность. Современные АОК-системы способны проверять сотни плат в час.

- Объективность и воспроизводимость. Исключается человеческий фактор, все решения принимаются на основе алгоритмов.

- Раннее обнаружение дефектов. Позволяют выявить проблемы на начальных этапах производства, минимизируя стоимость исправления.

- Неразрушающий контроль. Платы не повреждаются в процессе проверки.

- Гибкость и адаптивность. Системы можно быстро перенастраивать на новые типы плат.

Современные тенденции в оптическом контроле качества ПП

Применение искусственного интеллекта (ИИ) и нейронных сетей. Алгоритмы глубокого обучения (такие как YOLO, CNN) позволяют повысить точность детектирования сложных и малоразмерных дефектов, а также снизить количество ложных срабатываний.

Использование гиперспектральных камер позволяет анализировать не только геометрию, но и химический состав поверхностей, выявляя загрязнения и нарушения в материалах.

Интеграция с Industry 4.0. АОК-системы становятся частью «умной» фабрики, обмениваясь данными с MES-системами и оборудованием для корректировки технологического процесса в реальном времени.

Ограничения оптических методов:

- Неспособность выявлять скрытые дефекты (например, внутри слоёв многослойных печатных плат (МПП) или под компонентами). Для этого требуется рентгеновский контроль.

- Зависимость от условий освещения и чистоты поверхности платы.

Методика анализа изображений дефектов

Основной инструмент анализа изображений дефектов — это цифровые методы обработки сигналов и изображений. Ключевыми методами являются:

1) Фильтрация изображений — применяется для удаления шума и выделения контуров дефектов.

2) Выделение признаков — выделение особых точек, линий и областей, характеризующих структуру поверхности.

3) Классификация дефектов — разделение дефектов на классы согласно их физическим характеристикам.

Примеры цифровых фильтров:

• Среднеарифметический фильтр — сглаживает изображение, уменьшая шум.
• Медианный фильтр — устраняет выбросы, сохраняя границы деталей.
• Градиентный фильтр — выделяет края и особенности изображения.

Методы сегментации позволяют разделить изображение на отдельные регионы, соответствующие областям с различными характеристиками. Наиболее распространенные методы сегментирования:

- Алгоритм порогового разделения — простое бинарное преобразование изображения.

- Метод кластеризации — группировка пикселей по сходству характеристик.

- Вейвлет-анализ — масштабируемый анализ частотных составляющих изображения.

Критерии оценки качества:

1) Точность – доля правильно обнаруженных дефектов среди всех обнаруженных объектов.

2) Полнота – доля обнаруженных дефектов относительно общего числа дефектов в выборке.

3) F-мера – гармоническое среднее между точностью и полнотой.

4) mAP (mean Average Precision) – интегральная метрика качества детектирования.

5) Скорость работы - время, затрачиваемое на обработку 1 кадра.

 Методика работы системы автоматического оптического контроля

Методику работы системы автоматического оптического контроля качества изготовления печатных плат можно разделить на три крупных этапа: первичная конфигурация, обучение, обработка (рис. 5).

Для эффективности работы системы, чтобы проще находить и исправлять ошибки параллельно с выполнением методики будут вестись два журнала логирования, Первый журнал будет содержать информацию о работе системы, а второй журнал будет содержать информацию о работе пользовательского интерфейса.

Рассмотрим каждый из этапов:

1. Конфигурация - это этап на котором происходит первоначальное определение параметров работы системы. Может производиться с помощью файла в рабочей директории, либо через аргументы командной строки при запуске.

Рис. 5. Методика работы системы

Конфигурация с помощью файла заключается в проверке существования файла, чтении его содержимого и дальнейшего разбора структуры в соответствии с правилами построения файлов конфигурации.

Конфигурация через аргументы командной строки заключается в том, что требуемые параметры система получает не из файла в рабочей директории, а с помощью задания параметров запуска программы.

2. Обучение - это этап на котором происходит чтение наборов, аннотированных данных, их проверка, создание статистических данных о наборе данных, аугментация, fine-tuning.

Аугментация используется для искусственного увеличения набора данных. За счет применения различных геометрических трансформаций и шумов. Данная операция позволяет снизить затраты на аннотацию дополнительных экземпляров.

3. Обработка - использование полученных в процессе обучения весов для анализа.

 Обнаружение дефектов

Модуль детектирования принимает на вход ссылку на модель и данные из Kafka. При отсутствии оптимизированной версии модели выполняется её конвертация с использованием OpenVINO или DeepSparse (открытые наборы инструментов для разработки приложений компьютерного зрения и искусственного интеллекта). Результаты детектирования (координаты дефектов, метки класса, уверенность) сохраняются в базу данных и сопровождаются аннотированными изображениями.

После загрузки набор данных ставится в очередь на обучение. Очередь реализована через Apache Kafka. На выходе мы получаем набор данных из метрик и тестовых изображений.

Журналирование системы разделено на 3 уровня: ошибка, информация и отладка. В таблицы записываются уровни ошибка и информация. Отладочная информация выводится в консоль на сервере. Для определения в каком модуле произошла ошибка ведется учет данных от кого поступила информация о событии.

Моделирование

По результатам моделирования (рис. 6-7) получены следующие ключевые результаты экспериментов:

Средняя скорость обработки: 420 мс/кадр.

Скорость с использованием OpenVINO: 95 мс/кадр (ускорение в ~4.4 раза).

Скорость с использованием DeepSparse: 38 мс/кадр (ускорение в ~11 раз).

Точность: до 94 %.

Полнота: до 89 %.

Рис. 6. Результаты анализа потерь

Рис. 7. Результаты анализа метрик

Заключение

 Приведем основные научные результаты работы.

1. Разработаны методики предварительной обработки изображений и обнаружения дефектов на ПП с использованием архитектуры YOLOv8. Показано, что применение глубокого обучения позволяет достичь высокой точности и чувствительности в обнаружении дефектов, обеспечивая обработку кадров менее чем за 250 мс/кадр.
2. Исследованы и применены две стратегии оптимизации производительности нейронных сетей: библиотека OpenVINO и библиотека DeepSparse. Использование OpenVINO ускоряет обработку изображений в среднем в 4-5 раз, тогда как DeepSparse увеличивает скорость распознавания в 11 раз, но с возможным снижением точности.
3. Создание инфраструктуры отказоустойчивости и параллельной обработки данных. Разработана архитектура распределённой системы на основе Apache Kafka для обеспечения отказоустойчивости и масштабируемости.
4. Эффективная работа с большими наборами данных. Спроектирована реляционная база данных PostgreSQL для хранения результатов обработки, настроек системы и истории событий.
5. Автоматизация процедуры обновления и тестирования моделей. Создана процедура автоматической загрузки и обучения моделей на размеченных наборах данных с последующим тестированием и сохранением лучших результатов. Включает использование механизма аугментации для искусственно увеличения набора данных, повышая общее качество распознавания.
6. Организация удобного интерфейса и уведомления пользователей.
7. Комплексная оценка качества работы системы: Продемонстрировано, что созданная система показывает высокую точность (94 %) и полноту (89 %), позволяя эффективно выявлять дефекты при изготовлении печатных плат. В зависимости от выбранного метода оптимизации средняя скорость обработки кадров варьируется от 15 до 450 мс.

Таким образом, полученные результаты показывают, что предложенная методика оптического контроля является высокоэффективной и экономически выгодной для промышленного применения.

______________________________________

© Чирков О.Н., Здоровцов В.К., Тамбовцев М.Н., 2025

About the authors

Oleg N. Chirkov

Voronezh State Technical University

Author for correspondence.
Email: chir_oleg@mail.ru
ORCID iD: 0000-0003-2250-2100

Assistant Professor

Russian Federation, 84 20th Anniversary of October str., Voronezh 394006, Russia

Vadim K. Zdorovtsov

Voronezh State Technical University

Email: kipr@vorstu.ru

student

Russian Federation, 84 20th Anniversary of October str., Voronezh 394006, Russia

Maksim N. Tambovtsev

Voronezh State Technical University

Email: kipr@vorstu.ru

student

Russian Federation, 84 20th Anniversary of October str., Voronezh 394006, Russia

References

Supplementary files