Information and analytical system for detecting the movement of objects on a pedestrian crossing

全文:

Введение

Задачи идентификации объектов рассматриваются в различных предметных областях (ПрО): медицина [1], авиация [2], дистанционное зондирование Земли [3], дорожное движение [4, 5]. С целью выявления нарушений правил дорожного движения, фиксирования дорожно-транспортных происшествий, поиска автотранспортных средств или установления местоположения человека может использоваться информация о распознавании лиц участников дорожного движения [6], номерных знаков [7], а также автомобилей и пешеходов.

В данной работе рассматривается распознавание автомобилей и пешеходов с целью управления их потоками. В [8] предложена система управления светофором, которая в зависимости от количества участников движения, находящихся на пешеходном переходе, на основе нечётких правил регулирует время работы зелёных и красных сигналов светофора. Разработано специализированное программное обеспечение (СПО) «Программа для регулирования светофора на основе нечёткой логики» [9], алгоритм работы которого модифицирован в данной работе.

Существуют отрытые решения типа OpenCV (Open Computer Vision Library, библиотека алгоритмов компьютерного зрения, обработки изображений и алгоритмов общего назначения), которые позволяют решать подобные задачи. Наиболее распространённым из этих библиотек является нейронная сеть (НС) YOLO (от англ. You Only Look Once), которая способна детектировать объекты в режиме реального времени [10, 11]. Другими известными моделями машинного обучения, используемыми для детектирования объектов, являются конволюционные НС [12, 13].

Алгоритмы на основе глубоких и рекуррентных НС могут улучшить детектирование пешеходов, особенно в сложных условиях, таких как плохое освещение или интенсивное движение [14]. Методы ансамблевого обучения используются для улучшения точности детектирования путём объединения результатов нескольких моделей [15]. Комбинированные модели создаются путём соединения различных методов компьютерного зрения, с помощью которых строятся гиперплоскости в n-мерном пространстве с целью разделения объектов, относящихся к разным классам [16]. Общим недостатком данных моделей является использования фильтра Канни [17] для выделения контуров на изображении. В работе [18] показано, что данный детектор плохо реагирует на градиент изменения выпуклой и вогнутой формы.

В данной работе используется модифицированный алгоритм нечётко-логического метода выделения контуров объектов, реализованный на первом уровне двухуровневой информационно-аналитической системы управления транспортным потоком (ДИАСУТП), позволяющий детектировать участников дорожного движения с целью расчёта времени задержек сигналов светофоров на перекрёстке.

1 Методическая основа ДИАСУТП

1.1 Онтология предметной области

Структура вычислительных процессов детектирования объектов в ДИАСУТП, позволяющей распознать объекты на перекрёстке в режиме реального времени представлена на рисунке 2. Система состоит из двух уровней: детекция числа автомобилей и пешеходов; расчёт времени задержки сигналов светофора. Первый уровень содержит следующие вычислительные процессы: преобразование исходного изображения в градации серого; размытие изображения по Гауссу; детектирование границ объектов с помощью алгоритма Канни или нечётко-логического метода детектирования контуров объектов [18]; выявление необходимых объектов по выделенным признакам с помощью алгоритма YOLO; принятие решений об итоговом количестве автомобилей и пешеходов.

Рисунок 1 – Фрагмент онтологии управления транспортным потоком (ТС – транспортное средство)

Рисунок 2 – Структура вычислительных процессов в двухуровневой информационно-аналитической системе управления транспортным потоком

Второй уровень ДИАСУТП содержит пять этапов: определение чётких входных переменных; фаззификация значений входных переменных; выборка решений на основе нечётких правил; дефаззификация значений; определение времени задержки сигналов светофора. Подробно данный уровень описан в работах [8, 9].

Таблица 1 – Фрагмент спецификации понятий онтологической модели управления транспортным потоком

Table 1 – Specification of concepts in the ontological model for traffic flow management

1.2 Преобразование в градации серого цвета

На начальном этапе работы ДИАСУТП происходит получение исходного изображения, полученного с видеокамеры. На втором этапе осуществляется преобразование исходного изображения в формате RGB в градации серого. Для этой цели требуется рассчитать значение интенсивности каждого отдельного пикселя, используя формулу [19]:

$I_{x,y}=\mathrm{0,299}{R}_{x,y}+\mathrm{0,587}{G}_{x,y}+\mathrm{0,114}{B}_{x,y},$

где I_x,y – интенсивность яркости градации серого в пикселе (I_x,y Î[0, 255]) на изображении с координатами вдоль оси абсцисс (x=1…w) и вдоль оси ординат (y=1…h); w – ширина изображения в пикселях; h – высота изображения в пикселях; R – значение интенсивности красного цвета в пикселе; G – значение интенсивности зелёного цвета в пикселе; B – значение интенсивности синего цвета в пикселе.

Преобразованное изображение подаётся на третий блок 1.3 первого уровня ДИАСУТП (рисунок 2), где происходит размытие по Гауссу.

1.3 Размытие изображения по Гауссу

Третий этап работы ДИАСУТП позволяет уменьшить влияние шума на изображение. Сглаживание полутонового изображения происходит с помощью поэлементного умножения матриц I_x,y и Гаусса с размером окна 5×5.

1.4 Детекторы границ объектов

1.4.1 Детектор Канни

Алгоритм Канни используется для обнаружения границ искомых объектов на изображении [17]. Недостаток алгоритма Канни заключается в том, что он распознаёт только линейные области изображения. Это связано с тем, что в данном методе анализируется рамка на изображении с размером окна 3×3. Поэтому целесообразно использовать нечётко-логический метод детектирования границ объектов [18], который позволяет распознавать вогнуто-выпуклую форму объектов благодаря анализу рамки в окне с размером 5×5.

1.4.2 Нечётко-логический метод детектирования границ объектов

Нечётко-логический метод основан на модификации детектора Канни и использовании нечётких правил для определения градиента границ. Вычисления, соответствующие алгоритму Канни, повторяются до этапа определения угла направления градиента яркости. Далее осуществляется фаззификация входных переменных, которыми являются разности градиентов между центральной и смежными ячейками, и формирование базы нечётких правил [20]. Сформированная база состоит из четырёх или шестнадцати нечётких правил в зависимости от выбранной модификации рассматриваемого метода. Дефаззификация чёткого значения выполняется при помощи метода центра тяжести. С помощью нечётких α-срезов производится бинаризация полученного изображения и выделение границ объектов на нём. В отличие от детектора Канни данный метод реагирует на различные изменения градиента относительно центральной ячейки, что позволяет распознавать вогнутые и выпуклые формы объектов. Использование описанного метода позволяет повысить производительность вычислительных операций во время распознавания границ объектов посредством сокращения числа проходов по исходному изображению.

В процессе обработки изображений после операции детектирования границ осуществляется распознавание контуров. Изображения контуров подаются на вход НС. Для выделения контуров используется алгоритм Suzuki-Abe [21].

1.5 Алгоритм YOLO

Назначение алгоритма YOLO – распознать класс объекта и выделить его ограничивающей рамкой на финальном изображении. По завершении работы алгоритма выходное изображение содержит объекты, выделенные рамкой.

Ограничением точности предлагаемого метода является ухудшение погодных условий, например, возникновение тумана или метели, во время которых видеокамеры не могут передать качественное изображение из-за изменения интенсивности света. В таких случаях могут возникать погрешности распознавания объектов.

1.6 Циклограмма формирования управляющего сигнала

Циклограмма работы для двух светофоров включает четыре режима регулирования, два из которых являются основными и два промежуточными. В первом режиме предполагается, что на Светофоре_1 включается красный свет, а на Светофоре_2 – зелёный свет. Второй режим является промежуточным перед сменой сигналов устройства. При этом к лампам, горящим в режиме 1, добавляется лампа с мигающим жёлтым светом. Происходит пять коротких включений сигнала жёлтого света, после чего устройства переходят в третий режим, который полностью противоположен первому. В четвёртом режиме происходит переход на режим 1, после чего цикл повторяется. Циклограмма работы двух светофоров сведена в таблицу 2.

Таблица 2 – Циклограмма работы светофоров

Table 2 – Traffic light operation cyclogram

Расчёт времени работы первого и третьего режимов светофоров осуществляется по формуле: t_рег=t_min+t_delay, где t_min – минимальное время задержки управляющего сигнала светофора; t_delay – время задержки управляющего сигнала. Переменная t_delay определяется на выходе второго уровня ДИАСУТП, детальный расчёт представлен в работах [8, 9]. Переменная t_min является настраиваемым параметром (по умолчанию t_min=10 с) и используется для работы светофора в ситуации, когда время задержки t_delay равно нулю. Время полного цикл работы светофора, состоящего из четырёх режимов, определяется по формуле: t_ц=t_рег+t_yellow+t_рег+t_yellow=2 (t_рег+t_yellow), где t_yellow – время задержки жёлтого сигнала светофора (настраиваемый параметр, по умолчанию t_yellow=2 с).

2 Экспериментальные исследования

По представленному алгоритму создано модифицированное СПО на языке C# в среде Microsoft Visual Studio 2022. На вход СПО подаются изображения с видеокамер, выходными данными являются обработанные изображения, на которых детектируемый объект выделен рамкой. Для экспериментальных исследований были взяты изображения с видеокамер, установленных на перекрёстках города Курска (пересечение ул. Карла Маркса и ул. Хуторской (см. рисунок 3), площадь Перекальского (см. рисунок 4).

Рисунок 3 – Результаты первого экспериментального исследования: а) исходное изображение; б) преобразованное в градации серого и размытое по Гауссу изображение; в) детектированные границы объектов; г) результирующее изображение с распознанными объектами (выделены рамками)

Рисунок 4 – Результаты второго экспериментального исследования: а) исходное изображение; б) преобразованное в градации серого и размытое по Гауссу изображение; в) детектированные границы объектов; г) результирующее изображение с распознанными объектами (выделены рамками)

Экспериментальные исследования показали хорошие результаты работы ДИАУСТП, что видно на результирующих изображениях, на которых обнаруженные объекты выделены рамкой. Однако выявлены некоторые погрешности распознавания, например, при частичной видимости объекта НС YOLO не распознаёт его наличие. В этих случаях распознавание осуществлялось визуально. Для этого каждый кадр из видеопоследовательности, на котором рамками были выделены распознанные объекты, сохранялся в базе данных и оценивался вручную. В ходе этого эксперимента на каждом кадре визуально оценивалось количество правильно и неправильно распознанных объектов, а также оценивалось, пропущен объект или нет. Результаты экспериментов сведены в таблицу 3.

Таблица 3 – Результаты экспериментальных исследований

Table 3 – Results of experimental studies

Точность распознавания объектов на изображениях в экспериментах вычисляется по формуле

$N=\frac{TP}{TP+FP+FN}\times 100\%,$

где TP – количество верно обнаруженных объектов; FP – количество ложно обнаруженных объектов; FN – количество пропущенных объектов.

Согласно значениям из таблицы 3 точность составляет 72,4%.

Заключение

В данной работе представлена ДИАСУТП, позволяющая распознавать автомобили и пешеходов на перекрёстке в режиме реального времени для решения задачи регулирования городского потока. Для экспериментальных исследований использовалось модифицированное СПО и изображения перекрёстков с пешеходными переходами, взятые с видеокамер, установленных на улицах города Курска. Результаты экспериментов показали работоспособность предложенного алгоритма детектирования объектов.

作者简介

Maxim Bobyr

编辑信件的主要联系方式.
Email: fregat_mn@rambler.ru
ORCID iD: 0000-0002-5400-6817
Scopus 作者 ID: 57191724301
Researcher ID: G-2604-2013

Doctor of Technical Sciences, Professor at the Department of Software Engineering, Chairman of the first dissertation Council of Southwestern State University in Russia in the specialty "Cognitive modeling" (technical sciences)

Natalia Khrapova

Email: KhrapovaNI@yandex.ru
ORCID iD: 0000-0001-7947-1427
Researcher ID: KFT-1075-2024

postgraduate student of the Department of Software Engineering

参考

补充文件

附件文件

动作

1. JATS XML

下载

2. Figure 1 – Fragment of the traffic flow control ontology

下载 (734KB)

索引源数据

3. Figure 2 – The structure of computational processes in a two-level information and analytical system for traffic flow management

下载 (451KB)

索引源数据

4. Figure 3 – The results of the first experimental study: a) the original image; b) the image converted to grayscale and Gaussian blurring of the image; c) detecting objects edges; d) the resulting image with recognized objects which are highlighted with frames.

下载 (1MB)

索引源数据

5. Figure 4 – Results of the second experimental study: a) the original image; b) the image converted to grayscale and Gaussian blurring of the image; c) t detecting objects edges; d) the resulting image with recognized objects which are highlighted with frames.

下载 (1MB)

索引源数据