Информационно-аналитическая система детектирования движения объектов на пешеходном переходе

Полный текст

Введение

Задачи идентификации объектов рассматриваются в различных предметных областях (ПрО): медицина [1], авиация [2], дистанционное зондирование Земли [3], дорожное движение [4, 5]. С целью выявления нарушений правил дорожного движения, фиксирования дорожно-транспортных происшествий, поиска автотранспортных средств или установления местоположения человека может использоваться информация о распознавании лиц участников дорожного движения [6], номерных знаков [7], а также автомобилей и пешеходов.

В данной работе рассматривается распознавание автомобилей и пешеходов с целью управления их потоками. В [8] предложена система управления светофором, которая в зависимости от количества участников движения, находящихся на пешеходном переходе, на основе нечётких правил регулирует время работы зелёных и красных сигналов светофора. Разработано специализированное программное обеспечение (СПО) «Программа для регулирования светофора на основе нечёткой логики» [9], алгоритм работы которого модифицирован в данной работе.

Существуют отрытые решения типа OpenCV (Open Computer Vision Library, библиотека алгоритмов компьютерного зрения, обработки изображений и алгоритмов общего назначения), которые позволяют решать подобные задачи. Наиболее распространённым из этих библиотек является нейронная сеть (НС) YOLO (от англ. You Only Look Once), которая способна детектировать объекты в режиме реального времени [10, 11]. Другими известными моделями машинного обучения, используемыми для детектирования объектов, являются конволюционные НС [12, 13].

Алгоритмы на основе глубоких и рекуррентных НС могут улучшить детектирование пешеходов, особенно в сложных условиях, таких как плохое освещение или интенсивное движение [14]. Методы ансамблевого обучения используются для улучшения точности детектирования путём объединения результатов нескольких моделей [15]. Комбинированные модели создаются путём соединения различных методов компьютерного зрения, с помощью которых строятся гиперплоскости в n-мерном пространстве с целью разделения объектов, относящихся к разным классам [16]. Общим недостатком данных моделей является использования фильтра Канни [17] для выделения контуров на изображении. В работе [18] показано, что данный детектор плохо реагирует на градиент изменения выпуклой и вогнутой формы.

В данной работе используется модифицированный алгоритм нечётко-логического метода выделения контуров объектов, реализованный на первом уровне двухуровневой информационно-аналитической системы управления транспортным потоком (ДИАСУТП), позволяющий детектировать участников дорожного движения с целью расчёта времени задержек сигналов светофоров на перекрёстке.

1 Методическая основа ДИАСУТП

1.1 Онтология предметной области

Структура вычислительных процессов детектирования объектов в ДИАСУТП, позволяющей распознать объекты на перекрёстке в режиме реального времени представлена на рисунке 2. Система состоит из двух уровней: детекция числа автомобилей и пешеходов; расчёт времени задержки сигналов светофора. Первый уровень содержит следующие вычислительные процессы: преобразование исходного изображения в градации серого; размытие изображения по Гауссу; детектирование границ объектов с помощью алгоритма Канни или нечётко-логического метода детектирования контуров объектов [18]; выявление необходимых объектов по выделенным признакам с помощью алгоритма YOLO; принятие решений об итоговом количестве автомобилей и пешеходов.

 

Рисунок 1 – Фрагмент онтологии управления транспортным потоком (ТС – транспортное средство)

 

Рисунок 2 – Структура вычислительных процессов в двухуровневой информационно-аналитической системе управления транспортным потоком

 

Второй уровень ДИАСУТП содержит пять этапов: определение чётких входных переменных; фаззификация значений входных переменных; выборка решений на основе нечётких правил; дефаззификация значений; определение времени задержки сигналов светофора. Подробно данный уровень описан в работах [8, 9].

 

Таблица 1 – Фрагмент спецификации понятий онтологической модели управления транспортным потоком

Table 1 – Specification of concepts in the ontological model for traffic flow management

Понятия	Атрибуты	Отношения с атрибутами
Сбор данных	Данные о пешеходном переходе, поведение транспорта и пешеходов, вид дорожных условий	ДИАСУТП
Свойства и отношения	Детектирование объектов на пешеходном переходе и определение данных о их перемещении	ДИАСУТП
Создание прототипа	База данных и классификация объектов на основе машинного обучения и нейронных сетей	ДИАСУТП
Применение алгоритмов	Использование специализированных устройств для анализа данных на пешеходном переходе, применение нейронных сетей для классификации объектов на пешеходном переходе	ДИАСУТП
Тестирование	Анализ данных о работе ДИАСУТП	Применение алгоритмов
Верификация	Оценка точности работы ДИАСУТП	Применение алгоритмов
Пешеход	Скорость, направление движения, возраст	Свойства и отношения
Транспорт	Скорость, тип, направление движения	Свойства и отношения
Пешеходный переход	Тип, расположение	Свойства и отношения
Направление движения	Находится на…, приближается к…	Свойства и отношения

 

1.2 Преобразование в градации серого цвета

На начальном этапе работы ДИАСУТП происходит получение исходного изображения, полученного с видеокамеры. На втором этапе осуществляется преобразование исходного изображения в формате RGB в градации серого. Для этой цели требуется рассчитать значение интенсивности каждого отдельного пикселя, используя формулу [19]:

$I_{x,y}=\mathrm{0,299}{R}_{x,y}+\mathrm{0,587}{G}_{x,y}+\mathrm{0,114}{B}_{x,y},$

где I_x,y – интенсивность яркости градации серого в пикселе (I_x,y Î[0, 255]) на изображении с координатами вдоль оси абсцисс (x=1…w) и вдоль оси ординат (y=1…h); w – ширина изображения в пикселях; h – высота изображения в пикселях; R – значение интенсивности красного цвета в пикселе; G – значение интенсивности зелёного цвета в пикселе; B – значение интенсивности синего цвета в пикселе.

Преобразованное изображение подаётся на третий блок 1.3 первого уровня ДИАСУТП (рисунок 2), где происходит размытие по Гауссу.

1.3 Размытие изображения по Гауссу

Третий этап работы ДИАСУТП позволяет уменьшить влияние шума на изображение. Сглаживание полутонового изображения происходит с помощью поэлементного умножения матриц I_x,y и Гаусса с размером окна 5×5.

1.4 Детекторы границ объектов

1.4.1 Детектор Канни

Алгоритм Канни используется для обнаружения границ искомых объектов на изображении [17]. Недостаток алгоритма Канни заключается в том, что он распознаёт только линейные области изображения. Это связано с тем, что в данном методе анализируется рамка на изображении с размером окна 3×3. Поэтому целесообразно использовать нечётко-логический метод детектирования границ объектов [18], который позволяет распознавать вогнуто-выпуклую форму объектов благодаря анализу рамки в окне с размером 5×5.

1.4.2 Нечётко-логический метод детектирования границ объектов

Нечётко-логический метод основан на модификации детектора Канни и использовании нечётких правил для определения градиента границ. Вычисления, соответствующие алгоритму Канни, повторяются до этапа определения угла направления градиента яркости. Далее осуществляется фаззификация входных переменных, которыми являются разности градиентов между центральной и смежными ячейками, и формирование базы нечётких правил [20]. Сформированная база состоит из четырёх или шестнадцати нечётких правил в зависимости от выбранной модификации рассматриваемого метода. Дефаззификация чёткого значения выполняется при помощи метода центра тяжести. С помощью нечётких α-срезов производится бинаризация полученного изображения и выделение границ объектов на нём. В отличие от детектора Канни данный метод реагирует на различные изменения градиента относительно центральной ячейки, что позволяет распознавать вогнутые и выпуклые формы объектов. Использование описанного метода позволяет повысить производительность вычислительных операций во время распознавания границ объектов посредством сокращения числа проходов по исходному изображению.

В процессе обработки изображений после операции детектирования границ осуществляется распознавание контуров. Изображения контуров подаются на вход НС. Для выделения контуров используется алгоритм Suzuki-Abe [21].

1.5 Алгоритм YOLO

Назначение алгоритма YOLO – распознать класс объекта и выделить его ограничивающей рамкой на финальном изображении. По завершении работы алгоритма выходное изображение содержит объекты, выделенные рамкой.

Ограничением точности предлагаемого метода является ухудшение погодных условий, например, возникновение тумана или метели, во время которых видеокамеры не могут передать качественное изображение из-за изменения интенсивности света. В таких случаях могут возникать погрешности распознавания объектов.

1.6 Циклограмма формирования управляющего сигнала

Циклограмма работы для двух светофоров включает четыре режима регулирования, два из которых являются основными и два промежуточными. В первом режиме предполагается, что на Светофоре_1 включается красный свет, а на Светофоре_2 – зелёный свет. Второй режим является промежуточным перед сменой сигналов устройства. При этом к лампам, горящим в режиме 1, добавляется лампа с мигающим жёлтым светом. Происходит пять коротких включений сигнала жёлтого света, после чего устройства переходят в третий режим, который полностью противоположен первому. В четвёртом режиме происходит переход на режим 1, после чего цикл повторяется. Циклограмма работы двух светофоров сведена в таблицу 2.

 

Таблица 2 – Циклограмма работы светофоров

Table 2 – Traffic light operation cyclogram

Светофор		Светофор_1			Светофор_2
Режим	Цвет лампы	красный	жёлтый	зелёный	зелёный	жёлтый	красный
1		1	0	0	1	0	0
	Время свечения	tрег = tmin + tdelay
2		1	1/0 10 тактов	0	1	1/0 10 тактов	0
	Время мигания	tyellow (10 тактов мигания за 2 с)
3		0	0	1	0	0	1
	Время свечения	tрег = tmin + tdelay
4		0	1/0 10 тактов	1	0	1/0 10 тактов	1
	Время мигания	tyellow (10 тактов мигания за 2 с)

 

Расчёт времени работы первого и третьего режимов светофоров осуществляется по формуле: t_рег=t_min+t_delay, где t_min – минимальное время задержки управляющего сигнала светофора; t_delay – время задержки управляющего сигнала. Переменная t_delay определяется на выходе второго уровня ДИАСУТП, детальный расчёт представлен в работах [8, 9]. Переменная t_min является настраиваемым параметром (по умолчанию t_min=10 с) и используется для работы светофора в ситуации, когда время задержки t_delay равно нулю. Время полного цикл работы светофора, состоящего из четырёх режимов, определяется по формуле: t_ц=t_рег+t_yellow+t_рег+t_yellow=2 (t_рег+t_yellow), где t_yellow – время задержки жёлтого сигнала светофора (настраиваемый параметр, по умолчанию t_yellow=2 с).

2 Экспериментальные исследования

По представленному алгоритму создано модифицированное СПО на языке C# в среде Microsoft Visual Studio 2022. На вход СПО подаются изображения с видеокамер, выходными данными являются обработанные изображения, на которых детектируемый объект выделен рамкой. Для экспериментальных исследований были взяты изображения с видеокамер, установленных на перекрёстках города Курска (пересечение ул. Карла Маркса и ул. Хуторской (см. рисунок 3), площадь Перекальского (см. рисунок 4).

 

Рисунок 3 – Результаты первого экспериментального исследования: а) исходное изображение; б) преобразованное в градации серого и размытое по Гауссу изображение; в) детектированные границы объектов; г) результирующее изображение с распознанными объектами (выделены рамками)

 

Рисунок 4 – Результаты второго экспериментального исследования: а) исходное изображение; б) преобразованное в градации серого и размытое по Гауссу изображение; в) детектированные границы объектов; г) результирующее изображение с распознанными объектами (выделены рамками)

 

Экспериментальные исследования показали хорошие результаты работы ДИАУСТП, что видно на результирующих изображениях, на которых обнаруженные объекты выделены рамкой. Однако выявлены некоторые погрешности распознавания, например, при частичной видимости объекта НС YOLO не распознаёт его наличие. В этих случаях распознавание осуществлялось визуально. Для этого каждый кадр из видеопоследовательности, на котором рамками были выделены распознанные объекты, сохранялся в базе данных и оценивался вручную. В ходе этого эксперимента на каждом кадре визуально оценивалось количество правильно и неправильно распознанных объектов, а также оценивалось, пропущен объект или нет. Результаты экспериментов сведены в таблицу 3.

 

Таблица 3 – Результаты экспериментальных исследований

Table 3 – Results of experimental studies

Эксперимент	Объекты	Всего	Кол-во верно обнаруженных объектов, TP	Кол-во ложно обнаруженных объектов, FP	Кол-во пропущенных объектов, FN
1	Пешеходы	3	2	0	1
	Автомобили	4	4	1	0
2	Пешеходы	10	7	1	3
	Автомобили	10	8	0	2
Итого		27	21	2	6

 

Точность распознавания объектов на изображениях в экспериментах вычисляется по формуле

$N=\frac{TP}{TP+FP+FN}\times 100\%,$

где TP – количество верно обнаруженных объектов; FP – количество ложно обнаруженных объектов; FN – количество пропущенных объектов.

Согласно значениям из таблицы 3 точность составляет 72,4%.

Заключение

В данной работе представлена ДИАСУТП, позволяющая распознавать автомобили и пешеходов на перекрёстке в режиме реального времени для решения задачи регулирования городского потока. Для экспериментальных исследований использовалось модифицированное СПО и изображения перекрёстков с пешеходными переходами, взятые с видеокамер, установленных на улицах города Курска. Результаты экспериментов показали работоспособность предложенного алгоритма детектирования объектов.

Об авторах

Максим Владимирович Бобырь

Юго-Западный государственный университет (ЮЗГУ)

Автор, ответственный за переписку.
Email: fregat_mn@rambler.ru
ORCID iD: 0000-0002-5400-6817
Scopus Author ID: 57191724301
ResearcherId: G-2604-2013

д.т.н., профессор кафедры программной инженерии, председатель первого в России диссертационного совета ЮЗГУ по специальности «Когнитивное моделирование» (технические науки)

Россия, Курск

Наталия Игоревна Храпова

Юго-Западный государственный университет (ЮЗГУ)

Email: KhrapovaNI@yandex.ru
ORCID iD: 0000-0001-7947-1427
ResearcherId: KFT-1075-2024

аспирант кафедры программной инженерии

Россия, Курск

Список литературы

Дополнительные файлы