Information and analytical system for detecting the movement of objects on a pedestrian crossing
- Авторлар: Bobyr M.V.1, Khrapova N.I.1
-
Мекемелер:
- Southwest State University
- Шығарылым: Том 14, № 4 (2024)
- Беттер: 531-541
- Бөлім: APPLIED ONTOLOGIES OF DESIGNING
- URL: https://journals.rcsi.science/2223-9537/article/view/352998
- DOI: https://doi.org/10.18287/2223-9537-2024-14-4-531-541
- ID: 352998
Дәйексөз келтіру
Толық мәтін
Аннотация
To manage pedestrian and vehicle flows at intersections, systems are implemented that use adaptive traffic light models, adjusting time intervals based on the volume of pedestrians and vehicles. These systems include video cameras that monitor road user movements, enhancing real-time traffic control. This paper introduces an information and analytical system for managing transport and pedestrian flows using the YOLO neural model, which enables object recognition. The system performs several operations: converting the original image to gray scale, applying Gaussian blurring, detecting object boundaries through the Canny filter and fuzzy logic for edge detection, and contour processing, where each identified contour is assigned a unique number. The neural network then compares detected contours to the training sample data, determining whether the object is a person or a vehicle. The paper presents experimental results for these algorithms in object recognition. Modified software and images of intersections with pedestrian crossings captured from street video cameras in Kursk were used in the experiments. The recognition accuracy rate from the experiments was 72.4%.
Толық мәтін
Введение
Задачи идентификации объектов рассматриваются в различных предметных областях (ПрО): медицина [1], авиация [2], дистанционное зондирование Земли [3], дорожное движение [4, 5]. С целью выявления нарушений правил дорожного движения, фиксирования дорожно-транспортных происшествий, поиска автотранспортных средств или установления местоположения человека может использоваться информация о распознавании лиц участников дорожного движения [6], номерных знаков [7], а также автомобилей и пешеходов.
В данной работе рассматривается распознавание автомобилей и пешеходов с целью управления их потоками. В [8] предложена система управления светофором, которая в зависимости от количества участников движения, находящихся на пешеходном переходе, на основе нечётких правил регулирует время работы зелёных и красных сигналов светофора. Разработано специализированное программное обеспечение (СПО) «Программа для регулирования светофора на основе нечёткой логики» [9], алгоритм работы которого модифицирован в данной работе.
Существуют отрытые решения типа OpenCV (Open Computer Vision Library, библиотека алгоритмов компьютерного зрения, обработки изображений и алгоритмов общего назначения), которые позволяют решать подобные задачи. Наиболее распространённым из этих библиотек является нейронная сеть (НС) YOLO (от англ. You Only Look Once), которая способна детектировать объекты в режиме реального времени [10, 11]. Другими известными моделями машинного обучения, используемыми для детектирования объектов, являются конволюционные НС [12, 13].
Алгоритмы на основе глубоких и рекуррентных НС могут улучшить детектирование пешеходов, особенно в сложных условиях, таких как плохое освещение или интенсивное движение [14]. Методы ансамблевого обучения используются для улучшения точности детектирования путём объединения результатов нескольких моделей [15]. Комбинированные модели создаются путём соединения различных методов компьютерного зрения, с помощью которых строятся гиперплоскости в n-мерном пространстве с целью разделения объектов, относящихся к разным классам [16]. Общим недостатком данных моделей является использования фильтра Канни [17] для выделения контуров на изображении. В работе [18] показано, что данный детектор плохо реагирует на градиент изменения выпуклой и вогнутой формы.
В данной работе используется модифицированный алгоритм нечётко-логического метода выделения контуров объектов, реализованный на первом уровне двухуровневой информационно-аналитической системы управления транспортным потоком (ДИАСУТП), позволяющий детектировать участников дорожного движения с целью расчёта времени задержек сигналов светофоров на перекрёстке.
1 Методическая основа ДИАСУТП
1.1 Онтология предметной области
Структура вычислительных процессов детектирования объектов в ДИАСУТП, позволяющей распознать объекты на перекрёстке в режиме реального времени представлена на рисунке 2. Система состоит из двух уровней: детекция числа автомобилей и пешеходов; расчёт времени задержки сигналов светофора. Первый уровень содержит следующие вычислительные процессы: преобразование исходного изображения в градации серого; размытие изображения по Гауссу; детектирование границ объектов с помощью алгоритма Канни или нечётко-логического метода детектирования контуров объектов [18]; выявление необходимых объектов по выделенным признакам с помощью алгоритма YOLO; принятие решений об итоговом количестве автомобилей и пешеходов.
Рисунок 1 – Фрагмент онтологии управления транспортным потоком (ТС – транспортное средство)
Рисунок 2 – Структура вычислительных процессов в двухуровневой информационно-аналитической системе управления транспортным потоком
Второй уровень ДИАСУТП содержит пять этапов: определение чётких входных переменных; фаззификация значений входных переменных; выборка решений на основе нечётких правил; дефаззификация значений; определение времени задержки сигналов светофора. Подробно данный уровень описан в работах [8, 9].
Таблица 1 – Фрагмент спецификации понятий онтологической модели управления транспортным потоком
Table 1 – Specification of concepts in the ontological model for traffic flow management
Понятия | Атрибуты | Отношения с атрибутами |
Сбор данных | Данные о пешеходном переходе, поведение транспорта и пешеходов, вид дорожных условий | ДИАСУТП |
Свойства и отношения | Детектирование объектов на пешеходном переходе и определение данных о их перемещении | ДИАСУТП |
Создание прототипа | База данных и классификация объектов на основе машинного обучения и нейронных сетей | ДИАСУТП |
Применение алгоритмов | Использование специализированных устройств для анализа данных на пешеходном переходе, применение нейронных сетей для классификации объектов на пешеходном переходе | ДИАСУТП |
Тестирование | Анализ данных о работе ДИАСУТП | Применение алгоритмов |
Верификация | Оценка точности работы ДИАСУТП | Применение алгоритмов |
Пешеход | Скорость, направление движения, возраст | Свойства и отношения |
Транспорт | Скорость, тип, направление движения | Свойства и отношения |
Пешеходный переход | Тип, расположение | Свойства и отношения |
Направление движения | Находится на…, приближается к… | Свойства и отношения |
1.2 Преобразование в градации серого цвета
На начальном этапе работы ДИАСУТП происходит получение исходного изображения, полученного с видеокамеры. На втором этапе осуществляется преобразование исходного изображения в формате RGB в градации серого. Для этой цели требуется рассчитать значение интенсивности каждого отдельного пикселя, используя формулу [19]:
где Ix,y – интенсивность яркости градации серого в пикселе (Ix,y Î[0, 255]) на изображении с координатами вдоль оси абсцисс (x=1…w) и вдоль оси ординат (y=1…h); w – ширина изображения в пикселях; h – высота изображения в пикселях; R – значение интенсивности красного цвета в пикселе; G – значение интенсивности зелёного цвета в пикселе; B – значение интенсивности синего цвета в пикселе.
Преобразованное изображение подаётся на третий блок 1.3 первого уровня ДИАСУТП (рисунок 2), где происходит размытие по Гауссу.
1.3 Размытие изображения по Гауссу
Третий этап работы ДИАСУТП позволяет уменьшить влияние шума на изображение. Сглаживание полутонового изображения происходит с помощью поэлементного умножения матриц Ix,y и Гаусса с размером окна 5×5.
1.4 Детекторы границ объектов
1.4.1 Детектор Канни
Алгоритм Канни используется для обнаружения границ искомых объектов на изображении [17]. Недостаток алгоритма Канни заключается в том, что он распознаёт только линейные области изображения. Это связано с тем, что в данном методе анализируется рамка на изображении с размером окна 3×3. Поэтому целесообразно использовать нечётко-логический метод детектирования границ объектов [18], который позволяет распознавать вогнуто-выпуклую форму объектов благодаря анализу рамки в окне с размером 5×5.
1.4.2 Нечётко-логический метод детектирования границ объектов
Нечётко-логический метод основан на модификации детектора Канни и использовании нечётких правил для определения градиента границ. Вычисления, соответствующие алгоритму Канни, повторяются до этапа определения угла направления градиента яркости. Далее осуществляется фаззификация входных переменных, которыми являются разности градиентов между центральной и смежными ячейками, и формирование базы нечётких правил [20]. Сформированная база состоит из четырёх или шестнадцати нечётких правил в зависимости от выбранной модификации рассматриваемого метода. Дефаззификация чёткого значения выполняется при помощи метода центра тяжести. С помощью нечётких α-срезов производится бинаризация полученного изображения и выделение границ объектов на нём. В отличие от детектора Канни данный метод реагирует на различные изменения градиента относительно центральной ячейки, что позволяет распознавать вогнутые и выпуклые формы объектов. Использование описанного метода позволяет повысить производительность вычислительных операций во время распознавания границ объектов посредством сокращения числа проходов по исходному изображению.
В процессе обработки изображений после операции детектирования границ осуществляется распознавание контуров. Изображения контуров подаются на вход НС. Для выделения контуров используется алгоритм Suzuki-Abe [21].
1.5 Алгоритм YOLO
Назначение алгоритма YOLO – распознать класс объекта и выделить его ограничивающей рамкой на финальном изображении. По завершении работы алгоритма выходное изображение содержит объекты, выделенные рамкой.
Ограничением точности предлагаемого метода является ухудшение погодных условий, например, возникновение тумана или метели, во время которых видеокамеры не могут передать качественное изображение из-за изменения интенсивности света. В таких случаях могут возникать погрешности распознавания объектов.
1.6 Циклограмма формирования управляющего сигнала
Циклограмма работы для двух светофоров включает четыре режима регулирования, два из которых являются основными и два промежуточными. В первом режиме предполагается, что на Светофоре_1 включается красный свет, а на Светофоре_2 – зелёный свет. Второй режим является промежуточным перед сменой сигналов устройства. При этом к лампам, горящим в режиме 1, добавляется лампа с мигающим жёлтым светом. Происходит пять коротких включений сигнала жёлтого света, после чего устройства переходят в третий режим, который полностью противоположен первому. В четвёртом режиме происходит переход на режим 1, после чего цикл повторяется. Циклограмма работы двух светофоров сведена в таблицу 2.
Таблица 2 – Циклограмма работы светофоров
Table 2 – Traffic light operation cyclogram
Светофор | Светофор_1 | Светофор_2 | |||||
Режим | Цвет лампы | красный | жёлтый | зелёный | зелёный | жёлтый | красный |
1 |
| 1 | 0 | 0 | 1 | 0 | 0 |
Время свечения | tрег = tmin + tdelay | ||||||
2 |
| 1 | 1/0 10 тактов | 0 | 1 | 1/0 10 тактов | 0 |
Время мигания | tyellow (10 тактов мигания за 2 с) | ||||||
3 |
| 0 | 0 | 1 | 0 | 0 | 1 |
Время свечения | tрег = tmin + tdelay | ||||||
4 |
| 0 | 1/0 10 тактов | 1 | 0 | 1/0 10 тактов | 1 |
Время мигания | tyellow (10 тактов мигания за 2 с) | ||||||
Расчёт времени работы первого и третьего режимов светофоров осуществляется по формуле: tрег=tmin+tdelay, где tmin – минимальное время задержки управляющего сигнала светофора; tdelay – время задержки управляющего сигнала. Переменная tdelay определяется на выходе второго уровня ДИАСУТП, детальный расчёт представлен в работах [8, 9]. Переменная tmin является настраиваемым параметром (по умолчанию tmin=10 с) и используется для работы светофора в ситуации, когда время задержки tdelay равно нулю. Время полного цикл работы светофора, состоящего из четырёх режимов, определяется по формуле: tц=tрег+tyellow+tрег+tyellow=2 (tрег+tyellow), где tyellow – время задержки жёлтого сигнала светофора (настраиваемый параметр, по умолчанию tyellow=2 с).
2 Экспериментальные исследования
По представленному алгоритму создано модифицированное СПО на языке C# в среде Microsoft Visual Studio 2022. На вход СПО подаются изображения с видеокамер, выходными данными являются обработанные изображения, на которых детектируемый объект выделен рамкой. Для экспериментальных исследований были взяты изображения с видеокамер, установленных на перекрёстках города Курска (пересечение ул. Карла Маркса и ул. Хуторской (см. рисунок 3), площадь Перекальского (см. рисунок 4).
Рисунок 3 – Результаты первого экспериментального исследования: а) исходное изображение; б) преобразованное в градации серого и размытое по Гауссу изображение; в) детектированные границы объектов; г) результирующее изображение с распознанными объектами (выделены рамками)
Рисунок 4 – Результаты второго экспериментального исследования: а) исходное изображение; б) преобразованное в градации серого и размытое по Гауссу изображение; в) детектированные границы объектов; г) результирующее изображение с распознанными объектами (выделены рамками)
Экспериментальные исследования показали хорошие результаты работы ДИАУСТП, что видно на результирующих изображениях, на которых обнаруженные объекты выделены рамкой. Однако выявлены некоторые погрешности распознавания, например, при частичной видимости объекта НС YOLO не распознаёт его наличие. В этих случаях распознавание осуществлялось визуально. Для этого каждый кадр из видеопоследовательности, на котором рамками были выделены распознанные объекты, сохранялся в базе данных и оценивался вручную. В ходе этого эксперимента на каждом кадре визуально оценивалось количество правильно и неправильно распознанных объектов, а также оценивалось, пропущен объект или нет. Результаты экспериментов сведены в таблицу 3.
Таблица 3 – Результаты экспериментальных исследований
Table 3 – Results of experimental studies
Эксперимент | Объекты | Всего | Кол-во верно обнаруженных объектов, TP | Кол-во ложно обнаруженных объектов, FP | Кол-во пропущенных объектов, FN |
1 | Пешеходы | 3 | 2 | 0 | 1 |
Автомобили | 4 | 4 | 1 | 0 | |
2 | Пешеходы | 10 | 7 | 1 | 3 |
Автомобили | 10 | 8 | 0 | 2 | |
Итого | 27 | 21 | 2 | 6 | |
Точность распознавания объектов на изображениях в экспериментах вычисляется по формуле
где TP – количество верно обнаруженных объектов; FP – количество ложно обнаруженных объектов; FN – количество пропущенных объектов.
Согласно значениям из таблицы 3 точность составляет 72,4%.
Заключение
В данной работе представлена ДИАСУТП, позволяющая распознавать автомобили и пешеходов на перекрёстке в режиме реального времени для решения задачи регулирования городского потока. Для экспериментальных исследований использовалось модифицированное СПО и изображения перекрёстков с пешеходными переходами, взятые с видеокамер, установленных на улицах города Курска. Результаты экспериментов показали работоспособность предложенного алгоритма детектирования объектов.
Авторлар туралы
Maxim Bobyr
Southwest State University
Хат алмасуға жауапты Автор.
Email: fregat_mn@rambler.ru
ORCID iD: 0000-0002-5400-6817
Scopus Author ID: 57191724301
ResearcherId: G-2604-2013
Doctor of Technical Sciences, Professor at the Department of Software Engineering, Chairman of the first dissertation Council of Southwestern State University in Russia in the specialty "Cognitive modeling" (technical sciences)
Ресей, KurskNatalia Khrapova
Southwest State University
Email: KhrapovaNI@yandex.ru
ORCID iD: 0000-0001-7947-1427
ResearcherId: KFT-1075-2024
postgraduate student of the Department of Software Engineering
Ресей, KurskӘдебиет тізімі
- Soynikova ES, Batishchev DS, Mikhelev VM. On the recognition of shaped blood objects based on medical imag-es [In Russian]. Scientific result. Information technology. 2018; 3: 54-65. doi: 10.18413/2518-1092-2018-3-3-0-7.
- Yakovlev EL. A model for estimating the computational complexity of intelligent object recognition in images on board unmanned aerial vehicles [In Russian]. Intelligent technologies in transport. 2018; 3(15): 27-32.
- Shoshina KV, Aleshko RA, Berezovsky VV., Vasendina IS., Shoshin AS., Guryev AT. Thematic interpretation of aerial photographs of forest areas based on conceptual modeling [In Russian]. Ontology of designing. 2023; 3(49): 437-454. doi: 10.18287/2223-9537-2023-13-3-437-454.
- Morev KI, Tselykh AN. A system for analyzing car traffic at an object (in logistics) based on image recognition from a video surveillance camera [In Russian]. Almanac of Modern Science and Education. 2017; 2(116): 93-96.
- Kopeikin RE, Glazkov VV, Pasheva TA. Comparative characteristics of image recognition methods for the task of recognizing road signs [In Russian]. Scientific and Technical Bulletin of the Volga region. 2023; 3: 63-67.
- Kolodenkova AE. Ontology of human identification by body movements and face in video surveillance [In Rus-sian]. Ontology of designing. 2023; 1(47): 55-74. doi: 10.18287/2223-9537-2023-13-1-55-74.
- Ubozhenko NV. Analysis of the effectiveness of character recognition methods within the framework of the task of recognizing a vehicle license plate [In Russian]. Prospects for the development of information technology. 2013; 12: 41-45.
- Bobyr MV, Khrapova NI, Lamonov MA. Intelligent traffic light control system based on fuzzy logic [In Russian]. Izvestiya Yugo-Zapadnogo gosudarstvennogo universiteta. 2021; 4: 162-176. doi: 10.21869/2223-1560-2021-25-4-162-176.
- Certificate of state registration of a computer program No. 2021661796 [In Russian]. Bobyr MV, Milostnaya NA, Khrapova NI. [et al.]. Application No. 2021660730. Date of receipt 08.07.2021. It was registered in the Register of Computer Programs on 07.15.2021.
- Astapova MA, Uzdyaev MY. Detection of defects in faulty elements of power lines using neural networks of the YOLO family [In Russian]. Modeling, optimization and information technology. 2021; 4(35). doi: 10.26102/2310-6018/2021.35.4.035.
- Nikitin DV, Taranenko IS, Kataev AV. Detection of road signs based on the YOLO neural network model [In Russian]. Engineering Bulletin of the Don. 2023; 7(103): 91-99.
- Chuikov RY, Yudin DA. Detection of vehicles on images of suburban highways based on the Single shot multibox Detector method [In Russian]. Scientific result. Information technology. 2017; 2(4): 50-58. doi: 10.18413/2518-1092-2017-2-4-50-58.
- Yaskelainen YS, Khakimov AA, Muthanna MSA, Muthanna ASA, Kirichek RV. Development of a pedestrian recognition system in real time for its application in the concept of a smart city [In Russian]. Information tech-nologies and telecommunications. 2018; 6(3): 123-136.
- Lysanov MK, Sai SV. Recognition of traffic objects using a deep neural network [In Russian]. Information tech-nologies of the XXI century. 2019. P. 263-268.
- Hossain A, Sun X, Das S, Jafari M, Codjoe J. Investigating older driver crashes on high-speed roadway seg-ments: a hybrid approach with extreme gradient boosting and random parameter model. Transportmetrica A Transport Science, 2024. doi: 10.1080/23249935.2024.2362362.
- Bobyr MV, Milostnaya NA, Khrapova NI. On the approach to detecting pedestrian movement using the method of histograms of directed gradients[In Russian]. Electronic libraries. 2024; 27(4): 429-447. doi: 10.26907/1562-5419-2024-27-4-429-447.
- Canny JA. computational approach to edge detection. IEEE Trans Pattern Anal Mach Intell, 1986, № 8(6), p. 679–98. doi: 10.1109/TPAMI.1986.4767851.
- Bobyr MV, Arkhipov AE, Gorbachev SV, Cao Ts Bhattacharya SB. Fuzzy logic methods in the problem of detect-ing object boundaries [In Russian]. Informatics and Automation. 2022; 21(2): 376-404. doi: 10.15622/ia.21.2.6.
- Sala FA. Design of false color palettes for grayscale reproduction. Displays, 2017; 46: 9-15.
- Kolodenkova AE, Vereshchagina SS, Favorskaya EA, Osipova EA. An approach to assessing the technical con-dition of electrical equipment using weighted fuzzy rules [In Russian]. Ontology of designing. 2024; 1(51): 134-144. doi: 10.18287/2223-9537-2024-14-1-134-144.
- Suzuki S, Keiichi A. Topological structural analysis of digitized binary images by border following. Comput. Vis. Graph. Image Process. 1985; 30: 32-46.
Қосымша файлдар
