Enhanced People Re-identification in CCTV Surveillance Using Deep Learning: A Framework for Real-World Applications

Cover Page

Cite item

Full Text

Abstract

People re-identification (ReID) plays a pivotal role in modern surveillance, enabling continuous tracking of individuals across various CCTV cameras and enhancing the effectiveness of public security systems. However, ReID in real-world CCTV footage presents challenges, including changes in camera angles, variations in lighting, partial occlusions, and similar appearances among individuals. In this paper, we propose a robust deep learning framework that leverages convolutional neural networks (CNNs) with a customized triplet loss function to overcome these obstacles and improve re-identification accuracy. The framework is designed to generate unique feature embeddings for individuals, allowing precise differentiation even under complex environmental conditions. To validate our approach, we perform extensive evaluations on benchmark ReID datasets, achieving state-of-the-art results in terms of both accuracy and processing speed. Our model's performance is assessed using key metrics, including Cumulative Matching Characteristic (CMC) and mean Average Precision (mAP), demonstrating its robustness in diverse surveillance scenarios. Compared to existing methods, our approach consistently outperforms in both accuracy and scalability, making it suitable for integration into large-scale CCTV systems. Furthermore, we discuss practical considerations for deploying AI-based ReID models in surveillance infrastructure, including system scalability, real-time capabilities, and privacy concerns. By advancing techniques for re-identifying people, this work not only contributes to the field of intelligent surveillance but also provides a framework for enhancing public safety in real-world applications through automated and reliable tracking capabilities.

About the authors

M. Idrissi Alami

Mohammed V University in Rabat

Author for correspondence.
Email: mossaab_idrissialami@um5.ac.ma
United Nations Avenue, Agdal -

A. Ez-zahout

Mohammed V University in Rabat

Email: a.ezzahout@um5r.ac.ma
United Nations Avenue, Agdal -

F. Omary

Mohammed V University in Rabat

Email: f.omary@um5r.ac.ma
United Nations Avenue, Agdal -

References

  1. Ye M., Shen J., Lin G., Xiang T., Shao L., Hoi S.C.H. Deep Learning for Person Re-identification: A Survey and Outlook. 2021. arXiv preprint arXiv:2001.04193. doi: 10.48550/arXiv.2001.04193.
  2. Guo J., Yuan Y., Huang L., Zhang C., Yao J.-G., Han K. Beyond Human Parts: Dual Part-Aligned Representations for Person Re-Identification. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). IEEE, 2019. pp. 3641–3650. doi: 10.1109/ICCV.2019.00374.
  3. Liao W., Yang M.Y., Zhan N., Rosenhahn B. Triplet-Based Deep Similarity Learning for Person Re-Identification. Proceedings of the IEEE International Conference on Computer Vision Workshops (ICCVW). IEEE, 2017. pp. 385–393. doi: 10.1109/ICCVW.2017.52.
  4. Chen Y., Zhu X., Gong S. Person Re-identification by Deep Learning Multi-scale Representations. Proceedings of the IEEE International Conference on Computer Vision Workshops (ICCVW). IEEE, 2017. pp. 2590–2600. doi: 10.1109/ICCVW.2017.304.
  5. Aldoseri A., Al-Khalifa K.N., Hamouda A.M. AI-Powered Innovation in Digital Transformation: Key Pillars and Industry Impact. Sustainability. 2024. vol. 16. no. 5. doi: 10.3390/su16051790.
  6. Ming Z., Zhu M., Wang X., Zhu J., Cheng J., Gao C., Yang Y., Wei X. Deep learning-based person re-identification methods: A survey and outlook of recent works. 2022. arXiv preprint arXiv:2110.04764.
  7. Chen H., Wang Y., Lagadec B., Dantcheva A., Bremond F. Learning Invariance from Generated Variance for Unsupervised Person Re-identification. 2023. arXiv preprint arXiv:2301.00725.
  8. Xu J., Zhao R., Zhu F., Wang H., Ouyang W. Attention-Aware Compositional Network for Person Re-identification. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE, 2018. pp. 2119–2128. doi: 10.1109/CVPR.2018.00226.
  9. Tene O. Privacy: The new generations. International Data Privacy Law. 2011. vol. 1. no. 1. pp. 15–27. doi: 10.1093/idpl/ipq003.
  10. Zheng L., Shen L., Tian L., Wang S., Wang J., Tian Q. Scalable Person Re-identification: A Benchmark. Proceedings of the IEEE International Conference on Computer Vision (ICCV). IEEE, 2015. pp. 1116–1124. doi: 10.1109/ICCV.2015.133.
  11. Ristani E., Solera F., Zou R.S., Cucchiara R., Tomasi C. Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking. 2016. arXiv preprint arXiv:1609.01775.
  12. Uc-Cetina V., Alvarez-Gonzalez L., Martin-Gonzalez A. A Review on Generative Adversarial Networks for Data Augmentation in Person Re-Identification Systems. 2023. arXiv preprint arXiv:2302.09119.
  13. Zhang L., Jiang N., Diao Q., Zhou Z., Wu W. Person Re-identification with pose variation aware data augmentation. Neural Computing and Applications. 2022. vol. 34. pp. 11817–11830. doi: 10.1007/s00521-022-07071-1.
  14. Li Y., Zhang T., Duan L., Xu C. A Unified Generative Adversarial Framework for Image Generation and Person Re-identification. Proceedings of the 26th ACM international conference on Multimedia. Seoul Republic of Korea: ACM, 2018. pp. 163–172. doi: 10.1145/3240508.3240573.
  15. Liu Z., Mu X., Lu Y., Zhang T., Tian Y. Learning transformer-based attention region with multiple scales for occluded person re-identification. Computer Vision and Image Understanding. 2023. vol. 229. doi: 10.1016/j.cviu.2023.103652.
  16. Wang T., Liu H., Song P., Guo T., Shi W. Pose-Guided Feature Disentangling for Occluded Person Re-identification Based on Transformer. Proceedings of the AAAI Conference on Artificial Intelligence. 2022. vol. 36. no. 3. pp. 2540–2549. doi: 10.1609/aaai.v36i3.20155.
  17. Ghosh A., Shanmugalingam K., Lin W.-Y. Relation Preserving Triplet Mining for Stabilising the Triplet Loss in Re-identification Systems. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Waikoloa, HI, USA: IEEE. 2023. pp. 4829–4838. doi: 10.1109/WACV56688.2023.00482.
  18. Cheng D., Zhou J., Wang N., Gao X. Hybrid Dynamic Contrast and Probability Distillation for Unsupervised Person Re-Id. 2021. arXiv preprint arXiv:2109.14157.
  19. Tang Z., Huang J. Harmonious Multi-branch Network for Person Re-identification with Harder Triplet Loss. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM). vol. 18. no. 4. pp. 1–21. 2022. doi: 10.1145/3501405.
  20. Li J., Yang X. A Cyclical Learning Rate Method in Deep Learning Training. Proceedings of the International Conference on Computer, Information and Telecommunication Systems (CITS). IEEE, 2020. pp. 1–5. doi: 10.1109/CITS49457.2020.9232482.
  21. Xiao T., Li H., Ouyang W., Wang X. Learning Deep Feature Representations with Domain Guided Dropout for Person Re-identification. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016. pp. 1249–1258. doi: 10.1109/CVPR.2016.140.
  22. Shi J., et al. Dual Pseudo-Labels Interactive Self-Training for Semi-Supervised Visible-Infrared Person Re-Identification. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). IEEE. 2023. pp. 11184–11194. doi: 10.1109/ICCV51070.2023.01030.
  23. Borlinghaus P., Tausch F., Rettenberger L. A Purely Visual Re-ID Approach for Bumblebees (Bombus terrestris). Smart Agricultural Technology. 2023. vol. 3. doi: 10.1016/j.atech.2022.100135.
  24. Gorlo N., Blomqvist K., Milano F., Siegwart R. ISAR: A Benchmark for Single- and Few-Shot Object Instance Segmentation and Re-Identification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). IEEE, 2024. pp. 4372–4384. doi: 10.1109/WACV57701.2024.00433.
  25. Ahmad S., Scarpellini G., Morerio P., Bue A.D. Event-driven Re-Id: A New Benchmark and Method Towards Privacy-Preserving Person Re-Identification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision Workshops (WACVW). IEEE, 2022. pp. 459–468. doi: 10.1109/WACVW54805.2022.00052.
  26. Maximov M., Meinhardt T., Elezi I., Papakipos Z., Hazirbas C., Ferrer C.C., Leal-Taixé L. Data-Driven but Privacy-Conscious: Pedestrian Dataset De-identification via Full-Body Person Synthesis. 2023. arXiv preprint arXiv:2306.11710.
  27. Hermans A., Beyer L., Leibe B. In Defense of the Triplet Loss for Person Re-Identification. 2017. arXiv preprint arXiv:1703.07737.
  28. Li D., Chen X., Zhang Z., Huang K. Learning Deep Context-Aware Features over Body and Latent Parts for Person Re-identification. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017. pp. 7398–7407. doi: 10.1109/CVPR.2017.782.
  29. Luo H., Wang P., Xu Y., Ding F., Zhou Y., Wang F., Li H., Jin R. Self-Supervised Pre-Training for Transformer-Based Person Re-Identification. 2021. arXiv preprint arXiv:2111.12084.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».