Улучшенная повторная идентификация людей в системах видеонаблюдения с использованием глубокого обучения: структура для реальных приложений

Обложка

Цитировать

Полный текст

Аннотация

Повторная идентификация людей (ReID) играет ключевую роль в современном видеонаблюдении, обеспечивая непрерывное отслеживание людей по различным камерам видеонаблюдения и повышая эффективность систем общественной безопасности. Однако повторная идентификация людей на реальных записях камер видеонаблюдения сопряжена с определенными трудностями, включая изменения углов обзора камеры, вариации освещения, частичные окклюзии и схожий внешний вид людей. В этой статье мы предлагаем надежную структуру глубокого обучения, которая использует сверточные нейронные сети (CNNs) с настраиваемой функцией потери триплетов для преодоления этих препятствий и повышения точности повторной идентификации. Система разработана таким образом, чтобы генерировать уникальные векторные представления признаков для отдельных людей, что позволяет точно различать их даже в сложных условиях окружающей среды. Чтобы подтвердить правильность нашего подхода, мы проводим обширные оценки на эталонных наборах данных ReID, достигая передовых результатов как по точности, так и по скорости обработки. Эффективность нашей модели оценивается с использованием ключевых метрик, включая кумулятивную характеристику соответствия (CMC) и среднюю точность (mAP), что демонстрирует ее надежность в различных сценариях наблюдения. По сравнению с существующими методами, наш подход неизменно превосходит их как по точности, так и по масштабируемости, что делает его пригодным для интеграции в крупномасштабные системы видеонаблюдения. Кроме того, мы обсуждаем практические аспекты по внедрению моделей ReID на основе ИИ в инфраструктуру видеонаблюдения, включая масштабируемость системы, возможности работы в режиме реального времени и вопросы конфиденциальности. Совершенствуя методы повторной идентификации людей, эта работа не только вносит вклад в область интеллектуального наблюдения, но и обеспечивает основу для повышения общественной безопасности в реальных приложениях с помощью автоматизированных и надежных возможностей отслеживания.

Об авторах

М. Идрисси Алами

Рабатский Университет Мохаммеда V

Автор, ответственный за переписку.
Email: mossaab_idrissialami@um5.ac.ma
Проспект Организации Объединенных Наций, Агдаль -

А. Эз-захут

Рабатский Университет Мохаммеда V

Email: a.ezzahout@um5r.ac.ma
Проспект Организации Объединенных Наций, Агдаль -

Ф. Омари

Рабатский Университет Мохаммеда V

Email: f.omary@um5r.ac.ma
Проспект Организации Объединенных Наций, Агдаль -

Список литературы

  1. Ye M., Shen J., Lin G., Xiang T., Shao L., Hoi S.C.H. Deep Learning for Person Re-identification: A Survey and Outlook. 2021. arXiv preprint arXiv:2001.04193. doi: 10.48550/arXiv.2001.04193.
  2. Guo J., Yuan Y., Huang L., Zhang C., Yao J.-G., Han K. Beyond Human Parts: Dual Part-Aligned Representations for Person Re-Identification. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). IEEE, 2019. pp. 3641–3650. doi: 10.1109/ICCV.2019.00374.
  3. Liao W., Yang M.Y., Zhan N., Rosenhahn B. Triplet-Based Deep Similarity Learning for Person Re-Identification. Proceedings of the IEEE International Conference on Computer Vision Workshops (ICCVW). IEEE, 2017. pp. 385–393. doi: 10.1109/ICCVW.2017.52.
  4. Chen Y., Zhu X., Gong S. Person Re-identification by Deep Learning Multi-scale Representations. Proceedings of the IEEE International Conference on Computer Vision Workshops (ICCVW). IEEE, 2017. pp. 2590–2600. doi: 10.1109/ICCVW.2017.304.
  5. Aldoseri A., Al-Khalifa K.N., Hamouda A.M. AI-Powered Innovation in Digital Transformation: Key Pillars and Industry Impact. Sustainability. 2024. vol. 16. no. 5. doi: 10.3390/su16051790.
  6. Ming Z., Zhu M., Wang X., Zhu J., Cheng J., Gao C., Yang Y., Wei X. Deep learning-based person re-identification methods: A survey and outlook of recent works. 2022. arXiv preprint arXiv:2110.04764.
  7. Chen H., Wang Y., Lagadec B., Dantcheva A., Bremond F. Learning Invariance from Generated Variance for Unsupervised Person Re-identification. 2023. arXiv preprint arXiv:2301.00725.
  8. Xu J., Zhao R., Zhu F., Wang H., Ouyang W. Attention-Aware Compositional Network for Person Re-identification. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE, 2018. pp. 2119–2128. doi: 10.1109/CVPR.2018.00226.
  9. Tene O. Privacy: The new generations. International Data Privacy Law. 2011. vol. 1. no. 1. pp. 15–27. doi: 10.1093/idpl/ipq003.
  10. Zheng L., Shen L., Tian L., Wang S., Wang J., Tian Q. Scalable Person Re-identification: A Benchmark. Proceedings of the IEEE International Conference on Computer Vision (ICCV). IEEE, 2015. pp. 1116–1124. doi: 10.1109/ICCV.2015.133.
  11. Ristani E., Solera F., Zou R.S., Cucchiara R., Tomasi C. Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking. 2016. arXiv preprint arXiv:1609.01775.
  12. Uc-Cetina V., Alvarez-Gonzalez L., Martin-Gonzalez A. A Review on Generative Adversarial Networks for Data Augmentation in Person Re-Identification Systems. 2023. arXiv preprint arXiv:2302.09119.
  13. Zhang L., Jiang N., Diao Q., Zhou Z., Wu W. Person Re-identification with pose variation aware data augmentation. Neural Computing and Applications. 2022. vol. 34. pp. 11817–11830. doi: 10.1007/s00521-022-07071-1.
  14. Li Y., Zhang T., Duan L., Xu C. A Unified Generative Adversarial Framework for Image Generation and Person Re-identification. Proceedings of the 26th ACM international conference on Multimedia. Seoul Republic of Korea: ACM, 2018. pp. 163–172. doi: 10.1145/3240508.3240573.
  15. Liu Z., Mu X., Lu Y., Zhang T., Tian Y. Learning transformer-based attention region with multiple scales for occluded person re-identification. Computer Vision and Image Understanding. 2023. vol. 229. doi: 10.1016/j.cviu.2023.103652.
  16. Wang T., Liu H., Song P., Guo T., Shi W. Pose-Guided Feature Disentangling for Occluded Person Re-identification Based on Transformer. Proceedings of the AAAI Conference on Artificial Intelligence. 2022. vol. 36. no. 3. pp. 2540–2549. doi: 10.1609/aaai.v36i3.20155.
  17. Ghosh A., Shanmugalingam K., Lin W.-Y. Relation Preserving Triplet Mining for Stabilising the Triplet Loss in Re-identification Systems. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Waikoloa, HI, USA: IEEE. 2023. pp. 4829–4838. doi: 10.1109/WACV56688.2023.00482.
  18. Cheng D., Zhou J., Wang N., Gao X. Hybrid Dynamic Contrast and Probability Distillation for Unsupervised Person Re-Id. 2021. arXiv preprint arXiv:2109.14157.
  19. Tang Z., Huang J. Harmonious Multi-branch Network for Person Re-identification with Harder Triplet Loss. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM). vol. 18. no. 4. pp. 1–21. 2022. doi: 10.1145/3501405.
  20. Li J., Yang X. A Cyclical Learning Rate Method in Deep Learning Training. Proceedings of the International Conference on Computer, Information and Telecommunication Systems (CITS). IEEE, 2020. pp. 1–5. doi: 10.1109/CITS49457.2020.9232482.
  21. Xiao T., Li H., Ouyang W., Wang X. Learning Deep Feature Representations with Domain Guided Dropout for Person Re-identification. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016. pp. 1249–1258. doi: 10.1109/CVPR.2016.140.
  22. Shi J., et al. Dual Pseudo-Labels Interactive Self-Training for Semi-Supervised Visible-Infrared Person Re-Identification. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). IEEE. 2023. pp. 11184–11194. doi: 10.1109/ICCV51070.2023.01030.
  23. Borlinghaus P., Tausch F., Rettenberger L. A Purely Visual Re-ID Approach for Bumblebees (Bombus terrestris). Smart Agricultural Technology. 2023. vol. 3. doi: 10.1016/j.atech.2022.100135.
  24. Gorlo N., Blomqvist K., Milano F., Siegwart R. ISAR: A Benchmark for Single- and Few-Shot Object Instance Segmentation and Re-Identification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). IEEE, 2024. pp. 4372–4384. doi: 10.1109/WACV57701.2024.00433.
  25. Ahmad S., Scarpellini G., Morerio P., Bue A.D. Event-driven Re-Id: A New Benchmark and Method Towards Privacy-Preserving Person Re-Identification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision Workshops (WACVW). IEEE, 2022. pp. 459–468. doi: 10.1109/WACVW54805.2022.00052.
  26. Maximov M., Meinhardt T., Elezi I., Papakipos Z., Hazirbas C., Ferrer C.C., Leal-Taixé L. Data-Driven but Privacy-Conscious: Pedestrian Dataset De-identification via Full-Body Person Synthesis. 2023. arXiv preprint arXiv:2306.11710.
  27. Hermans A., Beyer L., Leibe B. In Defense of the Triplet Loss for Person Re-Identification. 2017. arXiv preprint arXiv:1703.07737.
  28. Li D., Chen X., Zhang Z., Huang K. Learning Deep Context-Aware Features over Body and Latent Parts for Person Re-identification. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017. pp. 7398–7407. doi: 10.1109/CVPR.2017.782.
  29. Luo H., Wang P., Xu Y., Ding F., Zhou Y., Wang F., Li H., Jin R. Self-Supervised Pre-Training for Transformer-Based Person Re-Identification. 2021. arXiv preprint arXiv:2111.12084.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».