Cascade Classifier for the Detection and Identification of Birds in a Videostream

Cover Page

Cite item

Full Text

Abstract

A method and a prototype of the program for detecting the presence of birds in the video data flow in real time are presented in the paper. The method is based on the cascade classifier solving the problem of bird detection and identification with the use of a bioacoustic bird scaring system deployed at the Tomsk airport. In our research, the Viola-Jones cascade classifier representing one of the implementations of the Haar cascade algorithm has been used. This algorithm allows objects to be detected in images and videos with high accuracy and rate. In this case, the classifier was leaned on the data set containing images of birds that allowed us to reach high accuracy of bird detection and identification in the videos. The possibilities of the developed classifier are also estimated, and its high productivity is shown. In this study, various methods of machine learning and video data analysis are used to obtain exact and reliable results. As a whole, the present work is an innovative approach to a solution to the urgent problem of airport protection from birds. The application of the developed method has allowed the operating efficiency of the bioacoustic bird scaring system to be increased together with the safety of flights at the Tomsk airport, thereby decreasing the probability of airplane collisions with birds. The novelty of the work consists of the application of the Viola–Jones method for solving the problem of bird detection and identification and estimating its efficiency. Thus, this work is an important contribution to the development of methods for detecting and identifying objects in videos and can also be used in other fields of science and technology in which the automatic detection and classification of objects in the video data flow is required.

About the authors

E. V Vlasov

Institute of Monitoring of Climatic and Ecological Systems SB RAS

Email: evvicvl@gmail.com
Akademicheskii Ave. 10/3

N. P Krasnenko

Institute of Monitoring of Climatic and Ecological Systems SB RAS

Email: krasnenko@imces.ru
Akademicheskii Ave. 10/3

References

  1. Рогачев А.И., Лебедев А.М. Орнитологическое обеспечение безопасности полетов // М.: изд-во «Транспорт». 1984. 126 с.
  2. Силаева О.Л., Ильичёв В.Д., Золотарев С.С. Основные направления авиационной орнитологии // Вестник Российского университета дружбы народов. Серия: Экология и безопасность жизнедеятельности. 2010. № 5. С. 10–14.
  3. Рыжов С.К. Столкновения с птицами. Актуальные аспекты // Труды общества независимых расследователей авиационных происшествий. Москва. 2013. № 25. С. 175–179.
  4. Desoky A.A.S. A review of bird control methods at airports // Global journal of science frontier research (E). 2014. vol. 14(2). pp. 40–50.
  5. Кухта А.Е., Большакова Н.П., Мацюра А.В. Концептуальные подходы к орнитологическому обеспечению безопасности полётов воздушных судов // Вестник Тувинского государственного университета. Естественные и сельскохозяйственные науки. 2017. № 2. С. 96–105.
  6. Официальный сайт Федерального агентства воздушного транспорта, Росавиация. Статистика столкновений с птицами и другими животными. URL: https://favt.gov.ru/dejatelnost-bezopasnost-poletov-stolknoveniya-ptici-stat/ (дата обращения: 21.05.2022).
  7. Официальный сайт Международной организации гражданской авиации, электронный бюллетень. Анализ столкновений с дикими животными (IBIS) за 2008–2015 годы. URL: https://www.icao.int/safety/IBIS/2008%20-%202015%20Wildlife%20Strike%20Analyses%20(IBIS)%20-%20RU.pdf (дата обращения: 19.04.2022 ).
  8. Официальный сайт Министерства транспорта Российской Федерации. Динамика статистических показателей воздушного транспорта Российской Федерации в области столкновений с птицами. URL: https://favt.gov.ru/dejatelnost-bezopasnost-poletov-stolknoveniya-ptici/ (дата обращения: 20.12.2021).
  9. Рогачев А.И., Ростовский В.А., Шергалин Е.Э. Руководство по орнитологическому обеспечению полётов в гражданской авиации (РООП ГА – 89) // Министерство гражданской авиации СССР. Москва: Воздушный транспорт, 1989. 32 с.
  10. Ильичёв В.Д., Силаева О.Л., Золотарёв С.С., Бирюков В.А., Нечваль Н.А., Якоби В.Э., Титков А.С. Защита самолётов и других объектов от птиц // М.: Товарищество науч. изд. КМК, 2007. 320 с.
  11. Мацюра А.В., Яковлев Р.В., Уланов П.Н. Обзор акустических средств для отпугивания птиц // Acta Biologica Sibirica. 2016. Т. 2. № 4. С. 141–148. doi: 10.14258/abs.v2i4.1724.
  12. Отраслевая группа авиационной орнитологии. Отпугивание птиц биоакустическим методом. Проект «Универсал-Акустик». URL: http://www.otpugivanie.narod.ru/means-control/Universal-Acoustic.html (дата обращения 21.02.2020).
  13. Биоакустическое оборудование для отпугивания птиц (БАСОП). URL: (https://aviasvet.ru/push-birds/ (дата обращения 21.02.2020).
  14. BirdGard. URL: https://www.birdgard.com/product-page-for-international-customers/ ( дата обращения 21.02.2020).
  15. Bird collision avoidance system. URL: https://www.volacom.com/bird-collision-avoidance-system (дата обращения 21.02.2020).
  16. Vassilev V.M., Vassileva L.I., Karsch M.A., Petkov K.P., Petkov P.K., Larre J.C. Animal collision avoidance system // Patent US 8,598,998 B2. 2013.
  17. Vasilyev A.F., Neginsky I.V., Protopopov A.G., Yakimets A.L. System of ornithological protection of airfields // Institute of Scientific Communications Conference. Cham: Springer International Publishing. 2020. pp. 307–314.
  18. Власов Е.В., Кузьмин А.А., Раков А.С. Биоакустический комплекс обнаружения и отпугивания птиц в аэропортах // Сборник избранных статей научной сессии ТУСУРа по материалам Международной научно-технической конференции студентов, аспирантов и молодых ученых «Научная сессия ТУСУР. 2019. С. 22–24.
  19. Красненко Н.П., Кухта А.Е., Раков А.С. Радиофизические методы в обеспечении орнитологической безопасности объектов и территорий // Шарыгинские чтения. Четвертая международная конференция ведущих научных школ в области радиолокации, радионавигации и радиоэлектронных систем передачи информации. Материалы конференции. Томск: Изд-во Томск. гос. ун-та систем упр. и радиоэлектроники, 2022. С. 5–14.
  20. Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений: учебное пособие // СПб: СПбГУ ИТМО. 2008. 192 с.
  21. Гонсалес Р., Вудс Р. Цифровая обработка изображений: пер. с англ. // М.: Техносфера. 2002. 1104 с.
  22. Berger W. Deep Learning Haar Cascade Explained // http://www.willberger.org. 2017. Available at: http://www.willberger.org/cascade-haar-explained/ (accessed 22.12.2019).
  23. Прохоренок Н.А. OpenCV и Java. Обработка изображений и компьютерное зрение // СПб.: БХВ-Петербург. 2018. 320 с.
  24. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход: пер с англ. / под ред. А.В. Назаренко // М.: Вильямс. 2004. 926 с.
  25. Шапиро Л., Стокман Д. Компьютерное зрение: учебное пособие для вузов: пер. с англ. // М.: БИНОМ. Лаборатория знаний. 2009. 752 с.
  26. Zou Z., Shi Z., Guo Y., Ye J. Object detection in 20 years: A survey // 2019. arXiv:1905.05055v2 [cs.CV].
  27. Verstraeten W.W., Vermenlen B., Struckens J., Lhermitte S., Van der Zande D., Van Ranst M., Coppin P. Webcams for bird detection and monitoring: A demonstration study // Sensors. 2010. vol. 10. no. 4. pp. 3480–3503. doi: 10.3390/s100403480. doi: 10.3390/s100403480.
  28. Yoshihashi R., Kawakami R, Iida M., Naemuva T. Bird detection and species classification with time-lapse images around a wind farm: dataset construction and evalution // Wind Energy. 2017. vol. 20. no. 12. pp. 1983–1995. doi: 10.1002/we.2135.
  29. Reyes E. A comparison of image processing techniques for bird detection // A Thesis for degree of master of science in electrical engineering faculty. USA, San Luis Obispo: California Polytechnic State University, 2014. 105 p.
  30. Jampens R.T., Hernandez F., Vandecasteele F., Verstockt S. Automatic detection, tracking and counting of birds in marine video content // Proceedings of sixth International conference on image processing theory, tools and applications (IPTA). 2016. pp. 1–6. doi: 10.1109/IPTA.2016.7821031.
  31. Niemi J., Tanttu J.T. Deep learning case study for automatic bird identification // Applied sciences. 2018. vol. 8(11). no. 2089. doi: 10.3390/app8112089.
  32. Mirudwe A., Nyirenda J., Dufouvg E Automating bird detection based on webcam captured images using deep learning // EPIC Series in Computing. Proceedings of the 43rd conference of the South African institute of computer scientists and information technologists. 2022. vol. 85. pp. 62–76.
  33. Viola P., Jones M. Rapid object detection using a boosted cascade of simple features // Proceeding of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR. 2001. vol. 1. 9 p. doi: 10.1109/CVPR.2001.990517.
  34. Hong S.-J., Han Yu., Kim S.-Y., Lee A.-Y., Kim G. Application of Deep-Learning Methods to Bird Detection Using Unmanned Aerial Vehicle Imagery // Sensors. 2019. vol. 19(7). no. 1651. doi: 10.3390/s19071651.
  35. Weinstein B.G., Ganner L., Saccomanno V.R., Steinkraus A., Ortega A., Brush K., et. al. A general deep learning model for bird detection in high-resolution airborne imagery // Ecological Application. 2022. vol. 32. no. 8.
  36. Кузьмин А.А., Власов Е.В., Красненко Н.П. Программа идентификации птиц в видеопотоке и воспроизведения звуковых сигналов (программа для ЭВМ) // Свидетельство о государственной регистрации программ для ЭВМ № 2021612566 от 19.02.2021.
  37. Власов Е.В., Красненко Н.П. Программа идентификации птиц в видеопотоке и набора статистики (программа для ЭВМ) // Свидетельство о государственной регистрации программ для ЭВМ № 2022683820 от 08.12.2022.
  38. Qt Creator – кроссплатформенная IDE для разработки приложений [Электронный ресурс]. URL: https://www.qt.io/product/development-tools/ (дата обращения: 01.10.2018).
  39. Справочник по OpenCV [Электронный ресурс]. URL: https://opencv-tutorial.ru (дата обращения: 01.10.2018).
  40. Библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом [Электронный ресурс]. URL: https://opencv.org/ (дата обращения: 01.10.2018).
  41. Работа каскада Хаара в OpenCV [Электронный ресурс]. URL: https://habr.com/ru/company/recognitor/blog/228195/ (дата обращения: 01.10.2018).
  42. Обучение каскадного классификатора [Электронный ресурс]. URL: https://docs.opencv.org/3.4/dc/d88/tutorial_traincascade.html (дата обращения: 01.10.2018).

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».