Methods for Neural Network Detection of Farm Animals in Dense Dynamic Groups on Images

封面

如何引用文章

全文:

详细

The development of non-invasive methods for monitoring the condition of farm animals is now a burning problem. The world is developing technologies for video surveillance of animals with subsequent image processing using neural networks. The purpose of this study is to develop methods for the detection (selection of individuals) of farm animals in images using pigs as an example. The main task is to perform the detection of "faces" of pigs in dense groups. To solve the task, a set of photographs of pigs from open sources was created, promising neural network architectures Faster R-CNN and YOLOv5 were selected, fine-tuning and training of neural networks were performed. The use of the YOLOv5 network enabled the detection accuracy mAP = 94.05%, which is significantly higher than the accuracy shown in similar works. This work is the first in an upcoming series of studies aimed at creating a software and hardware complex for automatic animal health monitoring on farms.

全文:

受限制的访问

作者简介

Аlexey Zhigalov

Belgorod State National Research University

编辑信件的主要联系方式.
Email: jigaloff@gmail.com

Postgraduate student

俄罗斯联邦, Belgorod

Olga Ivashchuk

Belgorod State National Research University

Email: olga.ivashuk@mail.ru

Doctor of technical sciences, professor. Head of the Department of Information and Robotic Systems

俄罗斯联邦, Belgorod

Tatyana Biryukova

Federal Research Center “Computer Science and Control” of Russian Academy of Sciences

Email: yukonta@mail.ru

Candidate of physical and mathematical sciences. Senior Researcher

俄罗斯联邦, Moscow

Vyacheslav Fedorov

Belgorod State National Research University

Email: fedorov_v@bsu.edu.ru

Candidate of technical sciences. Аssociated Professor of the Department of Information and Robotic Systems

俄罗斯联邦, Belgorod

参考

  1. Effektivnost' sel'skokhozyaystvennogo proizvodstva (metodicheskie rekomendatsii) [Efficiency of agricultural production (guidelines)]. Moscow: Vserossiyskiy nauch-no-issledovatel'skiy institut ekonomiki sel'skogo khozyaystva [Russian Research Institute of Agricultural Economics]. 2005. 156 p.
  2. Sel'skoe khozyaystvo v Rossii. 2021: Statisticheskiy sbornik [Agriculture in Russia. 2021: Statistical compendium]. 2021. Moscow: Federal State Statistics Service. 100 p.
  3. Neethirajan, S. 2020. The role of sensors, big data and machine learning in modern animal farming. J. Sensing and Bio-Sensing Research. V.29.
  4. Yang, Q., D. Xiao. 2020. A review of video-based pig behavior recognition. J. Applied Animal Behaviour Science. V.233.
  5. Available at: https://github.com/ultralytics/yolov5 (accessed June 21, 2022).
  6. Ren, S., K. He, R. Girshick, J. Sun. 2017. Faster R-CNN: towards real-time object detection with region proposal networks. IEEE Trans. Pattern Anal. Mach. Intell. 39: Р.1137–1149.
  7. He, K., X. Zhang, S. Ren, J. Sun. 2016. Deep residual learning for image recognition. IEEE Conference on Computer Vision and Pattern Recognition. P.770–778.
  8. Available at: https://pytorch.org/vision/stable/generated/torchvision.mo dels.resnet50.html (accessed June 20, 2022).
  9. Available at: https://pytorch.org/vision/0.12/_modules/torchvision/mode ls/mobilenetv3.html (accessed June 18, 2022).
  10. Padilla, R., W.L. Passos, T.L.B. Dias, S.L. Netto, E.A.B. da Silva. 2021. A Comparative Analysis of Object Detection Metrics with a Companion Open-Source Toolkit. J. Electronics. 10(3). doi: 10.3390/electronics10030279. Available at: https://github.com/rafaelpadilla/review_object_detection_ metrics (accessed June 10, 2022).
  11. Li, G., J. Jiao, G. Shi, H. Ma, L. Gu, L. Tao. 2022. Fast Recognition of Pig Faces Based on Improved Yolov3. Journal of Physics: Conference Series. V.2171.
  12. Hansen, M.F., M.L. Smith, L.N. Smith, M.G. Salter, E.M. Baxter, M. Farish, B. Grieve. 2018. Towards on-farm pig face recognition using convolutional neural networks. J. Computers in Industry. 98: Р.145–152.
  13. Marsot, M., J. Mei, X. Shan, L. Ye, P. Feng, X. Yan, C. Li, Y. Zhao. 2020. An adaptive pig face recognition approach using Convolutional Neural Networks. J. Computers and Electronics in Agriculture. V.173.
  14. Wang, K., C. Chen, Y. He. 2020. Research on pig face recognition model based on keras convolutional neural network. J. IOP Conference Series: Earth and Environmental Science. V.474.
  15. Wang, R., Z. Shi, Q. Li, R. Gao, C. Zhao, L. Feng. 2021. Pig face recognition model based on a cascaded network. J. Applied Engineering in Agriculture. 37(5): Р.879-890.
  16. Shigang, W., W. Jian, C. Meimei, W. Jinyang. 2021. A pig face recognition method for distinguishing features. IEEE Asia-Pacific Conference on Image Processing, Electronics and Computers (IPEC).
  17. Wang, Z., T. Liu. 2022. Two-stage method based on triplet margin loss for pig face recognition. J. Computers and Electronics in Agriculture. V.194.
  18. Alameer, A., I. Kyriazakis, J. Bacardit. 2020. Automated recognition of postures and drinking behaviour for the detection of compromised health in pigs. J. Scientific Reports.
  19. Redmon, J., A. Farhadi. 2017. YOLO9000: Better, Faster, Stronger. IEEE Conference on Computer Vision and Pattern Recognition; Honolulu, HI, USA. P.7263–7271.
  20. Sa, J., Y. Choi, H. Lee, Y. Chung, D. Park, J. Cho. 2019. Fast Pig Detection with a Top-View Camera under Various Illumination Conditions. J. Symmetry. 11(266).
  21. Ju M., Choi Y., Seo J. A Kinect-Based Segmentation of Touching-Pigs for Real-Time Monitoring // Sensors. 2018. V.18(1746).
  22. Riekert, M., A. Klein, F. Adrion, C. Hoffmann, E. Gallmann. 2020. Automatically detecting pig position and posture by 2D camera imaging and deep learning. J. Computers and Electronics in Agriculture. V.174.
  23. Psota, E.T., M. Mittek, L.C. Perez, T. Schmidt, B. Mote. 2019. Multi-Pig Part Detection and Association with a Fully-Convolutional Network. J. Sensors (Basel). 19(4):852.
  24. Lee, S.K. 2020. Pig Pose Estimation Based on Extracted Data of Mask R-CNN with VGG Neural Network for Classifications. Open Public Research Access Institutional Repository and Information Exchange. Electronic Theses and Dissertations. Available at: https://openprairie.sdstate.edu/etd/4098 (accessed June 23, 2022).
  25. Badrinarayanan, V., A. Kendall, R. Cipolla. 2017. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. IEEE Trans. Pattern Anal. Mach. Intell. 39: Р.2481–2495.
  26. He, K., G. Gkioxari, P. Dollar, R. Girshick. 2018. Mask R-CNN. arXiv:1703.06870v3 [cs.CV].
  27. Wang, Z., T. Liu. 2022. Two-stage method based on triplet margin loss for pig face recognition. J. Computers and Electronics in Agriculture. V.194.
  28. Tan, M. R. Pang, Q.V. Le. 2020. EfficientDet: Scalable and efficient object detection. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. P.10778–10787.
  29. Dwivedi, P. 2020. YOLOv5 compared to Faster RCNN. Who wins? Available at: https://towardsdatascience.com/yolov5-compared-to-faster-rcnn-who-wins-a771cd6c9fb4#:~:text=The%20final%20comparison%20b%2 Fw,little%20to%20no%20overlapping%20boxes (accessed June 21, 2022).
  30. Lin, T.-Y., P. Dollar, R. Girshick, K. He, B. Hariharan, S. Belongie. 2017. Feature Pyramid Networks for Object Detection. Available at: https://arxiv.org/pdf/1612.03144.pdf (accessed June 19, 2022).
  31. Available at: https://pytorch.org/vision/stable/models.html (accessed June 20, 2022).
  32. Available at: https://pytorch.org/vision/0.12/_modules/torchvision/mode ls/detection/faster_rcnn.html (accessed June 23, 2022).
  33. Available at: https://pytorch.org/vision/stable/generated/torchvision.mo dels.detection.fasterrcnn_resnet50_fpn.html#torchvision.m odels.detection.fasterrcnn_resnet50_fpn (accessed June 15, 2022).
  34. Available at: https://pytorch.org/vision/stable/generated/torchvision.models.detection.fasterrcnn_mobilenet_v3_large_fpn.html#torchvisi on.models.detection.fasterrcnn_mobilenet_v3_large_fpn (accessed June 17, 2022).
  35. Available at: https://cocodataset.org/#detection-eval (accessed June 23, 2022).
  36. Everingham, M., van Gool L., C. K. Williams, J. Winn, Zisserman. The pascal visual object classes (VOC) challenge. Int. J. Comput. 2010. No 88. P. 303–338.

补充文件

附件文件
动作
1. JATS XML
下载
2. Fig. 1. Pig face detection results for YOLOv5 and Faster R-CNN-FPN with ResNet-50 backbone (photograph in the pen)

下载 (706KB)
索引源数据
3. Fig. 2. Pig face detection results for YOLOv5 and Faster R-CNN-FPN with ResNet-50 backbone (photograph in the field)

下载 (640KB)
索引源数据
4. Fig. 3. Changes in loss functions during training and validation of the YOLOv5x6 neural network

下载 (248KB)
索引源数据

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».