Verification of Marine Oil Spills Using Aerial Images Based on Deep Learning Methods

Cover Page

Cite item

Full Text

Abstract

The article solves the problem of verifying oil spills on the water surfaces of rivers, seas and oceans using optical aerial photographs, which are obtained from cameras of unmanned aerial vehicles, based on deep learning methods. The specificity of this problem is the presence of areas visually similar to oil spills on water surfaces caused by blooms of specific algae, substances that do not cause environmental damage (for example, palm oil), or glare when shooting (so-called look-alikes). Many studies in this area are based on the analysis of synthetic aperture radars (SAR) images, which do not provide accurate classification and segmentation. Follow-up verification contributes to reducing environmental and property damage, and oil spill size monitoring is used to make further response decisions. A new approach to the verification of optical images as a binary classification problem based on the Siamese network is proposed, when a fragment of the original image is repeatedly compared with representative examples from the class of marine oil slicks. The Siamese network is based on the lightweight VGG16 network. When the threshold value of the output function is exceeded, a decision is made about the presence of an oil spill. To train the networks, we collected and labeled our own dataset from open Internet resources. A significant problem is an imbalance of classes in the dataset, which required the use of augmentation methods based not only on geometric and color manipulations, but also on the application of a Generative Adversarial Network (GAN). Experiments have shown that the classification accuracy of oil spills and look-alikes on the test set reaches values of 0.91 and 0.834, respectively. Further, an additional problem of accurate semantic segmentation of an oil spill is solved using convolutional neural networks (CNN) of the encoder-decoder type. Three deep network architectures U-Net, SegNet, and Poly-YOLOv3 have been explored for segmentation. The Poly-YOLOv3 network demonstrated the best results, reaching an accuracy of 0.97 and an average image processing time of 385 s with the Google Colab web service. A database was also designed to store both original and verified images with problem areas.

About the authors

M. N Favorskaya

Reshetnev Siberian State University of Science and Technology

Email: favorskaya@gmail.com
Krasnoyarsky Rabochy Av. 31

N. Nishchhal

Reshetnev Siberian State University of Science and Technology

Email: nik.321g@yandex.ru
Krasnoyarsky Rabochy Av. 31

References

  1. Ivshina I.B., Kuyukina M.S., Krivoruchko A.V., Elkin A.A., Makarov S.O., Cunningham C.J., Peshkur T.A., Atlas R.M., Philp J.C. Oil spill problems and sustainable response strategies through new technologies // Environmental Science: Processes & Impacts journal. 2015. vol. 17. no. 7. pp. 1201-1219.
  2. Hackett B., Comerma E., Daniel P., Ichikawa H. Marine oil pollution prediction // Oceanography. 2009. vol. 22. pp. 168-175.
  3. Wang R.; Zhu Z.; Zhu W.; Fu X., Xing S. A dynamic marine oil spill prediction model based on deep learning // Journal of Coastal Research. 2021. vol. 37. no. 4. pp. 716-725.
  4. Lubchenco J., McNutt M.K., Dreyfus G., Murawski S.A., Kennedy D.M., Anastas P.T., Chu S., Hunter T. Science in support of the deepwater horizon response // PNAS. 2012. vol. 109. no. 50. pp. 20212-20221.
  5. Mera D., Bolon-Canedo V., Cotos J.M., Alonso-Betanzos A. On the use of feature selection to improve the detection of sea oil spills in SAR images // Computers & Geosciences. 2017. vol. 100. pp. 166-178.
  6. Zeng K., Wang Y. A deep convolutional neural network for oil spill detection from spaceborne SAR images // Remote Sensing. 2020. vol. 12. no. 6. pp. 1015.1-1015.23.
  7. Chen G., Li Y., Sun G., Zhang Y. Application of deep networks to oil spill detection using polarimetric synthetic aperture radar images // Applied Sciences. 2017. vol. 7. no. 10. pp. 968.1-968.15.
  8. Bianchi F.M., Espeseth M.M., Borch N. Large-scale detection and categorization of oil spills from SAR images with deep learning // Remote Sensing. 2020. vol. 12. pp. 2260.1-2260.27.
  9. Angelliaume S., Ceamanos X., Viallefont-Robinet F., Baque R., Deliot P., Miegebielle V. Hyperspectral and radar airborne imagery over controlled release of oil at sea // Sensors. 2017. vol. 17. no. 8. pp. 1772.1-1772.21.
  10. Huang H., Wang C., Liu S., Sun Z., Zhang D., Liu C., Jiang Y., Zhan S., Zhang H., Xu R. Single spectral imagery and Faster R-CNN to identify hazardous and noxious substances spills // Environmental Pollution. 2020. vol. 258. pp. 113688.1-113688.11.
  11. Wang D., Wan J., Liu S., Chen Y., Yasir M., Xu M., Ren P. BO-DRNet: An improved deep learning model for oil spill detection by polarimetric features from SAR images // Remote Sensing. 2022. vol. 14. pp. 264.1-264.18.
  12. Aghaei N., Akbarizadeh G., Kosarian A. GreyWolfLSM: An accurate oil spill detection method based on level set method from synthetic aperture radar imagery // European Journal of Remote Sensing. 2022. vol. 55. no. 1. pp. 181-198.
  13. Chen Y., Sun Y., Yu W., Liu Y, Hu H. A novel lightweight bilateral segmentation network for detecting oil spills on the sea surface // Marine Pollution Bulletin. 2022. vol. 175. pp. 113343.1-113343.12.
  14. Paoletti M.E., Haut J.M., Pereira N.S. Ghostnet for hyperspectral image classification // IEEE Transactions on Geoscience and Remote Sensing. 2021. vol. 59. no. 12. pp. 10378-10393.
  15. Bulgarelli B., Djavidnia S. On MODIS Retrieval of oil spill spectral properties in the marine environment // IEEE Geoscience and Remote Sensing Letters. 2012. vol. 9. no. 3. pp. 398-402.
  16. Lu Y., Shi J., Wen Y., Hu C., Zhou Y., Sun S., Zhang M., Mao Z., Liu Y. Optical interpretation of oil emulsions in the ocean – Part I: Laboratory measurements and proof-of-concept with AVIRIS observations // Remote Sensing of Environment. 2019. vol. 230. pp. 111183.1-111183.14.
  17. Lu Y., Shi J., Hu C., Zhang M., Sun S., Liu Y. Optical interpretation of oil emulsions in the ocean – Part II: Applications to multi-band coarse-resolution imagery // Remote Sensing of Environment. 2020. vol. 242. pp. 111778.1-111778.14.
  18. Yang Z., Chen Z., Lee K., Owens E., Boufadel M.C., C., Taylor E. Decision support tools for oil spill response (OSR-DSTs): Approaches, challenges, and future research perspectives // Marine Pollution Bulletin. 2021. vol. 167. pp. 112313.1-112313.16.
  19. Mohammadiun S., Hu G., Gharahbagh A.A., Jianbing Li c, Hewage K., Sadiq R. Evaluation of machine learning techniques to select marine oil spill response methods under small-sized dataset conditions // Journal of Hazardous Materials. 2022. vol. 436. pp. 129282.1-129282.11.
  20. Guo Y., Zhang H.Z. Oil spill detection using synthetic aperture radar images and feature selection in shape space // International Journal of Applied Earth Observation and Geoinformation. 2014. vol. 30, pp. 146-157.
  21. Bromley J., Bentz J.W., Bottou L., Guyon I., Lecun Y., Moore C., Säckinger E., Shah R. Signature verification using a "siamese" time delay neural network // International Journal of Pattern Recognition and Artificial Intelligence. 1993. vol. 7. no. 4. pp. 669-688.
  22. Yelchuri R., Dash J.K., Singh P., Mahapatro A., Sibarama S. Exploiting deep and hand-crafted features for texture image retrieval using class membership // Pattern Recognition Letters. 2022. vol. 160. pp. 163-171.
  23. Chen L.C., Papandreou G., Kokkinos I., Murphy K., Yuille A.L. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs // IEEE Transactions on Pattern Analysis & Machine Intelligence. 2018. vol. 40. no. 4. pp. 834-848.
  24. Ye M., Ruiwen N., Chang Z., He G., Tianli H., Shijun L., Yu S., Tong Z., Ying G. A lightweight model of VGG-16 for remote sensing image classification // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2021. vol. 14. pp. 6916-6922.
  25. Caron M., Misra I., Mairal J., Goyal P., Bojanowski P., Joulin A. Unsupervised learning of visual features by contrasting cluster assignments // Proceeding of the 34th International Conference on Neural Information Processing Systems (NIPS'20). 2020. Article no. 831. pp. 9912-9924.
  26. de Moura N.V.A., de Carvalho O.L.F., Gomes R.A.T., Guimaraes R.F., de Carvalho Júnior O.A. Deep-water oil-spill monitoring and recurrence analysis in the brazilian territory using Sentinel-1 time series and deep learning // International Journal of Applied Earth Observations and Geoinformation. 2022. vol. 107. pp. 102695.1-102695.11.
  27. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. pp. 3431-3440.
  28. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // Proceedings of the International Conference on Medical Image Computing and Computer-Assisted Intervention. 2015. pp. 234-241.
  29. Badrinarayanan V.; Kendall A.; Cipolla R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. vol. 39. pp. 2481-2495.
  30. Dayananda C., Choi J.-Y., Lee B. Multi-scale squeeze U-SegNet with multi global attention for brain MRI segmentation // Sensors. 2021. vol. 21. pp. 3363.1-3363.22.
  31. Hurtik P., Molek V., Hula J., Vajgl M., Vlasanek P., Nejezchleba T. Poly-YOLO: Higher speed, more precise detection and instance segmentation for YOLOv3 // CoRR arXiv preprint, arXiv:2005.13243v2. 2020. pp. 1-18.
  32. Alamy [Official web site Alamy Stock photography]. Available at: www.almy.com. (accessed 26.07.2022).
  33. Getty Images [Official web site of Getty Images]. Available at: www.gettyimages.nl. (accessed 26.07.2022).
  34. Xu M., Yoon S., Fuentes A., Park D.S. A comprehensive survey of image augmentation techniques for deep learning // CoRR arXiv preprint, arXiv:2205.01491v1. 2022. pp. 1-41.
  35. Radford A., Metz L., Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks // The 4th International Conference on Learning Representations (ICLR 2016). 2016. pp. 1–16.
  36. Goodfellow I., Bengio Y., Courville A. Deep learning / Dietterich T. (ed.) // Cambridge, Massachusetts, London: The MIT Press. 2016. 800 p.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».