Алгоритм обнаружения аномалий с помощью модели SARIMA для программного обеспечения автоматизированного комплекса биомониторинга водной среды

Обложка

Цитировать

Полный текст

Аннотация

В статье представлен алгоритм обнаружения аномалий в рядах активности двустворчатых моллюсков с использованием ошибки между значением, прогнозируемым с помощью модели SARIMA, и фактическим значением. Для определения сезонной компоненты моделей проведена декомпозиция временных рядов. Проведен поиск оптимальной модели для всех времен осреднения данных активности пресноводных двустворчатых моллюсков. С помощью разработанного алгоритмически-программного обеспечения выполнен расчет среднеквадратической ошибки по всему набору данных, что позволило определить потенциальный порог для работы алгоритма, а также время реагирования алгоритма на аномалии при различных временах осреднения данных. Полученные результаты планируется включить в алгоритмически-программное обеспечение автоматизированного комплекса биомониторинга состояния качества вод на основе двустворчатых моллюсков, который уже функционирует и размещен в акватории Севастополя, что позволит быстрее и с большей вероятностью обнаруживать аномалии и генерировать сигнал тревоги.

Полный текст

Доступ закрыт

Об авторах

Александр Николаевич Греков

Институт природно-технических систем

Автор, ответственный за переписку.
Email: i@angrekov.ru

Кандидат технических наук, заместитель руководителя центра экологического приборостроения и экоэнергетики

Россия, Севастополь

Елена Васильевна Вышкваркова

Институт природно-технических систем

Email: aveiro_7@mail.ru

Кандидат географических наук, ведущий научный сотрудник

Россия, Севастополь

Александр Сергеевич Маврин

Институт природно-технических систем

Email: 14112000i@mail.ru

Инженер

Россия, Севастополь

Список литературы

  1. Kramer K.J.M., Botterweg J. Aquatic biological early warning systems: an overview. In Bioindicators and environmental management. Ed. Jeffrey D.W., Madden B. London: Academic Press Inc., 1991. P. 95-126.
  2. Bae M.J., Park Y.S. Biological early warning system based on the responses of aquatic organisms to disturbances: a review // Sci Total Environ. 2014. V. 466. P. 635–649. doi: 10.1016/j.scitotenv.2013.07.075.
  3. Dvoretsky A.G., Dvoretsky V.G. Shellfish as biosensors in online monitoring of aquatic ecosystems: a review of Russian studies // Fishes. 2023. V. 8. P. 102.
  4. Aggarwal C. C. Data Mining: The Textbook, Springer, 2015.
  5. Ahmad S., Lavin A., Purdy S., Agha Z. Unsupervised realtime anomaly detection for streaming data // Neurocomputing. 2017. V. 262. P. 134–147.
  6. Box G.E., Jenkins G.M. Time series analysis: forecasting and control. Revised ed: Holden-Day, 1976.
  7. Cruz R.C., Reis Costa P., Vinga S., Krippahl L., Lopes M.B. A review of recent machine learning advances for forecasting harmful algal blooms and shellfish contamination // Journal of Marine Science and Engineering. 2021. V. 9. P. 283. https://doi.org/10.3390/jmse9030283.
  8. Светуньков, И. С., Светуньков С. Г. Методы социально-экономического прогнозирования в 2 т. Т. 2. Модели и методы: учебник и практикум для вузов. Москва: Издательство Юрайт, 2023, 447 с.
  9. Макаров Д.В., Кантор Е.А., Красулина Н.А., Греб А.В., Бережнова З.З. Прогнозирование значений цветности питьевых и исходных вод с помощью ARIMA-модели и нейронной сети // Юг России: экология, развитие. 2019. Т. 14, № 1. C. 159-168. doi: 10.18470/1992-1098-2019-1-159-168.
  10. Al Shehhi M.R., Kaya A. Time series and neural network to forecast water quality parameters using satellite data // Continental Shelf Research. 2021. V. 231. P. 104612. https://doi.org/10.1016/j.csr.2021.104612.
  11. Hernández N., Camargo J., Moreno F., Plazas-Nossa L., Torres ARIMA as a forecasting tool for water quality time series measured with UV-Vis spectrometers in a constructed wetland // Tecnología y Ciencias del Agua. 2017. V. 8. No 5. P. 127-139. doi: 10.24850/j-tyca-2017-05-09.
  12. Gupta A., Kumar A. Two-step daily reservoir inflow prediction using ARIMA-machine learning and ensemble models // Journal of Hydro-environment Researchю. 2022. V. 45. P. 39-52. https://doi.org/10.1016/j.jher.2022.10.002.
  13. Hamidi Machekposhti K., Sedghi H., Telvari A., Babazadeh H. Flood analysis in Karkheh River Basin using Stochastic Model // Civil Engineering Journal. 2017. V. 3 (9). P. 794-808. 10.21859/cej-030915.
  14. Nigam R., Bux S., Nigam S., Pardasani K.R., Mittal S.K., Haque R. Time series modeling and forecast of river flow // Current World Environment. 2009. V. 4 (1). P. 79-87. doi: 10.12944/cwe.4.1.11.
  15. Yan B., Mu R., Guo J., Liu Y., Tang J., Wang H. Flood risk analysis of reservoirs based on full-series ARIMA model under climate change // Journal of Hydrology. 2022. V. 610. P. 127979. https://doi.org/10.1016/j.jhydrol.2022.127979.
  16. Wu H. S. A survey of research on anomaly detection for time series // 2016 13th International Computer Conference on Wavelet Active Media Technology and Information Processing (ICCWAMTIP). 2016. P. 426–431.
  17. Zhu B., Sastry S. Revisit dynamic ARIMA based anomaly detection // 2011 IEEE Third International Conference on Privacy, Security, Risk and Trust and 2011 IEEE Third International Conference on Social Computing. 2011. P. 1263–1268.
  18. Yaacob A. H., Tan I. K., Chien S. F., Tan H. K. Arima based network anomaly detection // Communication Software and Networks ICCSN’10. Second International Conference IEEE. 2010. P. 205–209.
  19. Pena E.H.M., de Assis M.V.O., Proenca M.L. Anomaly detection using forecasting methods ARIMA and HWDS // 2013 32nd International Conference of the Chilean Computer Science Society (SCCC). 2013. P. 63–66.
  20. Williams A.T., Sperl R.E., Chung S.M. Anomaly Detection in Multi-Seasonal Time Series Data // IEEE Access. 2023. V. 11. P. 106456– 106464. doi: 10.1109/ACCESS.2023.3317791.
  21. Трусевич В.В., Гайский П.В., Кузьмин К.А. Автоматизированный биомониторинг водной среды с использованием реакций двустворчатых моллюсков // Морской гидрофизический журнал. 2010. № 3. С. 75–83.
  22. Grekov A.N., Kuzmin K.A., Mishurov V.Z. Automated early warning system for water environment based on behavioral reactions of bivalves // 2019 International Russian Automation Conference (RusAutoCon) IEEE. 2019. P. 1– 5.
  23. Gnyubkin V.F. An early warning system for aquatic environment state monitoring based on an analysis of mussel valve movement // Russian Journal of Marine Biology. 2009. V. 35. P. 431–436.
  24. Borcherding J. Ten years of practical experience with the Dreissena-Monitor, a biological early warning system for continuous water quality monitoring // Hydrobiologia. 2006. V. 556. P. 417–426.
  25. Kumar U., Jain V.K. ARIMA forecasting of ambient air pollutants (O3, NO, NO2 and CO) // Stochastic Environmental Research and Risk Assessment. 2009. V. 24 (5). P. 751–760.
  26. Taneja K., Ahmad S., Ahmad K., Attri S.D. Time series analysis of aerosol optical depth over New Delhi using Box-Jenkins ARIMA modeling approach // Atmospheric Pollution Research. 2016. V. 7 (4). P. 585–596. doi: 10.1016/j.apr.2016.02.004.
  27. Shumway R.H., Stoffer D.S. ARIMA Models, Time Series Analysis and its Applications. Springer, Cham. 2017. P. 75–163.
  28. Aminikhanghahi S., Cook D.J. A survey of methods for time series change point detection // Knowledge and Information Systems. 2017. V. 51. P. 339–367. https://doi.org/10.1007/s10115-016-0987-z.
  29. Pedregosa F., Varoquaux G., Gramfort A., Michel V., Thirion B., Grisel O., Blondel M., Müller A., Nothman J., Louppe G., Prettenhofer P., Weiss R., Dubourg V., Vanderplas J., Passos A., Cournapeau D., Brucher M., Perrot M., Duchesnay É. Scikit-learn: machine learning in python // Journal of Machine Learning Research. 2011. V. 12. P. 2825–2830.
  30. Seabold S., Perktold J. Statsmodels: Econometric and statistical modeling with python // Proceedings of the 9th Python in Science Conference. 2010. V. 57 (61). P. 10-25080.
  31. Cleveland R. B., Cleveland W. S., McRae J.E., Terpenning STL: a seasonal-trend decomposition procedure based on LOESS // Journal of Official Statistics. 1990. V. 6. P. 3–73.
  32. Peixeiro M. Time series forecasting in python. Ed. Simon and Schuster, 2022.
  33. Taylor G.S. et al. pmdarima: ARIMA estimators for Python, 2017. http://www.alkaline-ml.com/pmdarima (доступ 17.10.2023).
  34. Canova F., Hansen B.E. Are seasonal patterns constant over time? A Test for Seasonal Stability // Journal of Business & Economic Statistics. 1995. V. 13 (3). Р. 237–252.
  35. Hyndman R. J., Khandakar Y. Automatic time series forecasting: the forecast package for R // Journal of Statistical Software. 2008. V. 27 (3). P. 1–22. https://doi.org/10.18637/jss.v027.i03.
  36. Wang X., Smith K., Hyndman R. Characteristic-based clustering for time series data // Data Min Knowl Disc. 2006. V. 13. P. 335–364. https://doi.org/10.1007/s10618-0050039-x.
  37. Grekov A.N., Kabanov A.A., Vyshkvarkova E.V., Trusevich V.V. Anomaly detection in biological early warning systems using unsupervised machine learning // Sensors. 2023. V. 23. P. 2687. https://doi.org/10.3390/s23052687.
  38. Assimakopoulos V., Nikolopoulos K. The theta model: a decomposition approach to forecasting // International Journal of Forecasting. 2000. V. 16 (4). P. 521–530. https://doi.org/10.1016/S0169-2070(00)00066-2.
  39. Hyndman R.J., Billah B. Unmasking the Theta method // International Journal of Forecasting. 2003. V. 19 (2). P. 287–290. https://doi.org/10.1016/S0169-2070(01)00143-1.
  40. De Livera A.M., Hyndman R.J., Snyder R.D. Forecasting time series with complex seasonal patterns using exponential smoothing // Journal of the American Statistical Association. 2011. V. 106 (496). P. 1513–1527.
  41. Croston J. D. Forecasting and Stock Control for Intermittent Demands // Operational Research Quarterly. 1972. V. 23 (3). P. 289–303.
  42. Taylor S.J., Letham B. Forecasting at scale // The American statistician. 2018. V. 72 (1). P. 37–45.
  43. Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. 1997. V. 9 (8). P. 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. График декомпозиции усредненных данных активности моллюсков а сезонная составляющая на двухмесячном интервале; б – сезонная составляющая на 10-дневном интервале; в компонент тренда

Скачать (222KB)
Метаданные
3. Рис. 2. Алгоритм обнаружения аномалий

Скачать (318KB)
Метаданные
4. Рис. 3. Средняя величина раскрытия створок 14 моллюсков за март-апрель 2017 года (осреднение 30 минут)

Скачать (32KB)
Метаданные
5. Рис. 4. СКО при 30-минутном осреднении и уровень порога

Скачать (64KB)
Метаданные
6. Рис. 5. Значения СКО и время обнаружения трех аномалий при осреднении данных за 10 минут

Скачать (54KB)
Метаданные

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».