Anomaly detection algorithm using the SARIMA model for the software of an automated complex for the aquatic environment biomonitoring

Capa

Citar

Texto integral

Resumo

The paper presents an algorithm for anomaly detection in bivalve activity data using the error between the value predicted with SARIMA model and the actual value. Decomposition of time series was carried out to determine the seasonal component of the models. The optimal model for all averaging times of activity data of freshwater bivalve was made. After this, using the developed algorithmic software, the root mean square error metric was calculated for the entire data set, which made it possible to determine the potential threshold for the operation of the algorithm, as well as the algorithm’s response time to anomalies at different data averaging times. The results obtained will be included in the algorithmic software of an automated complex for biomonitoring the state of water quality based on bivalves, which is already functioning and located in the waters of Sevastopol, which will allow faster and more likely to detect anomalies and generate an alarm signal.

Texto integral

Acesso é fechado

Sobre autores

Aleksander Grekov

Institute of Natural and Technical Systems

Autor responsável pela correspondência
Email: i@angrekov.ru

Candidate of technical sciences, Deputy Head of the Center for Environmental Instrumentation and EcoEnergy

Rússia, Sevastopol

Elena Васильевна

Institute of Natural and Technical Systems

Email: aveiro_7@mail.ru

Candidate of geographical sciences, Leading Researchеr

Rússia, Sevastopol

Aleksander Mavrin

Institute of Natural and Technical Systems

Email: 14112000i@mail.ru

Engineer

Rússia, Sevastopol

Bibliografia

  1. Kramer K.J.M., Botterweg J. Aquatic biological early warning systems: an overview. In Bioindicators and environmental management. Ed. Jeffrey D.W., Madden B. London: Academic Press Inc., 1991. P. 95-126.
  2. Bae M.J., Park Y.S. Biological early warning system based on the responses of aquatic organisms to disturbances: a review // Sci Total Environ. 2014. V. 466. P. 635–649. doi: 10.1016/j.scitotenv.2013.07.075.
  3. Dvoretsky A.G., Dvoretsky V.G. Shellfish as biosensors in online monitoring of aquatic ecosystems: a review of Russian studies // Fishes. 2023. V. 8. P. 102.
  4. Aggarwal C. C. Data Mining: The Textbook, Springer, 2015.
  5. Ahmad S., Lavin A., Purdy S., Agha Z. Unsupervised realtime anomaly detection for streaming data // Neurocomputing. 2017. V. 262. P. 134–147.
  6. Box G.E., Jenkins G.M. Time series analysis: forecasting and control. Revised ed: Holden-Day, 1976.
  7. Cruz R.C., Reis Costa P., Vinga S., Krippahl L., Lopes M.B. A review of recent machine learning advances for forecasting harmful algal blooms and shellfish contamination // Journal of Marine Science and Engineering. 2021. V. P. 283. https://doi.org/10.3390/jmse9030283.
  8. Svetun'kov, I. S., Svetun'kov S. G. Metody social'nojekonomicheskogo prognozirovanija v 2 t. T. 2 modeli i metody: uchebnik i praktikum dlja vuzov [Methods of socio-economic forecasting in 2 volumes. Volume 2 models and methods: textbook and workshop for universities]. Moscow: Izdatel'stvo Jurajt, 2023, 447 p.
  9. Makarov D.V., Kantor E.A., Krasulina N.A., Greb A.V., Berezhnova Z.Z. Prognozirovanie znachenij cvetnosti pit'evyh i ishodnyh vod s pomoshh'ju ARIMA-modeli i nejronnoj seti [Prediction of color values of drinking and source waters using an ARIMA model and a neural network] // Jug Rossii: jekologija, razvitie [South of Russia: ecology, development]. 2019. V. 14 No 1. P. 159-168. doi: 10.18470/1992-1098-2019-1-159-168.
  10. Al Shehhi M.R., Kaya A. Time series and neural network to forecast water quality parameters using satellite data // Continental Shelf Research. 2021. V. 231. P. 104612. https://doi.org/10.1016/j.csr.2021.104612.
  11. Hernández N., Camargo J., Moreno F., Plazas-Nossa L., Torres A. ARIMA as a forecasting tool for water quality time series measured with UV-Vis spectrometers in a constructed wetland // Tecnología y Ciencias del Agua. 2017. V. 8. No 5. P. 127-139. doi: 10.24850/j-tyca-2017-05-09.
  12. Gupta A., Kumar A. Two-step daily reservoir inflow prediction using ARIMA-machine learning and ensemble models // Journal of Hydro-environment Researchю. 2022. V. 45. P. 39-52. https://doi.org/10.1016/j.jher.2022.10.002.
  13. Hamidi Machekposhti K., Sedghi H., Telvari A., Babazadeh H. Flood analysis in Karkheh River Basin using Stochastic Model // Civil Engineering Journal. 2017. V. 3 (9). P. 794-808. 10.21859/cej-030915.
  14. Nigam R., Bux S., Nigam S., Pardasani K.R., Mittal S.K., Haque R. Time series modeling and forecast of river flow // Current World Environment. 2009. V. 4 (1). P. 79-87. doi: 10.12944/cwe.4.1.11.
  15. Yan B., Mu R., Guo J., Liu Y., Tang J., Wang H. Flood risk analysis of reservoirs based on full-series ARIMA model under climate change // Journal of Hydrology. 2022. V. 610. P. 127979. https://doi.org/10.1016/j.jhydrol.2022.127979.
  16. Wu H. S. A survey of research on anomaly detection for time series // 2016 13th International Computer Conference on Wavelet Active Media Technology and Information Processing (ICCWAMTIP). 2016. P. 426–431.
  17. Zhu B., Sastry S. Revisit dynamic ARIMA based anomaly detection // 2011 IEEE Third International Conference on Privacy, Security, Risk and Trust and 2011 IEEE Third International Conference on Social Computing. 2011. P. 1263–1268.
  18. Yaacob A. H., Tan I. K., Chien S. F., Tan H. K. Arima based network anomaly detection // Communication Software and Networks ICCSN’10. Second International Conference IEEE. 2010. P. 205–209.
  19. Pena E.H.M., de Assis M.V.O., Proenca M.L. Anomaly detection using forecasting methods ARIMA and HWDS // 2013 32nd International Conference of the Chilean Computer Science Society (SCCC). 2013. P. 63–66.
  20. Williams A.T., Sperl R.E., Chung S.M. Anomaly Detection in Multi-Seasonal Time Series Data // IEEE Access. 2023. V. 11. P. 106456– 106464. doi: 10.1109/ACCESS.2023.3317791.
  21. Trusevich V.V., Gajskij P.V., Kuz'min K.A. Avtomatizirovannyj biomonitoring vodnoj sredy s ispol'zovaniem reakcij dvustvorchatyh molljuskov [Automated biomonitoring of the aquatic environment using reactions of bivalves] // Morskoj gidrofizicheskij zhurnal [Physical Oceanography]. 2010. V. 3. P. 75–83.
  22. Grekov A.N., Kuzmin K.A., Mishurov V.Z. Automated early warning system for water environment based on behavioral reactions of bivalves // 2019 International Russian Automation Conference (RusAutoCon) IEEE. 2019. P. 1–5.
  23. Gnyubkin V.F. An early warning system for aquatic environment state monitoring based on an analysis of mussel valve movement // Russian Journal of Marine Biology. 2009. V. 35. P. 431–436.
  24. Borcherding J. Ten years of practical experience with the Dreissena-Monitor, a biological early warning system for continuous water quality monitoring // Hydrobiologia. 2006. V. 556. P. 417–426.
  25. Kumar U., Jain V.K. ARIMA forecasting of ambient air pollutants (O3, NO, NO2 and CO) // Stochastic Environmental Research and Risk Assessment. 2009. V. 24 (5). P. 751–760.
  26. Taneja K., Ahmad S., Ahmad K., Attri S.D. Time series analysis of aerosol optical depth over New Delhi using Box-Jenkins ARIMA modeling approach // Atmospheric Pollution Research. 2016. V. 7 (4). P. 585–596. doi: 10.1016/j.apr.2016.02.004.
  27. Shumway R.H., Stoffer D.S. ARIMA Models, Time Series Analysis and its Applications. Springer, Cham. 2017. P. 75–163.
  28. Aminikhanghahi S., Cook D.J. A survey of methods for time series change point detection // Knowledge and Information Systems. 2017. V. 51. P. 339–367. https://doi.org/10.1007/s10115-016-0987-z.
  29. Pedregosa F., Varoquaux G., Gramfort A., Michel V., Thirion B., Grisel O., Blondel M., Müller A., Nothman J., Louppe G., Prettenhofer P., Weiss R., Dubourg V., Vanderplas J., Passos A., Cournapeau D., Brucher M., Perrot M., Duchesnay É. Scikit-learn: machine learning in python // Journal of Machine Learning Research. 2011. V. 12. P. 2825–2830.
  30. Seabold S., Perktold J. Statsmodels: Econometric and statistical modeling with python // Proceedings of the 9th Python in Science Conference. 2010. V. 57 (61). P. 10-25080.
  31. Cleveland R. B., Cleveland W. S., McRae J.E., Terpenning STL: a seasonal-trend decomposition procedure based on LOESS // Journal of Official Statistics. 1990. V. 6. P. 3–73.
  32. Peixeiro M. Time series forecasting in python. Ed. Simon and Schuster, 2022.
  33. Taylor G.S. et al. pmdarima: ARIMA estimators for Python, 2017. http://www.alkaline-ml.com/pmdarima (доступ 17.10.2023).
  34. Canova F., Hansen B.E. Are seasonal patterns constant over time? A Test for Seasonal Stability // Journal of Business & Economic Statistics. 1995. V. 13 (3). Р. 237–252.
  35. Hyndman R. J., Khandakar Y. Automatic time series forecasting: the forecast package for R // Journal of Statistical Software. 2008. V. 27 (3). P. 1–22. https://doi.org/10.18637/jss.v027.i03.
  36. Wang X., Smith K., Hyndman R. Characteristic-based clustering for time series data // Data Min Knowl Disc. 2006. V. 13. P. 335–364. https://doi.org/10.1007/s10618-0050039-x.
  37. Grekov A.N., Kabanov A.A., Vyshkvarkova E.V., Trusevich V.V. Anomaly detection in biological early warning systems using unsupervised machine learning // Sensors. 2023. V. 23. P. 2687. https://doi.org/10.3390/s23052687.
  38. Assimakopoulos V., Nikolopoulos K. The theta model: a decomposition approach to forecasting // International Journal of Forecasting. 2000. V. 16 (4). P. 521–530. https://doi.org/10.1016/S0169-2070(00)00066-2.
  39. Hyndman R.J., Billah B. Unmasking the Theta method // International Journal of Forecasting. 2003. V. 19 (2). P.287–290. https://doi.org/10.1016/S0169-2070(01)00143-1.
  40. De Livera A.M., Hyndman R.J., Snyder R.D. Forecasting time series with complex seasonal patterns using exponential smoothing // Journal of the American Statistical Association. 2011. V. 106 (496). P. 1513–1527.
  41. Croston J. D. Forecasting and Stock Control for Intermittent Demands // Operational Research Quarterly. 1972. V. 23 (3). P. 289–303.
  42. Taylor S.J., Letham B. Forecasting at scale // The American statistician. 2018. V. 72 (1). P. 37–45.
  43. Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. 1997. V. 9 (8). P. 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735.

Arquivos suplementares

Arquivos suplementares
Ação
1. JATS XML
Baixar
2. Fig. 1. The graph of the decomposition of the averaged shellfish activity data a is the seasonal component in a two–month interval; b is the seasonal component in a 10-day interval; c is the trend component

Baixar (222KB)
Metadados
3. Fig. 2. Anomaly detection algorithm

Baixar (318KB)
Metadados
4. Fig. 3. The average value of the opening of the flaps of 14 mollusks in March-April 2017 (averaging 30 minutes)

Baixar (32KB)
Metadados
5. Fig. 4. COEX at 30-minute averaging and the threshold level

Baixar (64KB)
Metadados
6. Fig. 5. The values of the COEX and the detection time of three anomalies when averaging data in 10 minutes

Baixar (54KB)
Metadados

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».