Comparison of Cluster Analysis Methods for Identification of Weather Regimes in Euro-Atlantic Region for Winter and Summer Seasons

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

Various methods of cluster analysis are used for identification of large-scale atmospheric circulation regimes or weather regimes (WRs). In this paper we compare four most commonly used clustering methods – k-means (KM), Ward’s hierarchical clustering (HW), Gaussian mixture model (GM) and self-organizing maps (SOM) to analyze WRs in Euro-Atlantic region. The data used for WRs identification are 500 hPa geopotential height fields (z500) from the ERA5 reanalysis for the 1940–2022 period. Four classical wintertime weather regimes are identified by the KM method – two regimes associated with positive and negative phases of the North Atlantic Oscillation (NAO+ and NAO–), a regime associated with the Scandinavian blocking (SB) and a regime characterized by elevated pressure over the Northern Atlantics. For summer months KM method gets WRs that are similar by their spatial structure to the classical winter ones. The SOM method yields results that are almost identical to the results of KM method. Unlike KM and SOM methods, HW and GM do not catch the spatial structure of all four classical winter Euro-Atlantic weather regimes and their summer analogues. Compared to WRs of the KM and SOM methods, WRs obtained by HW and GM methods explain less z500 variance, they have different occurrences, persistence and transition features. Summer and winter WRs obtained by HW and GM methods are less similar to each other compared to WRs provided by KM method. Average spatial correlation coefficients between mean z500 fields of WRs obtained by KM and HW methods are 0.76 in winter and 0.83 in summer, 0.70 in winter and 0.72 in summer for KM and GM methods and 0.41 in winter and 0.44 in summer for the regimes between HW and GM methods, respectively. There are statistically significant trends of seasonal occurrence of WRs found by some of the studied clustering methods – a positive trend for the occurrence of the NAO+ regime and a negative trend for the occurrence of the NAO– regime.

About the authors

B. A. Babanov

Obukhov Institute of Atmospheric Physics, Russian Academy of Sciences

Author for correspondence.
Email: babanov@ifaran.ru
Russia, 119017, Moscow, Pyzhevsky Lane, 3

V. A. Semenov

Obukhov Institute of Atmospheric Physics, Russian Academy of Sciences; Institute of Geography, Russian Academy of Sciences

Email: babanov@ifaran.ru
Russia, 119017, Moscow, Pyzhevsky Lane, 3; Russia, 119017, Moscow, Staromonetny Lane, 29

I. I. Mokhov

Obukhov Institute of Atmospheric Physics, Russian Academy of Sciences; Lomonosov Moscow State University

Email: babanov@ifaran.ru
Russia, 119017, Moscow, Pyzhevsky Lane, 3; Russia, 119991, Moscow, Leninskie Gory, 1

References

  1. Бабанов Б.А., Семенов В.А., Акперов М.Г., Мохов И.И., Keenlyside N.S. Повторяемость зимних режимов атмосферной циркуляции в Евро-Атлантическом регионе и связанные с ними экстремальные погодно-климатические аномалии в Северном полушарии // Оптика атмосферы и океана. 2023. Т. 36. № 4. С. 304–312.
  2. Бардин М.Ю., Платова Т.В. Долгопериодные вариации показателей экстремальности температурного режима на территории России и их связь с изменениями крупномасштабной атмосферной циркуляции и глобальным потеплением // Метеорол. и гидрол. 2019. № 12. С. 5–19.
  3. Гирс А.А. Макроциркуляционный метод долгосрочных метеорологических прогнозов. Л.: Гидрометеоиздат, 1974. 485 с.
  4. Дзердзеевский Б.Л., Курганская В.М., Витвицкая З.М. Типизация циркуляционных механизмов в Северном полушарии и характеристика синоптических сезонов // Труды НИУ ГУГМС. Л.: Гидрометиздат. 1946. 80 с.
  5. Arthur D., Vassilvitskii S. K-means++ the advantages of careful seeding // Proceedings of the eighteenth annual ACM-SIAM symposium on Discrete algorithms. 2007. P. 1027–1035.
  6. Banfield J.D., Raftery A.E. Model-based Gaussian and non-Gaussian clustering // Biometrics. 1993. P. 803–821.
  7. Bao M., Wallace J.M. Cluster analysis of Northern Hemisphere wintertime 500-hPa flow regimes during 1920–2014 // J. Atmospheric Sciences. 2015. V. 72. № 9. P. 3597–3608.
  8. Barnston A.G., Livezey R.E. Classification, seasonality and persistence of low-frequency atmospheric circulation patterns // Monthly weather review. 1987. V. 115. № 6. P. 1083–1126.
  9. Baur F., Hess P., Nagel H. Kalender der grosswetterlagen Europas 1881–1939 // Bad Homburg. 1944. V. 35.
  10. Bilmes J.A. A gentle tutorial of the EM algorithm and its application to parameter estimation for Gaussian mixture and hidden Markov models // International computer science institute. 1998. V. 4. № 510. P. 126.
  11. Bradley P.S., Fayyad U.M. Refining initial points for k-means clustering // ICML. 1998. V. 98. P. 91–99.
  12. Cassou C. Intraseasonal interaction between the Madden–Julian oscillation and the North Atlantic Oscillation // Nature. 2008. V. 455. № 7212. P. 523–527.
  13. Cattiaux J., Vautard R., Cassou C., Yiou P., Masson-Delmotte V., Codron F. Winter 2010 in Europe: A cold extreme in a warming climate // Geophysical Research Letters. 2010. V. 37. № 20.
  14. Charlton-Perez A.J., Ferranti L., Lee R.W. The influence of the stratospheric state on North Atlantic weather regimes // Quarterly J. Royal Meteorological Society. 2018. V. 144. № 713. P. 1140–1151.
  15. Cheng X., Wallace J.M. Cluster analysis of the Northern Hemisphere wintertime 500-hPa height field: Spatial patterns // J. atmospheric sciences. 1993. V. 50. № 16. P. 2674–2696.
  16. Christiansen B. Atmospheric circulation regimes: Can cluster analysis provide the number? // J. Climate. 2007. V. 20. № 10. P. 2229–2250.
  17. Corti S., Molteni F., Palmer T.N. Signature of recent climate change in frequencies of natural atmospheric circulation regimes // Nature. 1999. V. 398. № 6730. P. 799–802.
  18. Dawson A., Palmer T.N., Corti S. Simulating regime structures in weather and climate prediction models // Geophysical Research Letters. 2012. V. 39. № 21.
  19. Fabiano F., Christensen H.M., Strommen K., Athanasiadis P., Baker A., Schiemann R., Corti S. Euro-Atlantic weather Regimes in the PRIMAVERA coupled climate simulations: impact of resolution and mean state biases on model performance // Climate Dynamics. 2020. V. 54. P. 5031–5048.
  20. Falkena S.K., de Wiljes J., Weisheimer A., Shepherd T.G. Revisiting the identification of wintertime atmospheric circulation regimes in the Euro-Atlantic sector // Quarterly J. Royal Meteorological Society. 2020. V. 146. № 731. P. 2801–2814.
  21. Folland C.K., Knight J., Linderholm H.W., Fereday D., Ineson S., Hurrell J.W. The summer North Atlantic Oscillation: past, present, and future // J. Climate. 2009. V. 22. № 5. P. 1082–1103.
  22. Govender P., Sivakumar V. Application of k-means and hierarchical clustering techniques for analysis of air pollution: A review (1980–2019) // Atmospheric pollution research. 2020. V. 11. № 1. P. 40–56.
  23. Greene C.A. et al. The climate data toolbox for MATLAB // Geochemistry, Geophysics, Geosystems. 2019. V. 20. № 7. P. 3774–3781.
  24. Guemas V., Salas-Mélia D., Kageyama M., Giordani H., Voldoire A., Sanchez-Gomez E. Summer interactions between weather regimes and surface ocean in the North-Atlantic region // Climate dynamics. 2010. V. 34. P. 527–546.
  25. Hannachi A. Low-frequency variability in a GCM: Three-dimensional flow regimes and their dynamics // J. climate. 1997. V. 10. № 6. P. 1357–1379.
  26. Hartigan J.A., Wong M.A. A k-means clustering algorithm // Applied statistics. 1979. V. 28. № 1. P. 100–108.
  27. Hersbach H. et al. The ERA5 global reanalysis // Quarterly J. Royal Meteorological Society. 2020. V. 146. № 730. P. 1999–2049.
  28. Hess P., Brezowsky H. Katalog der Grosswetterlagen Europas 1881–1976, 3. verbesserte und ergänzte Aufl // Berichte des Deutschen Wetterdienstes. 1977. V. 113. P. 1–140.
  29. Hurrell J.W. Decadal trends in the North Atlantic Oscillation: Regional temperatures and precipitation // Science. 1995. V. 269. № 5224. P. 676–679.
  30. Hurrell J.W., Kushnir Y., Ottersen G., Visbeck M. An overview of the North Atlantic oscillation // Geophysical Monograph-American Geophysical Union. 2003. V. 134. P. 1–36.
  31. Huth R. et al. Classifications of atmospheric circulation patterns: recent advances and applications // Annals of the New York Academy of Sciences. 2008. V. 1146. № 1. P. 105–152.
  32. James P.M. An objective classification method for Hess and Brezowsky Grosswetterlagen over Europe // Theoretical and Applied Climatology. 2007. V. 88. P. 17–42.
  33. Kanungo T., Mount D.M., Netanyahu N.S., Piatko C.D., Silverman R., Wu A.Y. An efficient k-means clustering algorithm: Analysis and implementation // IEEE transactions on pattern analysis and machine intelligence. 2002. V. 24. № 7. P. 881–892.
  34. Kearns M., Mansour Y., Ng A.Y. An information-theoretic analysis of hard and soft assignment methods for clustering // Learning in graphical models. 1998. P. 495–520.
  35. Khan K., Rehman S.U., Aziz K., Fong S., Sarasvady S. DBSCAN: Past, present and future // The fifth international conference on the applications of digital information and web technologies (ICADIWT 2014). IEEE, 2014. P. 232–238.
  36. Kohonen T. Self-organizing maps. Springer Science & Business Media. 2012. V. 30.
  37. Kondrashov D., Ide K., Ghil M. Weather regimes and preferred transition paths in a three-level quasigeostrophic model // J. atmospheric sciences. 2004. V. 61. № 5. P. 568–587.
  38. Lamb H.H. British Isles weather types and a register of the daily sequence of circulation patterns 1861–1971 // Geophysical Memoirs 116, HMSO, London. 1972. 85 p.
  39. Lamrous S., Taileb M. Divisive hierarchical k-means // 2006 International Conference on Computational Intelligence for Modelling Control and Automation and International Conference on Intelligent Agents Web Technologies and International Commerce (CIMCA'06). IEEE. 2006. P. 18–18.
  40. Liu Y., Weisberg R.H. A review of self-organizing map applications in meteorology and oceanography // Self-organizing maps: applications and novel algorithm design. 2011. V. 1. P. 253–272.
  41. Loikith P.C., Lintner B.R., Sweeney A. Characterizing large-scale meteorological patterns and associated temperature and precipitation extremes over the northwestern United States using self-organizing maps // J. Climate. 2017. V. 30. № 8. P. 2829–2847.
  42. Lund I.A. Map-pattern classification by statistical methods // J. Applied Meteorology and Climatology. 1963. V. 2. № 1. P. 56–65.
  43. Matsueda M., Palmer T.N. Estimates of flow-dependent predictability of wintertime Euro-Atlantic weather regimes in medium-range forecasts // Quarterly J. Royal Meteorological Society. 2018. V. 144. № 713. P. 1012–1027.
  44. Michelangeli P.A., Vautard R., Legras B. Weather regimes: Recurrence and quasi stationarity // J. atmospheric sciences. 1995. V. 52. № 8. P. 1237–1256.
  45. Molteni F., Tibaldi S., Palmer T.N. Regimes in the wintertime circulation over northern extratropics. I: Observational evidence // Quarterly J. Royal Meteorological Society. 1990. V. 116. № 491. P. 31–67.
  46. Murtagh F., Contreras P. Algorithms for hierarchical clustering: an overview // Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery. 2012. V. 2. № 1. P. 86–97.
  47. Murtagh F., Contreras P. Algorithms for hierarchical clustering: an overview, II // Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery. 2017. V. 7. № 6. P. e1219.
  48. Philipp A., Della-Marta P.M., Jacobeit J., Fereday D.R., Jones P.D., Moberg A., Wanner H. Long-term variability of daily North Atlantic–European pressure patterns since 1850 classified by simulated annealing clustering // J. Climate. 2007. V. 20. № 16. P. 4065–4095.
  49. Polo I., Ullmann A., Roucou P., Fontaine B. Weather regimes in the Euro-Atlantic and Mediterranean sector, and relationship with West African rainfall over the 1989–2008 period from a self-organizing maps approach // J. Climate. 2011. V. 24. № 13. P. 3423–3432.
  50. Roux M. A comparative study of divisive and agglomerative hierarchical clustering algorithms // J. Classification. 2018. V. 35. P. 345–366.
  51. Santos J.A., Corte-Real J., Leite S.M. Weather regimes and their connection to the winter rainfall in Portugal // International J. Climatology: A J. Royal Meteorological Society. 2005. V. 25. № 1. P. 33–50.
  52. Selesnick I.W., Burrus C.S. Generalized digital Butterworth filter design // IEEE Transactions on signal processing. 1998. V. 46. № 6. P. 1688–1694.
  53. Selim S.Z., Alsultan K. A simulated annealing algorithm for the clustering problem // Pattern recognition. 1991. V. 24. № 10. P. 1003–1008.
  54. Shi C., Wei B., Wei S. et al. A quantitative discriminant method of elbow point for the optimal number of clusters in clustering algorithm // EURASIP J. on Wireless Communications and Networking. 2021. V. 2021. № 1. P. 1–16.
  55. Smyth P., Ide K., Ghil M. Multiple regimes in northern hemisphere height fields via mixturemodel clustering // J. Atmospheric Sciences. 1999. V. 56. № 21. P. 3704–3723.
  56. Vautard R. Multiple weather regimes over the North Atlantic: Analysis of precursors and successors // Monthly weather review. 1990. V. 118. № 10. P. 2056–2081.
  57. Vautard R., Mo K.C., Ghil M. Statistical significance test for transition matrices of atmospheric Markov chains // J. Atmospheric Sciences. 1990. V. 47. № 15. P. 1926–1931.
  58. Vorobyeva V., Volodin E. Evaluation of the INM RAS climate model skill in climate indices and stratospheric anomalies on seasonal timescale // Tellus A: Dynamic Meteorology and Oceanography. 2021. V. 73. № 1. P. 1 t892 435.
  59. Willmott C.J. Synoptic weather-map classification: correlation versus sums-of-squares // The Professional Geographer. 1987. V. 39:2. P. 205–207.
  60. Yang M.S., Lai C.Y., Lin C.Y. A robust EM clustering algorithm for Gaussian mixture models // Pattern Recognition. 2012. V. 45. № 11. P. 3950–3961.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2.

Download (172KB)
Indexing metadata
3.

Download (154KB)
Indexing metadata
4.

Download (2MB)
Indexing metadata
5.

Download (581KB)
Indexing metadata
6.

Download (393KB)
Indexing metadata


Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».