RainCast: A Hybrid Precipitation Nowcasting Algorithm Using the Himawari-8/9 Satellite Measurements

封面

如何引用文章

全文:

详细

This paper proposes an algorithm for short-term rain rate forecasting, RainCast (Rain Rate NowCast), for up to two hours. This area of meteorology, known as 'nowcasting', is one of the most important tools in many areas of human activity. However, its availability may be severely limited by existing ground infrastructure. In this paper, the authors aim to create a precipitation forecasting algorithm for one such territory using the Asia-Pacific region as an example, based on satellite measurements from the Himawari-8/9 spacecraft. The algorithm combines the advantages of deterministic and statistical approaches to solve the forecasting problem and is based on two neural networks. The first model, a modified version of the physically constrained neural network NowcastNet, generates a preliminary forecast of the general direction of precipitation movement at the mesoscale level. The second model, based on the CasFormer architecture, employs diffusion methods to post-process the initial forecast, refining fine-scale details. The resulting hybrid algorithm, named RainCast, enables short-term precipitation forecasting (up to 2 hours) with high spatiotemporal resolution (2 km, updated every 10 minutes), utilizing solely infrared satellite measurements. Satellite data are converted into precipitation intensity using the algorithm previously developed by the authors. Based on precipitation maps, training, validation, and test datasets were compiled for the algorithm development and forecast quality assessment. The proposed RainCast algorithm was trained on these datasets and compared with other state-of-the-art solutions such as NowcastNet, Casformer, and Earthformer. Analysis of performance metrics demonstrated that the hybrid RainCast algorithm achieves comparable accuracy. For a 2-hour forecast, the Root Mean Square Error (RMSE) was 0.88, the Probability of Detection (POD) was 0.78, the Pearson Correlation Coefficient (PCC) was 0.75, the Structural Similarity Index Measure (SSIM) was 0.91, and the Peak Signal-to-Noise Ratio (PSNR) was 36.63. Visual analysis of the forecasts confirmed that RainCast produces results closest to actual observations, primarily due to the diffusion model's ability to refine fine-scale spatial and temporal precipitation patterns.

作者简介

A. Andreev

Computing Center of the Far Eastern Branch of the Russian Academy of Sciences

Email: a.andreev@dvrcpod.ru
Lenina St. 18

M. Kuchma

Computing Center of the Far Eastern Branch of the Russian Academy of Sciences

Email: m.kuchma@dvrcpod.ru
Lenina St. 18

S. Malkovsky

Computing Center of the Far Eastern Branch of the Russian Academy of Sciences

Email: sergey.malkovsky@ccfebras.ru
Kim Yu Chen St. 65

A. Filei

Computing Center of the Far Eastern Branch of the Russian Academy of Sciences

Email: andreyvm-61@mail.ru
Kim Yu Chen St. 65

参考

  1. Browning K.A. Review Lecture: Local weather forecasting // Proc. of the Royal Society A. Mathematical and Physical Sciences. 1980. vol. 371. pp. 179–211. doi: 10.1098/rspa.1980.0076.
  2. Киктев Д.Б., Муравьев А.В., Смирнов А.В. Наукастинг метеорологических параметров и опасных явлений: опыт реализации и перспективы развития // Гидрометеорологические исследования и прогнозы. 2019. № 4(374). С. 92–111.
  3. Observing Systems Capability Analysis and Review Tool // Geneva, Switzerland: World Meteorological Organization. 2021. URL: http://www.wmo-sat.info/oscar/ (дата обращения: 01.04.2021).
  4. Simonenko E. V., Chudin A. O., Davidenko A. N. The differential method for calculation of cloud motion vectors // Russian Meteorology and Hydrology. 2017. vol. 42. no. 3. pp. 159–167. doi: 10.3103/S1068373917030037.
  5. Marrocu M., Massidda L. Performance comparison between deep learning and optical flow-based techniques for nowcast precipitation from radar images // Forecasting. 2020. vol. 2. no. 2. pp. 194–210. doi: 10.3390/forecast2020011.
  6. Prudden R., Adams S., Kangin D., Robinson N., Ravuri S., Mohamed S., Arribas A. A review of radar-based nowcasting of precipitation and applicable machine learning techniques // arXiv preprint arXiv:2005.04988. 2020. doi: 10.48550/arXiv.2005.04988.
  7. An S., Oh T.-J., Sohn E., Kim D. Deep learning for precipitation nowcasting: A survey from the perspective of time series forecasting // Expert Systems with Applications. 2025. vol. 268. pp. 126301. doi: 10.1016/j.eswa.2024.126301.
  8. Tao W. K., Moncrieff M. W. Multiscale cloud system modeling // Reviews of Geophysics. 2009. vol. 47. no. 4. doi: 10.1029/2008RG000276.
  9. Tan J., Huang Q., Chen S. Deep learning model based on multi-scale feature fusion for precipitation nowcasting // Geoscientific Model Development. 2024. vol. 17. no. 1. pp. 53–69. doi: 10.5194/gmd-17-53-2024.
  10. Kong D., Zhi X., Ji Y., Yang C., Wang Y., Tian Y., Li G., Zeng X. Precipitation Nowcasting Based on Deep Learning over Guizhou, China // Atmosphere. 2023. vol. 14. no. 5. doi: 10.3390/atmos14050807.
  11. Shi X., Chen Z., Wang H., Yeung D.-Y., Wong W., Woo W. Convolutional LSTM network: A machine learning approach for precipitation nowcasting // Advances in Neural Information Processing Systems. 2015. vol. 28. pp. 1–9.
  12. Shi X., Gao Z., Lausen L., Wang H., Yeung D.-Y., Wong W., Woo W. Deep learning for precipitation nowcasting: A benchmark and a new model // Advances in Neural Information Processing Systems: 31st Conference on Neural Information Processing Systems (NIPS 2017). 2017. vol. 30.
  13. Han K., Wang Y., Chen H., Chen X., Guo J., Liu Z. A Survey on Vision Transformer // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2023. vol. 45. no. 1. pp. 87–110. doi: 10.1109/TPAMI.2022.3152247.
  14. Wang Y., Wu H., Zhang J., Gao Z., Wang J., Philip S.Y., Long M. PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2023. vol. 45. no. 2. pp. 2208–2225. doi: 10.1109/TPAMI.2022.3165153.
  15. Wu H., Yao Z., Wang J., Long M. MotionRNN: A Flexible Model for Video Prediction with Spacetime-Varying Motions // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, TN, USA, 2021. pp. 15430–15439. doi: 10.1109/CVPR46437.2021.01518.
  16. Gao Z., Shi X., Wang H., Zhu Y., Wang Y.B., Li M., Yeung D.Y. Earthformer: Exploring space-time transformers for earth system forecasting // Advances in Neural Information Processing Systems 35: Annual Conference on Neural Information Processing Systems (NeurIPS 2022). 2022. vol. 35. pp. 25390–25403.
  17. Bai C., Sun F., Zhang J., Song Y., Chen S. Rainformer: Features extraction balanced network for radar-based precipitation nowcasting // IEEE Geoscience and Remote Sensing Letters. 2022. vol. 19. pp. 1–5. doi: 10.1109/LGRS.2022.3162882.
  18. Gong J., Bai L., Ye P., Xu W., Liu N., Dai J., Yang X., Ouyang W. CasCast: Skillful high-resolution precipitation nowcasting via cascaded modelling // arXiv preprint arXiv:2402.04290. 2024. doi: 10.48550/arXiv.2402.04290.
  19. Wen P., Bai L., He M., Filippi P., Zhang F., Bishop T.F., Wang Z., Hu K. DuoCast: Duo-Probabilistic Meteorology-Aware Model for Extended Precipitation Nowcasting // arXiv preprint arXiv:2412.01091. 2024. doi: 10.48550/arXiv.2412.01091.
  20. Ravuri S., Lenc K., Willson M., Kangin D., Lam R., Mirowski P., Fitzsimons M., Athanassiadou M., Kashem S., Madge S., Prudden R., Mandhane A., Clark A., Brock A., Simonyan K., Hadsell R., Robinson N., Clancy E., Arribas A., Mohamed S. Skilful precipitation nowcasting using deep generative models of radar // Nature. 2021. vol. 597. pp. 672–677. doi: 10.1038/s41586-021-03854-z.
  21. Кучма М.О., Мальковский С.И., Андреев А.И., Блощинский В.Д. Нейросетевые методы наукастинга осадков: обзор и апробация существующих решений // Современные проблемы дистанционного зондирования Земли из космоса. 2023. Т. 20. № 6. С. 35–48. doi: 10.21046/2070-7401-2023-20-6-35-48.
  22. Nai C., Pan B., Chen X., Tang Q., Ni G., Duan Q., Lu B., Xiao Z., Liu X. Reliable precipitation nowcasting using probabilistic diffusion models // Environmental Research Letters. 2024. vol. 19. no. 3. doi: 10.1088/1748-9326/ad2891.
  23. Yin J., Meo C., Cher Z.B., Lica M., Wang Y., Imhoff R., Uijlenhoet R., Dauwels J. Precipitation Nowcasting Using Physics Informed Discriminator Generative Models // 32nd European Signal Processing Conference (EUSIPCO). Lyon, France, 2024. pp. 967–971. doi: 10.23919/EUSIPCO63174.2024.10715141.
  24. Wang R., Fung J.C.H., Lau A.K.H. Skillful precipitation nowcasting using physical-driven diffusion networks // Geophysical Research Letters. 2024. vol. 51. no. 24. doi: 10.1029/2024GL110832.
  25. Yu D., Li X., Ye Y., Zhang B., Luo C., Dai K., Wang R., Chen X. DiffCast: A Unified Framework via Residual Diffusion for Precipitation Nowcasting // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, USA, 2024. pp. 27758–27767. doi: 10.1109/CVPR52733.2024.02622.
  26. Zhang Y., Long M., Chen K., Xing L., Jin R., Jordan M.I, Wang J. Skilful nowcasting of extreme precipitation with NowcastNet // Nature. 2023. vol. 619. pp. 526–532. doi: 10.1038/s41586-023-06184-4.
  27. Kim W., Jeong C.H., Kim S. Improvements in deep learning-based precipitation nowcasting using major atmospheric factors with radar rain rate // Computers & Geosciences. 2024. vol. 184. doi: 10.1016/j.cageo.2024.105529.
  28. Rahimi R., Ravirathinam P., Ebtehaj A., Behrangi A., Tan J., Kumar V. Global precipitation nowcasting of Integrated Multi-satellitE Retrievals for GPM: A U-Net convolutional LSTM architecture // Journal of Hydrometeorology. 2024. vol. 25. no. 6. pp. 947–963. doi: 10.1175/JHM-D-23-0119.1.
  29. Das P., Posch A., Barber N., Hicks M., Duffy K., Vandal T., Singh D., Werkhoven K., van Werkhoven K., Ganguly A.R. Hybrid physics-AI outperforms numerical weather prediction for extreme precipitation nowcasting // NPJ Climate and Atmospheric Science. 2024. vol. 7. no. 1. doi: 10.1038/s41612-024-00834-8.
  30. Xu Q., Shi Y., Bamber J., Tuo Y., Ludwig R., Zhu X.X. Physics-aware machine learning revolutionizes scientific paradigm for machine learning and process-based hydrology // arXiv preprint arXiv:2310.05227. 2023. doi: 10.48550/arXiv.2310.05227.
  31. Leinonen J., Hamann U., Nerini D., Germann U., Franch G. Latent diffusion models for generative precipitation nowcasting with accurate uncertainty quantification // arXiv preprint arXiv:2304.12891. 2023. doi: 10.48550/arXiv.2304.12891.
  32. Chen T. On the importance of noise scheduling for diffusion models // arXiv preprint arXiv:2301.10972. 2023. doi: 10.48550/arXiv.2301.10972.
  33. Veillette M., Samsi S., Mattioli C. SEVIR: A storm event imagery dataset for deep learning applications in radar and satellite meteorology // Advances in Neural Information Processing Systems: 34th Conference on Neural Information Processing Systems (NeurIPS 2020). 2020. vol. 33. pp. 22009–22019.
  34. Бикбулатова Г.Г. Исследование распределения атмосферного увлажнения на территории Сибири и Дальнего Востока // Омский научный вестник. 2011. Т. 1(104). C. 232–235.
  35. Андреев А.И., Филей А.А., Мальковский С.И. Метод количественной оценки осадков на основе измерений Himawari-8/9 // Современные проблемы дистанционного зондирования Земли из космоса. 2024. Т. 21. № 5. С. 20–35. doi: 10.21046/2070-7401-2024-21-5-20-35.
  36. Huffman G.J., Bolvin D.T., Braithwaite D., Hsu K.L., Joyce R.J., Kidd C., Nelkin E.J., Sorooshian S., Stocker E.F., Tan J., Wolff D.B., Xie P. Integrated Multi-satellite Retrievals for the Global Precipitation Measurement (GPM) Mission (IMERG) // Satellite Precipitation Measurement // Advances in Global Change Research. 2020. vol. 67. pp. 343–353. Springer, Cham. doi: 10.1007/978-3-030-24568-9_19.
  37. Kingma D.P., Ba J. Adam: A method for stochastic optimization // arXiv preprint arXiv:1412.6980. 2017. doi: 10.48550/arXiv.1412.6980.
  38. Rombach R., Blattmann A., Lorenz D., Esser P., Ommer B. High-Resolution Image Synthesis with Latent Diffusion Models // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2022. pp. 10674–10685. doi: 10.1109/CVPR52688.2022.01042.
  39. Esser P., Rombach R., Ommer B. Taming Transformers for High-Resolution Image Synthesis // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. pp. 12868–12878. doi: 10.1109/CVPR46437.2021.01268.
  40. Goodfellow I. J., Pouget-Abadie J., Mirza M., Xu B., Warde-Farley D., Ozair S., Courville A., Bengio Y. Generative adversarial nets // Advances in Neural Information Processing Systems: Annual Conference on Neural Information Processing Systems. 2014. vol. 27. pp. 2672–2680.
  41. Kingma D.P., Welling M. Auto-encoding variational bayes // arXiv preprint arXiv:1312.6114. 2013. doi: 10.48550/arXiv.1312.6114.
  42. Peebles W., Xie S. Scalable Diffusion Models with Transformers // IEEE/CVF International Conference on Computer Vision (ICCV). Paris, France, 2023. pp. 4172–4182. doi: 10.1109/ICCV51070.2023.00387.
  43. Ho J., Jain A., Abbeel P. Denoising diffusion probabilistic models // Advances in neural information processing systems. 2020. vol. 33. pp. 6840–6851.

补充文件

附件文件
动作
1. JATS XML
下载

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».