RainCast: Гибридный алгоритм наукастинга интенсивности осадков по данным спутниковых наблюдений КА Himawari-8/9

Обложка

Цитировать

Полный текст

Аннотация

В работе предложен алгоритм RainCast (Rain Rate NowCast), предназначенный для краткосрочного прогноза интенсивности осадков на срок до двух часов. Данное направление метеорологии, в англоязычной литературе получившее название «наукастинг» (nowcasting), является одним из наиболее востребованных информационных продуктов во многих сферах человеческой деятельности. Вместе с тем, его доступность может быть сильно ограничена имеющейся наземной инфраструктурой. В настоящей работе авторами поставлена цель создания алгоритма прогноза осадков, предназначенного для одной из таких территорий на примере Азиатско-Тихоокеанского регионе с использованием спутниковых измерений космического аппарата Himawari-8/9. Предложенный алгоритм объединяет преимущества детерминированного и статистического подходов к задаче прогноза и основан на использовании двух нейросетевых моделей. Первая модель осуществляет предварительный прогноз общего направления движения осадков на мезомасштабном уровне с помощью физически-обусловленной нейронной сети NowcastNet. Вторая модель на основе архитектуры CasFormer служит для постобработки полученного прогноза методом диффузий с целью повышения его детализации. Разработанный с использованием данного метода гибридный алгоритм RainCast позволяет получать краткосрочный прогноз интенсивности осадков на срок до двух часов с частотой каждые 10 минут и пространственным разрешением 2 км/пиксель на основе спутниковых измерений в инфракрасном диапазоне. Спутниковые измерения используются для расчета интенсивности осадков по ранее предложенному авторами алгоритму. На основе карт осадков сформированы обучающие, валидационные и тестовые наборы данных, применяемые для обучения, настройки алгоритма и оценки качества прогнозов соответственно. Для предложенного алгоритма RainCast, а также применяемых в мировой практике актуальных решений, таких как NowcastNet, CasFormer, Earthformer, было проведено обучение с использованием сформированных наборов данных, после чего для указанных алгоритмов был рассчитан ряд показателей качества получаемых прогнозов. Из полученных результатов можно сделать вывод, что предложенный в настоящей работе гибридный алгоритм RainCast имеет более высокое качество прогноза в сравнении с другими вышеперечисленными решениями при равных условиях. Для валидационного набора данных на территории Дальневосточного региона при прогнозе алгоритмом RainCast c заблаговременностью 2 часа были получены следующие показатели для последнего спрогнозированного кадра: корень среднеквадратической ошибки RMSE составил 0.88 мм/ч, вероятность обнаружения POD – 0.78, коэффициент корреляции Пирсона – 0.75, индекс структурного сходства SSIM – 0.91, а пиковое отношение сигнала к шуму PSNR – 36.63. Дополнительно проведенный визуальный анализ прогнозов подтвердил, что наиболее близкие к фактическим наблюдениям результаты имеет предложенный гибридный региональный алгоритм RainCast.

Об авторах

А. И Андреев

Вычислительный центр Дальневосточного отделения Российской академии наук

Email: a.andreev@dvrcpod.ru
улица Ленина 18

М. О Кучма

Вычислительный центр Дальневосточного отделения Российской академии наук

Email: m.kuchma@dvrcpod.ru
улица Ленина 18

С. И Мальковский

Вычислительный центр Дальневосточного отделения Российской академии наук

Email: sergey.malkovsky@ccfebras.ru
улица Ким Ю Чена 65

А. А Филей

Вычислительный центр Дальневосточного отделения Российской академии наук

Email: andreyvm-61@mail.ru
улица Ким Ю Чена 65

Список литературы

  1. Browning K.A. Review Lecture: Local weather forecasting // Proc. of the Royal Society A. Mathematical and Physical Sciences. 1980. vol. 371. pp. 179–211. doi: 10.1098/rspa.1980.0076.
  2. Киктев Д.Б., Муравьев А.В., Смирнов А.В. Наукастинг метеорологических параметров и опасных явлений: опыт реализации и перспективы развития // Гидрометеорологические исследования и прогнозы. 2019. № 4(374). С. 92–111.
  3. Observing Systems Capability Analysis and Review Tool // Geneva, Switzerland: World Meteorological Organization. 2021. URL: http://www.wmo-sat.info/oscar/ (дата обращения: 01.04.2021).
  4. Simonenko E. V., Chudin A. O., Davidenko A. N. The differential method for calculation of cloud motion vectors // Russian Meteorology and Hydrology. 2017. vol. 42. no. 3. pp. 159–167. doi: 10.3103/S1068373917030037.
  5. Marrocu M., Massidda L. Performance comparison between deep learning and optical flow-based techniques for nowcast precipitation from radar images // Forecasting. 2020. vol. 2. no. 2. pp. 194–210. doi: 10.3390/forecast2020011.
  6. Prudden R., Adams S., Kangin D., Robinson N., Ravuri S., Mohamed S., Arribas A. A review of radar-based nowcasting of precipitation and applicable machine learning techniques // arXiv preprint arXiv:2005.04988. 2020. doi: 10.48550/arXiv.2005.04988.
  7. An S., Oh T.-J., Sohn E., Kim D. Deep learning for precipitation nowcasting: A survey from the perspective of time series forecasting // Expert Systems with Applications. 2025. vol. 268. pp. 126301. doi: 10.1016/j.eswa.2024.126301.
  8. Tao W. K., Moncrieff M. W. Multiscale cloud system modeling // Reviews of Geophysics. 2009. vol. 47. no. 4. doi: 10.1029/2008RG000276.
  9. Tan J., Huang Q., Chen S. Deep learning model based on multi-scale feature fusion for precipitation nowcasting // Geoscientific Model Development. 2024. vol. 17. no. 1. pp. 53–69. doi: 10.5194/gmd-17-53-2024.
  10. Kong D., Zhi X., Ji Y., Yang C., Wang Y., Tian Y., Li G., Zeng X. Precipitation Nowcasting Based on Deep Learning over Guizhou, China // Atmosphere. 2023. vol. 14. no. 5. doi: 10.3390/atmos14050807.
  11. Shi X., Chen Z., Wang H., Yeung D.-Y., Wong W., Woo W. Convolutional LSTM network: A machine learning approach for precipitation nowcasting // Advances in Neural Information Processing Systems. 2015. vol. 28. pp. 1–9.
  12. Shi X., Gao Z., Lausen L., Wang H., Yeung D.-Y., Wong W., Woo W. Deep learning for precipitation nowcasting: A benchmark and a new model // Advances in Neural Information Processing Systems: 31st Conference on Neural Information Processing Systems (NIPS 2017). 2017. vol. 30.
  13. Han K., Wang Y., Chen H., Chen X., Guo J., Liu Z. A Survey on Vision Transformer // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2023. vol. 45. no. 1. pp. 87–110. doi: 10.1109/TPAMI.2022.3152247.
  14. Wang Y., Wu H., Zhang J., Gao Z., Wang J., Philip S.Y., Long M. PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2023. vol. 45. no. 2. pp. 2208–2225. doi: 10.1109/TPAMI.2022.3165153.
  15. Wu H., Yao Z., Wang J., Long M. MotionRNN: A Flexible Model for Video Prediction with Spacetime-Varying Motions // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, TN, USA, 2021. pp. 15430–15439. doi: 10.1109/CVPR46437.2021.01518.
  16. Gao Z., Shi X., Wang H., Zhu Y., Wang Y.B., Li M., Yeung D.Y. Earthformer: Exploring space-time transformers for earth system forecasting // Advances in Neural Information Processing Systems 35: Annual Conference on Neural Information Processing Systems (NeurIPS 2022). 2022. vol. 35. pp. 25390–25403.
  17. Bai C., Sun F., Zhang J., Song Y., Chen S. Rainformer: Features extraction balanced network for radar-based precipitation nowcasting // IEEE Geoscience and Remote Sensing Letters. 2022. vol. 19. pp. 1–5. doi: 10.1109/LGRS.2022.3162882.
  18. Gong J., Bai L., Ye P., Xu W., Liu N., Dai J., Yang X., Ouyang W. CasCast: Skillful high-resolution precipitation nowcasting via cascaded modelling // arXiv preprint arXiv:2402.04290. 2024. doi: 10.48550/arXiv.2402.04290.
  19. Wen P., Bai L., He M., Filippi P., Zhang F., Bishop T.F., Wang Z., Hu K. DuoCast: Duo-Probabilistic Meteorology-Aware Model for Extended Precipitation Nowcasting // arXiv preprint arXiv:2412.01091. 2024. doi: 10.48550/arXiv.2412.01091.
  20. Ravuri S., Lenc K., Willson M., Kangin D., Lam R., Mirowski P., Fitzsimons M., Athanassiadou M., Kashem S., Madge S., Prudden R., Mandhane A., Clark A., Brock A., Simonyan K., Hadsell R., Robinson N., Clancy E., Arribas A., Mohamed S. Skilful precipitation nowcasting using deep generative models of radar // Nature. 2021. vol. 597. pp. 672–677. doi: 10.1038/s41586-021-03854-z.
  21. Кучма М.О., Мальковский С.И., Андреев А.И., Блощинский В.Д. Нейросетевые методы наукастинга осадков: обзор и апробация существующих решений // Современные проблемы дистанционного зондирования Земли из космоса. 2023. Т. 20. № 6. С. 35–48. doi: 10.21046/2070-7401-2023-20-6-35-48.
  22. Nai C., Pan B., Chen X., Tang Q., Ni G., Duan Q., Lu B., Xiao Z., Liu X. Reliable precipitation nowcasting using probabilistic diffusion models // Environmental Research Letters. 2024. vol. 19. no. 3. doi: 10.1088/1748-9326/ad2891.
  23. Yin J., Meo C., Cher Z.B., Lica M., Wang Y., Imhoff R., Uijlenhoet R., Dauwels J. Precipitation Nowcasting Using Physics Informed Discriminator Generative Models // 32nd European Signal Processing Conference (EUSIPCO). Lyon, France, 2024. pp. 967–971. doi: 10.23919/EUSIPCO63174.2024.10715141.
  24. Wang R., Fung J.C.H., Lau A.K.H. Skillful precipitation nowcasting using physical-driven diffusion networks // Geophysical Research Letters. 2024. vol. 51. no. 24. doi: 10.1029/2024GL110832.
  25. Yu D., Li X., Ye Y., Zhang B., Luo C., Dai K., Wang R., Chen X. DiffCast: A Unified Framework via Residual Diffusion for Precipitation Nowcasting // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, USA, 2024. pp. 27758–27767. doi: 10.1109/CVPR52733.2024.02622.
  26. Zhang Y., Long M., Chen K., Xing L., Jin R., Jordan M.I, Wang J. Skilful nowcasting of extreme precipitation with NowcastNet // Nature. 2023. vol. 619. pp. 526–532. doi: 10.1038/s41586-023-06184-4.
  27. Kim W., Jeong C.H., Kim S. Improvements in deep learning-based precipitation nowcasting using major atmospheric factors with radar rain rate // Computers & Geosciences. 2024. vol. 184. doi: 10.1016/j.cageo.2024.105529.
  28. Rahimi R., Ravirathinam P., Ebtehaj A., Behrangi A., Tan J., Kumar V. Global precipitation nowcasting of Integrated Multi-satellitE Retrievals for GPM: A U-Net convolutional LSTM architecture // Journal of Hydrometeorology. 2024. vol. 25. no. 6. pp. 947–963. doi: 10.1175/JHM-D-23-0119.1.
  29. Das P., Posch A., Barber N., Hicks M., Duffy K., Vandal T., Singh D., Werkhoven K., van Werkhoven K., Ganguly A.R. Hybrid physics-AI outperforms numerical weather prediction for extreme precipitation nowcasting // NPJ Climate and Atmospheric Science. 2024. vol. 7. no. 1. doi: 10.1038/s41612-024-00834-8.
  30. Xu Q., Shi Y., Bamber J., Tuo Y., Ludwig R., Zhu X.X. Physics-aware machine learning revolutionizes scientific paradigm for machine learning and process-based hydrology // arXiv preprint arXiv:2310.05227. 2023. doi: 10.48550/arXiv.2310.05227.
  31. Leinonen J., Hamann U., Nerini D., Germann U., Franch G. Latent diffusion models for generative precipitation nowcasting with accurate uncertainty quantification // arXiv preprint arXiv:2304.12891. 2023. doi: 10.48550/arXiv.2304.12891.
  32. Chen T. On the importance of noise scheduling for diffusion models // arXiv preprint arXiv:2301.10972. 2023. doi: 10.48550/arXiv.2301.10972.
  33. Veillette M., Samsi S., Mattioli C. SEVIR: A storm event imagery dataset for deep learning applications in radar and satellite meteorology // Advances in Neural Information Processing Systems: 34th Conference on Neural Information Processing Systems (NeurIPS 2020). 2020. vol. 33. pp. 22009–22019.
  34. Бикбулатова Г.Г. Исследование распределения атмосферного увлажнения на территории Сибири и Дальнего Востока // Омский научный вестник. 2011. Т. 1(104). C. 232–235.
  35. Андреев А.И., Филей А.А., Мальковский С.И. Метод количественной оценки осадков на основе измерений Himawari-8/9 // Современные проблемы дистанционного зондирования Земли из космоса. 2024. Т. 21. № 5. С. 20–35. doi: 10.21046/2070-7401-2024-21-5-20-35.
  36. Huffman G.J., Bolvin D.T., Braithwaite D., Hsu K.L., Joyce R.J., Kidd C., Nelkin E.J., Sorooshian S., Stocker E.F., Tan J., Wolff D.B., Xie P. Integrated Multi-satellite Retrievals for the Global Precipitation Measurement (GPM) Mission (IMERG) // Satellite Precipitation Measurement // Advances in Global Change Research. 2020. vol. 67. pp. 343–353. Springer, Cham. doi: 10.1007/978-3-030-24568-9_19.
  37. Kingma D.P., Ba J. Adam: A method for stochastic optimization // arXiv preprint arXiv:1412.6980. 2017. doi: 10.48550/arXiv.1412.6980.
  38. Rombach R., Blattmann A., Lorenz D., Esser P., Ommer B. High-Resolution Image Synthesis with Latent Diffusion Models // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2022. pp. 10674–10685. doi: 10.1109/CVPR52688.2022.01042.
  39. Esser P., Rombach R., Ommer B. Taming Transformers for High-Resolution Image Synthesis // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. pp. 12868–12878. doi: 10.1109/CVPR46437.2021.01268.
  40. Goodfellow I. J., Pouget-Abadie J., Mirza M., Xu B., Warde-Farley D., Ozair S., Courville A., Bengio Y. Generative adversarial nets // Advances in Neural Information Processing Systems: Annual Conference on Neural Information Processing Systems. 2014. vol. 27. pp. 2672–2680.
  41. Kingma D.P., Welling M. Auto-encoding variational bayes // arXiv preprint arXiv:1312.6114. 2013. doi: 10.48550/arXiv.1312.6114.
  42. Peebles W., Xie S. Scalable Diffusion Models with Transformers // IEEE/CVF International Conference on Computer Vision (ICCV). Paris, France, 2023. pp. 4172–4182. doi: 10.1109/ICCV51070.2023.00387.
  43. Ho J., Jain A., Abbeel P. Denoising diffusion probabilistic models // Advances in neural information processing systems. 2020. vol. 33. pp. 6840–6851.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».