Краткосрочное прогнозирование облачности и осадков по данным геостационарных спутников на территории Дальнего Востока

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 23-77-00011

НазваниеКраткосрочное прогнозирование облачности и осадков по данным геостационарных спутников на территории Дальнего Востока

Руководитель Мальковский Сергей Иванович, Кандидат технических наук

Организация финансирования, регион Федеральное государственное бюджетное учреждение науки Хабаровский Федеральный исследовательский центр Дальневосточного отделения Российской академии наук , Хабаровский край

Конкурс №79 - Конкурс 2023 года по мероприятию «Проведение исследований на базе существующей научной инфраструктуры мирового уровня» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными

Область знания, основной код классификатора 07 - Науки о Земле; 07-712 - Геоинформатика, дистанционное зондирование Земли и географическая картография

Ключевые слова краткосрочное прогнозирование, наукастинг, дистанционное зондирование Земли, интенсивность осадков, мультиспектральные изображения, компьютерное зрение, машинное обучение, искусственные нейронные сети

Код ГРНТИ50.53.00

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Исследование и прогнозирование погодных явлений является одной из важнейших задач метеорологии. Точный и своевременный прогноз опасных явлений погоды необходим для планирования работы городских служб, авиации, сельского хозяйства, обеспечения надежной деятельности объектов экономики и безопасности населения. Большинство используемых в настоящее время методов и алгоритмов прогноза погоды основаны на использовании данных наземных сетей инструментальных наблюдений (например, радиолокационных, в том числе радиозондов). Однако количество пунктов наблюдений и плотность их размещения на территории России существенно ограничивает пространственную и временную точность таких прогнозов. Особенно актуальной эта проблема является для Сибири и Дальнего Востока, где степень распространения современных наземных систем мониторинга ниже среднероссийской. Альтернативным источником подобной информации могут выступать геостационарные метеорологические космические аппараты. В этом случае наблюдения ограничены только видимым и инфракрасным диапазонами длин волн, в отличие от данных наземных станций, работающих в микроволновом диапазоне и имеющих гораздо большую информативность в задаче обнаружения осадков и их наукастинга. В связи с этим, требуется разработка эффективных алгоритмов по оценке осадков на основе данных геостационарных аппаратов. Этой актуальной задаче посвящен данный проект. В настоящее время существует ряд алгоритмов по обнаружению осадков и приблизительной оценке их интенсивности, однако результаты их работы не применяются для решения задачи наукастинга. Кроме того, оценка качества работы подобных решений показывает необходимость их усовершенствования, в том числе за счет внедрения дополнительной информации о вертикальной структуре облачности. Проблема повышения точности алгоритмов оценки интенсивности по данным геостационарных спутников по-прежнему остается одной из наиболее актуальных при решении не только задачи наукастинга, но и в целом в задачах оперативного и качественного мониторинга осадков и опасных погодных явлений. В рамках данного проекта будет исследована возможность использования результатов численного моделирования прогностическими моделями физических величин, характеризующих состояние атмосферы на различных вертикальных уровнях. Это позволит уточнить значения мгновенной интенсивности осадков для существующих алгоритмов, применяемых в мировой оперативной практике. Таким образом, уточненные значения интенсивностей можно будет использовать для формирования обучающих и тестовых наборов данных, необходимых для разработки алгоритма прогнозирования осадков и связанных с ними опасных погодных явлений. Алгоритм краткосрочного прогнозирования основывается на анализе временных рядов промежуточных состояний атмосферы и параметров облачности с использованием нейросетевого подхода на основе сверточно-рекуррентных нейронных сетей, обучаемых по генеративно-состязательному методу. При этом для повышения временной дискретности результаты численного прогноза интерполируются с использованием алгоритма оптического потока по модифицированному методу Брокса. В дальнейшем планируется исследование возможности совместного использования разработанного прогностического алгоритма с данными наземных наблюдений с целью повышения точности прогнозов. Разработка модели краткосрочного прогнозирования будет основана на использовании данных спутника Himawari-8, и в дальнейшем планируется ее адаптация для данных российских и других зарубежных геостационарных космических аппаратов. На завершающем этапе исследования разработанные алгоритмы оценки интенсивности осадков и их краткосрочного прогнозирования будут апробированы с использованием данных наземных метеорологических станций в различных географических и временных условиях в Дальневосточном центре НИЦ «Планета» и Дальневосточном управлении гидрометеослужбы в г. Хабаровск.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Кучма М.О., Мальковский С.И., Андреев А.И., Блощинский В.Д. Нейросетевые методы наукастинга осадков: обзор и апробация существующих решений Современные проблемы дистанционного зондирования Земли из космоса (год публикации - 2023)

2. Блощинский В.Д., Крамарева Л.С., Шамилова Ю.А. Детектирование облачного покрова с использованием нейронной сети по данным прибора МСУ-ГС космического аппарата Арктика-М № 1 Оптика атмосферы и океана (год публикации - 2024)

3. Андреев А.И., Филей А.А., Мальковский С.И., Королев С.П. Оценка интенсивности осадков с использованием измерений спутника Himawari-8/9 методом сверточных нейронных сетей Информационные технологии и высокопроизводительные вычисления: материалы VII Международной науч.- практ. конф., Хабаровск, 11-13 сентября 2023 г. / ХФИЦ ДВО РАН, Хабаровск, С. 22-25 (год публикации - 2023)

4. Андреев А.И., Кучма М.О., Блощинский В.Д., Бородицкая А.В. Методы искусственного интеллекта в задаче наукастинга осадков Информационные технологии и высокопроизводительные вычисления: материалы VII Международной науч.- практ. конф., Хабаровск, 11-13 сентября 2023 г. / ХФИЦ ДВО РАН, Хабаровск, С. 18-21 (год публикации - 2023)

5. Блощинский В.Д., Крамарева Л.С., Шамилова Ю.А., Мальковский С.И., Королев С.П. Детектирование облачности с помощью нейронной сети по данным прибора МСУ-ГС космического аппарата Арктика-М № 1 Информационные технологии и высокопроизводительные вычисления: материалы VII Международной науч.- практ. конф., Хабаровск, 11-13 сентября 2023 г. / ХФИЦ ДВО РАН, Хабаровск, С. 29-32 (год публикации - 2023)

6. Блощинский В.Д., Андреев А.И., Андреев Е.Э., Мальковский С.И. Валидация алгоритмов детектирования облачности по данным геостационарных космических аппаратов Материалы 21-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса». Москва: ИКИ РАН, С. 15 (год публикации - 2023)
10.21046/21DZZconf-2023a

Аннотация результатов, полученных в 2024 году
Все запланированные на 2024 г. работы успешно выполнены. Можно отметить следующие ключевые результаты. 1. На основе измерений нового космического аппарата Электро-Л №4 обучающая выборка, предназначенная для разработки алгоритма расчета маски облачности по данными спутника серии «Электро-Л», была дополнена примерами облачности и подстилающей поверхности. С учетом актуализированных данных проведено дообучение нейронной сети, лежащей в основе алгоритма расчета маски облачности. При этом сам алгоритм расчета маски облачности был усовершенствован за счет внедрения дополнительной процедуры постобработки на основе временного анализа пар спутниковых изображений. Проведена оценка точности указанного алгоритма с использованием тестового набора текстурных данных, а также путем сравнения с маской облачности по данным спутника Himawari-9, предоставляемой Национальным управлением океанических и атмосферных исследований США (NOAA), и маской, полученной по результатам ручного дешифрирования спутниковых изображений специалистами. Сравнение с маской облачности КА Himawari-9 показало значение f1-меры 92,8 %. Аналогичное сравнение с результатами ручного дешифрирования показало значение f1-меры для разработанного алгоритма 91,9 %. 2. С целью повышения точности обнаружения облачности в темное время суток, а также на границе смены дня и ночи, был усовершенствован алгоритм расчета маски облачности по данным КА серии «Himawari». Новый алгоритм основан на ансамбле сверточных нейронных сетей, что позволило улучшить точность расчета маски в сложных условиях наблюдений. Валидация полученных результатов проведена путем сравнения с маской облачности, предоставляемой Национальным управлением океанических и атмосферных исследований США (NOAA). Были получены следующие оценки комплексного показателя f1-меры: от 83,98% до 87,5% в зависимости от условий наблюдений, в то время как при прочих равных условиях для ранее использованного алгоритма данный показатель имел значение от 74,56% до 85,08%. 3. Алгоритм оценки интенсивности осадков по данным спутника Himawari-8/9 был усовершенствован за счет изменения процедуры расчета микрофизических параметров облачности на основе измерений в инфракрасном спектре. Кроме того, изначально применявшаяся сверточная архитектура нейронной сети для обнаружения полей осадков была заменена на трансформерную архитектуру, показавшую более высокую точность. Все это привело к увеличению вероятности обнаружения осадков POD (Probability of Detection) с 73 до 82%. При этом показатель f1-меры улучшился с 88 до 90 %. Полученные нейросетевые модели были переобучены с учетом актуальных измерений прибора AHI спутника Himawari-9, включающих холодный период года. Проведена валидация полученных результатов в сравнении с данными международного проекта по измерению осадков GPM (Global Precipitation Measurements), результатами численного прогноза модели CosmoRu-6, а также с фактическими суммами осадков на наземных метеостанциях. 4. На основе измерений прибора МСУ-ГС (спутники серий «Арктика-М» и «Электро-Л») были сформированы наборы данных, предназначенные для разработки алгоритмов расчета интенсивности осадков. Наборы данных представлены в виде сегментов размером 256×256 пикселей и соответствующих им масок полей осадков, а также текстурных изображений размером 5×5 пикселей, центральным пикселям которых соотнесены значения количества осадков по их координатам. 5. С использованием разработанного алгоритма оценки интенсивности осадков по данным КА Himawari-9 были сформированы обучающие и тестовые наборы данных, предназначенные для обучения алгоритмов наукастинга облачности и осадков. Указанные выборки состоят из изображений полей и интенсивностей осадков, спектральных каналов прибора AHI спутника Himawari-9, а также рассчитанных микро- и макрофизических параметров облачности. 6. Сформирован архив данных, содержащий информацию о метеоявлениях, происходивших на территории Дальнего Востока в период с 1 января 2021 по 29 августа 2024 г. Для формирования архива были использованы телеграммы аэропортов в коде METAR, предоставленные ФГБУ «Авиаметтелеком Росгидромета». В архив включены сведения о дате и времени метеоявления, ICAO-код аэропорта и информация об облачности. 7. Разработан алгоритм расчета интенсивности осадков по данным измерений прибора МСУ-ГС. Проведена оценка точности полученных результатов с использованием тестового набора данных, сформированного на основе эталонных измерений проекта GPM в различных условиях наблюдений. Результаты тестирования алгоритма показали значение ошибки RMSE в 1,27 мм/ч. При этом средний показатель f1-меры составил около 0,59 для теплого и холодного периода года. 8. Подготовлены и направлены статьи с описанием результатов исследований: а) «A Neural Network Method for Precipitation Estimation from Elektro-L No. 4/MSU-GS Spectroradiometer Measurements», журнал «Russian Meteorology and Hydrology», опубликована в No 9, Vol. 49, 2024 г.; б) «Метод количественной оценки осадков на основе измерений Himawari-8/9», журнал «Современные проблемы дистанционного зондирования Земли из космоса», опубликована в № 5, Т. 21, 2024 г.; в) «Оценка эффективности ансамбля нейросетей для маскирования облачности по данным спектрорадиометра AHI космического аппарата Himawari-8/9», журнал «Компьютерная оптика», принята к публикации в №49-3, 2025 г. 9. Принято участие в работе конференций с устными докладами: а) «Детектирование облачности по данным прибора МСУ-ГС космического аппарата Электро-Л № 4 с помощью нейронной сети», Юбилейный XXX Международный симпозиум «Оптика атмосферы и океана. Физика атмосферы», Россия, г. Санкт-Петербург, 1-5 июля 2024 года; б) «Алгоритм оценки интенсивности осадков по данным КА «Электро-Л» №4», XI Международная научная конференция «Региональные проблемы дистанционного зондирования Земли» (РПДЗЗ-2024), Россия, г. Красноярск, 10-13 сентября 2024 года; в) «Оперативный мониторинг облачности и осадков в Дальневосточном регионе с использованием нейросетевых технологий», Двадцать вторая международная конференция «Современные проблемы дистанционного зондирования Земли из космоса», Россия, г. Москва, 11-15 ноября 2024 года.

Публикации

1. Андреев А.И., Филей А.А., Мальковский С.И., Королев С.П. Метод количественной оценки осадков на основе измерений Himawari-8/9 Современные проблемы дистанционного зондирования Земли из космоса, № 5, Т. 21, С. 20-35 (год публикации - 2024)
10.21046/2070-7401-2024-21-5-20-35

2. Андреев А.И., Мальковский С.И., Кучма М.О., Шамилова Ю.А. Оценка эффективности ансамбля нейросетей для маскирования облачности по данным спектрорадиометра AHI космического аппарата Himawari-8/9 Компьютерная оптика (год публикации - 2025)

3. Кучма М.О., Мальковский С.И., Андреев А.И., Блощинский В.Д., Филей А.А., Крамарева Л.С., Бородицкая А.В., Королев С.П., Тен А.С. Оперативный мониторинг облачности и осадков в Дальневосточном регионе с использованием нейросетевых технологий Материалы 22-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса». Москва: ИКИ РАН, C. 111 (год публикации - 2024)
10.21046/22DZZconf-2024a

4. Андреев А.И., Филей А.А., Кучма М.О., Мальковский С.И. A Neural Network Method for Precipitation Estimation from Elektro-L No. 4/MSU-GS Spectroradiometer Measurements Russian Meteorology and Hydrology, No. 9, Vol. 49, pp. 848–856 (год публикации - 2024)
10.3103/S1068373924100029

5. Блощинский В.Д., Андреев А.И. Детектирование облачности по данным прибора МСУ-ГС космического аппарата Электро-Л № 4 с помощью нейронной сети Оптика атмосферы и океана. Физика атмосферы [Электронный ресурс] :Материалы XXX Международного симпозиума, г. Санкт-Петербург, 1–5 июля 2024 г. — Томск: Издательство ИОА СО РАН, С. B135-B138 (год публикации - 2024)

6. Андреев А.И., Филей А.А., Мальковский С.И. Алгоритм оценки интенсивности осадков по данным КА «Электро-Л» №4 Региональные проблемы дистанционного зондирования Земли : материалы XI Междунар. науч. конф. Красноярск, 10–13 сентября 2024 г. Красноярск : Сиб. федер. ун-т, С. 298-301 (год публикации - 2024)

Аннотация результатов, полученных в 2025 году
Все запланированные на 2025 г. работы успешно выполнены. Можно отметить следующие ключевые результаты. 1. С использованием ресурсов ЦКП «ИКИ-мониторинг» и ранее разработанного алгоритма оценки интенсивности осадков сформированы обучающие и тестовые наборы данных для разработки алгоритмов краткосрочного прогнозирования облачности и текущих осадков (наукастинга). Данные включают измерения спутника Электро-Л №4, а также карты полей и интенсивностей осадков на территории Дальнего Востока. 2. Разработан алгоритм формирования ежедневного 15-суточного безоблачного ИК-композита яркостной температуры канала 11 мкм по данным КА Электро-Л №4. Продукт предназначен для задачи краткосрочного прогнозирования облачности в качестве априорной информации о подстилающей поверхности. 3. Разработан алгоритм HybridCloudCast, предназначенный для краткосрочного прогнозирования облачности по данным измерений в канале 11 мкм космического аппарата Himawari-8/9. Проведена численная и визуальная оценка качества прогнозов, по результатам которой на трехчасовом горизонте прогноза были получены показатели с ошибкой RMSE, не превышающей 12 К, и коэффициентом корреляции не ниже 0,84, что соответствует показателям, достигаемым аналогичными решениями. 4. Разработан алгоритм RainCast, предназначенный для краткосрочного прогнозирования интенсивности осадков по данным прибора AHI спутника Himawari-8/9. Проведена оценка точности прогноза осадков в сравнении с фактическими изображениями осадков по данным спутника Himawari-8/9. В частности, для двухчасового прогноза осадков были получены следующие показатели: корень среднеквадратической ошибки RMSE составил 0,88 мм/ч, вероятность обнаружения POD – 0,78, коэффициент корреляции Пирсона – 0,75, индекс структурного сходства SSIM – 0,91, а пиковое отношение сигнала к шуму PSNR – 36,63. 5. Подготовлены и представлены доклады с результатами исследований на следующих конференциях: а) Международный симпозиум «Атмосферная радиация и динамика» (МСАРД), 23-26 июня 2025 г. в г. Санкт-Петербург. Очный доклад: Наукастинг движения облачности по данным КА Himawari-9 с использованием комбинированного нейросетевого подхода (авторы Блощинский В.Д., Андреев А.И., Бородицкая А.В., Мальковский С.И.). https://events.spbu.ru/isard#!/tab/1033999221-3 б) VII Международная научно-практическая конференция «Информационные технологии и высокопроизводительные вычисления» (ITHPC-2025), 15-17 сентября 2025 г. в г. Хабаровск. Очный доклад: Алгоритм прогноза осадков с высоким пространственно-временным разрешением на основе данных спутника Himawari-8/9 (авторы Андреев А.И., Мальковский С.И., Кучма М.О., Филей А.А., Крамарева Л.С., Бородицкая А.В., Королев С.П., Тен А.С.). https://elibrary.ru/item.asp?id=82992926&pff=1 в) 23-я Международная конференция «Современные проблемы дистанционного зондирования Земли из космоса», 10-14 ноября 2025 г., г. Москва. Очный доклад: Наукастинг интенсивности осадков по данным геостационарного спутника Himawari-8/9 (авторы Андреев А.И., Мальковский С.И., Кучма М.О., Филей А.А., Крамарева Л.С., Бородицкая А.В., Королев С.П., Тен А.С.). http://conf.rse.geosmis.ru/files/books/2025/10795.htm 6. Подготовлены следующие публикации. а) Андреев А.И., Кучма М.О., Мальковский С.И., Филей А.А. RainCast: Гибридный алгоритм наукастинга интенсивности осадков по данным спутниковых наблюдений КА Himawari-8/9. // Информатика и автоматизация. 2025, Т. 24, №. 4, С. 1085-1113. https://www.ia.spcras.ru/index.php/sp/article/view/17060 б) Блощинский В.Д., Мальковский С.И., Крамарева Л.С., Бородицкая А.В., Королев С.П. Наукастинг движения облачности по данным КА Himawari-8/9 с использованием гибридной нейросетевой модели HybridCloudCast. //Современные проблемы дистанционного зондирования Земли из космоса. (принята к публикации).

Публикации

1. Блощинский В.Д., Мальковский С.И., Крамарева Л.С., Бородицкая А.В., Королев С.П. Наукастинг движения облачности по данным КА Himawari-8/9 с использованием гибридной нейросетевой модели HybridCloudCast Современные проблемы дистанционного зондирования Земли из космоса (год публикации - 2025)

2. Андреев А.И., Мальковский С.И., Кучма М.О., Филей А.А., Крамарева Л.С., Бородицкая А.В., Королев С.П., Тен А.С. Алгоритм прогноза осадков с высоким пространственно-временным разрешением на основе данных спутника Himawari-8/9 Информационные технологии и высокопроизводительные вычисления: Материалы VIII Международной научно-практической конференции, Хабаровск, 15–17 сентября 2025 года. – Хабаровск: Хабаровский Федеральный исследовательский центр, 2025., С. 17-20. (год публикации - 2025)

3. Андреев А.И., Мальковский С.И., Кучма М.О., Филей А.А., Крамарева Л.С., Бородицкая А.В., Королев С.П., Тен А.С. Наукастинг интенсивности осадков по данным геостационарного спутника Himawari-8/9 Материалы 23-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса». Москва: ИКИ РАН, 2025., C. 15 (год публикации - 2025)
10.21046/23DZZconf-2025a

4. Андреев А.И., Кучма М.О., Мальковский С.И., Филей А.А. RainCast: Гибридный алгоритм наукастинга интенсивности осадков по данным спутниковых наблюдений КА Himawari-8/9 Информатика и автоматизация (Труды СПИИРАН), Т. 24, № 4, С. 1085-1113 (год публикации - 2025)
10.15622/ia.24.4.4

5. Блощинский В.Д., Андреев А.И., Бородицкая А.В., Мальковский С.И. Наукастинг движения облачности по данным КА Himawari-9 с использованием комбинированного нейросетевого подхода Международный симпозиум «Атмосферная радиация и динамика» (МСАРД-2025): тезисы докладов Международного симпозиума, г. Санкт-Петербург, С. 14 (год публикации - 2025)

6. Андреев А.И., Филей А.А., Мальковский С.И., Королев С.И. Method of quantitative rainfall estimation based on Himawari-8/9 measurements Cosmic Research (год публикации - 2025)