КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер проекта 23-29-00128
НазваниеМетоды машинного обучения в задаче автоматизации обработки данных космических систем высокодетального мониторинга растительного покрова
Руководитель Кондранин Тимофей Владимирович, Доктор физико-математических наук
Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" , г Москва
Конкурс №78 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами»
Область знания, основной код классификатора 09 - Инженерные науки; 09-608 - Инженерно-технические и информационные автоматизированные системы мониторинга биоресурсов, биосферы и технических систем
Ключевые слова распознавание образов, интеллектуальная обработка информации, сегментация изображений, искусственные нейронные сети, обучаемая классификация, глубокое обучение, текстурный анализ, оптимизация признаков, аэрокосмические изображения, тематическая обработка
Код ГРНТИ28.23.15
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Цель предлагаемого проекта – разработка новых и усовершенствование существующих методов обработки спутниковых изображений высокого пространственного разрешения в диапазоне 0.4-2.5 мкм, являющихся основой информационной составляющей автоматизированных систем мониторинга биосферы, важнейшей компонентой которой является растительный покров. Наблюдаемая средствами дистанционного зондирования (ДЗ) растительность (в особенности, лесная), обладает сложной морфологической структурой и значительной временной изменчивостью оптических характеристик. При рассмотрении задачи ДЗ лесов, наибольшие сложности возникают при обработке изображений смешанных древостоев, для которых характерна разнородная структура и большое разнообразие форм крон отдельных деревьев.
В проекте планируется использование классических и нейросетевых методов машинного обучения для решения конкретных задач: восстановление видового состава, возрастных групп и полноты смешанных древостоев, определение структурных параметров лесного полога, оценка параметров биопродуктивности и жизненного состояния. Несмотря на имеющиеся достижения в данной области, существуют проблемы, которые существенно ограничивают процедуры автоматизации тематической обработки, что с точки зрения практических приложений является важнейшей задачей. Дело в том, что с появлением спектральной аппаратуры ДЗ высокого (~2 м) и сверхвысокого (<1 м) пространственного разрешения при создании автоматизированных систем мониторинга биосферы возникла новая научно-техническая проблема, состоящая в необходимости использования методов совместной спектрально-текстурной обработки, эффективно снижающих избыточность информации о текстурных и спектральных особенностях объектов исследования.
В рамках проекта предполагается построение комплексного подхода к решению данной задачи с использованием ансамблевых и нейросетевых алгоритмов машинного обучения. Подход составляют несколько связанных этапов. На первом этапе проводится извлечение спектральных и текстурных признаков на основе соответственно многоспектральных и панхроматических изображений. При формировании спектральных характеристик лесного полога будут учитываться локальные особенности освещения. Для проведения текстурного анализа будут использоваться различные признаки, формируемые на основе статистического подхода и вэйвлет анализа. Наряду с традиционными подходами, будут разрабатываться новые алгоритмы на основе сверточных нейронных сетей U-Net. На втором этапе проводится классификация видового состава древостоев и оценка жизненного состояния с учетом временной изменчивости спектральной отражательной способности, оцениваемой по изображениям среднего пространственного разрешения. Системы ДЗЗ среднего разрешения обладают более высокой оперативностью и позволяют проводить классификацию видового состава в оптимальные временные интервалы съемки, которые обеспечивают наилучшее контрастирование выбранных пород. Результаты классификации среднего разрешения в дальнейшем будут использованы для повышения точности классификации изображений высокого пространственного разрешения. Структурные параметры лесного полога будут оцениваться на основе текстурных признаков.
Совокупность результатов, полученных в результате выполнения проекта позволит повысить точность и вычислительную эффективность, и, следовательно, степень автоматизации процедур тематической обработки спутниковых изображений растительного покрова. Коллектив обладает всеми необходимыми дистанционным и наземными данными, которые позволят провести количественную валидацию расчетов и определить реальную эффективность разработанных подходов. Реализация проекта позволит сформировать научно-методический задел для постановки прикладных работ по повышению информативности отечественных космических систем высокого пространственного разрешения при решении прикладных задач лесопользования, а в перспективе и других природно-техногенных объектов.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Публикации
1. Дмитриев Е.В., Кондранин Т.В., Мельник П.Г., Слюсарева И.В. Многомасштабная текстурная сегментация спутниковых изображений лесных территорий Региональные проблемы дистанционного зондирования Земли, С. 68-76 (год публикации - 2023)
2.
Дмитриев Е.В., Кондранин Т.В., Сафонова А.Н., Мельник П.Г.
Оценка видового состава и состояния древостоев по изображениям сверхвысокого разрешения с использованием контуров отдельных деревьев
Обработка пространственных данных в задачах мониторинга природных и антропогенных процессов (SDM-2023), C. 68-76 (год публикации - 2023)
10.25743/sdm.2023.28.38.007
3.
Дмитриев Е.В., Кондранин Т.В., Мельник П.Г., Донской С.А.
Определение видового состава смешанного леса на основе совместной обработки публичных спутниковых карт и многовременных изображений Sentinel-2
Современные проблемы дистанционного зондирования Земли из космоса, Т. 21. № 1. С. 31–50 (год публикации - 2024)
10.21046/2070-7401-2024-21-1-31-50
4.
Дмитриев Е.В., Мельник П.Г., Донской С.А., Кондранин Т.В.
Повышение эффективности текстурной сегментации лесного полога по изображениям сверхвысокого пространственного разрешения
ЛЕСНОЙ ВЕСТНИК. FORESTRY BULLETIN, Т. 27, № 5. С. 25-36. (год публикации - 2023)
10.18698/2542-1468-2023-5-25-36
Аннотация результатов, полученных в 2024 году
Проведены работы по внедрению методов глубокого обучения в схему предложенного на предыдущем этапе проекта объектно-ориентированного метода (ООМ) определения видового состава и структурных характеристик смешанных лесов на основе совместной тематической обработки спутниковых изображений среднего и высокого пространственного разрешения. Показано, что использование нейросетевых моделей с различными архитектурами позволило усовершенствовать основную схему обработки по показателям точности и детализации выходной информационной продукции. Представлен обзор публикаций, посвященных решению проблемы сегментации крон отдельных деревьев с использованием традиционных и нейросетевых методов.
Предложена новая более эффективная модификация метода текстурной сегментации панхроматических изображений TTSPCA. Данный метод был предложен на предыдущем этапе проекта и показал свою эффективность как для решения задачи определения контуров древостоев, так и для сегментации лесокультурных насаждений. Замена традиционного ансамблевого алгоритма классификации ECOC SVM классификатором на основе глубокой полносвязной нейронной сети позволила значимо повысить точность TTSPCA. Тематическая обработка панхроматических изображений Worldview-2 с пространственным разрешением 0.5 м территории Савватьевского лесничества (Тверская область) с использованием усовершенствованного метода TTSPCA позволила с достаточно высокой точностью сегментировать 5 типов поверхности, имеющих видимые различия по текстуре: лес, луговая растительность, открытые песчаные почвы, водная поверхность и зона застройки. Новая модификация TTSPCA позволила сегментировать древостои обследуемой территории с ошибкой 5.6%, в то время как при использовании ранее предложенной модификации, ошибка составляла 9.3%. Визуальный анализ результатов текстурной сегментации также показал преимущества усовершенствованного метода TTSPCA.
Предложена схема текстурной сегментации на основе трехуровневой сверточной нейронной сети (CNN), позволяющая достигнуть большей детализации основных типов природных и антропогенных объектов. При формировании наборов данных использовалось от 10 до 100 базовых изображений объектов, которые трансформировались с различными параметрами для построения конечного набора аугментированных обучающих данных. Показано, что в течении 30 эпох ошибка, оцениваемая по тестовой выборке, снижается до 0.5%. Оценка полной вероятности ошибки сегментации древостоев составила 7.1% с дисбалансом между ошибками 1-го и 2-го рода менее 1%. Проведенные тестовые расчеты также показали, что дальнейшее увеличение глубины нейронной сети не дает увеличения точности, при этом возникают значительные сложности с обучением. Данный результат согласуется с данными многомасштабной текстурной обработки, полученными на предыдущем этапе проекта. Таким образом, предлагаемая схема текстурной обработки на основе CNN, хотя и имеет несколько большую ошибку по сравнению с усовершенствованным методом TTSPCA, может быть использована в общей схеме в случае, когда сглаживание важных деталей, например небольших нарушений структуры лесного полога является недопустимым.
Проведены тестовые расчеты по оценке породного состава древостоев на основе совместной спектрально-текстурной обработки с использованием нейросетевых моделей на базе моделей U-Net, U-Net++ и Attention U-Net. В качестве входной информации использовались как исходные мультиспектральные изображения Worldview-2 с разрешением 2 м, так и результаты паншарпенинга к разрешению 0.5 м. Точности сегментации с помощью алгоритмов данного типа оказались невысокими – среднее значение коэффициента Жаккара составило 32-35%, однако анализ для отдельных пород (береза, лиственница Сукачева) оценка точности методом кроссвалидации достигала 85%. Наибольшую точность показала модель Attention U-Net. Для включения данной технологии в общую схему обработки необходимо проведение дополнительных исследований.
Проведены расчеты, показывающие высокую способность к обобщению метода определения видового состава древостоев на основе спектрально-временных признаков представленного на предыдущем этапе проекта. При обработке многовременных изображений Sentinel-2 территории Савватьевского лесничества (Тверская область) было получено, что определяемые оптимальные даты съемки, наиболее информативные каналы и вегетационные индексы совпадают с результатами, полученными для Бронницкого лесничества (Московская область). Оценка точности сегментации вечнозеленых видов составила 0.2%: Ошибки классификации отдельных пород, оцененные методом кросс-валидации, также достаточно низкие: сосна обыкновенная – 2.5%, ель европейская - 2.6%, береза бородавчатая – 2.8%, осина - 2.1%, ольха черная - 5.6%.
Проведена работа по оценке последствий пирогенного воздействия на одну из наиболее крупных популяций сербской ели в районе горы Великий Столац (Сербия) с использованием многовременных многоспектральных изображений Sentinel-2. Сербская ель является реликтовым, исчезающим видом деревьев, общая популяция которого претерпевает значительное сокращение за последние 100 лет. Для анализа спутниковой информации мы предложили многоэтапный метод, который позволяет выделить популяцию сербской ели на обследуемой территории, определить динамику изменения жизненного состояния за последние 10 лет и оценить последствия от лесного пожара, который произошел в данном районе в 2021 году. По полученным оценкам повреждения получили около 50% площади насаждений сербской ели в рассматриваемом районе, причем для половины поврежденных участков прогнозируется гибель данного вида. Наибольшее повреждение получили насаждения в центральной части северного склона горы Великий Столац. Средние оценки площадей классов повреждений за восстановительный период: здоровые: 17.6 га, ослабленные: 8.4 га, поврежденные: 8.0 га, усыхающие: 1.2 га. Анализ динамики вегетационных индексов показал отсутствие значимых тенденций к естественному возобновлению сербской ели.
Публикации
1. Дмитриев Е.В., Мельник П.Г., Кондранин Т.В. Использование нейросетевых методов в системе совместной спектрально-текстурной обработки спутниковых изображений высокого и среднего разрешения Региональные проблемы дистанционного зондирования Земли, С. 25-34 (год публикации - 2024)
2. Дмитриев Е.В., Говедар З., Мельник П.Г., Кондранин Т.В. Спутниковый мониторинг состояния насаждений ели сербской в районе горы великий столац Известия высших учебных заведений. Лесной журнал (год публикации - 2024)
Возможность практического использования результатов
Проведенные исследования формируют задел, обеспечивающий экономический рост и социальное развитие Российской Федерации путем возможной замены трудоемких работ по наземной лесотаксакции с помощью современных технических средств дистанционного зондирования. Такой подход совпадает с общим направлением развития по созданию новых средств дистанционного зондирования и тематической обработки изображений объектов земной поверхности. Проект вносит вклад в уменьшение последствий катастроф природного и техногенного происхождения и мониторинг
основных характеристик природной среды и климата путем разработки новых средств получения информации, а также алгоритмического и программного обеспечения обработки данных дистанционного зондирования.