Аннотация результатов, полученных в 2020 году
Разработаны дисперсионные элементы нового типа. Микрорельеф нового элемента формировался на основе итеративного расчета, в котором начальным приближением служила фазовая функция в виде суммы параболической (линзы) и линейной (решетка с блеском) составляющих, а в качестве функционала невязки рассматривалась сумма ширин функций рассеяния точки на длинах волн соответствующих положению спектральных каналов. Всего было изготовлено три дисперсионных элемента с разным расположением и количеством четко отображаемых длин волн (3 длины волны, 10 длин волн, 20 длин волн) для диапазона от 0,4 до 0,9 мкм. Была построена свёрточная нейронная сеть глубокого обучения, позволяющая по заданному набору данных проводить гиперспектральный анализ, с применением библиотеки TensorFlow. Разработана технология отбора признаков для локализации объектов на гиперспектральном изображении на основе совместного анализа текстурных свойств и спектральных компонент для решения задачи выделения областей интереса в зависимости от воздействия факторов питания и влаги. Показано, что современные методы регистрации и анализа снимков ДЗЗ дают существенный случайный разброс при вычислении индексов, значимых для задач точного земледелия. Построены математические модели, позволяющие точнее стандартизировать измерение индексов вегетации. Разработаны новые алгоритмы оценивания спектрального состава освещенности, в т.ч. в области глубокой тени, что ведет к улучшению точности оценивания спектральных свойств поверхности и увеличению доли снимков, пригодных для решения задач точного земледелия. Усовершенствован ранее предложенный нейросетевой метод автоматического распознавания локальных особенностей сцены в задачах сельскохозяйственного мониторинга по данным дистанционного зондирования Земли: границ сельскохозяйственных полей, водоемов и типов произрастающих культур. Новая модификация алгоритма использует дополнительную геометрическую фильтрацию. Результаты работы алгоритма предлагается использовать в качестве ключей цветовой константности для уточнения оценки спектрального состава освещенности. Для тестирования предложенных методов и алгоритмов подготовлены необходимые наборы данных.

Аннотация результатов, полученных в 2021 году
Разработан метод расчета и проведено изготовление дисперсионных элементов на основе объединения микрорельефов гармонической линзы и дифракционной светоделительной решетки, которые позволяют регулировать количество спектральных каналов и проектировать сенсоры для отдельных спектральных индексов. Были реализованы дифракционные оптические элементы, формирующие спектральные распределения для модифицированного относительного водного и водного вегетационных индексов. Спроектирован и изготовлен лабораторный макет компактного гиперспектрометра на основе схемы Оффнера массой не более 2кг, который позволяет формировать 250 спектральных каналов и предназначен как для работы на борту малого беспилотника, так и для работы с наземной поворотной платформы. С помощью спектрометра на основе схемы Оффнера собран значительный массив гиперспектральной информации по сельскохозяйственным растениям. Предложен новый подход к классификации гиперспектральных изображений высокого разрешения. В качестве классификатора используется спектрально-пространственная сверточная нейронная сеть с компенсацией вариаций освещения. Для автоматизированного формирования обучающей выборки предложен алгоритм на основе адаптивного вегетационного индекса. Показана эффективность предложенного подхода в задаче классификации типов растительности по результатам съемок сельскохозяйственных угодий, выполненных сканирующей гиперспектральной камерой. Разработаны инструменты имитационного моделирования и аугментации мультиспектральных данных. С их использованием были исследованы разработанные алгоритмы решения задачи мультиспектральной цветовой константности при ограниченных условиях освещения и типах подстилающей поверхности. Экспериментально показана эффективность использования априорной информации об объектах сцены как ключей цветовой константности. Подготовлены наборы реальных данных и необходимой аннотации для исследования алгоритмов. Как на синтетических, так и на реальных данных (с использованием top of atmosphere данных спутников Landsat и Sentinel) была исследована задача спектрального переноса для ограниченного типа мультиспектральных сенсоров и продемонстрирована эффективность линейных и проективных моделей для нормализации значений каналов. Были разработаны и улучшены алгоритмы распознавания локальных особенностей сцены, а именно -- границ полей на мультиспектральных данных, участков открытой воды. По отношению к предыдущей версии решения задачи сегментации полей, новая использует временные свойства изменчивости вегетационных индексов. Это позволяет точнее распознавать границы сельскохозяйственных угодий, по сравнению с распознаванием границ по мгновенным вегетационным индексам и уменьшить число ложноположительных сегментаций. Разработан алгоритм компенсации цветовой дымки для трёхканального случая. Подготовлены наборы данных аэрофотосъёмки с наличием цветной дымки от пожаров.

Аннотация результатов, полученных в 2022 году
Проведена процедура оптимизации параметров гиперспектрометра на основе схемы Оффнера, которая основывается на моделировании формирования функции рассеяния точки оптической системы при различных параметрах пучка и длинах волн в рамках скалярной теории дифракции. Проведенная оптимизация позволила уменьшить массу гиперспектрометра до 0,9 кг. Разработан лабораторный макет регистратора индексных изображений, в котором реализована быстрая замена спектральных линз. Для демонстрации возможностей прибора была рассчитана и изготовлена спектральная дифракционная линза, выделяющая излучения на длинах волн 705 и 750 нм, что является основой для определения нормализованного разностного вегетационного индекса NDVI0.705. Оптимизированный гиперспектрометр на основе схемы Оффнера был применен в исследованиях по определению длин волн для индекса выделения кровеносных сосудов на коже человека (735нм, 835нм). На основе найденных длин волн была рассчитана и изготовлена спектральная дифракционная линза, позволяющая выделять кровеносные сосуды на коже человека. Оптимизированный гиперспектрометр использовался для исследования пространственно-спектральные признаки девяти образцов почв. С помощью метода энергодисперсионного микроанализа установлено соответствие гиперспектральных данных и химического состава взятых проб. На основе полученных данных реализована нейросетевая классификация образцов почв в зависимости от содержания в них таких элементов как углерод и кальций. В качестве классификатора используется спектрально-пространственная сверточная нейронная сеть с компенсацией вариаций освещения. Предложен подход к классификации гиперспектральных изображений, основанный на уточнении мультиклассовой сверточной нейронной сети с помощью ансамбля бинарных классификаторов. Показано, что классификация образцов почв по содержанию углерода и кальция осуществляется с точностью 0,87 и 0,83 соответственно. На основе спектрально-пространственной сверточной нейронной сеть с компенсацией вариаций освещения также предложен метод контроля продуктов питания по гиперспектральным изображениям. Был предложен подход к классификации гиперспектральных изображений высокого разрешения в задаче идентификации сортов кофе. Для компенсации эффекта вспышки предложен подход со статистической оценкой формирования обучающей выборки. Показана высокая точность предложенного подхода в задаче классификации гиперспектральных изображений сортов кофе, полученных с помощью оптимизированного гиперспектрометра на основе схемы Оффнера. Исследовалась задача цветовой константности с использованием предметно-специфичных ключей на реальных данных. Были рассмотрены линейная и аффинная модели формирования спектра освещенности сенсора. Разработан численный метод оценки параметров аффинной модели, устойчивый в спектральных областях, в которых изображения ключевых зон имеют близкие значения. На его основе предложен метод эквализации условий съемки, позволяющий сократить ошибку в 4,6 раза относительно необработанных спектров освещенности сенсора. Подготовлен набор данных аэрофотосъемки, пригодный для оценки качества алгоритмов эквализации, содержащий снимки одной и той же местности в сильно различающихся условиях освещения. Разработаны новые методы спектральной гармонизации. Метод, основанный на линейной спектральной модели, и нелинейные эмпирические методы: полиномиальный и радикал-полиномиальной коррекций. Методы спектральной гармонизации были протестированы для случая перехода между спутниковым сенсором Multispectral Instrument и сенсором Parrot Sequoia+, устанавливаемым на БПЛА. Метод радикал-полиномиальной коррекции продемонстрировал наибольшую эффективность, превзойдя другие известные в литературе методы спектральной гармонизации. Разработаны алгоритмы компенсации цветовой дымки для трехканального и мультиспектрального случаев. Подготовлены наборы мультиспектральных данных аэрофотосъёмки с наличием цветной дымки от пожаров, как синтетический, так и реальный. Был разработан алгоритм компенсации теней, позволяющий приблизить интенсивности спектральных каналов и индексов внутри тени к значениям вне неё в 4,35 и 3,5 раз в сравнении с исходными данными соответственно. Для метода оконтуривания сельскохозяйственных полей показано, что за счет использования разновременных данных качество на уровне передового нейросетевого метода может быть достигнуто на обучающей выборке в 7 раз меньшего объема. Предложен новый метод дескрибирования особых точек для сопоставления оптических и радио-изображений.

Аннотация результатов, полученных в 2023 году
Разработан аппаратно-программный комплекс определения основных сельскохозяйственных параметров по комплексированным цветным и гиперспектральным изображениям. Комплекс содержит набор гиперспектральных сенсоров и реализует методы обработки гиперспектральных изображений на основе индексных изображений и нейронной сети глубокого обучения. Изготовлен набор спектральных линз для формирования следующих узкополосных вегетационных индексов: модифицированный относительный водный индекс для области ближнего инфракрасного склона (Modified Red Edge Simple Ratio Index), водный индекс (Water Band Index), NDVI0.705, модифицированный индекс простого соотношения красного края mSR705, первый индекс красного края Вогельмана (VOG1), второй индекс красного края Вогельмана (VOG2), третий индекс красного края Вогельмана (VOG3), фотохимический индекс отражения (PRI), индекс структурно-нечувствительного пигмента (SIPI), индекс отражения старения растений (PSRI), первый индекс отражения каротиноидов (CRI1), второй индекс отражения каротиноидов (CRI2), первый индекс отражения антоцианов (ARI1), второй индекс отражения антоцианов (ARI2). Реализована нейронная сеть для выполнения следующих задач: классификация растительности, определение степень влажности зелени культурных растений в трех градациях, определение содержания углерода в почве, при естественном и искусственном освещении в трех градациях, определение содержание кальция в почве, при естественном и искусственном освещении в трех градациях. Разработана модель нормирования водопотребления. Модель построена на использовании двух гидрометеорологических факторах: суммы дефицитов влажности и суммы температур воздуха. Модель позволяет аргументировать фактический расчет соответствующих норм и сроков полива сельскохозяйственных культур, произвести прогноз водопотребления как на ближайшую, так и дальнюю перспективу. Разработана система управления элементами технологии выращивания сельскохозяйственных культур на орошаемых землях при использовании алгоритмов планирования агрокомплекса. В структуре алгоритмов основными элементами для расчета принятия решений о поливных и оросительных нормах полива являются данные о влажности почвы, оперативно полученные гиперспектральным оборудованием. В отчетном периоде завершено формирование спектрально-консистентного подхода, объединяющего метод спектральной эквализации, методы гармонизации и метод компенсации цветной дымки. Исследовалась задача компенсации цветной дымки на данных дистанционного зондирования. Для мультиспектрального случая предложен новый метод аугментации цветной дымки с использованием реальных измерений оптической толщины аэрозоля, сделанных в условиях пожаров, песчаных бурь и индустриальных загрязнений. Проведено расширенное тестирование предложенного ранее метода компенсации цветной дымки, включающее дымки различных окрасок, а также четыре типа пространственного распределения плотности дымки различной сложности. В результате тестирования установлено, что предложенный нами метод превосходит другие известные в литературе методы, причем как для цветных, так и для бесцветных дымок. Предложен новый метод классификации сельскохозяйственных культур на основе анализа временных рядов вегетационного индекса NDVI. Показано что предложенный метод превосходит альтернативные в среднем в 1.5 раза по метрике F1. Предложен новый нейросетевой метод сопоставления оптических и радиолокационных изображений, не требующий детекции особых точек и устойчивый к поворотам и масштабированию. Разработан метод гармонизации данных мультиспектрального мониторинга и данных съемки, выполненной сканирующей гиперспектральной камерой. Новый метод ориентирован на вычисление вегетационных индексов и не требует для настройки параметров ни попиксельного сопоставления, ни калибровочных мишеней. Показано, что предложенный метод позволяет сократить смещение среднего значения NDVI на 76%. Распределение гиперспектрального индекса WBI, в отсутствии гармонизации находящееся в границах допустимого диапазона значений на 64%, после гармонизации предложенным методом попадает в нужный диапазон уже на 75%. Подготовлены и опубликованы программы, реализующие методы оконтуривания, компенсации теней, спектральной эквализации, гармонизации и компенсации дымки, разработанные в рамках проекта.