Аннотация результатов, полученных в 2021 году
Выполнена систематизация и классификация методов обработки слабоструктурированной информации, моделей представления и методов пополнения знаний, как составной части технологии интеллектуально-геометрического управления робототехнических систем. Показано, что для беспилотных летательных аппаратов (БПЛА) характерна слабоструктурированная информация, содержащая цифровые изображения, видеоданные и речевые сообщения. Особым видом информации служат знания, необходимые для функционирования систем в сложных условиях. В качестве моделей представления знаний определены фреймовые структуры, продукционные правила, семантические сети, импликативные решающие правила. К фреймовым структурам отнесены фрейм-микропрограммы поведения и фрейм-операции. Фрейм-микропрограмма строится на основе формул логики условно-зависимых предикатов. Модель позволяет сократить пространство поиска решений за счет выбора результативных операций на каждом шаге планирования. Структура фрейм–операции включает требуемые условия и результат, который можно получить после ее реализации. Доказан ряд утверждений, определяющих возможность правдоподобного вывода интеллектуальным решателем БПЛА в текущих условиях. Рассмотрены условно-зависимые предикаты, позволяющие пополнять недостающие знания и задавать условия результативной отработки действий. Определены структуры дедуктивных, индуктивных и традуктивных правил вывода логики условно-зависимых рассуждений. Разработаны типовые конструкции в виде импликативных решающих правил, сформированных на основе полипеременных (т.е. множественных по составу) условно-зависимых предикатов. Разработаны методы обработки слабоструктурированной информации на борту БПЛА, обладающих ограниченными вычислительными ресурсами. Предложенные методы распознают целевые объекты на цветных, мультиспектральных и радиолокационных снимках. Экспериментальные исследования осуществлялись на нейронной сети типа «Darknet». Доля распознанных объектов составила 0.898. Для распознавания голосовых команд были использованы библиотеки: VOSI-API, VOSK-Server, denoiser, pydub. Обработка жестов выполнялась посредством модифицированной библиотеки YOLO («Darknet»). Жестовые команды сопровождались речевыми данными. Результаты распознавания на обучающей и тестовой выборках после обучения сети обеспечили точность и полноту распознавания свыше 99%. Разработан комплекс методов выявления аномалий, контроля и прогнозирования состояния датчиков. Погрешность восстановления данных нейронной сетью составила RMSE=0.16. Решена задача регулируемого по глубине прогнозирования для предупреждения достижения датчиками пороговых значений. Точность прогноза - порядка 86%. Выполнена систематизация функций, возлагаемых на бортовой вычислительный комплекс. Предложено математическое обеспечение на основе алгоритмов семейства CORDIC для вычислений в последовательном и конвейерно-параллельном режимах. Разработана архитектура интеллектуального интерфейса для поддержки управления БПЛА на основе анализа мультимодальной слабоструктурированной информации, способного обрабатывать графическую и текстовую информацию, речевые и жестовые команды человека-оператора. Разработана архитектура мультимодального интерфейса БПЛА. Потоки входных управляющих команд обрабатываются на наземной станции, после чего преобразуются в команды, которые пересылаются через смартфон и пульт в микроконтроллер квадрокоптера. В силу технических особенностей БПЛА пульт управления в режиме удаленных команд выполняет роль роутера. Жестовая система комбинируется с голосовыми модальностями и включает команды взлета, перемещения, снижения возврата и посадки. Текстовые команды рассматривались лишь как потенциально возможный способ управления. Получены новые модели представления знаний автономных интеллектуальных систем с применением формул логики условно-зависимых предикатов. Разработан набор типовых базовых, промежуточных и тупиковых элементов роста, на основе которых автоматически формируется план поведения в виде растущей редукционной сетевой модели. Базовые элементы имеют формат <«ядро», «крона»>, а тупиковые <«ядро», «ветви»>. Достижение тупиковых элементов роста на ветвях говорит о конце построения плана. Предложена адаптивная модель на основе нечетких активных и пассивных семантических сетей. Вершины пассивной сети помечаются конкретными объектами проблемной среды, а дуги значениями отношений между данными объектами и событиями, переводящими ее объекты из одного состояния в другое. Вершины активной сети помечаются характеристиками, которыми должны обладать в текущем состоянии объекты проблемной среды. Дуги помечаются либо термами лингвистической переменной и соответствующими им интервалами численных значений, либо характеристиками, позволяющими установить события, в результате появления которых происходит определенное изменение текущего состояния. Предложенная модель наделяет интеллектуальную систему возможностью автоматического планирования целенаправленного поведения. Разработаны методы пополнения знаний, основанные на нечетком выводе правдоподобных умозаключений с необходимой для принятия решений степенью истинности и позволяющие получить недостающие сведения об объектах проблемной среды. Пополнение знаний основано на применении логики условно-зависимых предикатов и нечеткого описания характеристик, определяющих предметные переменные и объекты проблемной среды. Построены правила вывода правдоподобных умозаключений. Традуктивные правила используют степени нечеткой схожести или равенства сравниваемых между собой объектов. Правила индуктивного вывода формируются с целью обобщения различных фактов об объектах. На основе индуктивного вывода можно сформировать условно-зависимый предикат, обобщающий исходные правдоподобные высказывания. Дедуктивные правила вывода применяются для пополнения знаний. Дальнейшее развитие методов пополнения знаний сводится к построению комбинированных правил вывода сложных правдоподобных умозаключений. Разработаны методы управления движением БПЛА в нестабильных условиях воздушной среды. Введено понятие полной проблемной ситуации на объекте управления, включающее вектор отклонений параметров состояния автономного БПЛА от требуемых значений и возмущающие факторы среды. Предложенная нечеткая модель ситуационного управления не требует сложных вычислений и может быть реализована на борту. Определены условия, при выполнении которых нечетко представленные проблемные ситуации являются обобщением и поглощают аналогичные проблемные ситуации, возникающие на объекте управления. Это позволяет существенно сократить число логико-трансформационных решающих правил и определять управляющие воздействия во время полета в условиях неопределенности. Предложены постановки и схемы решения задачи преследования-убегания в условиях внешних возмущений. Методы геометрического управления используются для прогнозирования и расчета точек встречи, оптимизации траекторного движения. Методы интеллектуального управления позволяют игрокам формировать стратегии поведения в условиях неопределенности. Проведены экспериментальные исследования с использованием математических моделей движения БПЛА и ветровых нагрузок. Показано, что методы интеллектуально-геометрического управления позволяют решать сложные траекторные задачи в условиях ветровых возмущений. Общим научным результатом первого года исследования является разработка методов интеллектуального анализа слабоструктурированной информации и моделей представления знаний, которые в совокупности создают теоретическую и методологическую основу для решения задач управления на основе мультимодальной информации, увеличивает автономность и надежность функционирования БПЛА в условиях помех.

Аннотация результатов, полученных в 2022 году
1. Разработан метод улучшения качества изображения по серии снимков в процессе мониторинга целевых объектов. Получено решение двух важнейших задач улучшения видеопотока от БПЛА: удаление размытия и стабилизация видео. Итоговое решение позволяет осуществлять полный цикл обработки видеопотока с задержкой не более чем на 0.03 секунды за счет применения конвейерного метода обработки данных. 2. Разработаны методы наведения камеры и распознавания целевых 3D–объектов на основе пирамид видимости и обобщенной метрики. Решаемая задача соответствует наблюдению за объектами и их распознаванию с разных высот и ракурсов, предполагается наличие 3D-модели объекта. Предварительно строятся пирамиды видимости в сочетании с вычислением инвариантов наблюдаемых изображений и обобщенной метрики. К 3D-модели объекта последовательно применяют аффинные преобразования для решения оптимизационной задачи наведения на наблюдаемое изображение. 3. Разработан графический интерфейс БПЛА для работы с мультимодальными данными и решения на этой основе задач мониторинга и слежения за целевыми объектами. Предложен комбинированный интеллектуальный интерфейс системы управления БПЛА типа квадрокоптер, интегрирующий голосовое и жестовое управления. Проведенные эксперименты показали высокую точность и полноту распознавания голосовых команд и жестов с применением ИНС сверточного типа. Разработан метод автоматического построения модели воспринимаемых в проблемной среде объектов в виде гиперграфа «видимости», позволяющего на основе его сравнения с эталоном, распознавать объекты по мере необходимости в процессе планирования поведения. 4. Разработан подход к планированию поведения в процессе решения сложных полифазных задач на альтернативной основе. Планирование охватывает следующие фазы альтернативного целенаправленного поведения: маршрутизации перемещений в условиях наличия препятствий при отсутствии формального описания карты местности; построение кортежа действий для преобразования текущей ситуации в заданную целевую. Предложена модель представления и обработки знаний на основе справочника типа «запросы и ответы», позволяющая определять действия, необходимые для устранения различий между текущей и целевой ситуациями. Разработаны эвристические правила, обеспечивающие возможность ранжировать порядок отработки действий. 5. Разработаны процедуры самообучения, имеющие полиномиальную функциональную сложность, с применением активных и пассивных нечетких семантических сетей для формального описания текущих ситуаций проблемной среды. Характерной особенностью самообучения является имитация отработки пробных действий в текущих условиях функционирования, что наделяет способностью к изучению закономерностей проблемной среды без изменений в процессе самообучения текущих условий. Найдены граничные оценки сложности алгоритмов самообучения. Проведено имитационное моделирование, организованное на основе предложенного алгоритма самообучения, показавшее его работоспособность и эффективность в нестабильных проблемных средах. 6. Разработаны способы разбиения сложных задач на подзадачи, обеспечивающие возможность автоматического поиска их решения на основе типовых элементов представления знаний. Разбиение основывается на введении структурированного описания образов проблемной среды в модели представления знаний автономных интеллектуальных мобильных систем. Структурированное описание отдельных индивидуумов в модели представления знаний, позволяет пополнить знания, определив особенности их коллективного поведения и взаимодействия между собой. 7. Разработаны методы автоматического целеполагания и методы мотивационного поведения автономных интеллектуальных мобильных систем в нестабильных априори неописанных проблемных средах. Предложена модель представления знаний на основе активных нечетких семантических сетей. Модель позволяет адаптироваться к априори неописанным условиям функционирования и планировать целенаправленную деятельность. Подсистема самоорганизации и управления поведением включает анализатор состояния внутренней и внешней составляющих среды, автоматический генератор подцелей мотивационного поведения, адекватных текущим условиям и заданной основной цели поведения, а также память для хранения модели представления знаний. 8. Разработан метод маршрутизации целенаправленного движения автономным БПЛА в процессе облета территории, поиска цели и преследования подвижного объекта на низкой высоте в окружающей среде с препятствиями. Предложена методика расчета полярных координат точки встречи летательного аппарата с подвижным объектом. Она дает возможность преследования подвижного объекта по упреждающей траектории движения с краткосрочной потерей его восприятия, а также произвольном изменении скорости и направления перемещения в окружающей среде между запрещенными для пролета зонами. 9. Разработан метод безопасного формирования строя и перехода группы летательных аппаратов из одной заданной формации в другую в условиях возмущений. Для построения опорных траекторий и распределения БПЛА по позициям заданной структуры предложен подход, основанный на адаптированной нейронной сети Кохонена с набором статистических метрик. Для реализации перемещения группы аппаратов в сложных условиях применяются принципы интеллектуально-геометрического управления, что позволяет сочетать гибкие интеллектуальные и точные геометрические методы управления в рамках одной концепции. Избегание опасного сближения БПЛА осуществляется с помощью специальных продукционных правил. 10. Рассмотрены различные стратегии преследования-убегания. Одна из задач заключается во встрече игроков на окружности или сфере Аполлония, а другая предполагает встречу на эллипсе или эллипсоиде. Эллипсоидальная форма является более общей по отношению к сферической и требует регулировать скорость преследователя в зависимости от ее параметров. Проведенные эксперименты демонстрируют осуществимость и перспективность интеллектуально-геометрического подхода в дифференциальных играх. 11. Даны предложения по решению сложных полетных заданий группой автономных БПЛА в условиях городской инфраструктуры. В результате проверки работоспособности разрабатываемых алгоритмов на базе программного обеспечения DJI Mobile SDK были обоснованы и выработаны следующие рекомендации: 1)подготовка карты местности для анализа местоположения препятствий и возможных траекторий полета; 2) предварительная прокладка маршрутов для каждого БПЛА на карте с городскими постройками; 3) отработка отдельных команд для проверки готовности БПЛА к выполнению полетной миссии; 4) контроль за параметрами БПЛА и планирование оптимальной загрузки оператора при групповом полете; 5) моделирование, отработка и визуализация процесса выполнения маршрутного задания отдельного БПЛА средствами симулятора; 6) закладка на борт каждого автономного БПЛА продукционных правил поведения при наличии препятствий; 7) реализация базы знаний и бортового интеллектуального решателя; 8) конкретизация знаний в процессе планирования поведения в сложных условиях городской инфраструктуры. Моделирование выполнялось в условиях ограниченного воздушного пространства и с применением симулятора. 12. Разработана имитационная модель системы, состоящая из летательного аппарата и бортовой поворотной видеокамеры и выполнено ее исследование в процессе выполнения миссии с применением MATLAB Simulink в возмущенной среде. На основе разработанной имитационной модели системы БПЛА-видеокамера выполнено моделирования процесса слежения за динамическим объектом. Показано, что методы интеллектуально-геометрического управления БПЛА, а также алгоритм управления видеокамерой обеспечивают выполнение тактико-технических требований по функциональным возможностям, точности и скорости наведения.

Аннотация результатов, полученных в 2023 году
Основным научным результатом является создание основ теории интеллектуально-геометрического управления БПЛА, включая: методы приобретения и обработки знаний, что обеспечивает целенаправленное функционирование БПЛА в условиях неопределенности; методы мультимодального управления с возможностями обработки жестовых и речевых команд, за счет чего достигается повышение надежности управления; методы решения комплекса задач управления группами БПЛА в сложных условиях и др.. Важнейшими составляющими теории являются: 1. Методы представления и обработки абстрактных знаний Под абстрактным (понятивным) понимается мышление, которое работает в условиях, когда заданная цель проблемной среды (ПС) непосредственно не попадает в зону разрешающей способности технического зрения аппарата. В этом случае интеллектуальный БПЛА планирует поведение, опираясь на модель представления и обработки знаний. Далее он реализует сформированный план, переходя в необходимые для достижения цели условия. Разработаны когнитивные инструменты обработки абстрактных знаний в процессе планирования поведения БПЛА в условиях неопределенности, а также инструментальные средства их конкретизации и использования в процессе автоматического планирования целенаправленной деятельности в априори неописанных ПС. Приведена структура типовых элементов представления абстрактных знаний, хранящихся в памяти. Показано, что для поиска решений целесообразно использовать нечеткие семантические сети и цепочки взаимосвязанных наводящих вопросов, получение ответов на которые представляет собой имитацию вывода суждений и умозаключений. Установлен порядок устранения различий в ситуациях, что необходимо для организации целенаправленного функционирования БПЛА. Разработана обобщенная архитектура системы представления и пополнения знаний, которая в общем случае опирается на процедуры наглядно-действенного мышления, основанные на формализации рефлекторного поведения высокоорганизованных живых систем. Все выявленные в подсистеме восприятия факты, отражающие закономерности ПС, заносятся для дальнейшей обработки и анализа в модуль накопления, пополнения и корректировки знаний. В данном модуле при необходимости происходит формирование новых знаний о закономерностях среды и их структуризация. 2. Алгоритм самообучения интеллектуального БПЛА Разработан алгоритм самообучения БПЛА в условиях с высоким уровнем неопределенности, позволяющий автоматически формировать условные программы целесообразного поведения, обеспечивающие автономным системам возможность достигать заданной цели поведения в процессе поисково-исследовательской деятельности. Найдены граничные оценки функциональной сложности предложенного алгоритма самообучения в условиях неопределенности, показывающие возможность его реализации на бортовой ЭВМ, имеющей, как правило, ограниченные вычислительные ресурсы. 3. Метод настройки многослойных нейронных сетей с новой функцией активации. Искусственная нейронная сеть (ИНС) включает новую функцию активации типа «s-парабола» для решения задач классификации слабоструктурированной информации и прогнозирования временных рядов. Выполнено экспериментальное исследование качества распознавания профилей типовых самолетов, где в качестве признаков использовались габаритные размеры объектов и инвариантные моменты их профилей. Выполнено сравнение качества решений, полученных предложенным подходом, с решениями на основе нейронных сетей с традиционным «сигмоидом». Показано наличие преимущества ИНС с функцией активации на основе s-параболы по скорости обучения и решения прикладных задач. 4. Метод решения задачи группового преследования-убегания. Рассмотрена задача планирования движения, в которой уклоняющийся должен проложить свой маршрут к целевой точке через сложную среду с динамическими препятствиями (преследователями). Предложены решения задач уклонения, преследования, оптимального безопасного сближения на основе принципов интеллектуально-геометрического управления. Постановки задач из области автоматического и геометрического управления дополняют друг друга, и в то же время их решение требует детальной информации о динамике нелинейных и сложных систем. Предложено решение оптимизационной задачи вычисления направления для максимального сближения с применением принципа максимума Понтрягина. Рассмотрено решение задачи преследования-убегания с точки зрения противоположных игроков и разработаны стратегии как для уклоняющегося, так и для преследователя. Для преследователей предложено решение в виде создания специального барьера, образованного сферами Аполлония, который препятствует движению убегающего. По сравнению с ранними исследованиями, стратегия преследователей была существенно улучшена за счет расширения числа правил и включения формул, позволяющих сохранить целостность границы, образованной сферами Аполлония в ходе преследования. Полученные результаты доказывают целесообразность предложенного подхода и его применимость при моделировании игр преследования-убегания с одним быстрым уклоняющимся. Разработанная программа представляет собой инструмент для предварительного тестирования различных игровых сценариев и оценки вероятности каждого исхода. Рассмотренные алгоритмы целесообразно использовать в системах управления малыми БПЛА с ограниченными вычислительными ресурсами. Полученные результаты в достаточной мере демонстрируют эффективность совместного использования интеллектуально-геометрических подходов к управлению. 5. Система управления БПЛА на основе мультимодального интерфейса Система управления БПЛА служит для моделирования и решения траекторных задач. Реализована программная среда и мультимодальный интерфейс с набором жестовых и речевых команд для управления малыми БПЛА типа квадрокоптер. Интерфейс интегрирует различные методы ввода, обработки и передачи информации БПЛА, в том числе голосовые и жестовые команды, которые распознаются искусственными нейронными сетями глубокого обучения. Для проверки работоспособности разрабатываемых алгоритмов управления на базе ПО DJI Mobile SDK создан прототип программных средств моделирования и визуализации полета. Посредством разработанного комплекса выполнена имитация полета квадрокоптера в сложной среде с препятствиями. Проведена отработка различных команд и полетных заданий, в том числе, облет городских территорий в условиях чрезвычайных ситуаций. Управление полетом БПЛА осуществляется с помощью специализированного программного обеспечения, разработанного на языках высокого уровня Java и Python. Все управляющее программное обеспечение распределяется между наземной станцией управления и бортовой вычислительной системой. 6. Предложения по практическому использованию результатов Предложения направлены на решение задач мониторинга протяженных территорий с помощью БПЛА. Они включают методы безопасного построения различных формаций, методы решения задач сопровождения летательных и наземных мобильных объектов; методы мультимодального управления с набором жестовых и речевых команд. Создано экспериментальное программное обеспечение интеллектуально-геометрического управления БПЛА и их группировок для решения комплекса задач мониторинга. Научная значимость выполненного проекта заключается в создании соответствующей мировому уровню теории интеллектуально-геометрического управления беспилотными аппаратами, позволяющей планировать целенаправленные действий в условиях сложной проблемной среды (препятствия, воздушные возмущения, неопределенности). Практическая значимость проекта заключается в создании методологии и программного обеспечения, применимых к решению актуальной задачи мониторинга протяженных территорий в условиях препятствий и воздушных возмущений, в том числе, например, с целью обнаружения задымлений, поиска и сопровождения целевых летательных аппаратов.