Разработка алгоритмического и программного обеспечения интеллектуальной системы обнаружения очагов возгорания на основе средств технического зрения в масштабе времени, близком к реальному

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 22-11-20001

НазваниеРазработка алгоритмического и программного обеспечения интеллектуальной системы обнаружения очагов возгорания на основе средств технического зрения в масштабе времени, близком к реальному

Руководитель Хачумов Вячеслав Михайлович, Доктор технических наук

Организация финансирования, регион Федеральное государственное бюджетное учреждение науки Институт программных систем им. А.К. Айламазяна Российской академии наук , Ярославская обл

Конкурс №66 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами» (региональный конкурс)

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-726 - Системы и технологии интеллектуального анализа данных и распознавания образов

Ключевые слова Интеллектуальная система, распознавание образов, обработка изображений, БПЛА, ДЗЗ, мониторинг, пожары, безопасность, регион, поддержка решений, автоматизация, цифровые технологии

Код ГРНТИ28.23.15

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Проект посвящен решению фундаментальной научной проблемы оперативного обнаружения очагов возгорания на территории Ярославской области. Фундаментальная задача в рамках данной проблемы заключается в создании интеллектуальной технологии, опирающейся на использование средств технического зрения для мониторинга и своевременного обнаружения пожароопасной обстановки в Переславском районе Ярославской области. Для постоянного контроля за ситуацией и отслеживания зон интереса устанавливаются камеры видеонаблюдения и используются БПЛА. Введение подобных аппаратов приводит к необходимости создания специального математического обеспечения для планирования оптимального облета территорий и передачи информации лесничеству и другим лицам, принимающим решения (ЛПР). Актуальность темы исследований связана с большими потенциальными эколого-экономическими потерями, связанными с пожарами, и с возможностью их минимизации путем своевременного интеллектуального мониторинга. Одной из основных причин масштабных возгораний полей, лесов и других зон является отсутствие оперативной информации. Принимая во внимание масштабы возгораний в регионах РФ, включая Ярославскую область, необходимо создать современные алгоритмы, методы и средства мониторинга состояния территорий, в том числе с целью оперативного реагирования на возникновение пожаров. Проведенные совещания с представителями отделения Лесничества Ярославской области и «Национального парка «Плещеево озеро» Ярославской области однозначно показали заинтересованность в результатах данного проекта, поскольку задача мониторинга лесных пожаров в области является одной из самых актуальных и приоритетных. Научная новизна НИР заключается в применении новых методов интеллектуального анализа изображений, получаемых с видеокамеры БПЛА и стационарной камеры. Программное обеспечение, реализующее разработанные методы, должно функционировать в масштабе времени, близком к реальному, с целью оперативного реагирования на внештатные ситуации. К элементам научной новизны Проекта можно отнести 1) автоматическое обнаружение очагов возгорания и изменений ландшафта местности с применением возможностей специальной обработки изображений, позволяющей проводить измерения расстояний, векторов направленности и площадей объектов интереса; 2) планирование оптимального или оптимизированного облета территорий с учетом препятствий, возмущений воздушной среды и гибкое перепланирование маршрутов с учетом возникающих в процессе мониторинга нештатных ситуаций и неопределенностей; 3) применение методов когнитивного представления наблюдаемой ситуации для быстрой доставки информации оператору и визуального оповещения ЛПР средствами машинной графики; 4) специальные методы ускорения обработки данных, поступающих от систем технического зрения, как стационарных, так и установленных на БПЛА (для повышения оперативности мониторинга территорий). Научная и практическая значимость проекта заключается в создании соответствующей мировому уровню интеллектуальной технологии раннего обнаружения и предупреждения пожаров, основанной на комплексном использовании предлагаемых методов.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Хачумов М.В., Хачумов В.М. Optimization Models of UAV Route Planning For Forest Fire Monitoring 2022 International Russian Automation Conference (RusAutoCon), pp. 272–277 (год публикации - 2022)
10.1109/RusAutoCon54946.2022.9896260

2. Хачумов М.В., Хачумов В.М. Intelligent-Geometric Control Architecture for Extinguishing Fires by a Group of UAVs Interactive Collaborative Robotics. ICR 2022. Lecture Notes in Computer Science. Springer, Cham., Vol.13719, P. 1-13 (год публикации - 2022)
10.1007/978-3-031-23609-9_20

3. Мелехин В. Б., Хачумов М.В. Управление беспилотным летательным аппаратом в нестабильной воздушной среде при поиске лесных пожаров Искусственный интеллект и принятие решений, №4, С.113-125 (год публикации - 2022)
10.14357/20718594220411

4. Абрамов Н.С., Талалаев А.А., Фраленко В.П. Methods of Solution to the Task on Early Detection of Fire Outbreaks Based on Images and Video Streams from Controlled Territories Data Science and Algorithms in Systems. CoMeSySo 2022. Lecture Notes in Networks and Systems, vol. 597, pp. 1-12 (год публикации - 2023)
10.1007/978-3-031-21438-7_6

5. Шустова М.В., Абрамов Н.С. Обзор беспилотных аппаратов для мониторинга и тушения региональных лесных пожаров Авиакосмическое приборостроение, №8, 2022, с.33-43 (год публикации - 2022)
10.25791/aviakosmos.8.2022.1294

6. Емельянова Ю.Г. Алгоритм нахождения линии горизонта на снимках, полученных с камеры беспилотного летательного аппарата АВИАКОСМИЧЕСКОЕ ПРИБОРОСТРОЕНИЕ, № 1, с.40-53 (год публикации - 2023)
10.25791/aviakosmos.1.2023.1318

7. Фраленко В.П. Нейросетевые методы обнаружения возгораний в лесных массивах Искусственный интеллект и принятие решений, №1, с.67-77 (год публикации - 2023)
10.14357/20718594230107

8. Хачумов М.В., Хачумов В.М. The Model of Managing a Group of UAVs by a Single Operator for Tasks Requiring Increased Attention IEEЕ Proceedings of the International Conference on Industrial Engineering, pp.579-583 (год публикации - 2023)
10.1109/ICIEAM57311.2023.10139304

9. Хачумов М.В. Solution to the Problem of Passing Over the Given Targets by an Unmanned Aerial Vehicle in an Unstable Environment 2023 International Russian Automation Conference (RusAutoCon), pp. 753-757 (год публикации - 2023)
10.1109/RusAutoCon58002.2023.10272861

10. Фраленко В.П., Хачумов М.В. A practical solution to the problem of detecting peoples and vehicles from video frames Материалы XXVII Международной научной конференции. Москва : РУДН, 2024. – 319 с., Fralenko V., Khachumov M. A practical solution to the problem of detecting peoples and vehicles from video frames // Распределенные компьютерные и телекоммуникационные сети : управление, вычисление, связь (DCCN-2024) = Distributed computer and communication networks : control, computation, communications (DCCN-2024) : материалы XXVII Международной научной конференции. Россия, Москва, 23-27 сентября 2024 г. / под общ. ред. В. М. Вишневского и К. Е. Самуйлова. – Москва : РУДН, 2024. – 319 с. : ил. ISBN 978-5-209-11877-0 (год публикации - 2024)

11. Емельянова Ю.Г., Фраленко В.П., Хачумов В.М., Хачумов М.В., Шишкин О.Г. The concept of an automated workplace for monitoring territories and intelligent control of unmanned aerial vehicles AIP Conference Proceedings (год публикации - 2025)

12. Абрамов Н.С., Емельянова Ю.Г., Фраленко В.П., Хачумов В.М., Хачумов М.В., Шустова М.В., Талалаев А.А. Intelligent Methods for Forest Fire Detection Using Unmanned Aerial Vehicles Fire, Abramov, N.; Emelyanova, Y.; Fralenko, V.; Khachumov, V.; Khachumov, M.; Shustova, M.; Talalaev, A. Intelligent Methods for Forest Fire Detection Using Unmanned Aerial Vehicles. Fire 2024, 7, 89. https://doi.org/10.3390/fire7030089 (год публикации - 2024)
10.3390/fire7030089

13. Абрамов Н.С., Фраленко В.П. Оценка возможностей архитектур искусственных нейронных сетей YOLO и RT-DETR в задаче обнаружения огня и дыма Авиакосмическое приборостроение, Абрамов Н.С., Фраленко В.П. Оценка возможностей архитектур искусственных нейронных сетей YOLO и RT-DETR в задаче обнаружения огня и дыма. – Авиакосмическое приборостроение, №7, 2024, с.35-44. (год публикации - 2024)

Публикации

Аннотация результатов, полученных в 2024 году
1. Разработаны и исследованы методы высокопроизводительной обработки потоков мультимедийной информации, включая данные видеопотоков со средств технического зрения и аудиопотока, содержащего команды оператора. Проведены экспериментальные исследования, дан сравнительный анализ и предложены наилучшие решения из рассмотренных. Получены оптимизированные архитектуры искусственных нейронных сетей (ИНС), за счет чего удалось добиться ускорения обработки данных, в том числе, с применением GPU. Исследованы возможности инструментальных средств по предобработке кадров, направленных на удаление смазов. Проведен сравнительный анализ различных ИНС: EFNet, Stripformer, ID-Blau, MRDNet, HI-Diff и Shift-Net. Подтверждена эффективность применения Stripformer в поставленных задачах. Выбраны и настроены ИНС архитектур Yolo и RT-DETR, что позволило достичь ускорения обнаружения и распознавания целевых объектов и зон интереса. Дополнительное ускорение получено за счет использования высокопроизводительных графических ускорителей. 2. Доработано и отлажено программное обеспечение наземной станции управления беспилотным летательным аппаратом по результатам экспериментальных исследований. Выполнено сравнительное тестирование актуальных нейросетевых архитектур: Yolo 8, Yolo 8 Ghost, Yolo 8 Rtdetr, Yolo 9 и RT-DETR. Показана эффективность применения программного пакета Ultralytics для решения задач локализации целевых объектов. В задаче локализации областей с огнем наилучшие результаты получены при работе Yolo 8l с ориентированными прямоугольными областями. Эта же ИНС может эффективно применяться и для сегментации изображений. Распознавание жестовых команд осуществлялось посредством ИНС архитектуры Yolo 11 OBB, что дало возможность обнаруживать и распознавать жесты без ошибок. Нормализованная F1-мера распознавания речевых команд составила 99.0%. Результаты соответствуют мировому уровню. Разработан блочный интерфейс системы, в котором каждый блок выполняет определенную крупную функцию по обработке и визуализации информации. 3. Проведены результирующие тестовые испытания программной системы обнаружения возгораний, задымлений, людей и транспортных средств в контролируемых зонах региона. Показано, что наилучшие результаты достигаются при работе L-модификации ИНС от Baidu и Yolo 8l с ориентированными прямоугольными областями. Сравнение ИНС Yolo 8l, L-модификации ИНС от Baidu и Yolo 9c в режиме сегментации выявило, что первые две работают с одинаковым качеством. ИНС Yolo 9c имеет наименьшие показатели качества распознавания целевой информации, но обеспечивает наиболее высокую скорость обработки кадров. Выполнено моделирование процессов управления БПЛА в среде MATLAB Simulink в сложных условиях, подтвердившее, что система управления успешно справляется с поставленными задачами. Проведены тестовые испытания с применением средств симуляции DJI траекторных движений БПЛА типа «квадрокоптер» с отработкой доработанной системы команд. Все команды успешно распознались и выполнились. На основе Yolo 11 проведены эксперименты по обнаружению и трекингу людей в контролируемых зонах. Переход с Yolo 8 на Yolo 11 в задачах обнаружения и распознавания людей и транспорта обеспечил рост скорости обработки. 4. Разработан комплект программной документации интеллектуальной системы обнаружения очагов возгорания, задымлений, людей и транспортных средств на основе средств технического зрения в масштабе времени, близком к реальному. Система обнаружения функционирует в среде операционных систем ОС Windows версии 10 или выше. Она включает несколько программных модулей, решающих различные подзадачи. Комплект программной документации содержит: описание; функциональное назначение и выполняемые функции; условия, необходимые для работы; способы выполнения; входные и выходные данные; сообщения. 5. Выполнено обобщение научных результатов и даны рекомендации по применению разработанной программной системы в виде специализированного Препринта. Подготовлен, выпущен и передан в профильные и заинтересованные учреждения (ФГБУ «Национальный парк «Плещеево озеро», СГБУ ЯО «Лесная охрана», ФИЦ ИУ РАН, МИРЭА, РУДН) Препринт, в котором представлены основные результаты, полученные в ИПС им. А.К. Айламазяна РАН в рамках выполнения Проекта. Даны рекомендации по применению методологического обеспечения профильными организациями Ярославского региона, осуществляющими мониторинг лесных территорий. Дано описание функций и модулей разработанной интеллектуальной системы. На основе общей структуры предложена концепция построения автоматизированного рабочего места для мониторинга территорий и интеллектуального управления беспилотными летательными аппаратами. Основные предлагаемые алгоритмические и программные решения для предобработки данных: деконволюция потока данных и стабилизация оптического потока (на основе ИНС Stripformer и библиотеки VidGear); алгоритм обнаружения линии горизонта. Система обнаружения огня и задымления строится с применением ИНС Yolo 8. Система обнаружения людей и транспорта строится на ИНС Yolo 11. 6. Оформлены РИД в виде трех публикаций в изданиях, индексируемых в базах WoS/Scopus и/или RSCI, и свидетельства о государственной регистрации программы для ЭВМ. На третьем этапе НИР опубликованы три работы (одна из которых индексируется в WoS Q1, две других – RSCI), принята к печати еще одна работа (Scopus), оформлено свидетельство о регистрации программы для ЭВМ, выпущен Препринт. Научная значимость проведенных исследований заключается в создании соответствующей мировому уровню технологии раннего обнаружения и предупреждения пожаров, основанной на комплексном использовании методов интеллектуального анализа потоков данных от систем технического зрения. Практическая значимость проекта заключается в создании методологических основ и программного обеспечения системы обнаружения очагов возгораний лесных территорий с оповещением об опасности лиц, принимающих решения. Экономический эффект достигается за счет минимизации экономических и экологических потерь, оперативного обнаружения и поддержки принятия решений по ликвидации нештатных ситуаций, связанных с пожароопасной ситуацией. Таким образом, все запланированные на 2024 год работы по Проекту выполнены в полном объеме. Публикации в СМИ: Интеллектуальные методы обнаружения очагов возгораний. – Переславские родники, №3, 2024, с.8-9, URL: https://www.plesheevo-lake.ru/upload/iblock/d56/hxe8jkurb7r0ajxs1wue4i27an69b7er.pdf

Публикации

Возможность практического использования результатов
Принимая во внимание масштабы возгораний полей и лесов в регионах РФ в последние годы, в Проекте созданы современные высокопроизводительные алгоритмы, методы и средства обработки изображений, доставляемых бортовыми и стационарными камерами наблюдения; мониторинга состояния полей и лесных массивов с использованием беспилотных летательных аппаратов, управляемых мультимодальным интерфейсом. Указанные средства могут практически использоваться с целью раннего обнаружения, предупреждения и оперативного реагирования на возникновение возгораний и пожаров. Разработанные в Проекте подходы и рекомендации создают научный и технологический задел, который может быть применен профильными организациями, осуществляющими мониторинг лесных территорий, тем самым снижая негативные последствия пожаров на социо-эколого-экономические сферы жизнедеятельности.