КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 23-21-00486

НазваниеРазработка и исследование методов и алгоритмов визуального внимания на основе нейронных сетей на графах и данных с ограниченной аннотацией

РуководительЗахаров Алексей Александрович, Кандидат технических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых", Владимирская обл

Период выполнения при поддержке РНФ 2023 г. - 2024 г. 

Конкурс№78 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами».

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-213 - Обработка и анализ изображений и сигналов

Ключевые словавизуальное внимание, нейронные сети на графах, компьютерное зрение, ограниченная аннотация

Код ГРНТИ28.23.15


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Проект предусматривает разработку и исследование методов и алгоритмов визуального внимания на основе нейронных сетей на графах и данных с ограниченной аннотацией. Основная цель визуального внимания – использование наименее возможного количества информации для решения сложных высокоуровневых задач распознавания объектов. Предполагается, что при использовании структурного представления сцен точность и робастность методов визуального внимания будут высокими. При этом для обучения будут использоваться данные с ограниченной аннотацией. Разработка новых методов визуального внимания на основе нейронных сетей на графах и данных с ограниченной аннотацией позволит сократить затраты на подготовку данных для обучения, даст возможность обнаруживать объекты, для которых количество экземпляров в обучающем наборе ограничено, снизит зависимость систем от этапа предварительного обучения, позволит определять предпочтения для конкретных систем. Научной новизной являются разрабатываемые методы визуального внимания на основе нейронных сетей на графах и моделей слабо контролируемого обучения (wealky supervised learning), трансферного обучения (transfer learning), обучения с «несколькими выстрелами» (few-shot learning). Результаты проекта могут быть применены для автономной навигации роботов, человеко-машинных интерфейсов, контроля технологических процессов, дистанционного зондирования Земли, медицинской диагностики и биометрии, видеонаблюдения.

Ожидаемые результаты
1. Метод и алгоритмы визуального внимания на основе нейронных сетей на графах и моделей слабо контролируемого обучения (wealky supervised learning), позволяющие обнаруживать значимые области на основе изображений с неточной маркировкой. Это позволит сократить затраты на подготовку обучающего набора данных. 2. Метод и алгоритмы визуального внимания на основе нейронных сетей на графах и моделей «с несколькими выстрелами» (few-shot learning), позволяющие обнаруживать значимые области для объектов, которые имеют ограниченное количество экземпляров в обучающем наборе. Это позволит преодолеть проблемы, связанные с подготовкой обучающего набора данных. 3. Метод и алгоритмы визуального внимания на основе нейронных сетей на графах и моделей трансферного обучения (transfer learning), позволяющие обнаруживать значимые области для объектов, которые имеют ограниченное количество экземпляров в обучающем наборе. Это позволит снизить зависимость систем визуального внимания от этапа предварительного обучения и позволит определять предпочтения для конкретных систем.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2023 году
За отчетный период были выполнены следующие работы по проекту. Разработан метод и алгоритмы визуального внимания на основе нейронных сетей на графах и моделей слабо контролируемого обучения (wealky supervised learning). Были сформированы обучающие, валидационные и тестовые наборы данных с неточной разметкой на основе наборов данных DAGM и DUTS. Построена структура нейронной сети на основе сверточных слоев на графах. Выполнено обучение модели с использованием созданных наборов данных. Проведены тестовые эксперименты. Для оценки разработанных методов использовалась средняя абсолютная ошибка (MAE - Mean Absolute Error) и показатель точности (accuracy). Проведено исследование разработанных метода и алгоритмов и выявлено, что структурное описание сцены позволяет использовать данные со слабой разметкой при высокой точности выделения значимых областей. Результаты исследований представлены в графическом виде. Были представлены 3 доклада на конференциях по распознаванию образов, машинному обучению и компьютерному зрению: -UralCon-2023 (г. Магнитогорск), (https://uralcon.su-ieee.ru/uralcon2023-rus.html). - Оптико-электронные приборы и устройства в системах распознавания образов и обработки изображений. XVII Международная научно-техническая конференция (г.Курск), (http://evatutin.narod.ru/kvt/program2023.pdf) - Математические методы распознавания образов. 21-я Всероссийская конференция с международным участием (г. Москва). Опубликована 1 статья в издании, входящем в Scopus (https://ieeexplore.ieee.org/document/10291095). Опубликована 1 статья в издании, входящем в Google Scholar и ВАК (к2).

 

Публикации

1. Захаров А.А., Пугин Е.В., Захарова М.В. Surface Defect Detection Based on Weakly Supervised Learning and Graph Convolutional Network IEEE, 2023 International Ural Conference on Electrical Power Engineering (UralCon) (год публикации - 2023) https://doi.org/10.1109/UralCon59258.2023.10291095

2. Захаров А.А., Пугин Е.В., Шамшин М.Н. Обнаружение значимых объектов на изображениях с использованием свёрточных сетей на графах Научно-технический вестник Поволжья, 12 (год публикации - 2023)

3. Захаров А.А., Пугин Е.В., Жизняков А.Л. Метод визуального внимания на основе нейронных сетей на графах и данных с ограниченной аннотацией Оптико-электронные приборы и устройства в системах распознавания образов и обработки изображений. Материалы XVII Международной научно-технической конференции. Юго-Западный государственный университет. Курск, 2023., ОПТИКО-ЭЛЕКТРОННЫЕ ПРИБОРЫ И УСТРОЙСТВА В СИСТЕМАХ РАСПОЗНАВАНИЯ ОБРАЗОВ И ОБРАБОТКИ ИЗОБРАЖЕНИЙ. сборник материалов XVII Международной научно-технической конференции. Курск, 2023. С. 102-104. (год публикации - 2023)

4. Захаров А.А., Шамшин М.Н., Жизняков А.Л. Разработка метода визуального внимания на основе нейронных сетей на графах Математические методы распознавания образов. 21-я Всероссийская конференция с международным участием, г. Москва, Российская академия наук., Математические методы распознавания образов. 21-я Всероссийская конференция с международным участием. Москва. Российская академия наук. 2023. С. 74. (год публикации - 2023)