Аннотация результатов, полученных в 2024 году
1. Разработан метод и алгоритмы визуального внимания на основе нейронных сетей на графах и моделей «с несколькими выстрелами» (few-shot learning), позволяющие обнаруживать значимые области для объектов, которые имеют ограниченное количество экземпляров в обучающем наборе. Установлены отношения между классами объектов с помощью семантических связей. Для этого используется граф знаний (knowledge graphs). В графе знаний узлами являются объекты, а ребрами – отношения между объектами. Таким образом, каждый класс может быть описан с помощью семантического встраивания на основе графовой нейронной сети. Разработанный метод включает два этапа: обнаружение объектов с использованием обучения с "нескольких выстрелов", повышение точности обнаружения с использованием нейронной сети на графах. 2. Разработан метод и алгоритмы визуального внимания на основе нейронных сетей на графах и моделей трансферного обучения (transfer learning), позволяющие распознавать значимые области объектов, которые имеют ограниченное количество экземпляров в обучающем наборе. Это позволяет снизить зависимость систем визуального внимания от этапа предварительного обучения. Предложено переносить знания из исходного домена в целевой домен с помощью графа знаний. Разработанный метод включает два шага: Шаг 1. Обучение модели на основе нейронной сети. Шаг 2. Обучение модели на основе нейронной сети на графах. ResNet-34 используется при обучении модели на основе сверточной нейронной сети. Граф знаний используется для явного указания семантических связей между классами изображений. Графовая сверточная сеть используется для обучения переносимых моделей. Обученная переносимая модель используется для классификации извлеченных признаков изображения. 3. Сформированы обучающие, валидационные и тестовые наборы данных на основе PASCAL dataset, MS COCO dataset, WHU Building Dataset. Cформированы обучающие и тестовые наборы данных на основе реальных сцен: personal protective equipment dataset, machine parts dataset. 4. Создано программное обеспечение, разработанное на основе метода и алгоритмов визуального внимания на основе нейронных сетей на графах и моделей «с несколькими выстрелами» (few-shot learning), моделей трансферного обучения (transfer learning). 5. Получены результаты исследований метода и алгоритмов визуального внимания на основе нейронных сетей на графах и моделей «с несколькими выстрелами» (few-shot learning). При исследовании разработанного метода средняя точность обнаружения объектов увеличивается на 1-5% за счет структурного представления сцен. 6. Получены результаты исследований метода и алгоритмов визуального внимания на основе нейронных сетей на графах и моделей трансферного обучения (transfer learning). Метод позволяет увеличить показатели точности и полноты на 1-7%. 7. По итогам исследования опубликовано 3 статьи в изданиях, индексированных в международных базах данных Scopus, WoS, RSCI: а)Zakharov A.A. Object Detection Based on Graph Neural Networks and Few-Shot Learning for Industrial Safety Control // XVIII International scientific and technical conference "Dynamics of Systems, Mechanisms and Machines" (Dynamics), 12–14 November 2024, Omsk, Russia. (Scopus). https://conferences.omgtu.ru/document/c6ffa460-6a6e-462f-9a93-a49dc3eb4d78.pdf б) Zakharov A.A. Machine Part Recognition Based on Transfer Learning and Knowledge Graph // XVIII International scientific and technical conference "Dynamics of Systems, Mechanisms and Machines" (Dynamics), 12–14 November 2024, Omsk, Russia. (Scopus). https://conferences.omgtu.ru/document/c6ffa460-6a6e-462f-9a93-a49dc3eb4d78.pdf в) Zakharov A.A., Zakharova M.V., Zhiznyakov A. L. Segmentation of Buildings in Aerial Photographs Using Graph Convolutional Networks // Pattern Recognition and Image Analysis. 2024. Vol. 34, Issue 4. (Scopus, WoS, RSCI). https://www.pleiades.online/ru/journal/patrec/ 8. Подготовлены 3 доклада на международные научные конференции по теме проекта: а)Захаров А.А., Захарова М.В, Жизняков А.Л. «Обнаружение объектов на изображениях с использованием свёрточных сетей на графах и ограниченного количества тренировочных данных». Конференция: 15-я Международная конференция «Интеллектуализация обработки информации» ИОИ-2024, 23-27 сентября 2024 года, ГрГУ им. Янки Купалы, Республика Беларусь, г. Гродно. Программа конференции: https://mmro.ru/wp-content/uploads/2024/09/%D0%9F%D1%80%D0%B5%D0%B4%D0%B2%D0%B0%D1%80%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F-%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B0-%D0%BA%D0%BE%D0%BD%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%86%D0%B8%D0%B8-%D0%98%D0%9E%D0%98-5.pdf б) Zakharov A.A. “Object Detection Based on Graph Neural Networks and Few-Shot Learning for Industrial Safety Control”. Конференция: XVIII International scientific and technical conference "Dynamics of Systems, Mechanisms and Machines" (Dynamics), 12–14 November 2024, Omsk, Russia https://conferences.omgtu.ru/document/c6ffa460-6a6e-462f-9a93-a49dc3eb4d78.pdf в) Zakharov A. “Machine Part Recognition Based on Transfer Learning and Knowledge Graph” Конференция: XVIII International scientific and technical conference "Dynamics of Systems, Mechanisms and Machines" (Dynamics), 12–14 November 2024, Omsk, Russia https://conferences.omgtu.ru/document/c6ffa460-6a6e-462f-9a93-a49dc3eb4d78.pdf 9. Опубликованы 2 статьи из перечня ВАК: а) Захаров А.А. Метод обнаружения объектов на изображениях на основе нейронных сетей на графах и небольшого количества обучающих примеров // Программные системы и вычислительные методы. 2024. № 4. С.66-75. https://e-notabene.ru/itmag/article_72558.html б) Zakharov A.A., Zakharova M.V., Zhiznyakov A. L. Segmentation of Buildings in Aerial Photographs Using Graph Convolutional Networks // Pattern Recognition and Image Analysis. 2024. Vol. 34, Issue 4. https://www.pleiades.online/ru/journal/patrec/ 10. Направлена заявка на получение свидетельства о государственной регистрации программы для ЭВМ: Захаров А.А. Система обнаружения объектов на изображениях на основе нейронных сетей на графах и данных с ограниченной аннотацией. – Свидетельство о государственной регистрации программы для ЭВМ. – № заявки 2024Э39593, заявл. 10.12.2024.