КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер проекта 24-71-10016

НазваниеПерспективные подходы к нейросетевой обработке сигналов и изображений и их реализация на современных аппаратных устройствах

Руководитель Нагорнов Николай Николаевич, Кандидат технических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Северо-Кавказский федеральный университет" , Ставропольский край

Конкурс №98 - Конкурс 2024 года «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-202 - Интеллектуальный анализ данных и распознавание образов

Ключевые слова Искусственный интеллект, глубокие нейронные сети, машинное обучение, методы оптимизации, цифровая обработка сигналов и изображений, анализ биомедицинских данных, проблемно-ориентированные аппаратные средства, программируемые логические интегральные схемы, программируемые пользователем вентильные матрицы, интегральные схемы специального назначения, параллельные вычисления, модулярная арифметика, метод Винограда, приближенные вычисления, вычислительные элементы

Код ГРНТИ28.23.15


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Стремительное развитие технологий искусственного интеллекта сопровождается опережающим ростом государственных и частных инвестиций в разработку и развитие прикладных технологических решений на основе искусственного интеллекта. По оценкам международных экспертов, объем мирового рынка искусственного интеллекта в 2022 году оценивался в 454,12 млрд долларов США. К 2032 году ожидается, что он достигнет около 2575,16 млрд долларов США. При этом совокупный годовой темп роста составит 19% с 2023 по 2032 год. В настоящее время в мире происходит ускоренное внедрение технологических решений на основе нейронных сетей в различные отрасли экономики и сферы общественных отношений. Указанные тенденции обусловлены «сквозным» характером применения прикладных технологических решений и потребностью в обработке больших объемов данных, создаваемых как человеком, так и техническими устройствами, для повышения эффективности экономической деятельности. Вместе с тем существует высокая потребность в развитии методологии нейронных сетей. В рамках предлагаемого проекта мы планируем создание новых методов и подходов к улучшению технических характеристик нейросетевых устройств, а именно: модулярных вычислениях; сверточных алгоритмах на основе метода Винограда; алгоритмах оптимизации; мультимодальных нейросетевых архитектур и ансамблей нейронных сетей с предварительной обработкой гетерогенных данных. Модулярные вычисления избавлены от главного недостатка позиционных систем счисления, а именно, от необходимости поразрядных переносов при реализации вычислительных операций. Система остаточных классов (RNS) позволяет осуществить распараллеливание вычислений на арифметико-логическом уровне и выполнять обработку цифровых данных по нескольким независящим друг от друга вычислительным каналам одновременно, что приводит к значимому повышению скорости вычислений. В настоящее время различные алгоритмы обработки данных на основе RNS активно внедряются во множество приложений цифровой обработки сигналов и изображений. Метод Винограда (WM) активно используется для повышения скорости вычислений в сверточных слоях нейросетевых ускорителей. Однако, большинство научных коллективов использует частные случаи WM для конкретных цифровых фильтров с заранее определенными параметрами. Необходимо обобщение WM на случаи с двумерными и трехмерными фильтрами обработки сигналов и изображений и создание новых высокоскоростных аппаратных устройств нейросетевой обработки данных. Для обучения нейросетевых архитектур используются различные оптимизаторы. Развитие оптимизаторов первого порядка позволит ускорить сходимость к глобальному минимуму с экспоненциальной точностью для увеличения точности работы генеративно-состязательных сетей (GAN) и визуальных трансформеров (ViT). Инновационным подходом в современном машинном обучении является замена оптимизаторов второго порядка информационно-геометрическими, анализирующими функции потерь с помощью вероятностной метрики Кульбака-Лейблера и двойственной метрикой Бергмана. Разработка и внедрение гибридных и безградиентных алгоритмов оптимизации в современные нейросетевые архитектуры является новшеством, которое позволит сократить вычислительные затраты на обучение, сохраняя при этом сходимость в глобальном минимуме функции потерь нейронной сети. Научная новизна алгоритмов оптимизации дробно-рационального порядка заключается в использовании более общего определения градиента, основанного на 4 классах производных, приведенных в: классические, модифицированные, локально-операторные и несингулярно-ядерные. Ансамбль нейронных сетей позволяет достичь более высокого качества обработки сигналов и изображений, чем аналогичные нейросетевые системы, за счет разработки новых методов предварительной обработки изображений, подходов к детекции и сегментации, а также за счет параллельного анализа гетерогенных данных несколькими мультимодальными архитектурами.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2025 году
1. Проведен анализ современных методов реализации приближенных вычислений на цифровых устройствах нейросетевой обработки визуальных данных для уменьшения избыточности вычислений и сокращения ресурсозатрат. Разработаны математические методы реализации приближенных вычислений в сверточных слоях нейронных сетей на основе тензорных разложений, а именно, вариаций канонического полиадического (CP-Astrid) и разложения Таккера (Tucker-2), для повышения скорости работы устройств нейросетевой обработки сигналов и изображений. Разработанные методы могут быть использованы для повышения скорости обучения и работы современных нейросетевых структур, особенно высокая эффективность может быть получена при квантовании моделей машинного обучения на графических и тензорных процессорах. 2. Проанализированы современные конструкции вычислительных элементов, используемые для организации вычислений при цифровой обработке одномерных и многомерных сигналов, в частности, при интеллектуальной обработке данных в различных нейросетевых архитектурах. Разработаны высокоскоростные архитектуры модулярных сумматоров с сохранением переноса и усеченных блоков умножения с накоплением с использованием техники инвертированного циклического подключения старшего переноса для высокопроизводительной аппаратной реализации методов и алгоритмов обработки одномерных и многомерных сигналов на основе цифровой фильтрации в системе остаточных классов (СОК). Данные архитектуры могут быть использованы для повышения производительности современных вычислительных устройств, реализующих различные методы и алгоритмы цифровой обработки сигналов. 3. Рассмотрены актуальные подходы к снижению ресурсозатрат при реализации методов нейросетевой обработки цифровых данных на основе СОК. Разработан эффективный по ресурсозатратам метод нейросетевой обработки одномерных и многомерных цифровых сигналов на основе организации параллельных вычислений в СОК с использованием оригинального обратного преобразователя из СОК в позиционную систему счисления на основе Китайской теоремы об остатках с дробными величинами (New CRTf). Предложенный подход может быть применен для снижения ресурсозатрат при реализации методов цифровой обработки одномерных и многомерных сигналов, в частности, для интеллектуальной обработки данных. 4. Рассмотрены современные алгоритмы оптимизации функции потерь нейронных сетей. Разработан алгоритм оптимизации на основе дробно-рационального градиентного спуска с использованием аппроксимированных производных Римана-Лиувилля, Капуто и Грюнвальда-Летникова для повышения точности обучения и работы современных моделей глубокого обучения посредством глобальной минимизации функции потерь со скоростью сходимости и стабильностью, равных O(√T) и O(T), соответственно. Предложенный алгоритм оптимизации может быть применен для повышения качественных показателей устройств и систем интеллектуальной обработки данных. 5. Проведена обзор современных математических методов повышения качества работы систем автоматического управления динамики полета беспилотных летательных аппаратов (БПЛА), таких как пропорционально-интегрально-дифференцирующий (PID), линейно-квадратичный (LQR), линейно-квадратичный-гауссовский (LQG), метод проксимальной оптимизации (PPO) и мягкий актер-критик (SAC) регуляторы. Разработана физико-информированная нейросетевая структура, включающая минимизацию функции потерь дробно-рациональным градиентным спуском на основе аппроксимированных производных Римана-Лиувилля, Капуто и Грюнвальда-Летникова, для повышения качества работы систем автоматического управления БПЛА. Предложенная структура может быть использована для улучшения систем автоматического управления динамикой полета современных БПЛА. 6. Проведен анализ метрик оценки качества видеоданных для обнаружения ослабления или искажения сигнала, транслируемого БПЛА. Разработан метод анализа видеоданных, получаемых при трансляции с БПЛА в условиях слабого сигнала, на основе использования различных вариаций индекса структурного сходства для обнаружения наличия задержек, фиксации искажений в видеокадрах и отслеживания динамических изменений в видеопотоке данных. Данный метод может быть использован для повышения качества обработки изображений и видеоизображений при регистрации БПЛА в различных областях, таких как сельское хозяйство, строительство, картография и геология.

 

Публикации

1. Абдулкадиров Р.И., Ляхов П.А., Бабошина В.А., Нагорнов Н.Н. Improving the accuracy of neural network pattern recognition by fractional gradient descent IEEE Access, том 12, страницы 168428-168444 (год публикации - 2024)
10.1109/ACCESS.2024.3491614

2. Абдулкадиров Р.И., Ляхов П.А., Бутусов Д.Н., Нагорнов Н.Н., Резников Д.К., Бобров А.А., Калита Д.И. Enhancing the Unmanned Aerial Vehicle Object Detection via Tensor Decompositions and Positive-Negative Momentum Optimizers Mathematics, том 13, выпуск 5, номер статьи 828 (год публикации - 2025)
10.3390/math13050828

3. Абдулкадиров Р.И., Ляхов П.А., Бутусов Д.Н., Нагорнов Н.Н., Калита Д.И. Physics-Aware Machine Learning Approach for High-Precise Quadcopter Dynamics Modeling Drones, том 9, выпуск 3, номер статьи 187 (год публикации - 2025)
10.3390/drones9030187


Аннотация результатов, полученных в 2026 году
1. Проведены теоретический анализ и разработка подходов к одномерной и многомерной цифровой фильтрации на основе метода Винограда с применением вейвлет-фильтров различного порядка. Разработаны обобщенные подходы к организации одномерной и многомерной свертки с пониженной вычислительной сложностью на основе развития методологии Винограда для данных с различной дискретизацией. Полученные результаты могут быть использованы при проектировании энергоэффективных нейросетевых архитектур для встраиваемых систем, обеспечивая автоматизированный подбор конфигураций цифровой фильтрации в задачах обработки визуальных данных в условиях ограниченных аппаратных ресурсов. 2. Исследованы требования к разрядности арифметики с фиксированной запятой для сохранения качества нейросетевой обработки данных, определены оптимальные значения бит дробной части коэффициентов фильтров в зависимости от размера обрабатываемого блока отсчетов. Разработан и верифицирован алгоритм трансляции матричных вычислений в систему остаточных классов, обеспечивающий распараллеливание операций и повышение быстродействия цифровой фильтрации в нейросетевых устройствах обработки одномерных и многомерных сигналов. Подтвержденная в программных экспериментах эффективность предложенных подходов позволяет использовать их в качестве аппаратно-независимого ядра для создания специализированных ускорителей нейросетевой обработки данных, применяемых в телемедицине, спутниковом мониторинге и системах кодирования видеопотоков сверхвысокого разрешения с жесткими требованиями к задержкам и энергопотреблению. 3. Проведены теоретический анализ и разработка принципиально новых алгоритмов оптимизации функций потерь на основе методов информационной геометрии, дробно-рационального исчисления и положительно-отрицательной оценки моментов. Получен класс высокоскоростных алгоритмов с доказанной логарифмической скоростью сходимости O(logT) и равномерной устойчивостью, обеспечивающих автоматическую регуляризацию шага обучения и эффективное подавление шума в стохастических градиентных оценках. Разработанные подходы могут быть интегрированы в ядро физически информированных нейронных сетей и систем компьютерного зрения для ускоренного обучения моделей, решающих задачи вычислительной гидродинамики и автоматизированного анализа визуальных данных. 4. Осуществлена интеграция методов роя частиц и эволюционных стратегий в градиентные процедуры для формирования гибридных алгоритмов оптимизации, не требующих вычисления производных второго порядка. Экспериментально подтверждено достижение глобальных минимумов сложных многоэкстремальных функций Растригина, Розенброка, Аккли, Леви, Швефеля за минимальное число итераций с точностью до 10^(-4)-10^(-5). Созданный гибридный подход демонстрирует снижение дисперсии градиентных оценок и может быть внедрен в качестве универсального вычислительного модуля для обучения нейросетевых архитектур в задачах молекулярного дизайна, предиктивной токсикологии, предсказания ядерных реакций и детекции объектов в условиях сложной визуальной среды. 5. Проведен сравнительный анализ методов машинного обучения для решения задачи многоклассовой классификации 12-канальных электрокардиографических сигналов. Экспериментально получено, что модель на основе LSTM достигает максимальной точности классификации 77,23 % при показателях полноты 75,40 % и F1-меры 76,40 %, что на 11,88 процентных пункта превышает результат алгоритма случайного леса. Данные результаты могут быть использованы в качестве методологической основы для разработки гибридных систем автоматизированного кардиодиагностического скрининга. 6. Проведен анализ современных методов предварительной обработки дерматологических изображений для повышения точности автоматизированной диагностики пигментных новообразований кожи и проанализированы современные подходы к обработке гетерогенных медицинских данных в задачах интеллектуальной диагностики. Разработан метод повышения точности систем искусственного интеллекта для классификации пигментных новообразований кожи на основе ансамблевого объединения мультимодальных нейросетевых архитектур с предварительной цифровой очисткой изображений от волосяных структур. Разработанный метод может быть использован в качестве ядра интеллектуальных систем поддержки принятия врачебных решений для скрининговой диагностики пигментных онкопатологий кожи на ранних стадиях в дерматологических и онкологических клиниках. 7. Проведен анализ современных методов классификации гистопатологических изображений нейральной ткани в условиях дисбаланса классов и риска утечки данных на уровне пациентов. Разработан ресурсоэффективный фреймворк для классификации гистопатологических изображений ткани головного мозга на основе архитектуры EfficientNetB0 с применением фокальной функции потерь и оригинального метода прогрессивного размораживания слоев. Предложенный метод предварительной обработки на основе аугментации с учетом особенностей гистологической окраски и нормализации статистических параметров изображений обеспечил повышение устойчивости модели к вариативности лабораторных условий. Разработанный метод может быть использован в качестве высоконадежного инструмента предварительного скрининга в клинической нейропатологии для безопасной интеграции в диагностические рабочие процессы с минимальными аппаратными затратами. 8. Проведен теоретический анализ и осуществлена разработка метода совместной оптимизации архитектуры нейронных сетей и их структурного сжатия для задач искусственного интеллекта на периферийных устройствах с ограниченными вычислительными ресурсами. Разработан оригинальный метод совместного поиска и сжатия нейросетевых архитектур, объединяющий принципы эффективного поиска подсетей внутри суперсети с механизмом регуляризации, ориентированной на тензорно-цепочечную декомпозицию полносвязных слоев. Разработанный метод может быть интегрирован в конвейеры автоматизированного проектирования искусственного интеллекта для периферийных вычислений, обеспечивая генерацию компактных моделей, готовых к аппаратной реализации на устройствах с ограниченными ресурсами памяти и энергопотребления. 9. Проведено исследование применения тензорных разложений CP и Такера для ускорения обучения и снижения вычислительной сложности рекуррентных нейронных сетей. Разработаны новые рекуррентные слои нейронных сетей на основе тензорных разложений CP и Такера для задач прогнозирования временных рядов, возникающих при анализе кардиограмм. Разработанные слои могут быть использованы при построении компактных и устойчивых нейросетевых моделей для медицинского анализа временных рядов и других задач обработки последовательностей.

 

Публикации

1. Ляхов П.А., Бутусов Д.Н., Письменный В.А., Абдулкадиров Р.И., Нагорнов Н.Н., Островской В.Ю., Калита Д.И. Enhancing Drone Detection via Transformer Neural Network and Positive-Negative Momentum Optimizers Big Data and Cognitive Computing, том 9, выпуск 7, страницы 167-191 (год публикации - 2025)
10.3390/bdcc9070167

2. Абдулкадиров Р.И., Ляхов П.А., Бергерман М.В., Нагорнов Н.Н. Transformer Operator Network with Fast Difference Gradient Positive-Negative Momentum for Solving Navier-Stokes Equations Chaos, Solitons & Fractals, том 200, 116964-116998 (год публикации - 2025)
10.1016/j.chaos.2025.116964

3. Ляхов П.А., Нагорнов Н.Н., Бергерман М.В., Абдулсалямова А.Ш., Абдулкадиров Р.И. Designing of High-Performance Digital Filters Using the Balanced Residue Number System Moduli Set Programming and Computer Software, том 51, выпуск 5, страницы 327–339 (год публикации - 2025)
10.1134/S0361768825700203

4. Ляхов П.А., Оразаев А.Р., Нагорнов Н.Н. Video analysis of an unmanned aerial vehicle in low signal conditions Lecture Notes in Networks and Systems , том 1585, страницы 243–250 (год публикации - 2025)
10.1007/978-3-032-01831-1_23

5. Ляхов П.А., Бергерман М.В., Нагорнов Н.Н., Абдулсалямова А.Ш. High-performance discrete wavelet transform for JPEG XS standard Компьютерная оптика (год публикации - 2026)

6. Ляхова У.А., Калита Д.И., Нагорнов Н.Н., Ляхов П.А. Ensemble of Visual Transformers and Convolutional Neural Networks for Skin Cancer Recognition Компьютерная оптика (год публикации - 2026)