Перспективные методы интеллектуальной обработки сигналов на основе глубоких нейронных сетей и модулярных вычислений

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 23-71-10013

НазваниеПерспективные методы интеллектуальной обработки сигналов на основе глубоких нейронных сетей и модулярных вычислений

Руководитель Ляхов Павел Алексеевич, Кандидат физико-математических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Северо-Кавказский федеральный университет" , Ставропольский край

Конкурс №85 - Конкурс 2023 года «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-202 - Интеллектуальный анализ данных и распознавание образов

Ключевые слова Искусственный интеллект, глубокие нейронные сети, машинное обучение, методы оптимизации, цифровая обработка сигналов, цифровая обработка изображений, обработка медицинских изображений, проблемно-ориентированные аппаратные средства, программируемые логические интегральные схемы, программируемые пользователем вентильные матрицы, интегральные схемы специального назначения, модулярная арифметика, система остаточных классов, параллельные вычисления

Код ГРНТИ28.23.15

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Стремительное развитие технологий искусственного интеллекта сопровождается опережающим ростом как государственных, так и частных инвестиций в их развитие, а также в разработку прикладных технологических решений на основе искусственного интеллекта. По оценкам международных экспертов, инвестиции в технологии искусственного интеллекта выросли с 2014 по 2017 год в три раза и составили около 40 млрд. долларов США. В 2018 году мировой рынок технологических решений, разработанных на основе искусственного интеллекта, составил 21,5 млрд. долларов США и, по прогнозам экспертов, к 2024 году достигнет 140 млрд. долларов США. В настоящее время в мире происходит ускоренное внедрение технологических решений, разработанных на основе искусственного интеллекта, в различные отрасли экономики и сферы общественных отношений. По оценкам экспертов, ожидается, что благодаря внедрению таких решений рост мировой экономики в 2024 году составит не менее 1 трлн. долларов США. Указанные тенденции обусловлены «сквозным» характером применения прикладных технологических решений на основе искусственного интеллекта и потребностью в обработке больших объемов данных, создаваемых как человеком, так и техническими устройствами, для повышения эффективности экономической деятельности. Методы машинного обучения на основе глубоких нейронных сетей показывают высокую точность интеллектуального анализа информации. Однако, достижение высокого качества работы глубоких нейронных сетей происходит за счет очень большой вычислительной сложности, оказывающей значительное влияние на скорость обработки данных. Одним из подходов к ускорению работы нейронной сети является аппаратная реализация ее компонентов. Оптимизация вычислений на арифметическом уровне позволяет достигнуть лучших показателей качества обработки и скорости, при минимально возможных аппаратных затратах. Кроме того, аппаратная реализация системы позволяет обеспечить ее автономность и мобильность. За последние полвека при разработке микропроцессорных систем в большинстве случаев используется позиционная система счисления, унаследованная от процессоров ранних поколений. Приближение к пределу миниатюризации технологических процессов производства микроэлектронной техники требует изменения подходов к использованию систем счисления в цифровых системах, особенно для использования во встраиваемых проблемно-ориентированных процессорах. Система остаточных классов (СОК) является одной из самых известных непозиционных систем. СОК обеспечивает параллельную реализацию арифметических операций и оперирует с небольшими остатками от деления, вместо обработки чисел большой разрядности в позиционных системах счисления, что открывает возможности для параллельной обработки данных на арифметико-логическом уровне. Использование СОК позволяет увеличить скорость работы вычислительных систем за счет распараллеливания арифметических операций. Работа в рамках данного проекта будет направлена на развитие новых, высокоэффективных версий нейросетевых сопроцессоров, функционирующих в СОК, для максимально широкого и эффективного их применения на практике. Планируемые в рамках проекта исследования будут применены для решения прикладных задач в медицине. Например, анализ фотографий пигментных пятен кожи для автоматизации процесса детектирования злокачественных новообразований и постановка диагноза по результатам магнитно-резонансной томографии. Для каждого приложения предполагается проблемно-ориентированная настройка нейросетевого процессора в СОК, зависящая от характеристик решаемой задачи, с целью достижения наилучших показателей качества распознавания, производительности, энергопотребления и аппаратных затрат. Современный уровень развития технологий FPGA и ASIC показывает способность к реализации масштабных и сложных проектов в области компьютерного зрения на ее основе, что указывает на возможность успешной реализации идей, предлагаемых в данном проекте.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Киладзе М.Р., Ляхова У.А., Ляхов П.А., Нагорнов Н.Н., Вахаби М. Multimodal Neural Network for Recognition of Cardiac Arrhythmias Based on 12-load Electrocardiogram Signals IEEE Access, 133744 - 133754 (год публикации - 2023)
10.1109/ACCESS.2023.3335176

2. Ляхов П.А., Ляхова У.А., Калита Д.И. Multimodal Analysis of Unbalanced Dermatological Data for Skin Cancer Recognition IEEE Access, 131487 - 131507 (год публикации - 2023)
10.1109/ACCESS.2023.3336289

3. Нагорнов Н.Н., Ляхов П.А., Бергерман М.В., Калита Д.И. Modern Trends in Improving the Technical Characteristics of Devices and Systems for Digital Image Processing IEEE Access, том 12, страницы 44659-44681 (год публикации - 2024)
10.1109/ACCESS.2024.3381493

4. Абдулкадиров Р.И., Ляхов П.А., Бергерман М.В., Резников Д.К. Satellite image recognition using ensemble neural networks and difference gradient positive-negative momentum Chaos, Solitons and Fractals, том 179, статья 114432 (год публикации - 2024)
10.1016/j.chaos.2023.114432

5. Ляхов П.А., Ляхова У.А., Абдулкадиров Р.И. Non-convex optimization with using positive-negative moment estimation and its application for skin cancer recognition with a neural network Computer Optics, 48(2): 260-271. (год публикации - 2024)
10.18287/2412-6179-CO-1308

6. Бабошина В.А., Оразаев А.Р., Ляхов П.А., Боярская Э.Е. Neural network recognition system for video transmitted through a binary symmetric channel Computer Optics, Vol. 48, No. 4 (год публикации - 2024)
10.18287/2412-6179-CO-1388

7. Бабошина В.А., Ляхов П.А., Каплун Д.И. Ensemble of Visual Transformer and Deep Neural Networks for Recognizing Sunflower Diseases from Photographs Proceedings of the NIELIT's International Conference on Communication, Electronics and Digital Technology, NICEDT-2024, Volume 2, pp 15–24 (год публикации - 2024)
10.1007/978-981-97-3604-1_2

8. Ляхова У.А., Ляхов П.А. Multimodal ensemble neural network system for skin cancer detection on heterogeneous dermatological data Vestnik Sankt-Peterburgskogo Universiteta, Prikladnaya Matematika, Informatika, Protsessy Upravleniya, Т. 20. Вып. 2. С. 231–243 (год публикации - 2024)
10.21638/spbu10.2024.208

9. Абдулкадиров Р.И., Ляхов П.А., Бабошина В.А., Нагорнов Н.Н. Improving the Accuracy of Neural Network Pattern Recognition by Fractional Gradient Descent IEEE Access, Vol. 12, P. 168428 - 168444 (год публикации - 2024)
10.1109/ACCESS.2024.3491614

10. Ляхова У.А., Ляхов П.А. Systematic review of approaches to detection and classification of skin cancer using artificial intelligence: Development and prospects Computers in Biology and Medicine, Vol. 178, 108742 (год публикации - 2024)
10.1016/j.compbiomed.2024.108742

11. Бабошина В.А., Ляхов П.А., Ляхова У.А., Письменный В.А. Bidirectional Encoder representation from Image Transformers for recognizing sunflower diseases from photographs Computer Optics, 49(3): 435-442. (год публикации - 2025)
10.18287/2412-6179-CO-1514

Аннотация результатов, полученных в 2025 году
1. Разработаны архитектуры мультимодальных глубоких нейронных сетей с повышенной точностью на основе совмещенной обработки гетерогенных биомедицинских данных. Получены результаты обучения известных и разработанных разработанных архитектур нейронных сетей на различных биомедицинских данных, для оценки эффективности разработок. В области медицины ля практического моделирования использовались данные из открытого архива The International Skin Imaging Collaboration (ISIC). Статистический анализ всех экспериментов по интеллектуальной обработке дерматологических данных на основе построения матриц неточностей, вычисления чувствительности и специфичности результатов распознавания, определения меры F1, вычисления коэффициента корреляции Мэттьюза и подсчета частот ложноположительных и ложноотрицательных срабатываний нейронной сети продемонстрировал высокое качество разработанных методов и подходов. В результате тестирования наилучший показатель точности распознавания пигментных новообразований кожи составил 85.92 % и был получен при помощи разработанной ансамблевой модели взвешенных голосов на основе обученных мультимодальных систем. Предложенная ансамблевая модель на 1.40 процентных пункта точнее по сравнению с наилучшей по точности известной системой, которая была обучена с использованием оптимизатора SGD, и на 1.85 процентных пункта точнее по сравнению со средней точностью всех обученных нейронных сетей по отдельности (84.06 %) Разработанную систему можно считать высокоточным вспомогательным инструментом, помогающим принять медицинское решение, что позволит сократить потребление финансовых и трудовых ресурсов, задействованных в медицинской отрасли, а также повысит шанс раннего выявления пигментных онкопатологий. Другим направлением исследований было применение разрабатываемых систем машинного обучения для анализа изображений подсолнечника в задачах точного земледелия. Результаты распознавания базы данных изображений болезней подсолнечника продемонстрировали преимущество использования разработанного двунаправленного кодировщика с архитектурой BEIT. Предлагаемая система продемонстрировала более высокую точность по сравнению с существующими методами и превзошла современные глубокие сверточные нейронные сети на 2,76–17,66 % по точности. На основании полученных результатов можно сделать вывод, что использование предлагаемой системы, может значительно повысить точность распознавания и классификации болезней подсолнечника по их изображениям. Данная разработка может найти широкое применение в современном точном земледелии, для своевременного выявления заболеваний растений и повышения урожайности подсолнечника. 2. Разработаны архитектуры аппаратных ускорителей для интеллектуальной обработки данных с высокоскоростными вычислительными блоками для реализации на FPGA и ASIC. Разработаны архитектуры аппаратных ускорителей цифровых фильтров с вычислениями по методу Винограда. Разработаны архитектуры аппаратных ускорителей цифровых фильтров с вычислениями в системе остаточных классов. Аппаратное моделирование цифровых фильтров в СОК проводилось на интегральной схеме специального назначения (ASIC) с использованием среды OpenLane и языка описания аппаратуры Verilog. Статистический анализ всех экспериментов по аппаратному моделированию цифровых устройств с измерением максимальной задержки, площади и энергопотребления показал, что предложенный подход к поиску набора модулей СОК позволил сократить вычислительную задержку на 29,76–60,85%. Однако это улучшение произошло за счет увеличения аппаратных затрат, которые выросли с 5,31% до 50,86%. Предлагаемый подход обеспечивает существенное повышение производительности устройств, решающих различные задачи цифровой обработки сигналов, включая интеллектуальную обработку данных. 3. Создан комплекс программ для автоматизации процесса трансляции разработанных нейросетевых архитектур с высокоуровневых языков программирования на языки описания аппаратур VHDL и Verilog. Ядром данного комплекса является программный модуль генерации сбалансированных наборов модулей системы остаточных классов по заданным параметрам динамического вычислительного диапазона. Программный модуль генерации вычислительных каналов цифровых устройств в системе остаточных классов на основе всех модулей специального вида 2^n, 2^n-1, 2^n+1 позволяет проектировать высокоэффективные устройства цифровой обработки сигналов. Разработан новый программный модуль реализации немодульных операций в системе остаточных классов на основе модифицированной Китайской теоремы об остатках с дробными величинами. Предлагаемый метод занимает меньшую площадь на 4,11–10,66%, в зависимости от разрядности, и при этом задержка устройтва несколько быстрее по сравнению с методом CRTf (на 0,75–1,21%). Разработан программный модуль трансляции вычислений нейросетевых функций активации на языки описания аппаратур VHDL и Verilog. Результаты моделирования известных и транслированных нейросетевых архитектур на FPGA и ASIC продемонстрировали высокую эффективность разработок. Статистический анализ всех экспериментов по аппаратному моделированию нейросетевых архитектур с измерением максимальной задержки, площади и энергопотребления также подтвердил сделанные выводы о качестве разработанных моделей, методов и алгоритмов. Особо следует выделить достигнутый успех в реализации проблемной операции обратного преобразования чисел из системы остаточных классов в позиционную систему счисления. Перспективным направлением дальнейших исследований является использование предлагаемого метода для решения задач с немодульными операциями, такими как сравнение чисел, деление, определение знака и т. д. Кроме того, предлагаемый метод может быть применен и в машинном обучении для ускорения вычислений и снижения аппаратных затрат в цифровой обработке сигналов (КИХ-фильтры), цифровой обработке изображений и криптографии. https://ri.ria.ru/20240916/nauka-1972457797.html

Публикации