Новые нейросетевые технологии резервуарных вычислений для интеграции искусственного интеллекта в периферийные устройства «интернета вещей».

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 22-11-00055

НазваниеНовые нейросетевые технологии резервуарных вычислений для интеграции искусственного интеллекта в периферийные устройства «интернета вещей».

Руководитель Величко Андрей Александрович, Кандидат физико-математических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет" , Республика Карелия

Конкурс №68 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-726 - Системы и технологии интеллектуального анализа данных и распознавания образов

Ключевые слова резервуарные вычисления, искусственный интеллект, интернет вещей, хаотические отображения, динамический хаос, нейронные сети, распознавание образов, импульсные нейронные сети, осцилляторы.

Код ГРНТИ28.23.37

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Проект посвящен разработке новых нейросетевых технологий на базе резервуарных вычислений (РВ) и исследованию влияния нелинейных эффектов динамических систем, составляющих резервуар, на когнитивные свойства нейронных сетей, и применению этих технологий для интеграции искусственного интеллекта в периферийные устройства «интернета вещей». Нейронные сети представляют собой универсальный инструмент для решения задач обработки больших объемов разнообразной и неполной диагностической информации в таких областях, как прогнозирование, моделирование, управление, оптимизация и анализ данных. Разработка новых нейросетевых технологий, которые могли бы с успехом внедряться в интернет вещей, применяться для ассистирования человеку в повседневной жизни, в здравоохранении, “умном доме”, при этом потребляя незначительные вычислительные ресурсы, является актуальной проблемой современности. В настоящее время активно развиваются исследования сетей глубокого обучения, базирующихся на сложных схемах с применением сверточных фильтров. Подобные нейронные сети требуют значительных вычислительных ресурсов не только в процессе обучения, но и в режиме работы, для чего используются массивы тензорных процессоров, установленных в дата-центрах. Для интеграции искусственного интеллекта (AI - от англ. Artificial Intelligent) в интернет вещей (IoT - от англ. Internet of Things) необходимы специальные архитектуры, которые мало потребляют оперативную память (RAM) и ресурсы процессора, при этом могут работать на периферийных микроконтроллерах с невысоким объёмом RAM единицы и десятки килобайт. Для решения данной проблемы в настоящем проекте планируется разработка новых архитектур нейронных сетей, на основе резервуарных вычислений (РВ), эффективно использующих оперативную память. Резервуарные вычисления вызывают нарастающий интерес у мировой научной общественности. Так, только за 2019-2021 гг. в журналах серии Nature можно найти порядка 550 публикаций с ключевым выражением “reservoir computing”. Наиболее популярными являются нейронные эхо-сети (echo state networks, ESN) и машины неустойчивых состояний (liquid state machines, LSM). Актуальность исследования резервуарных вычислений определяется их эффективностью при решении задач прогнозирования (погодные изменения, финансовые данные), диагностики и предсказания отказов оборудования, управления нелинейными системами (робототехника, автомобили, летательные аппараты). Кроме того, резервуарные вычисления могут использоваться для предобработки данных с помощью адаптивной фильтрации и шумоподавления и последующей классификации видео- и аудиоинформации. Основная идея РВ заключается в использовании рекуррентной нейронной сети (РНС) как резервуара с богатой динамикой и мощными вычислительными возможностями. Весовые коэффициенты резервуара формируются случайным образом, что исключает необходимость проводить его обучение. Обучению подвергаются только выходные нейронные сети (линейные классификаторы), которые соединяются с помощью весовых матриц с нейронами из резервуара. Это позволяет значительно экономить вычислительные ресурсы в случае использования физического резервуара. В недавней работе мы показали, что резервуаром может служить не только РНС, но и набор хаотических фильтров, построенных на основе математических отображений, например, логистического отображения в режиме динамического хаоса. Для решения проблемы интеграции AI и IoT в настоящем проекте планируется разработка новых архитектур нейронных сетей для резервуарных вычислений, эффективно использующих оперативную память за счет свойств хаотических отображений, а также разработка физических резервуаров на основе аналоговых компонентов. Физические резервуары планируется создавать на базе импульсных нейронных сетей, в том числе осцилляторных нейронных сетей. Под термином “физический резервуар” понимается динамическая система с обратными связями, созданная на основе физических эффектов. Особую роль в работе резервуара играют его динамические характеристики, поэтому для синтеза РНС и решения вопросов их обучения целесообразно использовать результаты исследования динамических систем в смежных областях науки, таких как физика, теория нелинейных динамических систем, теория хаоса и других. Одним из перспективных направлений в этом случае является создание РНС на базе физических осцилляторов, а также моделей сетей на базе хаотических отображений. Система связанных осцилляторов может демонстрировать целый набор эффектов, таких как синхронизация, пространственно-временной хаос, солитоны, бегущие волны, химерные состояния. При изменении параметров сети могут происходить бифуркации (фазовые переходы), в результате которых появляются и исчезают аттракторы системы. Подобное разнообразие нелинейных режимов позволяет создавать резервуарные сети с высокой способностью разделения (Separation Property) и аппроксимации (Approximation Property) входной информации за счет перевода входных данных в более высокую размерность пространства, что обеспечивает более точную классификацию информации нейронной сетью. В настоящем проекте ставятся задачи развития и изучения резервуарных вычислений с функциями ассоциативной памяти, распознавания образов и кодирования данных по трем основным направлениям: 1) Разработка новых архитектур резервуарных вычислений на основе хаотических отображений; 2) Разработка новых архитектур резервуарных вычислений на базе импульсных нейронных сетей; 3) Создание новых нейросетевых архитектур с эффективным использованием вычислительных ресурсов для интеграции искусственного интеллекта в периферийные устройства интернета вещей. Все три направления имеют научную значимость и связаны между собой в предлагаемом проекте. В первом направлении будет применяться новая методика создания резервуаров на основе хаотических отображений. Эта методика предложена авторами настоящей заявки, опубликована в журналах Electronics 2020 г., Sensors 2021 г и была представлена на международном семинаре “On-device Artificial Intelligence Workshop”, организованном компанией Huawai, где вызвала интерес у научного сообщества. Методика позволяет создавать цифровые резервуары, мало потребляющие оперативную память, тем самым способствуя развитию актуального направления интеграции искусственного интеллекта в периферийные устройства интернета вещей. Научная значимость второго направления обусловлена актуальной проблемой использования импульсных нейронных сетей, в том числе осцилляторных, для реализации резервуарных вычислений и исследования роли динамического поведения системы на когнитивные свойства нейронных сетей. Кроме того, идея использования комбинации физического резервуара и цифровых нейронных сетей позволит создать нейросетевые технологии с эффективным использованием вычислительных ресурсов. Научная значимость третьего направления определяется задачей интеграции AI и IoT, решение которой позволит проводит более быструю обработку входной информации на периферийных устройствах, без отправки ее в облако, что значительно разгрузит каналы передачи данных и увеличит эффективность работы интернета вещей. Фундаментальной научной задачей является изучение роли хаоса и динамических эффектов в резервуаре на когнитивные способности нейронной сети. Развивая первое направление, используя хорошо исследованную природу перехода к хаосу, например, логистического отображения, можно исследовать влияние параметров динамического хаоса на когнитивные свойства нейронной сети. Полученные знания можно переносить на РВ на основе импульсных и осцилляторных нейронных сетей, таким образом развивая все три направления одновременно. Все сказанное выше определяет актуальность исследования, которая продиктована не только фундаментальностью научных задач – создание новых нейросетевых технологий резервуарных вычислений и изучение влияния нелинейных эффектов динамических систем на когнитивные свойства сети, но и потенциальной прикладной значимостью, перспективой создания новых нейросетевых архитектур с эффективным использованием вычислительных ресурсов. Результаты проекта будут способствовать процессу интеграции искусственного интеллекта в периферийные устройства интернета вещей и переходу к передовым цифровым, интеллектуальным производственным технологиям.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Хуют М.Т., Величко А.А. Diagnosis and Prognosis of COVID-19 Disease Using Routine Blood Values and LogNNet Neural Network Sensors, том 22, выпуск 13, номер статьи 4820, стр. 1-26 (год публикации - 2022)
10.3390/s22134820

2. Борисков П.П., Величко А.А., Шиловский Н.А., Беляев М.А. Bifurcation and Entropy Analysis of a Chaotic Spike Oscillator Circuit Based on the S-Switch Entropy, том 24, выпуск 11, номер статьи 1693, стр. 1-15 (год публикации - 2022)
10.3390/e24111693

3. Величко А.А., Беляев М.А., Вагнер М.П., Тарават А. Entropy Approximation by Machine Learning Regression: Application for Irregularity Evaluation of Images in Remote Sensing Remote Sensing, том 14, выпуск 23, номер статьи 5983, стр. 1-25 (год публикации - 2022)
10.3390/rs14235983

4. Хуют М.Т., Величко А.А., Беляев М.А. Detection of Risk Predictors of COVID-19 Mortality with Classifier Machine Learning Models Operated with Routine Laboratory Biomarkers Applied Sciences, том 12, выпуск 23, номер статьи 12180, стр. 1-26 (год публикации - 2022)
10.3390/app122312180

5. Величко А.А., Корзун Д.Ж., Мейгал А.Ю. Artificial Neural Networks for IoT-Enabled Smart Applications: Recent Trends Sensors, 23(10), 4853 (год публикации - 2023)
10.3390/s23104853

6. Величко А.А., Беляев М.А., Изотов Ю.А., Муругаппан М., Хейдари Х. Neural Network Entropy (NNetEn): Entropy-Based EEG Signal and Chaotic Time Series Classification, Python Package for NNetEn Calculation Algorithms, Т. 16. № 5. С. 255 (год публикации - 2023)
10.3390/a16050255

7. Величко А.А., Изотов Ю.А. Emotions Recognizing Using Lognnet Neural Network and Keystroke Dynamics Dataset AIP conference proceedings, 2812, 020001 (2023) (год публикации - 2023)
10.1063/5.0162572

8. Величко А.А., Борисков П.П., Беляев М.А., Путролайнен В.В. A Bio-Inspired Chaos Sensor Model Based on the Perceptron Neural Network: Machine Learning Concept and Application for Computational Neuro-Science Sensors, 2023, 23(16), 7137 (год публикации - 2023)
10.3390/s23167137

9. Ковин А.М., Величко А.А Автоматическая классификация отчетов github с использованием резервуарной нейронной сети LogNNet ОРВСЭУ – 2022, Cб. трудов 3-й междунар. науч.-техн. конф., Cб. трудов 3-й междунар. науч.-техн. конф. 2023. С. 110-115. (год публикации - 2023)

10. Борисков П.П., Шиловский Н.А. Chaotic oscillator based on LIF neuron circuit with ratecoded spikes and resistive feedback AIP conference proceedings, 2812, 020024 (2023) (год публикации - 2023)
10.1063/5.0161273

11. Ковин А.М., Ивашко Е.Е., Изотов Ю.А., Величко А.А. Сравнение нейронной сети LogNNet со стандартными алгоритмами при классификации задач GitHub Труды конференции ЦИСП’2023 (год публикации - 2024)

12. Борисков П.П Chaotic discrete map of pulse oscillator dynamics with threshold nonlinear rate coding Nonlinear Dynamics (год публикации - 2024)

13. Изотов Ю. А., Хуют М. Т., Величко А. А. LogNNet Neural Network Application for Diabetes Mellitus Diagnosis EDP Sciences, BIO Web of Conferences. – EDP Sciences, 2024. – Т. 105. – С. 02003. (год публикации - 2024)
https://doi.org/10.1051/bioconf/202410502003

14. Конехеро Х.А., Величко А., Гарибо-и-Ортс О., Изотов Ю. и Фам В. Т. Exploring the Entropy-Based Classification of Time Series Using Visibility Graphs from Chaotic Maps MDPI, Mathematics 2024, 12(7), 938. (год публикации - 2024)
https://doi.org/10.3390/math12070938

15. Борисков П., Путролайнен В., Величко А., Пельтонен К. Entropy-based detection of synchronization of pulse oscillators: a comparative analysis of entropic measures SPIE, Proc. of SPIE Vol. 13217, 132170Y (год публикации - 2024)
https://doi.org/10.1117/12.3036692

16. Изотов Ю.А., Тихомиров А.А., Величко А.А. Обнаружение и классификация неисправностей на воздушных линиях электропередачи с использованием нейронной сети LogNNet Журнал "ПРИБОРЫ", Приборы. - Москва, 2024. - Вып.7. - С.7-13. (год публикации - 2024)

Публикации

12. Борисков П.П Chaotic discrete map of pulse oscillator dynamics with threshold nonlinear rate coding Nonlinear Dynamics (год публикации - 2024)

Аннотация результатов, полученных в 2024 году
В ходе научных исследований за 2024 год были разработаны и продемонстрированы новые нейросетевые технологии на основе резервуарных вычислений (РВ), которые нашли применение в таких важных областях, как медицина и «Интернет вещей» (IoT). Эти достижения представлены в виде ключевых научных результатов, опубликованных в международных рейтинговых журналах с открытым доступом, цитируемых в базе Scopus: ‘Mathematics’, ‘BIO Web of Conferences’, ‘Proc. of SPIE’. Результаты также были представлены на конференциях, а права на четыре РИД подтверждают их инновационность. В рамках проекта исследовались два типа резервуаров: LogNNet (основанный на нейронных сетях с хаотическими отображениями) и стандартные резервуары (эхо-сети и физические резервуары). Особое внимание было уделено модернизации и практическому применению LogNNet. Научные результаты доведены до 4х-публикаций, одна статья направлена в редакцию, одна выложена в архив, а порядка 12 направлений будут представлены к публикациям в следующем году. Планируется подача заявки на продление проекта, что позволит продолжить исследование перспективных технологий РВ и их внедрение в ключевые отрасли. Список достигнутых конкретных научных результатах в отчетном году: 1. В 2024 году разработан алгоритм LogNNet для регрессии и классификации с акцентом на прогнозирование временных рядов. Алгоритм подходит для экономики (прогноз цен), инженерии (мониторинг оборудования) и экологии (анализ климата). Реализован на Python и доступен в публичном репозитории GitHub. 2. Построены карты показателей Ляпунова (ПЛ) от параметров нового дискретного отображения. Показано, что новое отображение имеет сплошные области с большими значениями ПЛ, что дает ему преимущества для настройки параметров резервуарной сети. 3. Разработан метод классификации неисправностей линий электропередачи с использованием LogNNet. База данных токов и напряжений, сгенерированная в MATLAB, классифицирована с точностью ~77 %. Доказана эффективность LogNNet для диагностики в электроэнергетике. 4. Разработана библиотека Python с моделью LogNNet для IoT-устройств, поддерживающая экспорт обученных моделей в формате .joblib. Модель 13:47:22:2 занимает 29 Кбайт, а с авто-генерацией хаотических весов в резервуаре весов — 2 Кбайт, что снижает потребление памяти в 15 раз. 5. Предложен метод оценки энтропии сигналов с функцией Global Efficiency for Feature MCC (GEFMCC) для FuzzyEn и NNetEn. FuzzyEn эффективна для коротких временных рядов, NNetEn точнее в локальных областях, что перспективно для их комбинирования. 6. Разработан программный комплекс с LogNNet для диагностики дисфункции правого желудочка при легочной эмболии. Выделены ключевые факторы риска (возраст >78 лет, тромбоз, хронические болезни). Проведено сравнение с другими моделями ML (Random Forest, SVC). Комплекс включает сервер, веб-интерфейс и интеграцию с IoT для диагностики в реальном времени. 7. Разработана система для анализа данных в медицине с поддержкой локальной обработки данных на IoT-устройствах, таких как Raspberry Pi, что обеспечивает автономность и конфиденциальность. Интеграция с контейнерными сервисами обеспечивает масштабируемость и возможность обновления компонентов без остановки работы. Зарегистрированы два РИД: алгоритм LogNNet (рег. № 2024618143) и метод резервуарных вычислений (рег. № 2024618144), подтверждающие инновационность решений. 8. Разработана методика использования LogNNet для фильтрации белого шума с амплитудой 0.01–0.4 от максимального уровня в аудиосигналах. Шесть моделей обучены для разных уровней шума. Модель для шума 0.05 показала универсальность, но специализированные модели оказались точнее в узких диапазонах. 9. Алгоритм LogNNet протестирован на системе Мэки-Гласса для прогнозирования хаотических временных рядов. На краткосрочных горизонтах (10–50 шагов) точность R²=0.99943, сопоставима с LSTM. На долгосрочных горизонтах (500 шагов) LogNNet превосходит LSTM, особенно при ограниченных данных (R²=0.55229 против 0.44337). 10. Эффективность трансферного обучения подтверждена дообучением персептрона с тем же резервуаром. Этот подход ускоряет фильтрацию аудиосигналов при высоком уровне шума, снижая затраты времени на создание новых ML моделей. 11. Изучена схема двух связанных импульсных осцилляторов с синхронизацией высокого порядка (HOS): полной, регулярной и квазирегулярной. Ряды SHR, возникающие при нерегулярной синхронизации, продемонстрировали высокую энтропию (FuzzyEn, SVDEn, NNetEn) и успешное применение в LogNNet для задачи распознавания MNIST. 12. Разработан автоэнкодер на базе LogNNet для фильтрации шумов. АК минимизирует разницу между входным и выходным сигналами, эффективно подавляя шумы. АК-LogNNet достигает стандартной точности на коротких сериях, обучаясь вдвое быстрее. Модифицированный АК с обратной связью снижает MSE выходного сигнала до входного в 200 раз, повышая эффективность подавления шума. 13. Метод идентификации личности по аудиоданным с графом горизонтальной видимости снизил MAE на 10 %. Подтверждена его эффективность для улучшения фильтрации аудиосигналов. 14. Разработаны методы идентификация личности по голосу и изображению лица на основе сверточной резервуарной архитектуры с использованием общедоступных баз данных. Точность классификации по изображению лица составила 90.3%, а по голосу – 86.5%. Использование резервуара снизило ошибку классификации по голосу в 1.4 раза, но слабо повлияло на распознавание изображения лица. 15. Разработан метод комбинирования сверточных резервуарных моделей, использующих мультимодальные (изображения и звук) данные. Комбинирование вероятностных оценок методом позднего связывания позволило снизить ошибку классификации более чем в два раза по сравнению с одиночной моделью. Точность классификации составила 95.5%. 16. Для диагностики болезни Паркинсона в IoT-среде создана модель LogNet, классифицирующая rs-EEG. FuzzyEn показала точность 98,2%–99,9% на 800–1000 образцах. Сокращение признаков уменьшило вычислительные затраты, сделав модель подходящей для IoT-устройств. 17. Диагностика двигательной активности в IoT-среде проведена на данных актиметрии 81 человека. Сеть LogNet показала MCC=0.51 при использовании признаков активности и отдыха, превосходя только неактиметрические признаки (MCC=0.46). Наибольшее влияние оказала дневная активность, достаточная для диагностики. 18. Разработан метод классификации активных областей на изображениях Солнца с преобразованием 2D-изображений в одномерные ряды (1-DTS) с использованием кругового ядра радиусом 𝑅=14 пикселей и шагом 𝑆=8 пикселей. Метод выявляет активные области с точностью до 0.914, причём нечёткая энтропия показала наилучшие результаты. Устойчив к вращениям и снижает вычислительные затраты, что делает его перспективным для медицинской диагностики.

Публикации

12. Борисков П.П Chaotic discrete map of pulse oscillator dynamics with threshold nonlinear rate coding Nonlinear Dynamics (год публикации - 2024)

Возможность практического использования результатов
Практическое использование результатов проекта, разработанных в 2022–2024 годах, охватывает широкий спектр направлений, способствующих экономическому росту и социальному развитию Российской Федерации. Ключевые возможности применения включают: 1. Медицина: o Разработка и внедрение малоразмерных и эффективных нейронных сетей (например, LogNNet) для диагностики COVID-19, оценки риска смертности и других заболеваний на основе анализа параметров крови. Представленные разработки позволяют создавать недорогие портативные устройства на основе IoT, снижающие нагрузку на здравоохранение и обеспечивающие доступ к высокоточной диагностике в удалённых населённых пунктах. o Применение новых методов машинного обучения с энтропийными признаками позволяет улучишь диагностику и прогнозирование заболеваний, таких как болезнь Паркинсона и сердечно-сосудистые патологии, и способствует развитию персонализированной медицины. o Разработка систем для анализа и классификации электроэнцефалографических данных, открывающих перспективы для диагностики нейродегенеративных заболеваний. 2. Интернет вещей (IoT): o Разработка алгоритмов LogNNet для устройств с ограниченными ресурсами (например, Arduino и Raspberry Pi) поддерживает реализацию концепции IoT, обеспечивая автономность, конфиденциальность и возможность локальной обработки данных, что является перспективным направлением для умного мониторинга здоровья, диагностики оборудования и экологических систем. o Создание IoT-систем диагностики, включающих интеграцию с контейнерными технологиями, масштабируемыми для различных промышленных, медицинских и социальных задач. 3. Экономика и экология: o Прогнозирование временных рядов (стоимость товаров, состояние оборудования, долгосрочное изменение климата и пр.) с использованием алгоритмов LogNNet. Подобные алгоритмы могут быть внедрены в системы мониторинга и предиктивной аналитики для уменьшения издержек и повышения эффективности. 4. Обработка сигналов и изображений: o Создание методов аппроксимации энтропии временных рядов и изображений для анализа данных из спутниковых снимков, медицинских изображений и аудио-данных, фильтрации шумов. Применение этих методов повышает скорость обработки данных и точность предсказаний. o Идентификации личности по аудио- и визуальным данным с помощью сверточных резервуарных сетей может использоваться для контроля доступа и анализа видеоданных. 5. Научные и технологические заделы: o Создание компактных, энергоэффективных алгоритмов с низкими требованиями к памяти и вычислительным ресурсам способствует развитию новых технологий в области искусственного интеллекта и резервуарных вычислений. Разработанные модели являются основой для дальнейших исследований с перспективой их коммерциализации. Представленные результаты способствуют созданию новых устройств и технологий с использованием IoT, таких как умные устройства диагностики и мониторинга, системы контроля доступа, системы анализа данных для медицинских, производственных и экологических задач.