КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер проекта 25-72-10055

НазваниеУсовершенствование искусственных нейронных сетей методами нелинейной динамики: снижение негативного влияния шума и интеграция моделей биологических нейронов

Руководитель Семенова Надежда Игоревна, Кандидат физико-математических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Саратовский национальный исследовательский государственный университет имени Н.Г. Чернышевского" , Саратовская обл

Конкурс №111 - Конкурс 2025 года «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными, приоритетного направления деятельности Российского научного фонда «Поддержка молодых ученых»

Область знания, основной код классификатора 02 - Физика и науки о космосе; 02-402 - Нелинейные колебания и волны

Ключевые слова спайковые нейронные сети, искусственные нейронные сети, машинное обучение, шум, шум Леви, нелинейная динамика, статистическая радиофизика, численное моделирование

Код ГРНТИ29.35.03


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Актуальность. За последние несколько лет искусственные нейронные сети (ИНС) нашли свое применение в решении многих задач от распознавания образов до предсказания климатических явлений. С точки зрения вычислений, моделирование ИНС является очень ресурсоемкой задачей. Несмотря на существование высокомощных вычислительных кластеров с возможностью распараллеливания вычислений, моделирование нейронной сети на цифровом оборудовании является узким горлышком при масштабировании сети, скорости получения, обработки информации и энергоэффективности. В последние годы все больше исследователей в области нейронных сетей заинтересованы в создании аппаратных сетей, в которых нейроны и связь между ними представляют собой реальное устройство, способное обучаться и решать задачи. Это сопровождается экспоненциальным ростом количества работ с аппаратными ИНС, в основе которых лежат лазеры, мемристоры, спин-трансферные осцилляторы и т.д. Хотя структура ИНС изначально была построена на упрощенном понимании работы мозга, глубокие, рекуррентные и сверточные ИНС принципиально отличаются по структуре, нейронным вычислениям и правилам обучения от биологических нейронных сетей. Это наблюдение привело к появлению спайковых нейронных сетей. Спайковые ИНС представляют собой особый класс ИНС, где нейронные модели взаимодействуют посредством последовательностей спайков разной длительности и количества. С точки зрения энергопотребления использование спайковые ИНС на нейроморфном оборудовании является многообещающим подходом. И хотя спайковые ИНС все еще довольно трудно обучать, на данный момент это считается одним из наиболее перспективных типов ИНС, которые могут быть успешно реализованы аппаратно. В предыдущих работах и проектах руководителя данного проекта было рассмотрено влияние внутренних шумов на работу глубоких, рекуррентных и сверточных нейронных сетей. В рамках данного проекта планируется рассмотреть влияние внутренних шумов на обучение и функционирование спайковых ИНС. Будет рассмотрено влияние шума на упрощенные сети, обученные сети и сети в процессе обучения. Данный проект носит фундаментальный характер, и поэтому будут рассмотрены не отдельно взятые типы шумов, характерные только для определенных готовых физических установок, а объединяющие в себе некоторые классы шумов: мультипликативный и аддитивный шум в зависимости от воздействия на сами нейроны, а также коррелированный и некоррелированный шум в зависимости от влияния на группы нейронов. В качестве источников шума будут рассмотрены два основных типа: белый гауссовский шум и шум Леви. Еще одной подзадачей проекта является установление особенностей внедрения моделей биологических нейронов в ИНС и обучение таких сетей. Эта задача будет решена исходя из особенностей функционирования моделей биологических нейронов в разных динамических режимах с учетом особенностей их отклика на разные внешние воздействия, в том числе шумовые. Научная новизна. Тема исследования влияния шумов на ансамбли осцилляторов не нова. Однако установление фундаментальных особенностей распространения шумов в нейронных сетях как в процессе обучения, так и в процессе работы является принципиально новым направлением. Как правило, встречаются работы по обработке нейронной сетью зашумленного входного сигнала. Но в случае реализации аппаратных моделей нейронных сетей в эксперименте шумы могут быть внутренними, то есть источники шума могут находиться как внутри нейрона, так и внутри связи. Объединение методов машинного обучения и нелинейной динамики позволит глобально взглянуть на поставленные задачи. С точки зрения машинного обучения будет рассматриваться и улучшаться работа алгоритмов обучения. А с точки зрения нелинейной динамики функционирование полученной сети будет улучшаться, опираясь на статистические особенности и временную динамику сети как ансамбля сложно связанных систем.

Ожидаемые результаты
Изучение влияния шумов различных типов в рамках машинного обучения направлено на определение свойств шумовых воздействий, которые могут накапливаться и аккумулироваться спайковой нейронной сетью, или, наоборот, подавляться. В связи с этим возникает ряд вопросов, касающихся влияния конкретных особенностей и характеристик шумового воздействия на процесс обучения и функционирование нейронных сетей. Практическая значимость подобных задач объясняется необходимостью создания искусственных нейронных сетей, обладающих устойчивостью к стохастическим возмущениям. Вопросы влияния шума особенно важны в контексте разработки реальных экспериментальных прототипов обучаемых искусственных нейронных сетей, которые всегда подвержены воздействию как внутренних источников шума, так и внешним случайным воздействиям. Данный проект объединяет в себе проблематику и методологию двух направлений науки: нелинейная динамика и методы обучения нейронных сетей. Сформированные за последние десятилетия математический аппарат и базовые методы нелинейной динамики, такие, как статистический анализ, бифуркационный анализ, методы оценки временнóй динамики и др., могут быть применены в контексте изучения нейронных сетей и машинного обучения, что позволит взглянуть на данные проблемы с принципиально другой стороны. В рамках данного проекта планируется рассмотреть влияние шума на функционирование спайковых нейронных сетей. Будет показано, какие типы шумов могут быть критичными для функционирования сетей, а какие – наоборот, подавляются сетью за счет связи или свойств нейронов без дополнительного вмешательства. Вместе с тем, будут предложены стратегии уменьшения внутренних шумов исходя из особенностей функционирования спайковых ИНС. Будет предложен математический аппарат, позволяющий предсказать влияние шума определенных свойств на выходной сигнал нейронной сети. Еще одной задачей данного проекта является внедрение моделей биологических нейронов в ИНС. Эта задача будет решена исходя из особенностей функционирования таких моделей в разных динамических режимах и с учетом особенностей их отклика на внешние воздействия. Возможность практического использования. На данный момент одним из основных направлений в области нейронных сетей и машинного обучения является создание реальных работающих установок, основанных на принципах работы нейронных сетей. Однако в экспериментах всегда присутствуют шумы различной природы, поэтому исследование их влияния является актуальной задачей, решение которой поможет улучшить эффективность обучения при наличии шума. Практическая ценность результатов может проявиться в случае массового перевода нейросетевых вычислений с программной на аппаратные реализации. Так как аппаратная реализация нейронных сетей является очень молодым направлением, на практике они пока что используются редко, поэтому проект направлен на проработку особенностей для перспективных технологий. Таким образом, в рамках данного Проекта будут предложены новые технологии построения искусственных нейронных сетей и усовершенствование технологий обучения зашумленных сетей. Все запланированные результаты будут соответствовать мировому уровню, что будет подтверждено, в частности, их публикацией в виде серии статей в ведущих зарубежных и российских научных журналах.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2026 году
Было рассмотрено влияние аддитивного и мультипликативного шума как на одиночный нейрон с утечкой и накоплением (leaky integrate-and-fire, LIF), так и на обученную спайковую нейронную сеть (СНС) [1]. Шум вводился на различных этапах обработки сигнала нейроном, включая входной ток, мембранный потенциал и генерацию выходных спайков. Было установлено, что мультипликативный шум в мембранном потенциале является наиболее критичным фактором для работы СНС, вызывая наибольшее снижение точности. Это связано с тем, что отрицательный входной сигнал может приводить к “гибели” нейрона и большим отрицательным значениям мембранного потенциала, а мультипликативный характер шума дополнительно усиливает этот эффект. Одной из эффективных стратегий уменьшения этого влияния оказалось применение предварительного фильтра на входе зашумленных нейронов. Наилучшие результаты показал фильтр-сигмоида, переводящий диапазон входных значений в строго положительную область [1]. Таким образом, в работе [1] были выявлены наиболее критичные для спайковых нейронных сетей типы шумовых воздействий, а также предложены стратегии уменьшения их влияния на точность работы сети. В качестве обученных сетей были рассмотрены СНС, обученные на стационарных данных MNIST [1] и нейроморфных N-MNIST, а также были рассмотрены обученные сети с системами ФитцХью–Нагумо, для которых было показано, что более критичным для них является мультипликативный шум [2]. Создана простая искусственная нейронная сеть, обученная распознавать рукописные цифры из базы данных MNIST с точностью до 98%. Установлена зависимость средней точности от количества нейронов в ИНС. Топология связи и веса обученной сети использовалась далее для внедрения в сети моделей биологических нейронов. Разработан программный комплекс на языках программирования Python и C, позволяющий методом численного интегрирования 4 порядка моделировать сеть связанных моделей нейронов ФитцХью-Нагумо, Ходжкина-Хаксли или Ижикевича. Комплекс позволяет импортировать веса из обученной ИНС с одним скрытым слоем и использовать их как синаптические связи между моделями биологических нейронов. Данные MNIST подвергаются частотному кодированию и подаются на ансамбль в виде внешнего воздействия. Выходные спайк-трейны интегрируются по времени и интерпретируются как ответ сети. Была рассмотрена точность работы сети биологических нейронов как классификатора в широких диапазонах сил связей и иных параметров ансамблей моделей ФитцХью-Нагумо, Ходжкина-Хаксли и Ижикевича. Установлено, что при импорте весов оптимальным является возбудимый режим, когда модель нейрона без внешнего воздействия вообще не генерирует спайки, а при наличии воздействия вероятность спайка тем выше, чем интенсивнее воздействие. Были проведены предварительные исследования влияния внутреннего шумового воздействия на процесс обучения глубоких сетей прямого распространения и рекуррентных эхо-сетей. В качестве источников шумового воздействия были рассмотрены те же источники, что и будут рассмотрены для спайковых сетей в следующем году, – источники белого гауссовского шума, а шумовые воздействия вводились аддитивно и мультипликативно в выходные сигналы искусственных нейронов. В работе [3] было показано, что в большинстве случаев как глубокие сети, так и эхо-сети выигрывают от наличия внутреннего шума во время обучения, поскольку это повышает их устойчивость к шумовым воздействиям в дальнейшем. В результате качество работы при тестировании на тех же уровнях шума оказывается значительно выше у сетей, обученных с шумом, по сравнению с сетями, обученными без него. Иногда этот эффект остается и при увеличении интенсивности шумового воздействия при тестировании. Исключением является только мультипликативный общий шум во время обучения, который практически не оказывает влияния ни на глубокие, ни на рекуррентные сети. Было рассмотрено влияние аддитивного и мультипликативного внутреннего шумового воздействия на глубокие сети с разным количеством скрытых слоев и нейронов в них. Было показано, что количество нейронов в скрытых слоях практически не влияет на накопление шума и изменение точности работы сети. Гораздо большее влияние оказывают статистические свойства матриц связи. Также было рассмотрено, как введение шумового воздействия до или после нелинейной функции активации влияет на точность работы одной и той же обученной сети. Было показано, что нелинейная функция активации типа сигмоиды или гиперболического тангенса выступают в роли фильтра значений, и шумовое воздействие после функции активации критичнее сказывается на точности работы сети, чем до. Результаты работы были отражены в статье [4]. [1] I.D. Kolesnikov, D.A. Maksimov, V.M. Moskvitin, N. Semenova “General aspects of internal noise in spiking neural networks” (7 страниц), направлена в журнал Chaos. http://arxiv.org/abs/2604.13612 [2] N. Semenova, D. Maksimov and I. Kolesnikov, “The Impact of Internal Noise on Deep and Spiking Neural Networks,” // IEEE Xplore «2025 9th Scientific School Dynamics of Complex Networks and their Applications (DCNA)», 2025, pp. 92-95. https://doi.org/10.1109/DCNA67486.2025.11199933 [3] I.D. Kolesnikov, N. Semenova “Internal noise in analog neural networks helps with learning”. Chaos, Solitons & Fractals (2026) Vol. 206, P. 117874 (20 страниц). https://doi.org/10.1016/j.chaos.2026.117874 [4] D.A. Maksimov, V.M. Moskvitin, N. Semenova “Internal noise in deep neural networks: interplay of depth, neuron number, and noise injection step” (9 страниц), направлена в журнал Chaos. http://arxiv.org/abs/2604.08117 Упоминания результатов проекта в СМИ: 1) Ученые СГУ показали: шум может сделать нейросети устойчивее и надежнее - Научно-информационный портал "Поиск" (27.02.2026) https://poisknews.ru/iskusstvennyj-intellekt/uchenye-sgu-pokazali-shum-mozhet-sdelat-nejroseti-ustojchivee-i-nadezhnee/ 2) Шум при обучении делает нейросети устойчивее и надежнее - ТАСС (27.02.2026) https://tass.ru/nauka/26570621

 

Публикации

1. Семенова Н.И., Максимов Д.А., Колесников И.Д. The Impact of Internal Noise on Deep and Spiking Neural Networks 2025 9th Scientific School Dynamics of Complex Networks and their Applications (DCNA), pp. 92-95 (год публикации - 2025)
10.1109/DCNA67486.2025.11199933

2. Колесников И.Д., Семенова Н.И. Internal noise in analog neural networks helps with learning Chaos, Solitons & Fractals, Vol. 206, P. 117874 (20 pages) (год публикации - 2026)
10.1016/j.chaos.2026.117874