КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер проекта 25-72-10055
НазваниеУсовершенствование искусственных нейронных сетей методами нелинейной динамики: снижение негативного влияния шума и интеграция моделей биологических нейронов
Руководитель Семенова Надежда Игоревна, Кандидат физико-математических наук
Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Саратовский национальный исследовательский государственный университет имени Н.Г. Чернышевского" , Саратовская обл
Конкурс №111 - Конкурс 2025 года «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными, приоритетного направления деятельности Российского научного фонда «Поддержка молодых ученых»
Область знания, основной код классификатора 02 - Физика и науки о космосе; 02-402 - Нелинейные колебания и волны
Ключевые слова спайковые нейронные сети, искусственные нейронные сети, машинное обучение, шум, шум Леви, нелинейная динамика, статистическая радиофизика, численное моделирование
Код ГРНТИ29.35.03
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Актуальность.
За последние несколько лет искусственные нейронные сети (ИНС) нашли свое применение в решении многих задач от распознавания образов до предсказания климатических явлений.
С точки зрения вычислений, моделирование ИНС является очень ресурсоемкой задачей. Несмотря на существование высокомощных вычислительных кластеров с возможностью распараллеливания вычислений, моделирование нейронной сети на цифровом оборудовании является узким горлышком при масштабировании сети, скорости получения, обработки информации и энергоэффективности. В последние годы все больше исследователей в области нейронных сетей заинтересованы в создании аппаратных сетей, в которых нейроны и связь между ними представляют собой реальное устройство, способное обучаться и решать задачи. Это сопровождается экспоненциальным ростом количества работ с аппаратными ИНС, в основе которых лежат лазеры, мемристоры, спин-трансферные осцилляторы и т.д.
Хотя структура ИНС изначально была построена на упрощенном понимании работы мозга, глубокие, рекуррентные и сверточные ИНС принципиально отличаются по структуре, нейронным вычислениям и правилам обучения от биологических нейронных сетей. Это наблюдение привело к появлению спайковых нейронных сетей. Спайковые ИНС представляют собой особый класс ИНС, где нейронные модели взаимодействуют посредством последовательностей спайков разной длительности и количества. С точки зрения энергопотребления использование спайковые ИНС на нейроморфном оборудовании является многообещающим подходом. И хотя спайковые ИНС все еще довольно трудно обучать, на данный момент это считается одним из наиболее перспективных типов ИНС, которые могут быть успешно реализованы аппаратно.
В предыдущих работах и проектах руководителя данного проекта было рассмотрено влияние внутренних шумов на работу глубоких, рекуррентных и сверточных нейронных сетей. В рамках данного проекта планируется рассмотреть влияние внутренних шумов на обучение и функционирование спайковых ИНС. Будет рассмотрено влияние шума на упрощенные сети, обученные сети и сети в процессе обучения. Данный проект носит фундаментальный характер, и поэтому будут рассмотрены не отдельно взятые типы шумов, характерные только для определенных готовых физических установок, а объединяющие в себе некоторые классы шумов: мультипликативный и аддитивный шум в зависимости от воздействия на сами нейроны, а также коррелированный и некоррелированный шум в зависимости от влияния на группы нейронов. В качестве источников шума будут рассмотрены два основных типа: белый гауссовский шум и шум Леви.
Еще одной подзадачей проекта является установление особенностей внедрения моделей биологических нейронов в ИНС и обучение таких сетей. Эта задача будет решена исходя из особенностей функционирования моделей биологических нейронов в разных динамических режимах с учетом особенностей их отклика на разные внешние воздействия, в том числе шумовые.
Научная новизна.
Тема исследования влияния шумов на ансамбли осцилляторов не нова. Однако установление фундаментальных особенностей распространения шумов в нейронных сетях как в процессе обучения, так и в процессе работы является принципиально новым направлением. Как правило, встречаются работы по обработке нейронной сетью зашумленного входного сигнала. Но в случае реализации аппаратных моделей нейронных сетей в эксперименте шумы могут быть внутренними, то есть источники шума могут находиться как внутри нейрона, так и внутри связи.
Объединение методов машинного обучения и нелинейной динамики позволит глобально взглянуть на поставленные задачи. С точки зрения машинного обучения будет рассматриваться и улучшаться работа алгоритмов обучения. А с точки зрения нелинейной динамики функционирование полученной сети будет улучшаться, опираясь на статистические особенности и временную динамику сети как ансамбля сложно связанных систем.
Ожидаемые результаты
Изучение влияния шумов различных типов в рамках машинного обучения направлено на определение свойств шумовых воздействий, которые могут накапливаться и аккумулироваться спайковой нейронной сетью, или, наоборот, подавляться. В связи с этим возникает ряд вопросов, касающихся влияния конкретных особенностей и характеристик шумового воздействия на процесс обучения и функционирование нейронных сетей. Практическая значимость подобных задач объясняется необходимостью создания искусственных нейронных сетей, обладающих устойчивостью к стохастическим возмущениям. Вопросы влияния шума особенно важны в контексте разработки реальных экспериментальных прототипов обучаемых искусственных нейронных сетей, которые всегда подвержены воздействию как внутренних источников шума, так и внешним случайным воздействиям. Данный проект объединяет в себе проблематику и методологию двух направлений науки: нелинейная динамика и методы обучения нейронных сетей. Сформированные за последние десятилетия математический аппарат и базовые методы нелинейной динамики, такие, как статистический анализ, бифуркационный анализ, методы оценки временнóй динамики и др., могут быть применены в контексте изучения нейронных сетей и машинного обучения, что позволит взглянуть на данные проблемы с принципиально другой стороны.
В рамках данного проекта планируется рассмотреть влияние шума на функционирование спайковых нейронных сетей. Будет показано, какие типы шумов могут быть критичными для функционирования сетей, а какие – наоборот, подавляются сетью за счет связи или свойств нейронов без дополнительного вмешательства. Вместе с тем, будут предложены стратегии уменьшения внутренних шумов исходя из особенностей функционирования спайковых ИНС. Будет предложен математический аппарат, позволяющий предсказать влияние шума определенных свойств на выходной сигнал нейронной сети.
Еще одной задачей данного проекта является внедрение моделей биологических нейронов в ИНС. Эта задача будет решена исходя из особенностей функционирования таких моделей в разных динамических режимах и с учетом особенностей их отклика на внешние воздействия.
Возможность практического использования.
На данный момент одним из основных направлений в области нейронных сетей и машинного обучения является создание реальных работающих установок, основанных на принципах работы нейронных сетей. Однако в экспериментах всегда присутствуют шумы различной природы, поэтому исследование их влияния является актуальной задачей, решение которой поможет улучшить эффективность обучения при наличии шума. Практическая ценность результатов может проявиться в случае массового перевода нейросетевых вычислений с программной на аппаратные реализации. Так как аппаратная реализация нейронных сетей является очень молодым направлением, на практике они пока что используются редко, поэтому проект направлен на проработку особенностей для перспективных технологий.
Таким образом, в рамках данного Проекта будут предложены новые технологии построения искусственных нейронных сетей и усовершенствование технологий обучения зашумленных сетей. Все запланированные результаты будут соответствовать мировому уровню, что будет подтверждено, в частности, их публикацией в виде серии статей в ведущих зарубежных и российских научных журналах.