КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 19-12-00338

НазваниеВынужденные и параметрические транзитивные колебания в сложных динамических сетях активных элементов: генерация и управление

РуководительНекоркин Владимир Исаакович, Доктор физико-математических наук

Организация финансирования, регион Федеральное государственное бюджетное научное учреждение "Федеральный исследовательский центр Институт прикладной физики им. А.В. Гапонова-Грехова Российской академии наук", Нижегородская обл

Период выполнения при поддержке РНФ 2022 г. - 2023 г. 

Конкурс Конкурс на продление сроков выполнения проектов, поддержанных грантами Российского научного фонда по приоритетному направлению деятельности Российского научного фонда «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами» (35).

Область знания, основной код классификатора 02 - Физика и науки о космосе, 02-402 - Нелинейные колебания и волны

Ключевые слованелинейные колебания, динамические сети, транзитивные колебания, синхронизация, параметрические колебания, быстро-медленная динамика, бифуркации, аттрактор

Код ГРНТИ29.35.03


СтатусУспешно завершен


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Проект направлен на развитие методов исследования сложных активных сетей, находящихся под действием различных внешних и внутренних нестационарных факторов, таких как детерминированное, шумовое или параметрическое воздействие. Интерес к исследованию процессов в сложных динамических сетях, отмеченный нами ещё в Проекте 2019 года, в настоящее время не только не уменьшился, а наоборот чрезвычайно возрос. Ярким, но не единственным, примером такого интереса может служить междисциплинарное научное направление, связанное с построением систем искусственного интеллекта (ИИ). В последние годы всё большее внимание исследователей привлекают системы ИИ, оперирующие искусственными нейронными сетями, элементы которых воспроизводят свойства "живых" нейронов. Такие нейронные сети представляют собой сложные активные динамические сети, которые являются объектом исследований настоящего проекта. В фокусе настоящего проекта будет продолжение исследований в области генерации и управления вынужденными и параметрическими колебаниями в сложных динамических сетях, начатое в Проекте 2019. Новизна Проекта 2022 заключается в развитии и обобщении, разработанных в Проекте 2019 года, методов и подходов на новый класс динамических сетей, включающий • сети с более сложной пространственной топологией связей и индивидуальной динамикой узлов; • рекуррентную сеть спайковых нейронов для выполнения одновременно нескольких когнитивных задач; • сети с нестационарными, периодически изменяющимися во времени связями; • модульной нейронной сети с адаптивными связями; • адаптивные сети фазовых осцилляторов, демонстрирующие новый (третий) тип хаоса - смешанную динамику, сочетающую в себе одновременно черты диссипативного и консервативного поведения; • сети с многослойной архитектурой, связи между слоями которых являются импульсными.

Ожидаемые результаты
1. Условия генерации спайковых последовательностей и их характеристики в зависимости от силы и глубины периодического изменения межнейронных связей. Динамические механизмы формирования стационарных и нестационарных структур активности в сети нейронов с параметрическими порогами возбуждения при периодическом изменении электрических синаптических связей. Характеристики структур в зависимости от межнейронных свойств связей и значений параметрических порогов. 2. Теория переключений между различными метастабильными состояниями в сетевых системах под действием шума, характеристики переключений в зависимости от параметров шума и параметров сети, таких как сила связи, степень неоднородности, размер сети. 3. Новая модель спайковой рекуррентной нейронной сети, обученная методами машинного обучения выполнять одновременно несколько задач когнитивной нейронауки, связанных с рабочей памятью и принятием решения. Подавляющее большинство моделей этого класса создаются, во-первых, для описания одной конкретной задачи, в то время как биологические системы способны работать в режиме многофункциональности, и во-вторых, в качестве базовых элементов рассматриваются нейроны — статические функции активации, в то время как реальные нейроны демонстрируют динамическую активность в виде коротких импульсов — спайков. Таким образом, построение искусственной спайковой нейронной сети, способной решать в зависимости от контекста две-три или более задач, является масштабной задачей, соответствующей мировому уровню. Кроме того, создание модели на основе спайковых нейронов определяет новизну ожидаемых результатов и их значимость как в фундаментальном, так и прикладном плане в силу большей биологической релевантности и большей энергоэффективности при реализации на специализированных нейроморфных чипах. 4. Модель модульной сети нейронов Моррис-Лекара взаимодействующих с различными вариантами внутри- и межмодульных связей с адаптацией порога возбуждения. Бифуркационная диаграмма основных режимов модели. Условия возникновения и синхронизации транзитивных колебательных последовательностей. Результаты внесут вклад в понимание степени влияния адаптации порога возбуждения синапсов в коллективную динамику сетей с модульной (многослойной) структурой связей. 5. Модели однослойной и двухслойной сетей взаимосвязанных осцилляторов, взаимодействие между которыми осуществляется посредством адаптивных связей импульсного типа. Режимы колебательной активности и условия их существования для сетей обеих конфигураций. Процессы формирования и перестройки пространственно-временных паттернов во взаимодействующих слоях системы для различных конфигураций межслойного взаимодействия. 6. Обобщение результатов исследования смешанной динамики в малом ансамбле адаптивно связанных фазовых осцилляторов на случай многоэлементных сетей с адаптивными связями. 7. Макет автогенератора нового (третьего) типа хаотических колебаний. Характеристики автогенератора, построенного на базе FPGA технологий. Ожидаемые результаты вносят вклад: • в фундаментальные основы теории динамических систем, развитие новых методов исследования динамики сложных активных сетей при воздействии различных внешних и внутренних нестационарных факторов; • в научные представления о динамических механизмах пространственно-временной обработки информации в нейронных структурах на основе вынужденных и параметрических транзитивных колебаний; • методы технологии искусственного интеллекта, развивая класс моделей в виде спайковых нейронных сетей и методы машинного обучения одновременно нескольким задачам. Ожидаемые результаты соответствуют мировому уровню, поскольку развивают как фундаментальные аспекты нелинейной динамики сложных сетей, так и актуальные методы, применимые для решения важных прикладных задач (машинное обучение, нейроморфные вычисления на специализированных чипах, понимание принципов хранения и обработки информации в нейронных структурах мозга и др.), т.е. относятся к ключевым проблемам современной нелинейной физики. Ожидаемые результаты имеют теоретическую значимость для построения информационных, управляющих систем и разработки систем машинного обучения и искусственного интеллекта на основе изучаемых нейроподобных систем. Системы со смешанной динамикой позволяют получить новый тип хаоса с максимальной сложностью. Это позволит улучшить характеристики генераторов хаоса и повысит эффективность их использования в различных прикладных задачах, поэтому данные исследования имеют не только теоретическую, но и практическую значимость. Задачи о шумо-индуцированныхных переключениях важны как с фундаментальной, так и с прикладной точек зрения, и возникают в том числе в контексте моделирования климатических систем (Benzi, 1981, 1982, 1983), нейронных систем (Longtin 1993; Parga and Abbot, 2007; Jercog et al, 2017) и др. Создание теории шумо- индуцированных переключений будет важным шагом в понимании коллективной динамики сложных сетевых систем. Все ожидаемые результаты соответствуют мировому уровню, а в области смешанной динамики и теории шумо-индуцированных переключений его превосходят.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2022 году
1. Установлены механизмы влияния параметрического изменения межнейронного взаимодействия на процессы спайковой активности в системе из двух нейронов ФитцХью-Нагумо, обладающих параметрическими порогами возбуждения и взаимодействующих через электрические синапсы с периодически изменяющимися свойствами. Показано, что параметрическое изменение синаптического взаимодействия приводит к существованию разнообразных хаотических режимов генерации спайковой активности. Выделены области параметров, в которых в зависимости от силы связи и амплитуды синаптического взаимодействия имеются различные степени синхронизации спайковой активности. Показано, что выбирая частоту и амплитуду синаптического взаимодействия с параметрически изменяющимися свойствами можно управлять регулярными и хаотическими синхронными и асинхронными режимами генерации спайковой активности. 2. Было проведено исследование динамики кольцевых сетей автоколебательных элементов под действием шума. Разработан метод численного моделирования кольцевой сети автогенераторов с импульсными связями на основе стохастических точечных отображений. Получены условия существования в кольце без шума большого числа устойчивых волн с различными волновыми числами. Были определены в зависимости от параметров системы характеристики переключений, такие как частоты переключений и ожидаемые времена жизни системы на каждом решении. Наиболее неожиданным эффектом при этом стала немонотонная зависимость времен жизни от силы межэлементных связей. При слабых связях наблюдаются малые времена жизни, при увеличении связей времена жизни сначала экспоненциально возрастают, однако дальнейшее увеличении приводит к их резкому уменьшению. Таким образом, существует оптимальная сила связей, при которой система наиболее устойчива к воздействию шума. Другой нетривиальный эффект связан с «ускорением» системы под действием шума, то есть предпочтением волновых решений с большими скоростями: при воздействии шума система проводит в среднем больше времени на более «быстрых» режимах. 3. Разработана рекуррентная сеть спайковых нейронов с переменным порогом возбуждения, моделирующая выполнение семейство задач когнитивной нейронауки, затрагивающих рабочую память и принятие решений. Адаптирован метод её машинного обучения и найдены области значений параметров, при которых сеть выполняет целевые функции оптимальным образом. Показано, что в обученной сети проявляется свойство, характерное для биологических нейросетей, а именно происходит дифференциация роли нейронов в зависимости от этапов выполнения целевой задачи (сенсорный и моторный) и в зависимости от типа выполняемой задачи. Выявлена кластерная структура обученной спайковой сети, основу которой составляют две группы: активность нейронов первой группы распределена по задачам достаточно равномерно, а во второй содержатся нейроны, специализирующиеся на выполнении конкретных задач. 4. Предложена модель двухмодульной нейронной сети с однонаправленными межмодульными химическими синаптическими связями, обладающими свойством адаптации порога возбуждения, в модулях которой возможно формирование транзитивных колебательных последовательностей. Модули представляют собой ансамбли из равного числа идентичных нейронов Моррис-Лекара (N>3), находящихся либо в возбудимом, либо в колебательном режимах, и равномерно упорядоченных в одномерную кольцевую структуру. Взаимодействие внутри модулей осуществляется посредством нескольких регулярных колец химических синаптических связей с адаптацией порога возбуждения, когда каждый нейрон связан с некоторым фиксированным числом своих соседей слева и справа. Взаимодействие между модулями осуществляется посредством однонаправленных мультиплексных химических синаптических связей также с адаптацией порога возбуждения, когда каждый нейрон ведущего модуля связан лишь с одним соответствующим нейроном ведомого модуля. В используемой модели химической синаптической связи, в отличие от классической модели, порог не является постоянным, а зависит как от текущего состояния синапса, так и от динамики пресинаптического нейрона. В зависимости от параметров модели имеется четыре различных режима адаптации порога возбуждения: усиление, депрессия, усиление-депрессия и депрессия-усиление. Построены бифуркационные диаграммы и выявлены классы возможных динамических режимов модели. Показано возможность возникновения в ведомом модуле и в системе в целом транзитивной колебательной динамики. Установлены и проанализированы закономерности вынужденной синхронизации модулей. Изучено влияние законов адаптации порога возбуждения синапсов на вид графов возможных переключений. 5. Изучен вопрос о существовании смешанной динамики в системе, состоящей из трех адаптивно связанных фазовых осцилляторов. При построении системы использована модифицированная модель адаптивной связи, содержащая нелинейность более высокого порядка, по сравнению с моделью проекта 2019 года. Показано, что использование предложенной модели адаптивного взаимодействия обеспечивает одновременное существование в фазовом пространстве хаотических аттрактора и репеллера. Определены условия, при которых наблюдается пересечение аттрактора и репеллера, что является признаком существования в системе смешанной динамики. Показано, что область фазового пространства, в которой существует пересечение аттрактора и репеллера можно увеличить за счет уменьшения скорости адаптации связей. Предложен способ визуализации обратимого ядра, являющегося математическим образом смешанной динамики, в фазовом пространстве сетевых систем высокой размерности. Визуализация ядра основана на вычислении расстояния между двумя произвольными траекториями, принадлежащими соответственно хаотическим аттрактору и репеллеру и нахождении на базе этих расчетов множества точек, расстояние между которыми не превышает некоторого заданного малого значения. Для ансамбля из трех осцилляторов построены и проанализированы проекции обратимого ядра на различные плоскости фазовых переменных динамической системы. На основе результатов, полученных для ансамблей двух и трех адаптивно связанных фазовых осцилляторов проведено обобщение результатов исследования смешанной динамики на случай сетей фазовых осцилляторов с адаптивными связями. 6. Построен генератор хаотических колебаний, основанный на концепции смешанной динамики, реализован на программируемой вентильной матрице (FPGA). Этот генератор воспроизводит динамику двух адаптивно связанных фазовых генераторов Курамото. Экспериментально показано, что хаотический аттрактор и хаотический репеллер пересекаются на замкнутом инвариантном множестве - обратимом ядре, что подтверждает существование так называемой смешанной динамики. Установлено, что при различных значениях параметров генератора может реализоваться либо обычный диссипативный хаос, либо смешанная динамика. Показано, что в случае смешанной динамики поведение траекторий в фазовом пространстве становится более сложным, а спектральные характеристики изменяются в сторону более равномерного распределения мощности по частотам спектра.

 

Публикации

1. Клиньшов В.В., Д'Юи О. Noise-induced switching in an oscillator with pulse delayed feedback: A discrete stochastic modeling approach Chaos, 32,9,093141-1-13 (год публикации - 2022) https://doi.org/10.1063/5.0100698

2. Щапин Д.С., Емельянова А.А., Некоркин В.И. A chaotic oscillation generator based on mixed dynamics of adaptively coupled Kuramoto oscillators Chaos, Solitons & Fractals, 166, 112989 (год публикации - 2023) https://doi.org/10.1016/j.chaos.2022.112989


Аннотация результатов, полученных в 2023 году
1. Установлены механизмы распространения спайковой активности в многоэлементной сети нейронов ФитцХью-Нагумо с параметрическими порогами возбуждения при периодическом изменении электрических синаптических связей. В сети идентичных нейронов спайковая активность нейронов существенно выше по сравнению со случаем неидентичных нейронов. При неоднородных значениях параметрических порогов возбуждения средняя частота генерации спайков и средняя длинна пробега спайка уменьшаются. Частота периодического изменения электрических синаптических связей позволяет, управлять спайковой активностью всей сети и переключать её с регулярной на хаотическую. 2. Проведено исследование шумо-индуцированных процессов активации и переходов между различными метастабильными режимами коллективной активности в неоднородных популяциях колебательных и возбудимых активных элементов с глобальными связями. Рассмотрены как внешние источники шума, так и внутренние флуктуации, так называемый дробовой шум. В случае внешнего источника шума динамика системы в целом хорошо аппроксимировалась динамикой редуцированной системы (модели нейронной массы) под действием белого шума, которая может быть сведена к двумерному уравнению Фоккера-Планка с поглощающей границей. При умеренной интенсивности шума распределение времен жизни для обоих метастабильных состояний оказывалось близким к экспоненциальному, а среднее время жизни демонстрировало суперэкспоненциальный рост по мере удаления параметров системы от бифуркационной границы возникновения бистабильности. В случае дробового шума было обнаружено, что распределение времен жизни метастабильных состояний в случае дробового шума также близко к экспоненциальному, что говорит о том, что характерные временные масштабы дробового шума много меньше типичных времен жизни. Переключения между метастабильными состояниями при этом также могут быть смоделированы динамикой модели нейронной массы под действием белого шума, интенсивность которого определяется как r/N, где r – средняя частота возбуждения нейронов, а N – размер популяции. Такая стохастическая система может быть сведена к уравнению Фоккера-Планка с поглощающей границей, решение которого дает правдоподобные оценки на времена жизни. Интересный эффект обнаружен при исследовании зависимости времен жизни метастабильных состояний от параметров системы. Оказалось, что для системы конечного размера метастабильные состояния с очень большими (сколь угодно большими) временами жизни могут существовать в областях параметров, в которых у системы бесконечного размера соответствующий аттрактор отсутствует. Таким образом, дробовой шум приводит к сдвигу бифуркационных границ популяции и расширению областей существования определенных макроскопических режимов. Показано, что эффект сдвига может быть учтен введением дополнительного детерминированного члена ~ 1/N в редуцированную систему. 3. В рекуррентной сети спайковых нейронов с переменным порогом возбуждения, моделирующей выполнение семейства задач когнитивной нейронауки, исследованы динамические механизмы выполнения ею целевых функций. Установлено, что в пространстве активности сети появляются особые переходные траектории и метастабильные состояния, осуществляющие популяционное кодирование входных стимулов, лежащие в основе реализации выполняемых задач. Показано, что в ходе обучения сеть приобретает кластерную структуру, и отдельные кластеры играют различную роль с течением времени испытаний при выполнении разных задач. 4. Предложена модель двухмодульной нейронной сети с взаимными мультиплексными межмодульными химическими синаптическими связями, обладающими свойством адаптации порога возбуждения, в модулях которой возможно формирование транзитивных, в том числе синхронных, колебательных последовательностей. Исследована динамика модели, построены бифуркационные диаграммы и установлены классы ее возможных динамических режимов. Проанализированы закономерности синхронизации колебаний нейронов модулей. Построены диаграммы переходов, возникающих под действием стимулов и определяющих графы возможных переключений. Изучено влияние законов адаптации на вид графов переключений. 5. Построены однослойная и двухслойная модели сетей взаимосвязанных фазовых осцилляторов, взаимодействие между которыми осуществляется посредством адаптивных связей импульсного типа. Коэффициенты силы связей между осцилляторами изменяются лишь в моменты времени, отвечающие генерации импульсов действия (спайков) осцилляторами, когда их фазы принимают определенное значение. Установлено, что в зависимости от соотношения параметров усиления и подавления связи однослойная сеть со случайной топологией соединений может демонстрировать глобальный синхронный режим, асинхронное поведение, а также режимы частичной и кластерной синхронизации. Для двухслойной сети фазовых осцилляторов с мультиплексной и случайной структурой межслойных соединений найдены условия на параметры, характеризующие изменения связей внутри и между слоями, при которых наблюдается формирование мультикластерных синхронных состояний. Увеличение параметра усиления связей между слоями приводит к синхронизации спайковой активности различных слоев и уменьшению числа формируемых кластеров, как для случая случайных начальных условий, так и сформированных специальным образом для каждого слоя в отсутствии межслойного взаимодействия. Показано, что формирование режимов синхронной колебательной активности в двухслойной сети может сопровождаться появлением продолжительных по времени переходных состояний в слоях системы, характеризуемых наличием нескольких синхронных кластеров, число которых постепенно уменьшается в процессе последующей эволюции состояния сети. 6. Получены характеристики автогенератора хаотических колебаний нового третьего типа хаоса - смешанной динамики в случае воздействия на него внешнего гармонического сигнала. По сравнению с автономным случаем, воздействие неавтономного сигнала на смешанную ведет к более равномерному распределению мощности в спектре аттрактора и репеллера. Показано, что в случае неавтономного воздействия увеличиваются диапазоны межспайковых интервалов по сравнению с существующими диапазонами для автономного случая, а смешанная динамика, приводит к увеличению ширины диапазонов принимаемых значений межспайковых интервалов и повышению плотности значений внутри этих диапазонов. Перекрытие диапазонов межспайковых интервалов аттрактора и репеллера подтверждает наличие у них совпадающих ритмов и означает наличие частичной «синхронизации» их динамики. 7. В системе трех адаптивно связанных осцилляторов Курамото с триадными взаимодействиями обнаружено явление смешанной динамики — третьего типа хаоса, характеризующегося сосуществованием в диссипативной системе диссипативного и консервативного поведения. Установлено, что смешанная динамика в этом случае отличается от смешанной динамики в случае двух элементов с парными связями: проекции обратимого ядра в прямом и обратном времени практически совпадают, совпадают ляпуновские показатели траектории из окрестности обратимого ядра в прямом и обратном времени, а сумма ляпуновских показателей на четыре порядка ближе к нулю, чем в случае двух элементов с парными связями. Эти факты позволяют заключить, что консервативные свойства системы трех адаптивно связанных осцилляторов Курамото с триадными взаимодействиями выражены сильнее, чем в случае двух осцилляторов с парными взаимодействиями. Результаты в области исследования динамики рекуррентных спайковых нейронных сетей, полученные в ходе выполнения проекта были освещены рядом авторитетных средств массовой информации: https://rscf.ru/news/release/neyroset-smogla-odnovremenno-reshat-shest-raznykh-tipov-zadach-blagodarya-raspredeleniyu-roley/ https://www.ras.ru/news/shownews.aspx?id=c28806e7-46af-4a34-9c5e-f72ddc8ca5da https://nauka.tass.ru/nauka/17464399 https://inscience.news/ru/article/russian-science/12051

 

Публикации

1. Емельянова А.А., Некоркин В.И. The influence of nonisochronism on mixed dynamics in a system of two adaptively coupled rotators Chaos, Solitons and Fractals, 169,113271 (год публикации - 2023) https://doi.org/10.1016/j.chaos.2023.113271

2. Емельянова А.А., Некоркин В.И. The third type of chaos in a system of adaptively coupled phase oscillators with higher-order interactions Mathematics, 11, 19, 4024 (год публикации - 2023) https://doi.org/10.3390/math11194024

3. Пугавко М.М., Масленников О.В., Некоркин В.И. Multitask computation through dynamics in recurrent spiking neural networks Scientific reports, 13, 3997 (год публикации - 2023) https://doi.org/10.1038/s41598-023-31110-z

4. - В России создали нейросеть, способную решать шесть разных типов задач ТАСС, - (год публикации - )

5. - Нейросеть смогла одновременно решать шесть разных типов задач InScience, - (год публикации - )


Возможность практического использования результатов
не указано