Разработка мультимодальной системы нейроуправления ассистивными робототехническими устройствами для реабилитации пациентов с когнитивными и моторными нарушениями различной природы

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 25-69-00047

НазваниеРазработка мультимодальной системы нейроуправления ассистивными робототехническими устройствами для реабилитации пациентов с когнитивными и моторными нарушениями различной природы

Руководитель Гордлеева Сусанна Юрьевна, Доктор физико-математических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского" , Нижегородская обл

Конкурс №105 - Конкурс 2025 года «Проведение фундаментальных научных исследований и поисковых научных исследований по поручениям (указаниям) Президента Российской Федерации» (междисциплинарные проекты)

Область знания, основной код классификатора 09 - Инженерные науки; 09-607 - Теория человеко-машинных систем управления

Ключевые слова нейротехнологии, нейроинтерфейс, интерфейс «мозг-компьютер», когнитивные нарушения, нейромоторные нарушения, реабилитация, биологическая обратная связь, мемристивные устройства

Код ГРНТИ76.35.35

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Проект направлен на разработку мультимодальной системы нейроуправления ассистивными устройствами для реабилитации пациентов с когнитивными и моторными нарушениями различной природы. В рамках проекта будут разработаны методы анализа мультимодальных биоэлектрических (ЭЭГ, ЭМГ, ЭКГ и т.п.) сигналов человека на основе моделей и технологий нейроморфного и интерпретируемого искусственного интеллекта специализированных для их использования в нейроинтерфейсах и системах нейроуправления для реабилитации. Будут развиты современные методы интерпретируемого ИИ в приложении к анализу нейрофизиологических данных. Разработанные системы нейроуправления ассистивными технологиями будут реализованы на базе мемристивных устройств. Будут получены результаты их исследований в условиях эксплуатации, приближенных к реальным, при обработке сигналов в режиме реального времени и выполнении нейроуправления. Разработка интерфейсов мозг-компьютер для постинсультной реабилитации, а также нейроинтерфейсов, позволяющих в реальном времени осуществлять мониторинг и управление когнитивной активностью человека является активно развивающимся направлением современной науки и высоких технологий. Согласно существующим теоретическим и экспериментальным результатам такие устройства имеют большой потенциал практического применения в различных областях медицины и социальной сферы. Например, они эффективны в нейрореабилитации , нейрокоммуникации, образовательных технологиях, технологиях контроля состояния человека при выполнении профессиональных обязанностей в условиях с риском для жизни и т.д. Интеграция нейроинтерфейсов в системы управления тренажерных экзоскелетонных конструкций значительно повышает эффективность реабилитационных процедур за счет замыкания проприоцептивной цепи и активации нейропластических механизмов мозга по перестройке сенсомоторной системы. Поэтому разработка экзоскелетонов с системами управления на основе нейроинтерфейсов способных расшифровать намерение к движению считается крайне востребованной для медицины в области реабилитации двигательных дисфункций. Реализация нейроинтерфейсов и систем нейроуправления на мемристорной электронной компонентной базе позволит существенно повысить энергоэффективность и скорость работы таких устройств и обеспечит создание высокотехнологичных носимых устройств медицинского назначения способных обрабатывать мультимодальные физиологические сигналы на борту в потоковом режиме. В проекте планируется разработать программно-аппаратный комплекс, реализующий технику парной ассоциативной стимуляции (paired associative stimulation (PAS)) для разработки новых реабилитационных инструментов при неврологических заболеваниях, таких как неполная травма спинного мозга и инсульт. Это неинвазивный метод, сочетающий электрическую стимуляцию периферических нервов конечностей (ПНС) с транскраниальной магнитной стимуляцией (ТМС) моторной коры головного мозга. Таким образом, актуальность предлагаемых разработок обусловлена использованием передовых научных подходах и направленностью результатов на практическое применение. Разработка таких высокотехнологичных медицинских нейроинтерфейсов и систем нейроуправления невозможна без привлечения специалистов из различных областей науки, таких как медицина (в частности, реабилитология), нейрофизиология, нейробиология, нейротехнологии, физика, инженерия, информационные технологии и математика. Экспертиза в области инженерии, нейротехнологий и физико-математических подходов в обработке физиологических сигналов будет представлена высококвалифицированным научным коллективом НИИ нейронаук ННГУ им. Н.И. Лобачевского. Компетенции в области медицины, реабилитации и нейрофизиологии будут представлены на стороне Партнера - ФГБУ «Национальным медицинским исследовательским центром терапии и профилактической медицины» Министерства здравоохранения РФ.

Ожидаемые результаты
В ходе реализации междисциплинарного проекта будет создан программно-аппаратный комплекс мультимодальной системы нейроуправления ассистивными устройствами для реабилитации пациентов с когнитивными и моторными нарушениями различной природы. В рамках проекта будут разработаны методы анализа мультимодальных биоэлектрических (ЭЭГ, ЭМГ, ЭКГ и т.п.) сигналов человека на основе моделей и технологий нейроморфного и интерпретируемого искусственного интеллекта специализированных для их использования в нейроинтерфейсах и системах нейроуправления для реабилитации. Будут развиты современные методы интерпретируемого ИИ в приложении к анализу нейрофизиологических данных. Программно-аппаратный комплекс мультимодальной системы нейроуправления будет апробирован на функциональном реабилитационном экзоскелетном комплексе. Будут разработаны макеты нейроинтерфейсов на базе кроссбар-массивов мемристивных устройств и получены результаты их исследований в условиях эксплуатации, приближенных к реальным, при обработке сигналов в режиме реального времени и выполнении нейроуправления. Мемристоры будут использованы в качестве новой электронной компонентой базы для аппаратной реализации различных моделей машинного обучения и нейросетей в нейроинтерфейсах. Для запуска современных моделей нейросетей используются вычислители на базе графических или тензорных процессоров, в которых не смотря на массово параллельную обработку данных, большая часть вычислительных ресурсов уходит на пересылку данных в память разного уровня, поэтому они не позволяют создавать одновременно энергоэффективные, компактные и высокопроизводительные вычислители для носимых устройств. Мемристоры же в свою очередь могут выполнять работу моделей нейросетей непосредственно в памяти, существенно минимизируя операции чтения и записи, а также снижая количество компонентов в вычислителе, что обеспечивает на порядки более высокую энегоэффективность и скорость работы по сравнению с существующими устройствами. Будет разработан программно-аппаратный комплекс, реализующий реабилитационную технику парной ассоциативной стимуляции (paired associative stimulation (PAS)), сочетающий электрическую стимуляцию периферических нервов конечностей (ПНС) с транскраниальной магнитной стимуляцией (ТМС) моторной коры головного мозга. Тестирование разработанных систем нейроуправления ассистивными устройствами, в том числе реализованных на мемристивной электронике, в исследовании с участием испытуемых-добровольцев будет проведено на базе Партнера проекта - ФГБУ «Национальным медицинским исследовательским центром терапии и профилактической медицины» Министерства здравоохранения Российской Федерации технологию реабилитации. Партнером будет оценена эффективность в реабилитации разработанных технологий и оптимизированы варианты их исполнения. Результатом синергии экспертиз со стороны НИИ нейронаук ННГУ в области нейротехнологии, инженерии и физико-математических дисциплин и компетенций ФГБУ «НМИЦ ТПМ» Минздрава России в области медицинской реабилитации будет программно-аппаратный комплекс мультимодальной системы нейроуправления ассистивными устройствами для реабилитации пациентов с когнитивными и моторными нарушениями различной природы. Практическая значимость Полученные в ходе реализации проекта результаты позволят получить приоритетные данные о возможности применения разработанных мультимодальных систем нейроуправления на основе интерфейса мозг-компьютер в практике для контроля ассистивными устройствами в реабилитации пациентов с когнитивными и моторными нарушениями. На основании полученных теоретических и экспериментальных данных будут разработаны рекомендации по применению разработанного устройства на основе регистрации электроэнцефалограммы (ЭЭГ) и контуров обратных связей для реабилитации пациентов с когнитивными и моторными нарушениями. Интеграция нейроинтерфейсов в системы управления тренажерных экзоскелетонных конструкций значительно повышает эффективность реабилитационных процедур за счет замыкания проприоцептивной цепи и активации нейропластических механизмов мозга по перестройке сенсомоторной системы, таким образом ускоряя восстановление физиологических параметров нейронной активности головного мозга за счет процесса саморегуляции физиологических функций организма. Важным преимуществом разработанных систем является возможность интеграции в них биологических обратных связей (визуальной, вибротактильной, транскраниальной магнитной стимуляции), которые неспецифичны в отношении диагноза, т.е. позволяет работать не с отдельными заболеваниями, а с основными типами дисфункций регуляторных систем организма - нервной (центральная, периферическая, вегетативная), иммунной и гуморальной. Заинтересованность организаций реального сектора экономики будет способствовать быстрому переходу результатов исследований в стадию практического применения и развитию российской экономики. Научно-технические партнеры ООО «Медицинские компьютерные системы», ООО НПФ «Реабилитационные технологии», АО НПО «Андроидная техника», АО "РТ-медицина" выражают заинтересованность в результатах проекта и их внедрения в свое производство (см. Письма поддержки). Таким образом, актуальность предлагаемых разработок продиктована передовыми научными подходами, направленностью результатов на их практическое применение и заинтересованностью организаций реального сектора экономики в научном партнерстве и доведении результатов до конечного потребителя в виде высокотехнологичной продукции.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Аннотация результатов, полученных в 2025 году
В сотрудничестве с ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России были разработаны и реализованы три оригинальные экспериментальные парадигмы, позволившие раздельно изучить компоненты сенсомоторного процесса: перцептивное принятие решений (дизайн 1, N=52), сенсомоторную интеграцию в сложном целенаправленном действии (стрельба из пневматической винтовки, дизайн 2, N=28) и нейрофизиологические основы моторного планирования с применением одноимпульсной транскраниальной магнитной стимуляции (ТМС) (дизайн 3, N=30). Эксперименты включали синхронную мультимодальную регистрацию электроэнцефалограммы (ЭЭГ), электромиограммы (ЭМГ), электрокардиограммы (ЭКГ), дыхания и поведенческих показателей. В соответствии с планом работ для выявления частотно-временных принципов сигнализации и механизмов реконфигурации функциональных нейронных сетей при обработке сенсорных сигналов и выполнении моторной функции был выполнен анализ нейрофизиологических данных, полученных при выполнении сенсомоторной задачи в исследовании перцептивного принятия решений (данные эксперимента 1). Для определения пространственного распределения ритмической активности мозга использовался метод eLORETA (exact Low Resolution Electromagnetic Tomography). Для оценки механизмов реконфигурации нейронных сетей в тех же частотных диапазонах (тета, альфа, бета) была исследована функциональная связность между кортикальными источниками. Взаимодействия источников сигнала оценивались с помощью метода частичной канонической когерентности. В соответствии с планом работ, сформирован набор признаков для обучения современных интерпретируемых методов ИИ применительно к анализу нейрофизиологических данных человека при выполнении задач на сенсомоторную интеграцию. Для этих целей в проекте использовалась модель на основе дрейф-диффузионного приближения (DDM). Данная модель позволяет декомпозировать интегральный показатель времени реакции на два независимых компонента: 1) скорость накопления доказательств (drift rate), отражающую эффективность центрального процесса сенсомоторной интеграции, и 2) время, не связанное с принятием решения (non-decision time), включающее продолжительность перцептивной обработки и моторного исполнения. Таким образом, из агрегированного набора признаков время реакции и правильность ответа формируется интерпретируемые параметры модели, каждый из которых имеет четкую теоретическую привязку к конкретному этапу обработки информации. Полученные интерпретируемые признаки были использованы для объяснения эффектов ТМС на процесс сенсомоторной интеграции. В соответствии с планом работ разработаны методы классификации мультимодальных биоэлектрических (ЭЭГ, ЭМГ, ЭКГ и т.п.) сигналов человека на основе интерпретируемых методов машинного обучения и искусственного интеллекта. Данная задача решалась с использованием мультимодальных данных, полученных в рамках Эксперимента 2. Для оценки того, какие физиологические и нейрофизиологические параметры связаны с успешностью стрельбы в исследовании сенсомоторной интеграции сложного целенаправленного двигательного акта, была построена бинарная регрессионная модель. В качестве зависимой переменной выступал результат выстрела. Данная модель позволяет дать интерпретацию эффекта каждого фактора на вероятность попадания. Мультимодальные данные включали сигналы ЭЭГ (дельта-, тета- и альфа-диапазоны, индивидуальная альфа-частота и её производные), параметры дыхания, временные интервалы между фазами движения, метрики вариабельности сердечного ритма, а также показатели мышечной активности (бицепса и сгибателя запястья). В рамках работы по проекту на основании анализа литературных данных разработаны методология и протокол парной ассоциативной стимуляции (ПАС), реализующей стимуляцию периферических нервов (ПНС) и ТМС для более эффективной индукции нейропластичности и восстановления двигательных функций у пациентов после инсульта. Было проведено пилотное исследование и разработана система управления одноимпульсной ТМС в зависимости от волевой мышечной активности, регистрируемой на ЭМГ. При обнаружении произвольного мышечного сокращения в выделенном временном окне система запускала одноимпульсную ТМС представительства исследуемой мышцы в моторной коре. В пилотном исследовании приняли участие 16 здоровых добровольцев и один пациент с умеренным парезом левой руки. За отчетный период в рамках проекта разработан общий подход к созданию цифро-аналоговой системы нейроуправления на базе мемристивных устройств. Проведены экспериментальные исследования характеристик выбранных мемристивных устройств. Определены параметры сигналов записи весов, общий диапазон сопротивлений и количество дискретных состояний, необходимых для квантования. На основе этих данных разработаны алгоритмы записи весов, которые будут заложены в макет системы нейроинтерфейса. По результатам проекта в 2025 году опубликовано 2 статьи в рецензируемых изданиях, входящих в первый квартиль баз данных Scopus и Web of Science (Detection and rehabilitation of age-related motor skills impairment: Neurophysiological biomarkers and perspectives. S Gordleeva, N Grigorev, E Pitsik, S Kurkin, V Kazantsev, A Hramov. Ageing Research Reviews, 2025, 102923. Q1, IF=12.4; Beyond the neuron: Unveiling the role of reactive astrocytes in epileptic seizure dynamics through self-organized bistability. Y Tsybina, I Kastalskiy, VB Kazantsev, AE Hramov, S Gordleeva. Computers in Biology and Medicine, 2025, 197, 110980. Q1, IF=6.3), представлено 5 докладов на международных и всероссийских конференциях. В результате работ по первому этапу проекта все заявленные задачи были выполнены в полном объеме.

Публикации

1. Цыбина Ю.А., Кастальский И.А., Казанцев В.Б., Храмов А.Е., Гордлеева С.Ю. Beyond the neuron: Unveiling the role of reactive astrocytes in epileptic seizure dynamics through self-organized bistability Elsevier, Computers in Biology and Medicine 197 (2025) 110980 (год публикации - 2025)
10.1016/j.compbiomed.2025.110980

2. Гордлеева С.Ю., Григорьев Н.А., Пицик Е., Куркин С., Казанцев В.Б., Храмов А.Е. Detection and rehabilitation of age-related motor skills impairment: Neurophysiological biomarkers and perspectives Elsevier, Ageing Research Reviews Volume 113, January 2026, 102923 (год публикации - 2025)
10.1016/j.arr.2025.102923

3. Савосенков А.О., Григорьев Н.А., Удоратина А.М., Ермолаев Д., Байова Л., Кандалов И., Гордлеева С.Ю. Temporal Dynamics of Event-Related Potentials in Visual Perceptual Decision-Making IEEE, Proceedings - 7th International Conference Neurotechnologies and Neurointerfaces, CNN 2025 Conference Paper 2025 (год публикации - 2025)
10.1109/CNN67635.2025.11177526