КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер проекта 24-75-00105
НазваниеКвазидвижения в интерфейсах мозг-компьютер: влияние типа движения и обратной связи
Руководитель Свирин Евгений Павлович, кандидат наук (признаваемый в РФ PhD)
Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный психолого-педагогический университет" , г Москва
Конкурс №97 - Конкурс 2024 года «Проведение инициативных исследований молодыми учеными» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными
Область знания, основной код классификатора 05 - Фундаментальные исследования для медицины; 05-106 - Нейробиология
Ключевые слова интерфейс мозг-компьютер, ЭЭГ, электроэнцефалограмма, человеко-машинные интерфейсы, нейроинтерфейсы, сенсомоторный, квазидвижения, представление движения, намерение, моторное воображение, кинестетическое воображение, целенаправленные движения, нейрореабилитация, попытки движений
Код ГРНТИ15.21.35
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Неинвазивные интерфейсы мозг-компьютер (ИМК) всё шире используются в нейрореабилитации. На их основе разрабатывают ассистивные технологии для парализованных пациентов и даже для здоровых людей. Один из наиболее распространенных типов ИМК — ИМК на основе представления (воображения) движений: их пользователи для подачи команды представляют, как они совершают определённое движение, не совершая его в реальности.
Однако из-за того, что моторное воображение фокусирует внимание пользователя на выполняемой ментальной задаче, когнитивные ресурсы в таких ИМК отвлекаются от восприятия внешних стимулов, что усложняет отслеживание обратной связи при срабатывании ИМК. Кроме того, задачи моторного воображения нередко плохо соответствуют движениям, которые было бы необходимо совершить в реальности для выполнения желаемого действия. Сочетание этих факторов приводит к снижению у пользователя чувства контроля над работой интерфейса и чувства агентности, что приводит к снижению эффективности использования интерфейса.
С учётом сказанного, предпочтительно использовать для отдачи команды в ИМК задачи, не требующие активного внутреннего фокуса внимания. Кроме того, важно добиваться, чтобы совершаемые пользователем действия и получаемая обратная связь максимально соответствовали «естественным» для цели, с которой пользователь отдаёт команду. В высокоэффективных инвазивных ИМК это все чаще достигается использованием, вместо воображения, попыток совершения движений, которые не приводят к реальным движениям из-за паралича, но сопровождаются четкими паттернами мозговой активности. Однако из-за сложности моделирования таких попыток движения без реальных движений на здоровых испытуемых эта технология не получает широкого распространения, в том числе в нейрореабилитации с использованием неинвазивных ИМК.
В проекте будет оценена возможность существенно улучшить удобство и естественность взаимодействия пользователя с ИМК с помощью замены моторного воображения на выполнение специально подобранных квазидвижений. Квазидвижения — сравнительно недавно открытый и очень мало исследованный феномен, наблюдающийся, когда испытуемому предлагают уменьшать амплитуду движения до тех пор, пока не исчезает и движение, и электромиографический (ЭМГ) сигнал от соответствующих мышц, причем в ЭЭГ в значительной мере сохраняется паттерн изменений, характерный для реальных движений. Совершаемые здоровыми испытуемыми квазидвижения можно рассматривать как модель попыток совершения движений парализованными людьми (Nikulin et al., 2008, Vasilyev et al., 2023).
Возможность использования квазидвижений в ИМК уже изучалась и дала положительные результаты. Также было показано, что, в отличие от воображаемых движений, квазидвижения чаще ощущаются пользователем как попытка совершения реального движения (Yashin et al., 2023). Однако в них до сих пор использовалось единственное движение — отведение большого пальца руки, не являющееся естественным для пользователя и не направленное на цель.
В проекте мы впервые проанализируем возможность использования в ИМК эргономичных целенаправленных квазидвижений для подачи команды, а также обратной связи, обеспечивающей конгруэнтность пользовательского опыта. В экспериментах на здоровых испытуемых будут подобраны такие квазидвижения и проведена оценка влияния типа движения и его целенаправленности на выраженность изменений в ЭЭГ. В оффлайн-моделировании будут оценены точностно-скоростные характеристики ИМК на этих квазидвижениях в сравнении с ИМК на воображаемых движениях. На основании данных моделирования будут подобраны квазидвижения для последующего использования в онлайн-ИМК. В экспериментальной сессии с онлайн-ИМК (эксперименты со срабатыванием классификатора ИМК в реальном времени) будет оценено влияние обратной связи на изменения в ЭЭГ и точностно-скоростные характеристики, и, как и в оффлайн-моделировании, проведено сравнение между квазидвижениями и аналогичными воображаемыми движениями как способами подачи команды.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Аннотация результатов, полученных в 2025 году
В первый год работы над проектом была разработана и апробирована экспериментальная методика исследования квазидвижений (КД), основанная на модификации подхода Никулина и соавторов (Nikulin et al., 2008, Vasilyev et al., 2023). В отличие от классической парадигмы, использующей отведение большого пальца кисти, в данном исследовании акцент был сделан на новые, ранее не изучавшиеся типы квазидвижений — «нажатие указательным пальцем на кнопку» и «указующий жест». Эти движения более привычны, эргономичны и приближены к естественным действиям, что облегчает их освоение и потенциально расширяет области применения.
Для регистрации остаточного движения при выполнении квазидвижений были созданы и протестированы два типа датчиков: акселерометр и тензометрический датчик. Последний показал высокую чувствительность и надёжность в условиях эксперимента, что позволило использовать его для визуальной обратной связи при обучении КД и контроле за качеством их выполнения.
Была проведена основная серия экспериментов с участием 10 испытуемых, в ходе которой регистрировались ЭЭГ и данные тензодатчика при выполнении реальных движений, представления движений, а также квазидвижений — как целенаправленных, так и нецеленаправленных. Перед каждым блоком с двигательным условием проводилось отдельное обучение соответствующему типу активности, что позволило добиться воспроизводимого и чёткого выполнения инструкций, а также предотвратить смешение условий.
Анализ данных показал, что новые типы квазидвижений вызывают выраженную десинхронизацию мю-ритма в контралатеральных сенсомоторных областях, по амплитуде сопоставимую с эффектами, наблюдаемыми при реальных движениях, и превышающую десинхронизацию, характерную для моторного воображения. При этом выраженность эффекта не зависела от уровня остаточной мышечной активности, зарегистрированной тензодатчиком, что может указывать на существование самостоятельного нейрофизиологического механизма, отличного от моторного воображения и приближающего КД к попыткам движения у парализованных пациентов.
Для оценки возможности использования новых квазидвижений в прикладных задачах была проведена классификация эпох ЭЭГ с применением нейросетевой архитектуры EEGNet. Модель демонстрировала более высокую точность распознавания условий квазидвижения по сравнению с моторным воображением, что подчёркивает перспективность данного подхода.
Таким образом, в первый год проекта были достигнуты следующие ключевые результаты: (1) разработан и апробирован набор новых, более эргономичных квазидвижений, пригодных для дальнейшего использования в нейрофизиологических исследованиях и интерфейсах мозг-компьютер (ИМК); (2) подтверждена возможность их надёжной регистрации с помощью ЭЭГ и тензодатчика; (3) показано, что такие квазидвижения вызывают специфическую сенсомоторную активность с отчётливым нейрофизиологическим коррелятом. Эти свойства делают их перспективным инструментом как для фундаментального изучения механизмов моторного контроля, так и для прикладных задач в области ИМК.
Публикации
1. Свирин Е.П., Шишкин С.Л. Новые типы квазидвижений для интерфейсов мозг-компьютер: план исследования Психология познания. Материалы конференции, с. 272-275 (год публикации - 2024)
Аннотация результатов, полученных в 2026 году
В рамках проекта была продемонстрирована возможность управления интерфейсом мозг–компьютер (ИМК) с помощью так называемых квазидвижений: предельно ослабленных движений, при которых пользователь, по сути, пытается выполнить реальное движение, но без видимых внешних проявлений и без заметного напряжения мышц. При этом в активности мозга, регистрируемой по электроэнцефалограмме (ЭЭГ), такие квазидвижения близки к настоящим движениям — что может быть важно для реабилитационных приложений ИМК, ориентированных на восстановление двигательных функций у пациентов после инсульта и других неврологических состояний.
Для проведения экспериментов в течение года был выполнен целый комплекс подготовительных работ. Во-первых, разработанное в первый год тензометрическое устройство для регистрации малых движений пальца было существенно модифицировано: в его конструкцию интегрирован модуль вибротактильной обратной связи. Получившееся устройство одновременно регистрирует усилие нажатия и подаёт на палец короткий вибрационный отклик в момент успешной активации ИМК — так, чтобы сенсорное ощущение было максимально близко к ощущению нажатия на экранные кнопки мобильных устройств. Во-вторых, для проведения онлайн-эксперимента была разработана собственная компьютерная игра BCIBeam, в которой пользователь управляет «лучом», воздействующим на движущиеся по «конвейеру» детали, активируя его в нужные моменты с помощью квазидвижения или мысленного представления движения. Такая постановка задачи позволяет одновременно оценить качество работы интерфейса и проследить за тем, как формируются связанные с движением паттерны мозговой активности.
С использованием этой методики была проведена серия экспериментов с участием 15 здоровых добровольцев, в которой каждый испытуемый поочерёдно управлял ИМК четырьмя разными способами: с помощью квазидвижения и с помощью кинестетического представления движения «нажатия на кнопку», с подачей вибротактильной обратной связи и без неё. В каждом из условий регистрировались ЭЭГ, электромиограмма мышц предплечья и сигнал тензометрического устройства, что позволило одновременно оценивать и работу мозга, и периферическое проявление двигательного намерения.
Результаты экспериментальной серии показывают, что квазидвижения «нажатия» успешно используются для управления ИМК в онлайн-режиме и обеспечивают точность классификации, сопоставимую с точностью при использовании более привычного для этой области кинестетического представления движений. При этом вибротактильная обратная связь, конгруэнтная выполняемому действию, не улучшает и не ухудшает классификаторных метрик и не усиливает в среднем сенсомоторную десинхронизацию ЭЭГ-ритмов, традиционно рассматриваемую как «след» моторного намерения в мозге. Кроме того, было обнаружено, что у одного и того же испытуемого в условиях с квазидвижениями более выраженное механическое проявление намерения сопровождается и более выраженной сенсомоторной десинхронизацией мозга — и эта связь не сводится к остаточной электромиографической активности.
Полученные результаты позволяют рассматривать новые квазидвижения не столько как способ повышения эффективности ИМК у здоровых пользователей, сколько как более естественную, чем мысленное представление движения, альтернативу для реабилитационных ИМК. Тем самым работа закладывает методическую и техническую основу для последующих исследований с участием пациентов, нуждающихся в восстановлении произвольной двигательной активности.
Публикации
1.
Свирин Е.П., Бердышев Д.А., Шишкин С.Л.
Goal-Directed Quasi-Movements Based on Natural Hand Actions: EEG Correlates and Relevance for Rehabilitation BCI
Proceedings of the 10th Graz Brain-Computer Interface Conference 2026, Svirin, E. P., et al. (2026). Goal-Directed Quasi-Movements Based on Natural Hand Actions: EEG Correlates and Relevance for Rehabilitation BCI. 10th Graz Brain-Computer Interface Conference 2026. G. R. Müller-Putz, K. Kostoglou, M. E. Oberndorfer and S. C. Wriessnegger. Graz, Austria, Verlag der Technischen Universität Graz (TU Graz Verlag): 500–505. (год публикации - 2026)
10.3217/978-3-99161-093-9-086
2.
Свирин Е.П., Бердышев Д.А., Шишкин С.Л.
Десинхронизация сенсомоторных ритмов при совершении квазидвижений, основанных на естественных движениях пальцев руки
Вестник РГМУ, №3. С. 42–. (год публикации - 2026)
10.24075/vrgmu.2026.030
Возможность практического использования результатов
В ходе работы по проекту создан научный и технологический задел, который может быть использован при разработке реабилитационных и ассистивных интерфейсов мозг–компьютер, в том числе коммерциализируемых. Полученные результаты по онлайн-управлению ИМК с использованием новых квазидвижений и конгруэнтной вибротактильной обратной связи, а также разработанные в рамках проекта аппаратные и программные средства, могут быть применены при создании систем поддержки двигательной реабилитации после инсульта и других состояний с нарушением функции верхней конечности, а в перспективе — при разработке мультимодальных нейроассистивных систем, в том числе с совместным использованием управления квазидвижениями и управления взглядом.