КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ

Номер 22-29-01361

НазваниеРаспознавание последовательностей квазидвижений как возможная основа асинхронного интерфейса мозг-компьютер

РуководительВасильев Анатолий Николаевич, Кандидат биологических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный психолого-педагогический университет", г Москва

Период выполнения при поддержке РНФ 2022 г. 

Конкурс№64 - Конкурс 2021 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами».

Область знания, основной код классификатора 09 - Инженерные науки, 05-106 - Нейробиология

Ключевые словаинтерфейс мозг-компьютер, ЭЭГ, асинхронный нейроинтерфейс, человеко-машинные интерфейсы, десинхронизация ритмов, сенсомоторный, квазидвижения, представление движения, намерение, моторное воображение, кинестетическое воображение, распознавание паттернов, амплитудно-частотные признаки

Код ГРНТИ15.21.35

СтатусУспешно завершен

 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Неинвазивные интерфейсы мозг-компьютер (ИМК) все шире используются в нейрореабилитации. Все больше предпринимается попыток разрабатывать ИМК-решения и для здоровых пользователей, в частности, для тренировки когнитивных функций и просто для рекреационных целей ("нейроигры"). Наиболее эффективно работающие из существующих неинвазивных ИМК являются "синхронными" -- они требуют синхронизации совершаемых действий со временем подачи стимулов, задаваемым интерфейсом. Это приводит к частичному отвлечению когнитивных ресурсов пользователя на обработку этих стимулов, а также к снижению у пользователя чувства контроля над работой интерфейса. Поскольку чувство контроля является одним из ключевых компонентов чувства агентности (авторства действия), пользователь синхронного интерфейса может чувствовать себя автором действия не в полной мере. Как отвлечение когнитивных ресурсов на стимулы, так и недостаточная полнота контроля при работе с интерфейсом снижают удобство использования интерфейса. Более того, при пониженном чувстве авторства действия пользователь может быть в меньшей мере готов брать на себя ответственность за последствия действий. С учетом сказанного, более предпочтительным типом ИМК выглядит “асинхронный” интерфейс, пользователь которого может подавать команды в произвольно определяемые им самим моменты времени. Однако возможность подачи команды в любой момент времени приводит к тому, что ИМК должен регулярно и с высокой частотой проверять, не подал ли пользователь команду. Поскольку неинвазивные ИМК работают с данными (как правило, ЭЭГ), полезный (для ИМК) сигнал в которых высоко зашумлен, это приводит либо к высокой частоте ошибок, либо к необходимости накапливать большие объемы данных для распознавания команды -- в последнем случае существенно увеличивается время отклика интерфейса, а у пользователя может быстро возникать утомление. И низкая точность, и большое время срабатывания не только затрудняют работу с ИМК, но и, опять же, приводят к снижению чувства контроля и авторства действия. В настоящем краткосрочном (1 год) междисциплинарном проекте будет оценена возможность существенно повысить точностно-скоростные показатели асинхронного ИМК путем замены традиционно используемого в них моторного воображения (представления пользователем в уме выполнения им движений) на выполнение коротких последовательностей квазидвижений в быстром темпе. Квазидвижения (quasimovements) -- сравнительно недавно открытый и пока что мало исследованный феномен, наблюдающийся, когда испытуемому предлагают уменьшать амплитуду движения до тех пор, пока не исчезает и движение, и электромиографический (ЭМГ) сигнал от соответствующих мышц. При этом в ЭЭГ в значительной мере сохраняется паттерн изменений, характерный для реальных движений. Хотя возможность распознавания квазидвижений классификатором ИМК уже изучалась и дала положительные результаты, в этом анализе моделировался лишь синхронный ИМК. Более того, квазидвижения, по наблюдениям их первых исследователей, в отличие от воображаемых движений, легко выполнять последовательно в быстром темпе, что открывает возможность использования их повторов для получения более четко распознаваемых паттернов активации мозга и, соответственно, улучшения соотношения сигнал/шум в ЭЭГ и повышения точности распознавания команд. В рамках проекта будет впервые проанализирована возможность обнаружения подачи команды с помощью квазидвижений, и в особенности последовательностей квазидвижений, в асинхронном режиме применения классификатора ИМК. Такой режим будет моделироваться в оффлайн-режиме с использованием данных, полученных в экспериментах с участием здоровых испытуемых, выполняющих квазидвижения и их последовательности в ответ на стимулы, то есть в синхронном режиме. Асинхронный режим применения классификатора будет означать, что время подачи стимула не будет использоваться его алгоритмом, который может сработать в любой момент в относительно широком интервале времени. Благодаря тому, что испытуемые будут выполнять квазидвижения в ответ на стимул с известным временем подачи, можно будет достоверно оценить задержку срабатывания классификатора, частоту пропусков цели и частоту ложных срабатываний. Аналогичный анализ будет применен к данным, получаемым в экспериментах с воображением движений и последовательностей движений. Их условия будут максимально приближены к условиям проведения экспериментов с квазидвижениями, что позволит сравнить временные и точностные характеристики работы ИМК при использовании этих двух способов подачи команды без использования реальных движений. Если подтвердится предположение о возможности повышения скорости или точности срабатывания ИМК при использовании квазидвижений или их последовательностей в сравнении с использованием воображаемых движений и их последовательностей, будет подготовлена заявка на новый проект, в котором будут реализованы асинхронный ИМК на основе квазидвижений, работающий в режиме реального времени, а также методика для проверки гипотезы о повышении чувства агентности и контроля при его использовании в сравнении с использованием традиционного ИМК на основе моторного воображения.

Ожидаемые результаты
1. Будет разработана и отлажена методика экспериментального ЭЭГ-исследования коротких последовательностей квазидвижений. 2. Будут впервые описано влияние выполнения квазидвижений короткими последовательностями через небольшие (не более 1 с) интервалы времени на сопровождающие их паттерны ЭЭГ и особенности этих эффектов в сравнении с реальными и воображаемыми движениями. 3. Будут впервые получены (в оффлайн-моделировании) оценки точностно-скоростных характеристик асинхронного ИМК на основе квазидвижений и последовательностей квазидвижений, а также проведено их сравнение с характеристиками ИМК на основе воображаемых движений. Эти результаты позволят сделать выводы о перспективности развития новой технологии ИМК (интерфейсов мозг-компьютер), имеющей потенциал стать одной из лидирующих среди технологий асинхронных неинвазивных ИМК.

 

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Аннотация результатов, полученных в 2022 году
В проекте была разработана и отлажена новая версия методики обучения квазидвижениям и их сопоставления с воображаемыми движениями: в частности, в нее было добавлено обучение различению квазидвижений и воображаемых движений. Проведено экспериментальное исследование с участием 23 испытуемых, каждый из которых участвовал в двух сессиях, проводившихся в разные дни. В основной сессии регистрировалась 128-канальная ЭЭГ, ЭМГ, а также собирались ответы испытуемых на вопросы разработанных нами опросников. Существенно доработана методика анализа ЭМГ и ЭЭГ при выполнении квазидвижений и в контрольных условиях: в частности, в ее рамках производится индивидуальный подбор частотных диапазонов и пространственных фильтров с использованием, соответственно, “суперлетов” (современной вариации вейвлет-анализа с варьированием числа циклов) и собственного разложения ковариацонных матриц сигналов (generalized eigendecomposition, GED). Статистический анализ проводился, прежде всего, с использованием смешанных линейных моделей, позволивших эффективно разделить вклад различных факторов, существенных в рамках данного исследования. Особое внимание уделялось прецизионной оценке микровсплесков мышечной активности. Для моделирования асинхронной классификации в качестве классификатора была выбрана недавно разработанная хорошо интерпретируемая компактная сверточная искусственная нейросеть SimpleNet (Petrosyan et al., 2022). К наиболее важным результатам проекта относятся следующие: - подтверждено наблюдение Nikulin et al. (2008) о том, что квазидвижения сопровождаются более глубоким подавлением сенсомоторных ритмов, чем воображаемые движения (вопреки наблюдениям Zich et al., 2015 – в исследовании которых, по-видимому, испытуемые не были в достаточной мере обучены совершению квазидвижений) - впервые установлена независимость подавления корковых сенсомоторных ритмов при квазидвижениях от остаточной активации мышц (что важно для развития методов использования квазидвижений в фундаментальных исследованиях и в разработке нейрореабилитационных методик) Полученные результаты указывают на то, что квазидвижения скорее не являются частью континуума между реальными и воображаемыми движениями, как предполагалось в работах предшествующих исследователей, а являются родственными попыткам совершения движения (attempted movements) людьми, которые не могут выполнять реальные движения из-за паралича или ампутации. Это открывает возможность использования квазидвижений для изучения природы совершения действий, а также подтверждает предположения Nikulin et al. (2008) о том, что квазидвижения могут быть полезны для моделирования попыток совершения движения парализованными больными и инвалидами с ампутированными конечностями, что важно для разработки нейрореабилитационных методик и интерфейсов мозг-компьютер. Часть публикаций по проекту к моменту подачи отчета находилась на рецензировании и в процессе завершения подготовки рукописи. Ссылки на эти статьи по мере их публикации, а также препринты будут размещаться в разделе Проекты сайта нашей научной группы ( https://bci.megmoscow.ru/projects/ ).

 

Публикации

1. Васильев А.Н., Яшин А.С., Шишкин С.Л. Quasi-Movements and “Quasi-Quasi-Movements”: Does Residual Muscle Activation Matter? Life, Life 2023, 13(2), 303; https://doi.org/10.3390/life13020303 (год публикации - 2023) https://doi.org/10.3390/life13020303

2. Шишкин С.Л. Active Brain-Computer Interfacing for Healthy Users Frontiers in Neuroscience, 16:859887 (год публикации - 2022) https://doi.org/10.3389/fnins.2022.859887

3. Яшин А.С., Васильев А.Н., Шишкин С.Л. Contrasting quasi-movements with imaginary movements: an experimental model for studying physical and mental actions Fourth International Conference Neurotechnologies and Neurointerfaces (CNN), pp. 215-218 (год публикации - 2022) https://doi.org/10.1109/CNN56452.2022.9912508

4. Яшин А.С., Шишкин С.Л., Васильев А.Н. Is there a continuum of agentive awareness across physical and mental actions? The case of quasi-movements Consciousness and Cognition, Consciousness and Cognition. — 2023. — Vol. 112. — P. 103531. (год публикации - 2023) https://doi.org/10.1016/j.concog.2023.103531

5. - VR, вождение и искусство: как нейроинтерфейсы входят в нашу жизнь РБК Тренды, 05.05.2022 (год публикации - )

6. - «Активные» нейроинтерфейсы для здоровых людей: ближайшие перспективы Нейроновости, 25.04.2022 (год публикации - )

Возможность практического использования результатов
Представляется возможным использование результатов проекта в постинсультной реабилитации. В частности, мы обсуждаем со специалистами, разрабатывающими технологии постинсультной реабилитации с использованием интерфейсов мозг-компьютер, возможные пути интеграции методик работы с квазидвижениями с их технологиями и другие варианты использования результатов данного проекта.