Интерфейс глаз-мозг-компьютер нового поколения: фундаментальные исследования и технические решения

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 22-19-00528

НазваниеИнтерфейс глаз-мозг-компьютер нового поколения: фундаментальные исследования и технические решения

Руководитель Шишкин Сергей Львович, Кандидат биологических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный психолого-педагогический университет" , г Москва

Конкурс №68 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 05 - Фундаментальные исследования для медицины; 05-106 - Нейробиология

Ключевые слова интерфейсы мозг-компьютер, нейроинтерфейсы, управление с помощью взгляда, взаимодействие с помощью взгляда, айтрекинг, видеоокулография, окулография, человеко-машинные интерфейсы, человеко-машинное взаимодействие, электроэнцефалография, магнитоэнцефалография, ЭЭГ, МЭГ, вызванные потенциалы, фиксации

Код ГРНТИ15.21.35

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Проект посвящен созданию высокоэффективной системы управления компьютером с помощью движений глаз ("глазоуправления") и сигналов мозгового происхождения, потенциально способной стать ассистивной технологией для парализованных людей и расширить возможности взаимодействия с компьютером для здоровых. К настоящему времени неинвазивные нейроинтерфейсы (интерфейсы мозг-компьютер, ИМК) существенно отстают от других средств взаимодействия с компьютером по точностно-скоростным, эргономическим и другим показателям. Наиболее серьезным и на данный момент непреодоленным препятствием к использованию глазоуправления является так называемая проблема прикосновения Мидаса – невозможность различать намеренные и спонтанные, неконтролируемые задержки взгляда. В нашем предыдущем проекте, поддержанном РНФ, мы пытались решить эту проблему, детектируя намеренные задержки взгляда по наличию электроэнцефалографического (ЭЭГ) маркера ожидания обратной связи, на который был настроен специальный "пассивный" ИМК, не требующий от пользователя каких-либо дополнительных действий в сравнении с обычным глазоуправлением. Однако это решение оказалось недостаточно устойчивым к ошибкам: даже небольшое число ложных срабатываний могло вызывать ожидание срабатывания интерфейса также в ответ на непроизвольные задержки взгляда. В данном проекте, сохраняя идею использования пассивного ИМК, мы предлагаем вместо ориентации на неспецифические признаки отдачи команды выявлять и использовать только такие "маркеры", которые непосредственно связаны с произвольностью задержки взгляда. Для этого будет проведен ряд исследований, нацеленных на уточнение специфических признаков намеренной задержки взгляда в ЭЭГ, магнитоэнцефалограмме (МЭГ) и в микроповедении взгляда, а также разработаны вычислительные алгоритмы, настроенные именно на такие признаки. Такой подход к созданию гибридного интерфейса глаз-мозг-компьютер (ИГМК) – на основе специфических признаков управления – будет реализован впервые. Принципиально новыми будут и исследования микроповедения взгляда и специфики работы мозга при намеренных задержках взгляда в сравнении с другими ситуациями, в которых взгляд задерживается непроизвольно – например, при рассматривании мелких объектов или ожидании некоторого события в заданном месте. Эти исследования могут помочь не только созданию эффективной технологии ИГМК, но и развитию также актуальной области исследований механизмов произвольного действия. Эффективному разделению специфической и неспецифической активности мозга будут способствовать впервые примененные в ИГМК-исследованиях ЭЭГ высокого разрешения и компактные магнитометры с оптической накачкой – новый тип датчиков, способных обеспечить рекордное пространственное разрешение благодаря тому, что они могут размещаться непосредственно на голове.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Васильев А.Н.,Свирин Е.П., Дубынин И.А.,Строганова Т.А., Шишкин С.Л. Cortical alpha/beta oscillations in voluntary prolonged eye fixations The 22nd International Conference on Biomagnetism, p. 513 (год публикации - 2022)

2. Четкин Е.И., Шишкин С.Л., Козырский Б.Л. Bayesian opportunities for brain–computer interfaces: enhancement of the existing classification algorithms and out-of-domain detection Algorithms, Vol. 16, Issue 9, Article ID 429 (год публикации - 2023)
10.3390/a16090429

3. Шевцова Ю.Г., Васильев А.Н., Шишкин С.Л. Machine learning for gaze-based selection: performance assessment without explicit labeling International Conference on Human-Computer Interaction, LNCS, Vol. 14054, pp. 311–322 (год публикации - 2023)
10.1007/978-3-031-48038-6_19

4. Яшин А.С. A Challenge for Bringing a BCI Closer to Motor Control: The “Interface Uncanny Valley” Hypothesis 2023 IEEE Ural-Siberian Conference on Computational Technologies in Cognitive Science, Genomics and Biomedicine (CSGB), pp. 242-247 (год публикации - 2023)
10.1109/CSGB60362.2023.10329830

5. Бердышев Д.А.,Грачев А.М., Шишкин С.Л., Козырский Б.Л. Meta-Optimization of Initial Weights for More Effective Few- and Zero-Shot Learning in BCI Classification 2023 IEEE Ural-Siberian Conference on Computational Technologies in Cognitive Science, Genomics and Biomedicine (CSGB), pp. 263-267 (год публикации - 2023)
10.1109/CSGB60362.2023.10329624

6. Шишкин С.Л., Бердышев Д.А., Яшин А.С., Заболотний А.Я., Осадчий А.Е., Васильев А.Н. Quasi-Movements as a Model of Attempted Movements: An Alternative to Motor Imagery in Brain-Computer Interfaces Proceedings of the 10th International BCI Meeting (June 6 – 9, 2023, Sonian Forest, Brussels, Belgium), Article ID 144486 (год публикации - 2023)

7. Бердышев Д.А.,Грачев А.М., Шишкин С.Л., Козырский Б.Л. Using General-Purpose Meta-Learning Algorithms to Train a BCI Classifier on Less Data Proceedings of the 10th International BCI Meeting (June 6 – 9, 2023, Sonian Forest, Brussels, Belgium), Article ID 144557 (год публикации - 2023)

8. Шишкин С.Л., Яшин А.С., Бердышев Д.А., Васильев А.Н. Квазидвижения как возможная альтернатива воображению движений в нейроинтерфейсных исследованиях Сборник тезисов XXIV съезда физиологического общества им. И. П. Павлова, С. 305-306 (год публикации - 2023)

9. Шевцова Ю.Г., Яшин А.С., Васильев А.Н., Шишкин С.Л. Управление с помощью взгляда на основе характеристик микродвижений глаз и контекста действий Десятая международная конференция по когнитивной науке: Тезисы докладов. Пяти- горск, 26–30 июня 2024 г. В двух частях. , Часть I, стр. 366-367 (год публикации - 2024)

10. Яшин А.С. Плохое глазоуправление указывает на границу между восприятием и действием Десятая международная конференция по когнитивной науке: Тезисы докладов. Пяти- горск, 26–30 июня 2024 г., Часть I, стр. 388-389 (год публикации - 2024)

11. Яшин А.С., Васильев А.Н., Шишкин С.Л. How can quasi-movements be useful in the examination of voluntary movements? An external perspective integrating neuroscience, psychology, and philosophy Genes & cells, 18(4):649–652 (год публикации - 2023)
10.17816/gc623399

12. Васильев А.Н., Свирин Е.П., Маковская А.Е., Строганова Т.А., Шишкин С.Л. Роль нейрональных осцилляций в произвольном управлении взглядом Всероссийская конференция «Достижения и перспективы фундаментальной физиологии: к столетию кафедры физиологии человека и животных МГУ» 29–30 ноября 2024 г. Сборник материалов. , С. 45-46 (год публикации - 2024)

13. Шевцова Ю.Г., Васильев А.Н., Шишкин С.Л. Помогут ли характеристики микродвижений глаз выбирать объекты взглядом? Когнитивная наука в Москве: новые исследования. Материалы конференции 21 – 22 июня 2023 г. , С. 507-513 (год публикации - 2023)

14. Четкин Е.И., Козырский Б.Л., Шишкин С.Л. Unconditional EEG Synthesis Based on Diffusion Models for Sound Generation 2024 IEEE International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), 2024 IEEE International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), Novosibirsk, Russian Federation, 2024, pp. 416-420. (год публикации - 2024)
10.1109/SIBIRCON63777.2024.10758527

15. Шишкин С.Л., Бердышев Д.А., Яшин А.С., Заболотный А.Ю., Осадчий А.Е., Васильев А.Н. Quasi-movements and attempted movements: a possible alternative to motor imagery in BCI-based neurorehabilitation Genes & cells, Т. 18, № 4. С. 687–690. (год публикации - 2023)
10.17816/gc623412

Публикации

Аннотация результатов, полученных в 2024 году
1. В 2024 году был разработан и реализован в работающем макете новый тип гибридного интерфейса глаз-мозг-компьютер (ИГМК), в котором взаимодействие с компьютером с помощью взгляда (“глазоуправление”) дополняется управлением с помощью интерфейса мозг-компьютер (ИМК) на основе квазидвижений. Глазоуправление в нем реализовано таким образом, чтобы не требовать от пользователя сложных и неестественных действий, а также освобождать взгляд от управления большую часть времени и давать возможность использовать его для восприятия зрительной информации. Для реализации системы была сформулирована концепция “полупассивного глазоуправления”, основанная на минимизации ограничения зрительной функции взгляда с при реализации намерений пользователя. Инструкция для обучения испытуемых квазидвижениям и методика обучения были модифицированы так, чтобы приблизить эту задачу к попыткам совершения движений. Был улучшен алгоритм для классификации сенсомоторной активации, ускоряющий обучение и оптимизацию пространственных фильтров, используемых в классификаторе ИМК. Проведены эксперименты, в которых испытуемые с помощью этого ИГМК выполняли задачи в специально созданной исследовательской игровой среде AstroSync. В этих экспериментах впервые показана возможность использования квазидвижений для подачи команды через ИМК в режиме реального времени, с получением от него обратной связи о распознавании команды. Проведено сравнение эффективности подачи команды в разработанном ИГМК с помощью квазидвижений и с помощью кинестетического представления (воображения) движений, которая в рамках эксперимента оказалась приблизительно одинаковой для этих модальностей. Выявлено значительное число особенностей взаимодействия человека с компьютером с помощью квазидвижений, в особенности касающихся совместимости обратной связи от ИМК с выполняемым действием, учет которых может позволить в будущем создать особенно эффективные ИМК и ИГМК, предположительно для постинсультной реабилитации и, возможно, других областей применения (Yashin et al.). 2. Впервые подробно описаны особенности поведения взгляда человека при использовании глазоуправления, в том числе при сравнении обычной технологии глазоуправления и усиленной средствами распознавания намерения пользователя. Это описание подготовлено на основе углубленного анализа полученных ранее данных о взаимодействии человека с компьютером с использованием взгляда и с подтверждением намерения выбрать объект с использованием машинного обучения и учетом контекста действия (“усиленное глазоуправление”). Выявлены признаки, позволяющие с высокой точностью отличать намеренные задержки взгляда от спонтанных и позволившие сократить ложноположительные срабатывания в 3 раза; параллельно с этим на основе учета контекстной информации удалось снизить частоту пропусков команд (Shevtsova et al.). 3. Разработаны методы для анализа МЭГ-сигналов, позволившие выявить новые механизмы произвольного контроля взгляда, включая упреждающее торможение глазодвигательных полей. В частности, впервые выявлено активное упреждающее торможение в передних глазодвигательных полей мозга за ~750 мс до намеренной остановки взгляда (коррелят – синхронизация в альфа(мю)-диапазоне в премоторной коре, отделенная пространственно от сенсомоторного мю-ритма). Впервые показано, что торможение глазодвигательных полей развивается до начала фиксации и градуально спадает к моменту срабатывания интерфейса глазоуправления (Vasilyev et al.). 4. Разработана программная библиотека EEG-Reptile, позволяющая проводить метаоптимизацию весов для нейросетевых классификаторов для ИМК. Она позволяет улучшать качество классификации для новых пользователей ИМК, используя данные других пользователей для предварительного обучения. Ее высокая автоматизированность делает ее доступной для исследователей, не обладающим большим опытом в применении методов глубокого обучения. Показано, что она обеспечивает возможность классификации и без дообучения, а качество классификации, сравнимое с другими методами, достигается при дообучении на меньшем количестве данных (Berdyshev et al.). Библиотека размещена в открытом доступе по ссылке https://github.com/gasiki/EEG-Reptile 5. Разработана диффузионная модель UnconditionalWavegrad, показавшая способность генерировать искусственные ЭЭГ-подобные данные, что при дальнейшем совершенствовании модели может позволить решить фундаментальную для ИМК проблему недостатка обучающих данных путем их аугментации (Chetkin et al., 2024). 6. Исследована проблема отклоняющихся каузальных цепей в действиях с использованием гибридных интерфейсов глаз-мозг-компьютер. С помощью особенностей ИГМК как способа осуществления агентности показано, что наличие отклоняющейся каузальной цепи в случае конкретной системы зависит от структуры, а также внутренних и внешних факторов (Yashin). 7. Проанализировано значение ошибок системы глазоуправления для выявления границы между восприятием и действием для ее пользователя. Показано, что затрудненное глазоуправление, связанное с «проблемой прикосновения Мидаса», приводит к восприятию движений глаз как телесных действий. Такие условия дают уникальную возможность для анализа перехода ментального содержания между доменами восприятия и действия, что открывает новые перспективы для исследований в области когнитивной науки (Яшин, 2024). 8. Показана более высокая стабильность сигнала новых датчиков для регистрации магнитоэнцефалограммы (МЭГ) – магнитометров с оптической накачкой (МОН) – в сравнении с сигналом классической многоканальной криогенной МЭГ (Skidchenko et al.). Ссылки на опубликованные статьи и на препринты статей по проекту размещаются по адресу https://bci.megmoscow.ru/projects/

Публикации

Возможность практического использования результатов
В ходе работы по проекту создан научный и технологический задел, который может быть использован в создании ассистивных и реабилитационных интерфейсов мозг-компьютер и систем управления с помощью взгляда, в т.ч. коммерциализируемых. Достигнуты предварительные договоренности с ИВНДиНФ (П.Д. Бобров) и неврологическим отделением МОНИКИ (С.В. Котов, А.А. Кондур) о проведении исследований с участием здоровых испытуемых и постинсультных пациентов, и разработки методик постинсультной реабилитации с использованием экзоскелета, управляемого интерфейсом мозг-компьютер. В этих исследованиях предполагается реализовать опыт и конкретные результаты данного проекта, связанные с использованием квазидвижений для активации ИМК.