КАРТОЧКА
ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер 22-19-00528
НазваниеИнтерфейс глаз-мозг-компьютер нового поколения: фундаментальные исследования и технические решения
РуководительШишкин Сергей Львович, Кандидат биологических наук
Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный психолого-педагогический университет", г Москва
Период выполнения при поддержке РНФ | 2022 г. - 2024 г. |
Конкурс№68 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами».
Область знания, основной код классификатора 09 - Инженерные науки, 05-106 - Нейробиология
Ключевые словаинтерфейсы мозг-компьютер, нейроинтерфейсы, управление с помощью взгляда, взаимодействие с помощью взгляда, айтрекинг, видеоокулография, окулография, человеко-машинные интерфейсы, человеко-машинное взаимодействие, электроэнцефалография, магнитоэнцефалография, ЭЭГ, МЭГ, вызванные потенциалы, фиксации
Код ГРНТИ15.21.35
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Проект посвящен созданию высокоэффективной системы управления компьютером с помощью движений глаз ("глазоуправления") и сигналов мозгового происхождения, потенциально способной стать ассистивной технологией для парализованных людей и расширить возможности взаимодействия с компьютером для здоровых. К настоящему времени неинвазивные нейроинтерфейсы (интерфейсы мозг-компьютер, ИМК) существенно отстают от других средств взаимодействия с компьютером по точностно-скоростным, эргономическим и другим показателям. Наиболее серьезным и на данный момент непреодоленным препятствием к использованию глазоуправления является так называемая проблема прикосновения Мидаса – невозможность различать намеренные и спонтанные, неконтролируемые задержки взгляда. В нашем предыдущем проекте, поддержанном РНФ, мы пытались решить эту проблему, детектируя намеренные задержки взгляда по наличию электроэнцефалографического (ЭЭГ) маркера ожидания обратной связи, на который был настроен специальный "пассивный" ИМК, не требующий от пользователя каких-либо дополнительных действий в сравнении с обычным глазоуправлением. Однако это решение оказалось недостаточно устойчивым к ошибкам: даже небольшое число ложных срабатываний могло вызывать ожидание срабатывания интерфейса также в ответ на непроизвольные задержки взгляда. В данном проекте, сохраняя идею использования пассивного ИМК, мы предлагаем вместо ориентации на неспецифические признаки отдачи команды выявлять и использовать только такие "маркеры", которые непосредственно связаны с произвольностью задержки взгляда. Для этого будет проведен ряд исследований, нацеленных на уточнение специфических признаков намеренной задержки взгляда в ЭЭГ, магнитоэнцефалограмме (МЭГ) и в микроповедении взгляда, а также разработаны вычислительные алгоритмы, настроенные именно на такие признаки. Такой подход к созданию гибридного интерфейса глаз-мозг-компьютер (ИГМК) – на основе специфических признаков управления – будет реализован впервые. Принципиально новыми будут и исследования микроповедения взгляда и специфики работы мозга при намеренных задержках взгляда в сравнении с другими ситуациями, в которых взгляд задерживается непроизвольно – например, при рассматривании мелких объектов или ожидании некоторого события в заданном месте. Эти исследования могут помочь не только созданию эффективной технологии ИГМК, но и развитию также актуальной области исследований механизмов произвольного действия. Эффективному разделению специфической и неспецифической активности мозга будут способствовать впервые примененные в ИГМК-исследованиях ЭЭГ высокого разрешения и компактные магнитометры с оптической накачкой – новый тип датчиков, способных обеспечить рекордное пространственное разрешение благодаря тому, что они могут размещаться непосредственно на голове.
Ожидаемые результаты
Основным результатом проекта станет создание новой, практически полезной и эффективной технологии интерфейса глаз-мозг-компьютер (ИГМК), в которой управление с помощью взгляда (глазоуправления) радикально улучшается с помощью нового неинвазивного интерфейса мозг-компьютер (ИМК).
При создании нового поколения ИГМК потребуется впервые решить комплекс задач, значение каждой из которых значительно выходит за рамки одной лишь этой технологии:
(1) Исследование особенностей микроповедения взгляда и специфики работы мозга при намеренной отдаче команд с помощью взгляда – эти вопросы, как ни странно, ранее оказывались вне поля внимания исследователей. При этом предполагается получить важные данные об особенностях и специфических маркерах намеренного поведения человека в человеко-машинном взаимодействии и вообще намеренных действий, важные как для инженерии человеко-машинных интерфейсов, так и для других областей знаний.
(2) Разработка и проверка в экспериментах с участием человека комплекса технических решений, обеспечивающих повышение эффективности глазоуправления за счет учета микроповедения взгляда. Решение этой задачи может позволить создать существенно улучшенную систему глазоуправления даже без дополнения его использованием сигналов мозгового происхождения – такая технология могла бы быть наиболее востребована как инвалидами, так и здоровыми людьми в силу ее дешевизны, компактности и простоты в использовании.
(3) Разработка и проверка в экспериментах с участием человека комплекса технических решений, обеспечивающих работу новой разновидности ИМК (одной из составляющих нового ИГМК) – специфически чувствительной к намеренному управлению своим взглядом. На данный момент известно крайне ограниченное число работоспособных типов неинвазивных ИМК, и расширение их спектра может открыть принципиально новые возможности развития ИМК-технологии.
(4) Разработка и проверка комплекса усовершенствований технологий глазоуправления и ИМК – учет контекста действий, аугментация данных, использование априорной информации, метаобучение классификаторов, использование компактных магнитометров с оптической накачкой (обеспечивающих рекордное даже для МЭГ пространственное разрешение и отношение сигнал/шум) и др.
(5) Тестирование новых интерфейсов испытуемыми будет направлено не только на техническую оценку их характеристик, но и на выявление новых возможностей, в частности, возможного повышения эффективности решения определенных интеллектуальных задач.
Полученные результаты будут соответствовать мировому уровню исследований или превосходить его.
Предполагается, что на основе результатов проекта будет возможно создание высокоэффективной ассистивной технологией для парализованных людей и появление принципиально новых возможностей взаимодействия с компьютером для здоровых.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Аннотация результатов, полученных в 2022 году
В 2022 году основная работа по проекту была сосредоточена на уточнении фундаментальных закономерностей, на которые предполагается опираться в разрабатываемой технологии интерфейса глаз-мозг-компьютер, а также на создании и отладки методического инструментария для работ по проекту, которые будут выполняться в 2023 и 2024 годах.
1. Уточнена методика выявления компонентов сигнала МЭГ, как связанных, так и не связанных по фазе с фиксациями взгляда, различающихся по амплитуде между намеренными (используемыми для управления) и спонтанными задержками взгляда. Методика позволяет эффективно отделять такие компоненты от артефактов, связанных с движениями глаз. Подробно описан ряд таких компонентов, среди которых, в частности, особый интерес представляет ритмический компонент альфа-бета диапазона с источниками во фронтальных глазодвигательных полях. Подготовлена статья с описанием методики и полученных результатов.
2. В связи с появлением эффективной реализации хорошо интерпретируемой нейросети SimpleNet (Petrosyan et al., 2022), позволяющей осуществлять избирательную настройку на источники МЭГ и ЭЭГ сигнала с разной топографией и частотными спектрами, она была использована вместо ранее планировавшихся бимформеров и GED. Сеть была адаптирована для решения этих задач применительно к нашим данным. Получены предварительные результаты, показавшие возможность разделения по МЭГ единичных задержек взгляда, связанных и не связанных с “глазоуправлением”, после исключения вклада источников, неспецифических для задачи “глазоуправления”. В среднем по группе испытуемых средняя точность до удаления источников, не связанных специфически с управлением, составляла 0,78, после удаления – 0,74 (снижение на 5%).
3. Алгоритмы метаобучения MAML и REPTILE были адаптированы для работы с данными в ИМК/ИГМК. Показана возможность сокращения объема данных нового пользователя ИМК/ИГМК, необходимых для обучения нейросетевого классификатора, при дополнении его алгоритмами метаобучения.
4. Для повышения эффективности управления компьютером при помощи взгляда было изучено микроповедения взгляда в различных ситуациях, таких как рассматривание объектов на экране, фокусировка внимания на объекте с намерением отдать команду и при отсутствии такого намерения. Различия микроповедения взгляда в этих ситуациях позволяют создать классификатор, который с большей точностью, нежели существующие алгоритмы, будет распознавать намерения отдать команду при управлении компьютером, так как будет опираться на физиологические паттерны, нежели на «удержание» взгляда в заданном квадрате, как это делают современные алгоритмы. Для провоцирования длительных фиксаций со схожими характеристиками микроповедения вгляда (контроль к “глазоуправлению”) было разработано специальная экспериментальная методика. Выделен ряд информативных признаков, на основе которых были обучены несколько классификаторов (линейный дискриминантный анализ, метод опорных векторов с линейной функцией и радиальной базисной функцией), которые дали сходные результаты – доля правильно определенных намеренных задержек на тестовой выборке составляла приблизительно 0.8. При обучении и применении классификатора к данным отдельно взятого испытуемого средняя доля правильно определенных намеренных задержек повышается до 0.85 со средним отклонением не более 0.05.
5. С целью обеспечения возможности классификации задержек взгляда в режиме, приближенном к реальному времени, существенно модернизированы и отлажены в пилотных экспериментах алгоритмы и программы базовой экспериментальной среды, используемой в наших работах для моделирования различных видов взаимодействия человека с компьютером с использованием взгляда.
6. При выполнении испытуемыми продолжительных намеренных задержек взгляда в ЭЭГ с использованием методики, разработанной в п. 4, а также методики экспериментального исследования “глазоуправления”, уменьшающей выраженность окуломоторных артефактов в начале задержки, выявлена медленная позитивная волна с максимумом в теменно-затылочных отведения ЭЭГ, следующая позже фиксационного потенциала (лямбда-волны). Она наблюдалась не только при взглядоуправлении, но и при пристальном отслеживании мелких графических элементов, однако отсутствовала при спонтанных задержках взгляда.
7. Отлажена методика использования компактных магнитометров с оптической накачкой (МОН), в том числе при корегистрации с айтрекерными данными и во время глазоуправления. Разработаны методики фиксации МОН в шлеме, обеспечивающем неподвижное размещение их в пространстве с целью обеспечения точных измерений в условиях остаточного градиента поля.
Публикации
1. Васильев А.Н.,Свирин Е.П., Дубынин И.А.,Строганова Т.А., Шишкин С.Л. Cortical alpha/beta oscillations in voluntary prolonged eye fixations The 22nd International Conference on Biomagnetism, p. 513 (год публикации - 2022)
Аннотация результатов, полученных в 2023 году
В начале 2023 года были продолжены попытки улучшить качество работы классификаторов интерфейса мозг-компьютер (ИМК), поскольку существующие неинвазивные ИМК не обеспечивают точностно-скоростные характеристики, при которых ИМК становится полезным для усиления “глазоуправления” (управления техническими устройствами с помощью взгляда) в составе интерфейса глаз-мозг-компьютер (ИГМК), то есть для достижения основной цели нашего проекта:
(1) В углубленном исследовании возможности применения метаоптимизации в переносе результатов обучения классификатора ИМК между испытуемыми/пользователями впервые показана возможность улучшения классификации (в сравнении с переносом без метаоптимизации) без дообучения классификатора на данных нового пользователя, что критически важно для многих приложений ИМК, в особенности в работе с больными с когнитивными нарушениями (Berdyshev et al., 2023).
(2) Впервые созданы байесовские нейросети на основе хорошо зарекомендовавших себя в работе с ЭЭГ EEGNet и ShallowConvNet, и на их основе – метод детекции внедоменных данных (данных, существенно отличающихся от присутствовавших в обучающей выборке) для классификаторов ИМК (Chetkin et al., 2023).
(3) Разработан подход к классификации в ИГМК на основе метода взаимной декорреляции (joint decorrelation) сигналов ЭЭГ и МЭГ.
Ряд работ был направлен на создание возможности эффективного использования в ИГМК нового типа сенсоров сигналов мозгового происхождения:
(4) Разработана и отлажена оригинальная методика создания индивидуальных шлемов для магнитометров с оптической накачкой (МОН) на основе индивидуальных 3D сканов головы. Получены данные в пользу более высокой эффективности МОН в сравнении с ЭЭГ и криогенной МЭГ для детекции синхронизации бета-ритма при квазидвижениях – моторном феномене, который мы планируем (см. ниже) использовать в качестве замены традиционно используемому мысленному представлению (воображению) движений в ИГМК.
Завершено начатое в 2022 году исследование специфических особенностей поведения взгляда при намеренном выборе им объекта – основы технологии “глазоуправления”, которая, в свою очередь, является основным компонентом разрабатываемого нами человеко-машинного интерфейса:
(5) Уточнены ранее полученные результаты о специфике характеристик саккад и фиксаций взгляда при “глазоуправлении” в сравнении с непреднамеренным задержками взгляда (Shevtsova et al., 2023). Проведена серия экспериментов (20 испытуемых) с использованием разработанной в 2022 году методики сопоставления намеренных задержек взгляда при “глазоуправлении” и других типов задержек взгляда, в том числе связанных с пристальным разглядыванием объекта малого размера, и на основе анализа полученных данных описаны особенности микроповедения взгляда при его задержке в локальной области в различных сценариях.
Проведено теоретическое исследование требований к характеристикам высокочувствительных человеко-машинных интерфейсов:
(6) На основе анализа литературных данных предложена гипотеза “зловещей долины” для человеко-машинных интерфейсов (the “Interface Uncanny Valley” hypothesis: Yashin, 2023). В соответствии с этой гипотезой при особенно высокой скорости отклика интерфейса даже небольшое число ошибок будет приводить к восприятию отклика интерфейса как чужого, а его работы как неудачной.
Основные усилия на этапе 2023 года были направлены на создание, с учетом полученных в 2022 и 2023 годах результатов, прототипов человеко-машинных интерфейсов, высоко чувствительных по отношению к намерению пользователя, чтобы обеспечить возможность проведения экспериментов с ними в 2024 году:
(7) Разработаны подход, методика и ПО для ИГМК, в котором взгляд выполняет функцию указания цели, аналогично использованию курсора компьютерной мыши, а “клик” осуществляется попытками совершения движения, детектируемыми ИМК-компонентом системы. Такой подход базируется на гипотезе (Шишкин и др., 2023), выдвинутой на основе анализа литературных данных, о более высокой совместимости с “глазоуправлением” попыток совершения движений в сравнении с представлением движений: при выполнении попыток совершения движений отсутствует необходимость фокусировать внимание на такой подчеркнуто “внутренней” задаче, как представление движений (следует иметь в виду, что внимание является одним из основным драйвером непроизвольных движений глаз). В версии методики для проведения экспериментов с участием здоровых испытуемых роль таких попыток выполняют, прежде всего, квазидвижения – попытки выполнения движения, минимизируемые до такой степени, что исчезают и движения, и отклик в электромиограмме (ЭМГ), однако сохраняется связанная с ними во времени активация коры головного мозга, по топографии сходная с активацией при реальных движениях и при мысленном представлении движений. Вместо квазидвижений также могут использоваться реальные движения, в том числе малоамплитудные (это важно как для оценки возможностей использования технологии пациентами с неполным параличом, так и для отслеживания эффектов фактора сдерживания реального движения при выполнении квазидвижений).
(8) Создана модель интерфейса “глазоуправления”, в котором намеренные задержки взгляда, используемые для выбора объекта на экране, могут распознаваться не только традиционным способом (по порогу длительности задержки), но и с учетом ряда характеристик микроповедения взгляда. Это распознавание производится статистическим классификатором (метод опорных векторов) с дополнительной задержкой около 30 мс, незаметной для пользователя, то есть практически в реальном времени. Разработана, реализована и отлажена методика учета контекста деятельности для определения намеренности задержки взгляда, а также метод объединения результата ее оценки с данными классификатора, учитывающего микроповедение взгляда. Разработана методика эксперимента, воспроизводящего основные особенности реального использования “глазоуправления”, в отличие от ранее опубликованного исследования (Isomoto et al., 2022), в котором “глазоуправление”, усиленное машинным обучением, моделировали некорректным образом – с использованием искусственно задаваемых целей, которые неизбежно должны были менять микроповедение взгляда в сравнении с характерным для реального “глазоуправления”. Проведён двухдневный эксперимент с участием 16 наивных испытуемых, которые выполняли задачи по “глазоуправлению” с использованием лишь порога длительности задержки взгляда, равного 500 мс (доля правильно выбранных объектов на этапе предварительного выбора 56,9 ± 10,3 % в первый день и 65,0 ± 9,9 % во второй день – разница, возможно, связана с модификацией поведения взгляда), а также с использованием классификатора. При этом в первый день использовался классификатор, обученный на ранее полученных групповых данных, а во второй день – индивидуализированный классификатор, обученный с использованием данных первого дня (доля правильно выбранных объектов на этапе предварительного выбора в первый и второй день была равна, соответственно, 87,1 ± 4,1 % и 83,0 ± 7,3 %). С учетом того, что ошибки на этапе предварительного выбора объекта в "глазоуправлении" требуют существенных ресурсов внимания и способствуют быстрому утомлению, результаты можно рассматривать как весьма обнадеживающие в отношении перспектив разработки технологий усиления “глазоуправления” с помощью методов машинного обучения. В рамках нашего проекта создание такой технологии, работающей в реальном времени, обеспечивает базу для моделирования высокочувствительного человеко-машинного взаимодействия на завершающем этапе выполнения проекта.
Публикации
1. Бердышев Д.А.,Грачев А.М., Шишкин С.Л., Козырский Б.Л. Meta-Optimization of Initial Weights for More Effective Few- and Zero-Shot Learning in BCI Classification 2023 IEEE Ural-Siberian Conference on Computational Technologies in Cognitive Science, Genomics and Biomedicine (CSGB), pp. 263-267 (год публикации - 2023) https://doi.org/10.1109/CSGB60362.2023.10329624
2. Четкин Е.И., Шишкин С.Л., Козырский Б.Л. Bayesian opportunities for brain–computer interfaces: enhancement of the existing classification algorithms and out-of-domain detection Algorithms, Vol. 16, Issue 9, Article ID 429 (год публикации - 2023) https://doi.org/10.3390/a16090429
3. Шевцова Ю.Г., Васильев А.Н., Шишкин С.Л. Machine learning for gaze-based selection: performance assessment without explicit labeling International Conference on Human-Computer Interaction, LNCS, Vol. 14054, pp. 311–322 (год публикации - 2023) https://doi.org/10.1007/978-3-031-48038-6_19
4. Яшин А.С. A Challenge for Bringing a BCI Closer to Motor Control: The “Interface Uncanny Valley” Hypothesis 2023 IEEE Ural-Siberian Conference on Computational Technologies in Cognitive Science, Genomics and Biomedicine (CSGB), pp. 242-247 (год публикации - 2023) https://doi.org/10.1109/CSGB60362.2023.10329830
5. Бердышев Д.А.,Грачев А.М., Шишкин С.Л., Козырский Б.Л. Using General-Purpose Meta-Learning Algorithms to Train a BCI Classifier on Less Data Proceedings of the 10th International BCI Meeting (June 6 – 9, 2023, Sonian Forest, Brussels, Belgium), Article ID 144557 (год публикации - 2023)
6. Шишкин С.Л., Бердышев Д.А., Яшин А.С., Заболотний А.Я., Осадчий А.Е., Васильев А.Н. Quasi-Movements as a Model of Attempted Movements: An Alternative to Motor Imagery in Brain-Computer Interfaces Proceedings of the 10th International BCI Meeting (June 6 – 9, 2023, Sonian Forest, Brussels, Belgium), Article ID 144486 (год публикации - 2023)
7. Шишкин С.Л., Яшин А.С., Бердышев Д.А., Васильев А.Н. Квазидвижения как возможная альтернатива воображению движений в нейроинтерфейсных исследованиях Сборник тезисов XXIV съезда физиологического общества им. И. П. Павлова, С. 305-306 (год публикации - 2023)