Аннотация результатов, полученных в 2022 году
В 2022 году основная работа по проекту была сосредоточена на уточнении фундаментальных закономерностей, на которые предполагается опираться в разрабатываемой технологии интерфейса глаз-мозг-компьютер, а также на создании и отладки методического инструментария для работ по проекту, которые будут выполняться в 2023 и 2024 годах. 1. Уточнена методика выявления компонентов сигнала МЭГ, как связанных, так и не связанных по фазе с фиксациями взгляда, различающихся по амплитуде между намеренными (используемыми для управления) и спонтанными задержками взгляда. Методика позволяет эффективно отделять такие компоненты от артефактов, связанных с движениями глаз. Подробно описан ряд таких компонентов, среди которых, в частности, особый интерес представляет ритмический компонент альфа-бета диапазона с источниками во фронтальных глазодвигательных полях. Подготовлена статья с описанием методики и полученных результатов. 2. В связи с появлением эффективной реализации хорошо интерпретируемой нейросети SimpleNet (Petrosyan et al., 2022), позволяющей осуществлять избирательную настройку на источники МЭГ и ЭЭГ сигнала с разной топографией и частотными спектрами, она была использована вместо ранее планировавшихся бимформеров и GED. Сеть была адаптирована для решения этих задач применительно к нашим данным. Получены предварительные результаты, показавшие возможность разделения по МЭГ единичных задержек взгляда, связанных и не связанных с “глазоуправлением”, после исключения вклада источников, неспецифических для задачи “глазоуправления”. В среднем по группе испытуемых средняя точность до удаления источников, не связанных специфически с управлением, составляла 0,78, после удаления – 0,74 (снижение на 5%). 3. Алгоритмы метаобучения MAML и REPTILE были адаптированы для работы с данными в ИМК/ИГМК. Показана возможность сокращения объема данных нового пользователя ИМК/ИГМК, необходимых для обучения нейросетевого классификатора, при дополнении его алгоритмами метаобучения. 4. Для повышения эффективности управления компьютером при помощи взгляда было изучено микроповедения взгляда в различных ситуациях, таких как рассматривание объектов на экране, фокусировка внимания на объекте с намерением отдать команду и при отсутствии такого намерения. Различия микроповедения взгляда в этих ситуациях позволяют создать классификатор, который с большей точностью, нежели существующие алгоритмы, будет распознавать намерения отдать команду при управлении компьютером, так как будет опираться на физиологические паттерны, нежели на «удержание» взгляда в заданном квадрате, как это делают современные алгоритмы. Для провоцирования длительных фиксаций со схожими характеристиками микроповедения вгляда (контроль к “глазоуправлению”) было разработано специальная экспериментальная методика. Выделен ряд информативных признаков, на основе которых были обучены несколько классификаторов (линейный дискриминантный анализ, метод опорных векторов с линейной функцией и радиальной базисной функцией), которые дали сходные результаты – доля правильно определенных намеренных задержек на тестовой выборке составляла приблизительно 0.8. При обучении и применении классификатора к данным отдельно взятого испытуемого средняя доля правильно определенных намеренных задержек повышается до 0.85 со средним отклонением не более 0.05. 5. С целью обеспечения возможности классификации задержек взгляда в режиме, приближенном к реальному времени, существенно модернизированы и отлажены в пилотных экспериментах алгоритмы и программы базовой экспериментальной среды, используемой в наших работах для моделирования различных видов взаимодействия человека с компьютером с использованием взгляда. 6. При выполнении испытуемыми продолжительных намеренных задержек взгляда в ЭЭГ с использованием методики, разработанной в п. 4, а также методики экспериментального исследования “глазоуправления”, уменьшающей выраженность окуломоторных артефактов в начале задержки, выявлена медленная позитивная волна с максимумом в теменно-затылочных отведения ЭЭГ, следующая позже фиксационного потенциала (лямбда-волны). Она наблюдалась не только при взглядоуправлении, но и при пристальном отслеживании мелких графических элементов, однако отсутствовала при спонтанных задержках взгляда. 7. Отлажена методика использования компактных магнитометров с оптической накачкой (МОН), в том числе при корегистрации с айтрекерными данными и во время глазоуправления. Разработаны методики фиксации МОН в шлеме, обеспечивающем неподвижное размещение их в пространстве с целью обеспечения точных измерений в условиях остаточного градиента поля.

Аннотация результатов, полученных в 2023 году
В начале 2023 года были продолжены попытки улучшить качество работы классификаторов интерфейса мозг-компьютер (ИМК), поскольку существующие неинвазивные ИМК не обеспечивают точностно-скоростные характеристики, при которых ИМК становится полезным для усиления “глазоуправления” (управления техническими устройствами с помощью взгляда) в составе интерфейса глаз-мозг-компьютер (ИГМК), то есть для достижения основной цели нашего проекта: (1) В углубленном исследовании возможности применения метаоптимизации в переносе результатов обучения классификатора ИМК между испытуемыми/пользователями впервые показана возможность улучшения классификации (в сравнении с переносом без метаоптимизации) без дообучения классификатора на данных нового пользователя, что критически важно для многих приложений ИМК, в особенности в работе с больными с когнитивными нарушениями (Berdyshev et al., 2023). (2) Впервые созданы байесовские нейросети на основе хорошо зарекомендовавших себя в работе с ЭЭГ EEGNet и ShallowConvNet, и на их основе – метод детекции внедоменных данных (данных, существенно отличающихся от присутствовавших в обучающей выборке) для классификаторов ИМК (Chetkin et al., 2023). (3) Разработан подход к классификации в ИГМК на основе метода взаимной декорреляции (joint decorrelation) сигналов ЭЭГ и МЭГ. Ряд работ был направлен на создание возможности эффективного использования в ИГМК нового типа сенсоров сигналов мозгового происхождения: (4) Разработана и отлажена оригинальная методика создания индивидуальных шлемов для магнитометров с оптической накачкой (МОН) на основе индивидуальных 3D сканов головы. Получены данные в пользу более высокой эффективности МОН в сравнении с ЭЭГ и криогенной МЭГ для детекции синхронизации бета-ритма при квазидвижениях – моторном феномене, который мы планируем (см. ниже) использовать в качестве замены традиционно используемому мысленному представлению (воображению) движений в ИГМК. Завершено начатое в 2022 году исследование специфических особенностей поведения взгляда при намеренном выборе им объекта – основы технологии “глазоуправления”, которая, в свою очередь, является основным компонентом разрабатываемого нами человеко-машинного интерфейса: (5) Уточнены ранее полученные результаты о специфике характеристик саккад и фиксаций взгляда при “глазоуправлении” в сравнении с непреднамеренным задержками взгляда (Shevtsova et al., 2023). Проведена серия экспериментов (20 испытуемых) с использованием разработанной в 2022 году методики сопоставления намеренных задержек взгляда при “глазоуправлении” и других типов задержек взгляда, в том числе связанных с пристальным разглядыванием объекта малого размера, и на основе анализа полученных данных описаны особенности микроповедения взгляда при его задержке в локальной области в различных сценариях. Проведено теоретическое исследование требований к характеристикам высокочувствительных человеко-машинных интерфейсов: (6) На основе анализа литературных данных предложена гипотеза “зловещей долины” для человеко-машинных интерфейсов (the “Interface Uncanny Valley” hypothesis: Yashin, 2023). В соответствии с этой гипотезой при особенно высокой скорости отклика интерфейса даже небольшое число ошибок будет приводить к восприятию отклика интерфейса как чужого, а его работы как неудачной. Основные усилия на этапе 2023 года были направлены на создание, с учетом полученных в 2022 и 2023 годах результатов, прототипов человеко-машинных интерфейсов, высоко чувствительных по отношению к намерению пользователя, чтобы обеспечить возможность проведения экспериментов с ними в 2024 году: (7) Разработаны подход, методика и ПО для ИГМК, в котором взгляд выполняет функцию указания цели, аналогично использованию курсора компьютерной мыши, а “клик” осуществляется попытками совершения движения, детектируемыми ИМК-компонентом системы. Такой подход базируется на гипотезе (Шишкин и др., 2023), выдвинутой на основе анализа литературных данных, о более высокой совместимости с “глазоуправлением” попыток совершения движений в сравнении с представлением движений: при выполнении попыток совершения движений отсутствует необходимость фокусировать внимание на такой подчеркнуто “внутренней” задаче, как представление движений (следует иметь в виду, что внимание является одним из основным драйвером непроизвольных движений глаз). В версии методики для проведения экспериментов с участием здоровых испытуемых роль таких попыток выполняют, прежде всего, квазидвижения – попытки выполнения движения, минимизируемые до такой степени, что исчезают и движения, и отклик в электромиограмме (ЭМГ), однако сохраняется связанная с ними во времени активация коры головного мозга, по топографии сходная с активацией при реальных движениях и при мысленном представлении движений. Вместо квазидвижений также могут использоваться реальные движения, в том числе малоамплитудные (это важно как для оценки возможностей использования технологии пациентами с неполным параличом, так и для отслеживания эффектов фактора сдерживания реального движения при выполнении квазидвижений). (8) Создана модель интерфейса “глазоуправления”, в котором намеренные задержки взгляда, используемые для выбора объекта на экране, могут распознаваться не только традиционным способом (по порогу длительности задержки), но и с учетом ряда характеристик микроповедения взгляда. Это распознавание производится статистическим классификатором (метод опорных векторов) с дополнительной задержкой около 30 мс, незаметной для пользователя, то есть практически в реальном времени. Разработана, реализована и отлажена методика учета контекста деятельности для определения намеренности задержки взгляда, а также метод объединения результата ее оценки с данными классификатора, учитывающего микроповедение взгляда. Разработана методика эксперимента, воспроизводящего основные особенности реального использования “глазоуправления”, в отличие от ранее опубликованного исследования (Isomoto et al., 2022), в котором “глазоуправление”, усиленное машинным обучением, моделировали некорректным образом – с использованием искусственно задаваемых целей, которые неизбежно должны были менять микроповедение взгляда в сравнении с характерным для реального “глазоуправления”. Проведён двухдневный эксперимент с участием 16 наивных испытуемых, которые выполняли задачи по “глазоуправлению” с использованием лишь порога длительности задержки взгляда, равного 500 мс (доля правильно выбранных объектов на этапе предварительного выбора 56,9 ± 10,3 % в первый день и 65,0 ± 9,9 % во второй день – разница, возможно, связана с модификацией поведения взгляда), а также с использованием классификатора. При этом в первый день использовался классификатор, обученный на ранее полученных групповых данных, а во второй день – индивидуализированный классификатор, обученный с использованием данных первого дня (доля правильно выбранных объектов на этапе предварительного выбора в первый и второй день была равна, соответственно, 87,1 ± 4,1 % и 83,0 ± 7,3 %). С учетом того, что ошибки на этапе предварительного выбора объекта в "глазоуправлении" требуют существенных ресурсов внимания и способствуют быстрому утомлению, результаты можно рассматривать как весьма обнадеживающие в отношении перспектив разработки технологий усиления “глазоуправления” с помощью методов машинного обучения. В рамках нашего проекта создание такой технологии, работающей в реальном времени, обеспечивает базу для моделирования высокочувствительного человеко-машинного взаимодействия на завершающем этапе выполнения проекта.