Ученые из Московского государственного психолого-педагогического университета (МГППУ), МГУ имени М.В. Ломоносова и Высшей школы экономики исследовали механизмы намеренного удержания взгляда, используемого человеком для управления компьютером. Для этого авторы записали у 32 людей 306-канальные магнитоэнцефалограммы — сигналы, очень детально описывающие магнитные поля, которые возникают при работе нейронов головного мозга. Во время записи участники исследования играли в специально разработанную для подобных исследований игру EyeLines. В ней человек с помощью взгляда должен перемещать предметы и создавать из них комбинации.
Параллельно с записью ученые отслеживали движения глаз игроков. Специально разработанная методика позволила выделить задержки взгляда, которые намеренно использовались для управления, и непреднамеренные, спонтанные, происходившие, например, когда игрок изучал позицию. Сопоставив данные активности головного мозга и перемещения взгляда, исследователи определили различия между этими видами задержек.
Оказалось, что намеренные связаны с двумя последовательно развивающимися процессами в мозге. Сначала в участках, отвечающих за движения глаз, возникает тормозящий сигнал, по-видимому, связанный с остановкой автоматического (бессознательного) перемещения взгляда. Затем активируются височные отделы коры, отвечающие за внимание к положению объекта в пространстве. Интересно, что эти процессы начинаются еще до полной фиксации глаз — в первые 0,2–0,3 секунды после перевода взгляда на объект. Спонтанные задержки такими процессами не сопровождались, рассказали ученые.
— Нам удалось получить представление о том, за счет каких процессов в головном мозге человеку удается произвольно задерживать взгляд, чтобы использовать его для управления электронными устройствами. Технологии для управления компьютером с помощью взгляда ранее разрабатывались без опоры на знание физиологических механизмов, делающих задержку взгляда в принципе возможной, — рассказал ведущий научный сотрудник Научно-образовательного центра нейрокогнитивных исследований (МЭГ-центра) МГППУ Сергей Шишкин.
Руководители исследования Сергей Шишкин и Татьяна Строганова обсуждают результаты исследования. Источник: МЭГ-центр МГППУ
Новые данные, полученные с помощью уникальной установки для регистрации многоканальной магнитоэнцефалограммы, находящейся в МЭГ-центре МГППУ, будут полезны для совершенствования подобных интерфейсов.
— Не исключено, что они пригодятся и исследователям из других областей науки. Человек способен намеренно использовать взгляд в общении с людьми — например, мы можем показывать им на предметы, о которых говорим. Такая коммуникация с помощью взгляда очень похожа на то, как человек выбирает объекты в нашей игре. Поэтому, возможно, и наши результаты, и разработанные методики сравнения намеренных и спонтанных задержек взгляда смогут использовать те, кто изучает взаимодействие между людьми, — рассказал Сергей Шишкин.
Подобная технология действительно может помочь в развитии систем управления «человек — компьютер», отметил гендиректор группы компаний ST IT, эксперт рынка TechNet НТИ Антон Аверьянов.
— Сейчас для управления взглядом используется система отслеживания положения глаз, которая «наблюдает» за позицией глаза и подсвечивает соответствующую область. Однако такие системы могут быть недостаточно точными или надежными. Предложенная технология поможет улучшить системы виртуальной реальности, которые станут более интуитивными, — сказал специалист.
Технологии управления компьютером с помощью взгляда уже достигли уровня, при котором они эффективно применяются в VR/AR и в системах для людей с ограниченной подвижностью. Современные трекеры взгляда способны с высокой точностью фиксировать направление и длительность фиксации, распознавая команды пользователя по задержке взгляда на виртуальных элементах. Однако до недавнего времени в этих интерфейсах практически не учитывались нейрофизиологические аспекты осознанного контроля взгляда, отметил ведущий специалист в области ИИ Университета 2035 Ярослав Селиверстов.
— Это открытие — важный шаг к созданию биологически обоснованных пользовательских интерфейсов. Перспективы включают развитие интерфейсов «мозг — компьютер» без дополнительных устройств, только на основе намеренного взгляда. Также открывается путь к снижению количества ложных срабатываний и к более естественному взаимодействию в VR/AR-средах. В будущем возможно объединение данных о взгляде с прямыми сигналами мозга для создания гибридных нейроинтерфейсов. Это особенно актуально для людей с нарушениями речи и моторики, — добавил он.
Результаты исследования, поддержанного грантом Российского научного фонда (РНФ), опубликованы в журнале Cortex.
Если вы хотите стать героем публикации и рассказать о своем исследовании, заполните форму на сайте РНФ.
