Аннотация результатов, полученных в 2020 году
Исходная идея создания интерфейса «Мозг-компьютер» (ИМК) состоит том, чтобы захватить управляющие сигналы непосредственно от мозга и преобразовать их в понятный машинный код для внешних устройств в форме команды. Такие сигналы мозга могут быть полезны для взаимодействия с инвалидным креслом, протезом или целым экзоскелетом, а также текстовым процессором, практически, в режиме антропоморфного управления, обеспечивая тем самым человеку принципиально новые каналы связи, которые ранее были для него недоступны в результате травмы или заболевания. Интерфейс «Мозг-компьютер», таким образом, работает в обход нормального эфферентного нейронного пути, поскольку непосредственно транслирует регистрируемые потенциалы мозга в команды управления внешним устройствам. Такое направление нейрокибернетических исследований получило широкое развитие по всему миру и в настоящее время достигнуты большие успехи. Прогресс, отчасти, обусловлен современными достижениями в микропроцессорных технологиях, позволяющих производить вычисления в режиме реального времени, но также и благодаря более глубокому пониманию нейрофизиологических механизмов психических процессов, комплексным исследованиям полного бионического цикла – от нейронов к целостной структуре сложной нейронной сети головной мозг. По-прежнему, решающим фактором, способными ускорить широкое распространение технологии нейроуправления и нейрокоммуникации не только для исследовательских целей, но и на массовом потребительском рынке, является разработка современных и эффективных методов анализа и интерпретации сигналов мозга человека в форме электроэнцефалограммы (ЭЭГ), развитие которых способно непосредственно повлиять на надёжность функционирования невербального канала коммуникации, точность классификации специфических паттернов электрической активности мозга и общую устойчивость системы. Для решения указанных проблем был предложен новый оригинальный подход к классификации квазистационарной биоэлектрической активности мозга человека, суть которого состоит в синтезировании искусственных нейронных сетей, способных обнаруживать инвариантные и устойчиво воспроизводимые субъектом паттерны ЭЭГ и использовать их в качестве команд управления, в том числе, благодаря оригинальному методу интерпретации «константности» электрограмм мозга. Метод основан на построении диаграмм размаха и выделении главных компонент ЭЭГ-паттернов, сопряжённых с реализацией мысленных эквивалентов реальных движений, а также формировании нелинейных отображений многомерного пространства на плоскость. Помимо этого, разработанный метод способен решать задачу построения авторегрессионных моделей прогнозирования сигналов ЭЭГ на коротких временных интервалах с целью получения оценок устойчивости биоэлектрической активности мозга человека как в покое, так и при решении психомоторных задач различного содержания. Для оценки надёжности разработанного метода интерпретации "константности" и инвариантности сигналов мозга и детектирования мысленных психомоторных команд был разработан и протестирован комбинированный классификатор, сочетающий в себе свойства медианного генеративного классификатора и принципы работы методов дискриминации ЭЭГ-паттернов, сопряжённых с выполнением мысленных эквивалентов реальных движений. Указанный подход позволил достичь точности классификации целевых паттернов до 80-83%, а при учёте наиболее значимых опорных признаков ЭЭГ в ходе аппроксимации признакового пространства и снижение размерности входных векторов с 20 до 8 наиболее значимых пространственно-частотных параметров удалось повысить классификационную способность комитета нейронных сетей в условиях детектирования искомых ЭЭГ-паттернов, в среднем, до 89,8%. Наряду с этим, проведено моделирование адаптивного метода фильтрации ЭЭГ, в частности, разработан новый математический аппарат многомерного сингулярного спектрального анализа и адаптивный фильтр нижних частот в рамках метрики Хаусдорфа с целью поиска инвариантных паттернов биоэлектрической активности мозга в квазистационарной ЭЭГ. Показано, что применение синтезированного адаптивного фильтра способно обеспечить надежный автоматизированный поиск индуцированных премоторных ЭЭГ-паттернов и корректное определение их временных границ без использования внешних синхронизирующий событий (стимулов). Новый метод адаптивной фильтрации ЭЭГ позволил достичь классификационной способности метода детектирования целевых премоторных паттернов мозга вплоть до 96%, при средней точности 80±16%. Предложенное решение, прежде всего, базируется на гипотезе, согласно которой функция поиска должна отражать факт наличия начальной и конечной границ целевого паттерна в ЭЭГ, генерируемого соответствующими морфологическими субстратами - мозговыми структурами. Требуемая чувствительность такой функции достигается за счёт применения синтезированного адаптивного фильтра нижних частот, полоса пропускания которого на анализируемой временной эпохе максимально соответствует спектру искомых паттернов ЭЭГ. Сравнительный анализ методов частотной фильтрации с априорно заданными параметрами и алгоритмов адаптивной подстройки показал значительное превосходство последних, поскольку они способны учитывать значимые флуктуации временных и пространственно-частотных характеристик ЭЭГ в условиях реализации произвольных движений и их мысленных эквивалентов. Наиболее значимым и ценным результатом проведённого исследования является применение адаптивного фильтра и детальное определение временных границ премоторных паттернов ЭЭГ, предшествующих произвольным двигательным актам. Показано, что временной интервал 500 мс, предшествующий реализации реального движения, с высокой вероятностью содержит в себе соответствующий электрографический коррелят, связанный с принятием решения и формированием субъективного желания выполнить движение (W-judgment), которое, как известно, формируется за 300-500 мс до его фактической реализации. Впервые получены детализированные оценки индивидуальных особенностей биоэлектрической активности мозга обследуемых в контексте свойств «константности» ЭЭГ, анализ которой позволил уточнить вклад нестационарных компонентов мозговых сигналов в общую статистику работы методов классификации. Экспериментально было продемонстрировано, что наиболее высокие показатели «константности» были тесным образом связаны с проекционными зонами коры, обеспечивающими подготовку и реализацию целенаправленного поведения, в том числе, фронтальными, премоторными и центральными (моторными). При этом индивидуальная неустойчивость высоких частот ЭЭГ (бета- и гамма-диапазонов) в анализируемых электрограммах, связанных с произвольными движениями и их мысленными эквивалентами, значимо коррелировала со снижением «константности» и повышением вариативности анализируемых целевых паттернов в заинтересованных областях мозга, обеспечивающих генерацию управляющих команд. В ходе дальнейшего проведения исследования авторами планируется выполнить тестирование разработанных методов и алгоритмов детектирования и классификации специфических ЭЭГ-паттернов, сопряжённых с реализацией произвольных мысленных эквивалентов реальных движений, при использовании современных средств в рамках технологий виртуальной реальности, а также для управления бионическим протезом руки «Manifesto», приобретённых за счёт средств Российского Научного Фонда.

Аннотация результатов, полученных в 2021 году
В настоящее время все большее значение приобретают формы человеко-машинного взаимодействия, которые служат для обеспечения пациентов с двигательными ограничениями новыми каналами коммуникации и управления, утраченными по различным причинам. В последние годы системы интерфейсов «Мозг-компьютер» (ИМК) показали свой высокий потенциал в качестве средства перенаправления сигналов мозга непосредственно на внешние технические устройства, минуя нормальные нервно-мышечные каналы, в том числе спинной мозг, периферическую нервную систему и опорно-двигательный аппарат. Расшифровывая намерения человека на основе регистрируемых сигналов мозга, системы ИМК могут обеспечить его интерфейсом для взаимодействия с роботизированными протезами и различными программными средам, в том числе виртуальными. Неинвазивный подход на основе сигналов электроэнцефалограммы (ЭЭГ) оказался весьма полезным для развития технологии интерфейсов «Мозг-компьютер» и доказал свою высокую безопасность и надёжность, прежде всего, в рамках обеспечения средствами коммуникации с внешним миром обездвиженных по разным причинам пациентов. Поскольку работа ИМК не требует использования какой-либо мышечной активности, система связи, основанная на методах нейрокоммуникации, практически, способна функционировать даже у людей с тяжелыми двигательными нарушениями, вызванными нейродегенеративными заболеваниями или травмами спинного мозга. В настоящее время для решения задач нейрокоммуникации наиболее интенсивно используются методы анализа спонтанной ЭЭГ, включающие в себя как классификаторы на основе методов машинного обучения, так и искусственные нейронные сети (ИНС), получившие достаточно широкое распространение в задачах нейроуправления. Нейронные сети весьма успешно применяются для решения широкого круга научных и инженерных задач, в частности для моделирования, фильтрации и классификации различных биологических сигналов, в том числе, электрической активности головного мозга. Большинство, наблюдаемых в живой природе процессов, являются нелинейными, благодаря чему получили широкое распространение нелинейные математические нейросетевые методы. В связи с этим, в основу разрабатываемого подхода была положена нейронная сеть, представляющая собой многослойный персептрон (Multilayer Perceptron – MLP), а также сети свёрточного типа Multi-headed CNN с оригинальными алгоритмами обучения. Результаты сравнительного анализа показывают выраженное превосходство нелинейных нейросетевых алгоритмов над линейными, прежде всего, в части эффективности их функционирования и адаптивной настройки. Последнее может быть достигнуто, в частности, за счёт разработки новых нейросетевых методов, интегрирующих широкие возможности настройки и преимущества различных подходов, способных эффективно детектировать специфические (инвариантные) паттерны биоэлектрической активности мозга человека. В ходе реализации второго этапа проекта РНФ разработана новая модульная структура комитета нейронных сетей, способного к автоматизированному поиску оптимальных настроек нейросетевого классификатора в процессе обучения и тестирования для построения наиболее оптимальной модели нейронной сети с использованием широкого набора методов статистической предобработки входных сигналов. В процессе исследования информативных признаков ЭЭГ было продемонстрировано, что разработанные методы способны весьма эффективности обнаруживать значимые показатели биоэлектрической активности мозга в ЭЭГ в процессе реализации произвольной мыслительной деятельности, в том числе моторного и вербального содержания. Полученные результаты согласуются с уже имеющимися данными, указывающими на то, что нейроинтерфейсы, эксплуатирующие идеомоторную активность и нейросетевой подход для управления, способны обеспечить надёжный канал управления, однако требуют более тщательной подготовки и обучения пользователей, в том числе, за счёт разработки новых методических подходов и сценариев, обеспечивающих простую и быструю интеграцию технических средств в соматосенсорную схему тела человека. Полученные нами результаты хорошо согласуются с многочисленными литературными данными, указывающими на то, что специфические информационные процессы реализуются преимущественно на высоких (от 30 до 100 Гц) ЭЭГ-частотах, поскольку именно они в определённой степени определяли характеристики опорных векторов, анализируемых нейросетевым классификатором. Исследования, использующие неинвазивные методы регистрации гамма-осцилляций с частотой от 35 до 100 Гц, убедительно показали, что высокие ЭЭГ-частоты в большей степени, чем низкие (до 35 Гц), коррелируют с произвольной двигательной активностью и мыслительной деятельностью. Показано, что осцилляторная гамма-активность, как правило, более локально представлена, согласуется с соматотопическим представлением схемы тела, а мощность гамма-частот в сенсомоторной коре головного мозга непосредственно связана с произвольной двигательной активностью. В ходе работы нами разработан оригинальный метод вейвлет-энтропии для разделения нативных ЭЭГ данных на соответствующие временные интервалы с помощью «скользящего» временного окна на основе дискретного (ДВП) и непрерывного вейвлет-преобразования (НВП). Разработанный метод позволил вычислить вероятности появления доли энергии искомого паттерна ЭЭГ на заданном уровне декомпозиции. Данные методы дополняли друг друга и обладали сравнительно высоким быстродействием и высоким разрешением по частоте искомого электрографического паттерна, сопряжённого с произвольной мыслительной деятельностью. Плотность спектра вейвлет-энергии нами описана локальным спектром энергии на основе непрерывного вейвлет-преобразования, характеризующим энергетические уровни функции в частотно-временном многомерном пространстве ЭЭГ. Помимо этого, разработан новый критерий оценки глобального спектра энергии суммарной биоэлектрической активности мозга (ЭЭГ). Результат вычисления функции вейвлет-энтропии в локальном диапазоне частот, полученный с помощью нового разработанного критерия оптимальности, показал, что минимальное значение критерия достигается во временных окнах, предшествующих непосредственному выполнению произвольного движения, а оптимальная граница поиска специфического паттерна ограничивается временным интервалом 300-500 мс. С целью увеличения чувствительности метрики на основе разработанного аппарата многомерного сингулярного спектрального анализа и метрики Хаусдорфа был синтезирован оригинальный адаптивный фильтр, полоса пропускания которого на анализируемой временной шкале максимально соответствует спектру искомых ЭЭГ-паттернов мозга, , сопряжённых с произвольными эквивалентами реальных движений и мысленной вербализацией. Показано, что применение синтезированного адаптивного фильтра обеспечило надежный автоматический поиск индуцированных ЭЭГ-паттернов и корректное определение их временных границ (точность до 96%). Сравнительный анализ методов частотной фильтрации с априорно заданными параметрами и алгоритмов адаптивной подстройки показал значительное превосходство последних, поскольку они способны учитывать значимые флуктуации как временных, так и пространственно-частотных характеристик ЭЭГ в условиях реализации произвольной мыслительной деятельности. Есть основания полагать, что разработка новых подходов к распознаванию и классификации паттернов активности мозга, в том числе, на основе перспективных самообучающихся моделей нейронных сетей с реконфигурируемой (в т.ч., достраиваемой в зависимости от сложности решаемой задачи) архитектурой позволит значительно повысить надёжность канала невербальной и немышечной коммуникации в рамках технологии нейроинтерфейсов, что и является предметом проводимых в настоящее время исследований.

Аннотация результатов, полученных в 2022 году
В ходе реализации третьего этапа проекта разработан макет АПК нейроинтерфейса, включающий мобильный компьютер, сопряжённый с аппаратными и программными компонентами ИМК. Разработаны методы и алгоритмы нейросетевой классификации инвариантных паттернов мозга человека на основе анализа сигналов ЭЭГ. С использованием разработанных критериев оптимальности, методов и алгоритмов проведён поиск ЭЭГ-паттернов, сопряжённых с двигательной активностью. Перед применением разработанных методов производилась проверка каждой экспериментальной сессии на стационарность, а именно, каждый одномерный ряд ЭЭГ прошел проверку тестом Дики-Фуллера на стационарность с 5% значимостью. С целью повышения качества сравнительного временного анализа были использованы такие критерии оптимальности, как относительная вейвлет-энтропия (relative wavelet entropy, RWE) и вариация энтропии l-го окна относительно энтропии всей последовательности измерений векторов ЭЭГ. Вероятности распределения вейвлет-энергии по уровням рассчитывались для каждого l-го окна, а вероятности распределения вейвлет-энергии – на всем временном интервале измерений для всего анализируемого ряда. Чем больше значение вейвлет-энтропии для l-го окна, тем больше отличается сигнал на этом временном интервале от спокойного бодрствования, тем вероятнее наличие искомого ЭЭГ-паттерна. Показано, что методы на основе дискретного вейвлет-преобразования и непрерывного вейвлет-преобразования имеют более высокую чувствительность, по сравнению с методами на основе БПФ. Выделенные паттерны с помощью модифицированных методов на основе спектральной энтропии и дискретного вейвлет-преобразования были использованы для формирования выборки в рамках классификации премоторных паттернов ЭЭГ и фоновой активности мозга человека. Задача классификации заключалась в разделении двух классов: фоновое состояние и двигательная активность, а также дополнительных классов типа двигательной активности – правой, левой руки и ног. Согласно результатам классификации, точность при использовании стандартных методов выделения паттернов, в среднем, составляла не более 65%. Тогда как при использовании модифицированного метода на основе спектральной энтропии, точность классификации достигала 78%. При формировании выборки с использованием разработанного метода на основе непрерывного вейвлте-преобразования точность классификации, в среднем, составила более 85%. Таким образом, использование разработанных методов частотно-временной локализации паттернов позволяет качественно произвести выделение границ паттернов, а также сформировать репрезентативную выборку для алгоритмов машинного обучения. Разработан пользовательский интерфейс для формирования обратной связи в системе, в том числе в среде виртуальной реальности, а также нейросопряжения с макетом бионической кисти и инвалидным креслом. Кроме того, разработан единый протокол трансляции управляющих команд нейроинтерфейса для внешних устройств. Программный комплекс включает в себя игровое приложение виртуальной реальности, управление в котором сопряжено с выполнением мысленных эквивалентов реальных движений. В основе мотивационной компоненты методики лежит игровой интерфейс в среде виртуальной реальности, совмещение которых способствует глубокому погружению пользователя в процесс идеомоторных тренировок. Дополнительно разработано приложение в форме виртуального аватара от первого лица, выполняющего различные движения конечностями с целью глубокого погружения пользователя в виртуальную среду и повышения эффективности обучения в контуре нейроинтерфейса. В качестве команд, используемых для управления виртуальным аватаром, использовались мысленные эквиваленты реальных движений, совершаемых пользователем в произвольном режиме. Разработаны комплексные методические рекомендации по обучению нейросетевого классификатора и интуитивно понятный пользовательский графический интерфейс, сопряжённый с разработанной моделью ИМК, включающей в себя нейросетевой классификатор. Для обучения классификатора был использован набор экспериментальных данных в парадигме HaLT (Hand - рука, Leg - нога, Tongue - язык), поскольку она отвечает всем необходимым требованиям по организации нейроуправления в среде виртуальной реальности. В результате вычислительных экспериментов было показано, что наиболее оптимальная конфигурация модели классификатора – многослойного персептрона в скрытом слое должна состоять из 150 нейронов при 289-мерном векторе данных. Оптимальной для обучения является активационная функция ReLU (Rectified Linear Unit) с параметром L2-регуляризации α = 0.0001, алгоритмом оптимизации Adam и скоростью обучения 0.001. Разработанный АПК был протестирован в верификационном исследовании с привлечением 4 здоровых обследуемых (средний возраст 26,7 лет) и 4 пациентов (средний возраст 42 года) с частичным двигательными нарушениями, передвигающихся на инвалидном кресле-коляске. Результат классификации целевых идеомоторных паттернов в среде виртуальной реальности показал, что при наиболее оптимальная конфигурация нейросетевого классификатора в ходе кросс-валидации достигала точности работы – 86%, при средней оценке - 84.5% для 4 целевых ЭЭГ-паттернов. Полученный результат можно рассматривать достаточно высоким с учетом количества целевых классов произвольных мысленных действий (уровень случайной классификации 25%) и использования данных от разных обследуемых. Задача реального нейроуправления состояла в перемещении на моторизированном кресле для инвалидов по заданной квадратной траектории, периметр составлял 20 метров. Перемещение кресла вперед осуществлялось мысленным представлением движений ног (целевые отведения Cz, Pz), направо – правой руки (целевые отведения F3, C3), налево – левой руки (целевые отведения C4, F4). Результат управления инвалидным креслом в серии обследований показал, что точность распознавания мысленно генерируемых команд варьировала в диапазоне от 60 до 80% у практически здоровых пользователей и от 40 до 70% - у пациентов. Движение по часовой стрелке (повороты направо), как правило, оказывалось более эффективным с точки зрения точности распознавания команд у всех восьми обследуемых, которая составляла 52%. При движении против часовой стрелки (повороты налево) точность, в среднем, составляла 41%. Все обследуемые лица, в целом, справились с поставленным заданием, при этом, отклонение траектории движения кресла от заданного периметра составило в среднем 0.6±0.1, а именно, до 17% длины периметра. У 2 практически здоровых обследуемых (из 4) и у одного обследуемого из числа пациентов индивидуальное отклонение от траектории достигало 25% длины периметра. Вероятность ошибок в группе пациентов в режиме управления была выше на 14,6%.