Разработка стимул-независимой модели интерфейса "Мозг-компьютер" для реабилитации людей с ограниченными возможностями

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 20-19-00627

НазваниеРазработка стимул-независимой модели интерфейса "Мозг-компьютер" для реабилитации людей с ограниченными возможностями

Руководитель Шапошников Дмитрий Григорьевич, Кандидат технических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Южный федеральный университет" , Ростовская обл

Конкурс №45 - Конкурс 2020 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 09 - Инженерные науки; 09-609 - Автоматизированные комплексы для биологии и медицины

Ключевые слова Нейрофизиологические механизмы, нейроинтерфейсы, электроэнцефалограмма, нейронные сети, когнитивные процессы, виртуальная реальность, бионические протезы.

Код ГРНТИ34.55.19; 28.23.37

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Проект посвящён разработке стимул-независимого (асинхронного) нейроинтерфейса (интерфейса мозг-компьютер, ИМК), интегрирующего принципиально новые обучаемые нейросетевые модели, алгоритмы и вероятностные критерии оптимального поиска, идентификации и декодирования специфических ЭЭГ-паттернов со средой виртуальной реальности и техническими средствами реабилитации людей с моторными дисфункциями. Актуальность разработки новых технологий создания нейроинтерфейсов обусловлена, прежде всего, необходимостью существенного повышения надежности их функционирования, расширения алфавита управляющих команд и, что не менее важно, скорости управления (Kubler, 2015, Shah, 2018). Наличие указанных ограничений привело к тому, что практически все разрабатываемые в настоящее время нейроинтерфейсы находятся на стадии лабораторных исследований или на самых ранних этапах клинического тестирования (Hill, Häuser, 2014; Kubler, 2015, Ryan, 2018). Разработка гибридных систем с использованием классификаторов паттернов активности мозга на основе самообучающихся искусственных нейронных сетей и технологий виртуальной реальности позволит создавать значительно более эффективные системы, перспективные для использования как при решении широкого спектра прикладных задач, так и исследования механизмов мозга, лежащих в основе перцептивных и когнитивных процессов, в том числе, при управлении виртуальной реальностью и бионическими протезами. Новизна предлагаемого подхода состоит в синтезировании искусственных нейронных сетей, способных самостоятельно обнаруживать воспроизводимые субъектом паттерны ЭЭГ и использовать их в качестве команд управления, в том числе, благодаря оригинальному методу интерпретации «константности» мозговой активности, на коротких интервалах времени. В рамках такого подхода обучение и совершенствование работы классификатора паттернов ЭЭГ осуществляется непосредственно в динамике функционирования (он-лайн обучение) без использования специально отобранных обучающих и верификационных выборок данных посредством формирования уникального для каждого пользователя алфавита команд управления нейроинтерфейсом. это позволяет не только индивидуализировать, но и постоянно совершенствовать работу нейроинтерфеса за счет расширения алфавита управляющих команд, повышения надежности и скорости их распознавания, что обеспечит существенное повышение эффективности этого канала управления. Реализация самообучающихся нейросетевых алгоритмов представляется наиболее сложной задачей (Übeyli, 2009; Yan, Zhou, 2015; Attia e.a., 2018), однако позволяет решить практически все принципиальные проблемы, ограничивающие в настоящее время использование нейроинтерфейсов в среде конечных пользователей (Hughes, 2014; Chu, 2015). В ходе реализации проекта будет выполнено моделирование нейросетевой структуры при работе с многомерными сигналами ЭЭГ в нейросетевом базисе, который получил в последние годы достаточно широкое распространение (Vedavathi, Hiremath, 2015; Mateo, Torres, 2015; Kordjazi e.a., 2017). Для этого будут разработаны оригинальные решения на основе авторегрессионных и кластерных нейросетевых моделей, в т.ч. сетей глубокого обучения, способных к прогнозированию сигналов электроэнцефалограммы на коротких временных интервалах и упорядочиванию данных в многомерном признаковом пространстве. Анализ и интерпретация структуры идентифицируемых паттернов, специфичных для различных видов психомоторной и мыслительной деятельности, будут осуществляться в контексте существующих представлений о механизмах деятельности мозга, в том числе, обеспечивающих реализацию идеомоторных актов, пространственно-образного и вербально-логического мышления. Реализуемый в рамках настоящего проекта подход базируется на трех принципиальных моментах. Во-первых, использовании самообучающейся нейронной сети с модифицируемой (реконфигурируемой) архитектурой для построения асинхронного нейроинтерфейса, способного детектировать специфические для различных видов идеомоторной или мыслительной деятельности ЭЭГ-паттерны в широком частотном диапазоне. Во-вторых, применении технологии виртуальной реальности, обеспечивающей создание предельно контролируемой среды как на этапе обучения, так и функционирования пользователя. Наконец, использовании стимул-независимой модели деятельности, в которой обследуемый генерирует команды управления в произвольные моменты времени (эндогенная парадигма). В ходе экспериментальной оценки новой модели нейроинтерфейса будут разработаны методики взаимодействия пользователя с системой в режиме настройки, включая визуальный интерфейс, поддерживающий обратную связь, работы в виртуальной реальности и методические инструкции для пользователя. Учёт индивидуальнотипологических особенностей пользователей, которые находят отражение в электрической активности мозга (Aslanyan, 2014, 2015; Wolpaw e.a., 2018), позволит разработать методические рекомендации по их более эффективному обучению.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Шепелев И.Е., Бахтин О.М., Лазуренко Д.М., Саевский А.И., Шапошников Д.Г., Кирой В.Н. A novel neural network-based approach to classification of implicit emotional components in ordinary speech Optical Memory and Neural Networks (Information Optics) (год публикации - 2021)

2. Щербань И.В., Лазуренко Д.М., Шапошников Д.Г., Кириленко Н.Е., Шустова А.В. Adaptive search for premotor EEG patterns of human voluntary motor activity for brain-computer interfaces Automatic Control and Computer Sciences (год публикации - 2021)

3. Кирой В.Н., Бахтин О.М., Кривко Е.М., Лазуренко Д.М., Асланян Е.В. Когерентность ЭЭГ при проговаривании слов, обозначающих направления в пространстве Журнал высшей нервной деятельности им. И.П. Павлова (год публикации - 2021)

4. Лазуренко Д.М., Шепелев И.Е., Шапошников Д.Г., Шепелев Д.И., Шапошников П.Д., Кирой В.Н. Метод радиально-базисных функций для классификации ЭЭГ-паттернов мысленных движений Информационно-управляющие системы (год публикации - 2021)

5. Лазуренко Д.М., Шапошников Д.Г., Шапошников П.Д. Исследование релевантных опорных признаков ЭЭГ произвольной двигательной активности Экспериментальная психология (год публикации - 2021)

6. Кирой В.Н., Бахтин О.М., Кривко Е.М., Лазуренко Д.М., Асланян Е.В., Шапошников Д.Г., Щербань И.В. Spoken and Inner Speech-related EEG Connectivity in Different Spatial Direction Biomedical Signal Processing and Control, Volume 71, Part B, 103224 (год публикации - 2022)
10.1016/j.bspc.2021.103224

7. Кирой, В. Н., Кривко, Е. М., Бахтин, О. М., Шапошников, Д. Г., Лазуренко, Д. М. Нейрофизиологические корреляты генерации вслух и мысленно семантически значимых слов и псевдослов Сборник трудов XXVIII Международной научно-практической конференции "Приоритетные направления развития науки и технологий", с. 138-140 (год публикации - 2021)

8. Саевский А.И., Шепелев И.Е., Шапошников Д.Г., Лазуренко Д.М. Поиск информативных частотных диапазонов и временных границ ЭЭГ для решения задачи классификация паттернов мысленных движений Сборник трудов XXVIII Международной научно-практической конференции "Приоритетные направления развития науки и технологий", с. 93-97 (год публикации - 2021)

9. Лазуренко Д.М., Шапошников П.Д., Шепелев Д.И. Произвольные мысленные эквиваленты реальных движений: спектральный анализ ЭЭГ Сборник трудов XXVIII Международной научно-практической конференции "Приоритетные направления развития науки и технологий", с.80-87 (год публикации - 2021)

10. Бахтин О.М., Щербань И.В., Кириленко Н.Е., Щербань О.Г. Метод детекции ЭЭГ-паттернов мозга человека в условиях мысленной вербализации Сборник трудов XXVIII Международной научно-практической конференции "Приоритетные направления развития науки и технологий", с. 88-92 (год публикации - 2021)

11. Дубинин А.Э. Клиническая реабилитация пациентов с двигательными нарушениями в контуре нейроинтерфейсов Сборник трудов XXVIII Международной научно-практической конференции "Приоритетные направления развития науки и технологий", с. 72-80 (год публикации - 2021)

12. Солосин С.В., Лазуренко Д.М. Практические аспекты применения технологии нейроуправления и нейрокоммуникации Материалы XXVIII научной конференции "Современные информационные технологии: тенденции и перспективы развития (СИТО 2021)", с. 326-329 (год публикации - 2021)

13. Шапошников П.Д. Методика индуцированной идеомоторной деятельности в контуре нейроинтерфейса Материалы XXVIII научной конференции "Современные информационные технологии: тенденции и перспективы развития (СИТО 2021)", с. 373-378 (год публикации - 2021)

14. Саевский А.И., Шепелев И.Е., Лазуренко Д.М., Шапошников Д.Г. Search for Informative Frequency Range and EEG Time Boundaries for Solving the Problem of Motor Imagery Patterns Classification Studies in Computational Intelligence, vol. 1008, p. 62-67 (год публикации - 2022)
10.1007/978-3-030-91581-0_8

15. Лазуренко Д.М., Шапошников Д.Г., Шепелев И.Е., Шапошников П.Д., Кирой В.Н. Motor Imagery-Related Quasi-Stationary EEG Patterns for Neural Interfaces Studies in Computational Intelligence, vol 1008, p. 68-74 (год публикации - 2022)
10.1007/978-3-030-91581-0_9

16. Щербань И.В., Лазуренко Д.М., Шапошников Д.Г., Кириленко Н.Е. Development of Algorithms to Detect EEG Patterns Specific for Arbitrary Motor Activity of a Human in the BCI Applications Studies in Computational Intelligence, vol. 1008, p.75-80 (год публикации - 2022)
10.1007/978-3-030-91581-0_10

17. Шепелев Д.И., Саевский А.И., Шепелев И.Е., Кирой В.Н., Лазуренко Д.М., Шапошников Д.Г. Creating a hybrid system to connect the brain-computer interface with the virtual reality environment CEUR Workshop Proceedings (год публикации - 2022)

18. Саевский А.И., Шепелев И.Е., Шапошников Д.Г., Лазуренко Д.М., Кирой В.Н. Search for Informative Frequency Ranges and Time Segments in EEG for Classification of Motor Imagery Patterns International Journal of Computing and Digital Systems (год публикации - 2022)

19. Шепелев Д.И., Саевский А.И., Шепелев И.Е., Шапошников Д.Г., Лазуренко Д.И. A software system for training votor imagery in virtual reality Studies in Computational Intelligence,, v. 1064, p.77-86 (год публикации - 2023)
10.1007/978-3-031-19032-2_9

20. Саевский А.И., Шепелев И.Е., Щербань И.В., Шапошников Д.Г., Лазуренко Д.М. Comparative analysis of statistical and neural network classification methods on the example of synthetized data in the stimulus-independent Brain-computer interface paradigm Studies in Computational Intelligence, v. 1064, p. 214-222 (год публикации - 2023)
10.1007/978-3-031-19032-2_22

21. Кривко Е.М., Бахтин О.М., Кирой В.Н., Лазуренко Д.М., Шапошников Д.Г. Организация мозговой активности при мысленном проговаривании слов у мужчин и женщин Ульяновский медико-биологический журнал, т. 2, с. 81-91 (год публикации - 2022)
10.34014/2227-1848-2022-2-81-91

22. Шапошников П.Д., Лазуренко Д.М., Шепелев Д.И. Разработка нейроинтерфейса "Мозг-Мозг" на основе квазистационарных паттернов ЭЭГ Материалы XXIX конференции "Современные информационные технологии: тенденции и перспективы развития (СИТО2022)", с. 260-265 (год публикации - 2022)

23. Кирой В.Н., Бахтин О.М., Кривко Е.М., Лазуренко Д.М., Асланян Е.В., Шапошников Д.Г. Imaginary and real speech-related EEG patterns in the neural network approach Human Physiology (год публикации - 2022)

24. Лазуренко Д.М., Шепелев И.Е., Шапошников Д.Г., Саевский А.И., Кирой В.Н. Discriminative frequencies and temporal EEG segmentation in the motor imagery classification approach Applied Sciences (Switzerland), v. 12, N 5, p. 2736 (год публикации - 2022)
10.3390/app12052736

25. Щербань И.В., Кириленко Н.Е., Щербань О.Г., Кирой В.Н., Шапошников Д.Г. Методы поиска структурных особенностей в составе сигналов ЭЭГ для стимул-независимой модели интерфейса "мозг-компьютер" Издательство Южного федерального университета, Ростов-на-Дону, c. 172 (год публикации - 2022)

Публикации