Взаимная адаптация пользователей и интерфейсов человек- компьютер(мозг-компьютер, окулографических, миографических): методика, алгоритмы, программная реализация.

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 23-19-00664

НазваниеВзаимная адаптация пользователей и интерфейсов человек- компьютер(мозг-компьютер, окулографических, миографических): методика, алгоритмы, программная реализация.

Руководитель Туровский Ярослав Александрович, Доктор технических наук

Организация финансирования, регион федеральное государственное бюджетное учреждение науки Институт проблем управления им. В. А. Трапезникова Российской академии наук , г Москва

Конкурс №80 - Конкурс 2023 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 09 - Инженерные науки; 09-607 - Теория человеко-машинных систем управления

Ключевые слова эргатические системы, интерфейс мозг-компьютер, окулографический интерфейс, миографический интерфейс, обучение

Код ГРНТИ28.29.57

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Актуальность проблемы взаимодействия, адаптации и взаимного обучения «операторской» и «технической» частей эргатической системы проистекает из постоянно усложняющейся структуры подобных систем, появлением наряду с достаточно простыми «передаточными функциями» внутри систем, процедур на порядок более сложных, включающих в себя элементы машинного обучения, искусственного интеллекта, и, обеспечивающего таким образом, процедуру принятия решения и выполнения указанного решения «технической» частью этой системы в зависимости от целого ряда факторов включая не только команды оператора, но и его состояние, состояние самой системы, параметры окружающей среды и т.д.. При этом следует отметить и расширение возможностей оператора для генерации команд. Помимо традиционных подходов в управлении с использованием механических движений верхними и нижними конечностями интерес представляют перспективные направления такие как голосовое управление, интерфейсы мозг-компьютер, миографические, окулографические, эмоционально-зависимые интерфейсы, системы контроля состояния оператора, выходящие за пределы лабораторий и получающие всё более широкое распространение. Таким образом, актуальной представляется как теоретическая разработка так и практическая реализация на её основе моделей, методов и алгоритмов оценки взаимной адаптации/обучения в процессе работы «операторского» и «технического» компонентов эргатической системы, для оценки возможностей повышения эффективности её функционирования. Целью проекта является оценка процесса взаимной адаптация в ходе управления пользователей и интерфейсов человек- компьютер(мозг-компьютер, окулографических, миографических) и разработка о основе этой оценки технических решений повышающих эффективность управления эргатическими системами Основными результатами работы будут являться 1. Модели, методы и алгоритмы алгоритмов оценки динамики генерируемых в ходе работы в рамках эргатической системы оператором сигналов и паттернов команд. Эмпирические данные об изменениях состояния оператора при работе с интерфейсами мозг-компьютер, окулографическими, миографическими с точки зрения обучения работе в эргатической системе после этапа «тренировочного» обучения 2. Модели, методы и алгоритмы изменения параметров функционирования устройства-эффектора при самообучении управляющих технических систем, в рамках машинного обучения, обеспечивающие максимальную из набора исследуемых вариантов скорость обучения в рамках машинного обучения. Модели, методы и алгоритмы тестирования диагностики программно-аппаратной части системы состояния оператора, выделения канала/группы генерируемых оператором сигналов, по котором можно будет определять вероятную оценку оператором работы системы. Эмпирическая база данных по управлению указанными интерфейсами эргатических систем различного профиля. 3. Разработанные методы и алгоритмы, в сочетании с эмпирическими данными, позволяющие произвести оценку, исходя из состояния оператора, и особенностей архитектуры «технической части» эргатической системы возможности детекции успешного распознавания как ошибок операторской деятельности, так и реакции оператора на некорректную работу системы. Данные о динамики самообучения эргатических систем различных архитектур для я интерфейсов человек- компьютер(мозг-компьютер, окулографических, миографических)

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Туровский Я. А., Борзунов С.В., Алексеев В.Ю. Информационная система оценки подготовки оператора к условиям управления эргатической системой в условиях отсутствия обратной связи Программная инженерия., Программная инженерия. 2023. Том 14, № 9. С. 460—468. (год публикации - 2023)
10.17587/prin.14.460-468

2. Вольф Д., Туровский Я, Исхакова А., Мещеряков Р Evaluation of EEG Data for Zonal Affiliation of Brain Waves by Leads in a Robot Control Task Springer, ICR 2023: Interactive Collaborative Robotics pp 103–115 (год публикации - 2023)
10.1007/978-3-031-43111-1_10

3. Вольф Д., Исхакова А. On the Task of Dividing EEG Data by Brain Zones for Application in Robot Control IEEE, ICR 2023: Interactive Collaborative Robotics pp 103–115 (год публикации - 2023)
10.1109/MLSD58227.2023.10304059

4. Туровский Я.А., .Алексеев В.Ю, Токарев Р.А. «Сенсорные особенности операторов в задачах управления эргатическими системами при отсутствии зрительной обратной связи» ООО “ИКЦ “АКАДЕМКНИГА” (год публикации - 2024)

5. Вольф Д.А., Мещеряков Р.В., Искахова А.О. Интерактивный четвероногий робот класса фелидов с блоком нейронной обработки "Новые технологии", № 10, Том 24, с 542-550 (год публикации - 2023)
10.17587/mau.24.542-550

6. Вольф Д., Туровский Я, Мещеряков Р., Исхакова А. Human identification by dynamics of changes in brain frequencies using artificial neural networks Springer, SPECOM 2023. Lecture Notes in Computer Science, vol 14338. Springer, pp 271–284. (год публикации - 2023)
10.1007/978-3-031-48309-7_23

7. Туровский Я.А., Тищенко В.А., Киселев Е.А., Устименко Т.А., Адоньева А.А. Индивидуально – типологические особенности распознавания реальных и модельных сигналов электроэнцефалограммы Брянский государственный технический университет (Брянск), 2023. № 4(22). С. 405-412 . (год публикации - 2023)
0.30987/2658-4026-2023-4-405-412

8. Я А. Туровский, В.А. Тищенко Control of Information Synthesis for the Ergatic System Simulator IEEE (год публикации - 2024)
10.1109/MLSD61779.2024.10739624

9. Галин Р.Р., Мещеряков Р.В., Туровский Я.А., С.К. Галина Mutual Adaptation Model of Operator and Controlled Object in Ergatiс Robotic System Springer, 2024. , Galin R., Meshcheryakov R., Turovsky Y., Kamesheva S. Mutual Adaptation Model of Operator and Controlled Object in Ergatic Robotic System // Lecture Notes in Computer Science. 2024. p. 229-239. (год публикации - 2024)
10.1007/978-3-031-71360-6_17

10. К.Д. Русаков∗, Я.А. Туровский, Е.А. Киселев Машинное обучение в распознавании нативных и искусственно сгенерированных ЭЭГ Информационные процессы, Информационные процессы, Том 24, № 3, 2024, стр. 190–202. (год публикации - 2024)
10.53921/18195822_2024_24_3_190

11. Р.А. Токарев, Я.А. Туровский, С.В. Борзунов, А.А. Вахтин Development of a Feedback Information System Using Augmented Reality Glasses to Improve Myoelectric Prostheses and Medical Rehabilitation Institute of Electrical and Electronics Engineers, 2024 26th International Conference on Digital Signal Processing and its Applications (DSPA), Moscow, Russian Federation, 2024, pp. 1-5, (год публикации - 2024)
DOI:10.1109/DSPA60853.2024.10510026

12. Т.А. Моисеева, Я.А. Туровский Влияние метрики на выявленную структуру временных задержек сигналов в задачах оценки электрогенеза мозга ВЕСТНИК ВОРОНЕЖСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА. СЕРИЯ: СИСТЕМНЫЙ АНАЛИЗ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ, Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. – 2024. – № 2. – С. 103-112. – (год публикации - 2024)
10.17308/sait/1995-5499/2024/2/103-112. – EDN WTYDQV.

13. Я.А.Туровский, С.В. Борзунов, С.С.Крупенин, А.П.Миронкин, Р.А. Токарев Реализация системы обратной связи для миоэлектрических протезов верхней конечности "Программная инженерия" (год публикации - 2024)

14. Я.А. Туровский, В.Ю. Алексеев, Р.А. Токарев Sensory Characteristics of Operators in Tasks Involving Control of Ergatic Systems without Visual Feedback Springer Nature , Neuroscience and Behavioral Physiology, Vol. 54, No. 7, September, 2024 р. 1026-1034 (год публикации - 2024)
10.1007/s11055-024-01706-7

15. Я.А. Туровский, А.П. Миронкин, Р.А.Токарев, А.А. Вахтин, С.В. Борзунов An Improvement of the Tactile-Proprioceptive Feedback System for the Myoelectric Prosthesis IEEE (год публикации - 2024)
10.1109/MLSD61779.2024.10739546

16. Галин Р Р, Галина С.Б. A Combined Approach to Estimate Labor Costs in the Development of Complex Technical Facilities IEEE, Mass production;Costs;Measurement units;Prototypes;Production;Mathematical models;Complexity theory;Information technology;Robots;Qualifications (год публикации - 2024)
10.1109/CoDIT62066.2024.10708113

Аннотация результатов, полученных в 2024 году
В ходе работы над вторым годом проекта были проведены следующие серии экспериментов: на 32 здоровых добровольцах были оценены особенности управления БПЛА квадрокоптерного типа с использованием миографических интерфейсов в аспекте сравнения с классическими методами на основе клавиатуры. 6 испытуемых, отобранных на основании лучших результатов в предыдущем эксперименте осуществили серию полётов на БПЛА самолётного типа осуществив управления с помощью классических устройств, миографического и окулографического интерфейсов. Были получены данные с 35 здоровых добровольцев об особенностях генерации контура управления в условиях работы с непроизвольно управляемым интерфейсом мозг-компьютер. В ходе эксперимента анализировались возможности оператора формировать на субсознательном уровне канал управления на основе корреляционного паттерна электроэнцевалограммы. Было исследовано 48 здоровых добровольцев в задачах оценки психологических профилей обеспечивающих наиболее успешное разделение реальных и модельных процессов в эргатических системах на примере анализа нативных и искусственно синтезированных ЭЭГ. На 32 испытуемых изучена адаптация зрительного анализатора к работе в рамках ИМК на SSVEP. Выявлены психологические профили пользователей, обеспечивающих наилучшее управление для систем, основанных на окулографических и миографических интерфейсах в задачах управления графическим интерфейсом устройства и БПЛА мультикоптерного типа. Показатели экстраверсии оператора влияли на число ошибок при работе с миографическим интерфейсом, не будучи связанными с работой при управлении с клавиатуры. Выделена группа операторов гораздо быстрее адаптирующихся к управлению неизвестным ранее устройством при использовании неизвестного для них ранее интерфейса. Результаты подтверждены различными подходами к классификации включая ИНС. На основе существующего задела доработаны и реализованы в виде программных решений тренажеры, обеспечивающие освоение операторами миографических и окулографических интерфейсов в задачах управления БПЛА мультикоптерного типа и графических приложений на компьютере. Реализация осуществлялась по пути совершенствования технологии биологической обратной связи с дополнением «цифровых двойников» индивидуально-типологического профиля оператора: 3D модели лица пользователя (для выбора оптимального расположения датчиков оккулографического интерфейса), 3D модели головы оператора, для воспроизводимости и более точного расположения датчиков в системах ИМК. Для реализации системы обратной связи для миоэлектрических протезов верхней конечности была разработана модель расположения сенсоров и актуаторов на поверхности руки. В дальнейшем модель реализована виде программно-аппаратного комплекса обратной связи по тактильно-тактильному, проприоцептивно-тактильному, температурно-температурному каналу интегрированному в миоэлектричский протез. Разработаны, в дополнение к существующим, два подхода на основе машинного обучения к задачам интерфейса мозг-компьютер, и синтезу тренажеров, предназначенных для генерации сигналов с заранее известными свойствами. Предложенн метод, на основе нечеткой логики позволяет оценить временную задержку двух сигналов относительно друг друга. разработанная для асинхронного интерфейса «мозг-компьютер» на основе мю-ритма. Наилучший результат для отдельного человека достигает 96% и 71% точности для реальных и мысленных движений соответственно. С использованием деревьев классификации был выполнен прогноз влияния параметров предобработки на эффективность системы. Было установлено, что наиболее значимыми предикторами являются частота децимации при предобработке сигналов ЭЭГ и количество бинов при расчете взаимной информации между каналами ЭЭГ как для реальных движений, так и для движений, выполняемых мысленно. Точность прогноза достигла 73% и 86% для реальных и воображаемых движений соответственно. Был проведён сравнительный анализ трёх методов генерации синтетических сигналов ЭЭГ: генеративно-состязательной сети (GAN), вариационного автоэнкодера (VAE) и диффузионной модели на основе LSTM. Экспериментальные результаты показали, что диффузионная модель на основе LSTM превосходит другие методы по ключевым метрикам качества генерации, таким как средняя абсолютная ошибка (MAE) и среднеквадратичная ошибка (MSE). Анализ показал, что параметры фильтрации, включая частоту дискретизации, нижний и верхний пороги, а также порядок фильтра, оказывают значительное влияние на точность классификации. Оценена в рамках анализа адаптационного потенциала динамика ЭЭГ активности в условиях продолжающейся фотостимуляции соответствующей работе интерфейса мозг-компьютер на основе SSVEP. С использованием метода ковариационных спектров продемонстрированы особенности формирования спектров ЭЭГ как на частотах фотостимуляции (ФС), так и в окрестностях указанных частот. Установлены как общие закономерности формирования спектральных паттернов, так и связанные с частотой фотостимуляции или отведениями так и с процессами адаптации и утомления оператора ИМК. Показана динамика реакции спектров ЭЭГ в ходе работы и адаптации с ИМК. В рамках синтеза непроизвольно-управляемых интерфейсов мозг-компьютер использовался алгоритм скрытой обратной связи на основе корреляции сигналов ЭЭГ. По результатам исследования были рассчитаны значения КК между парами электродов со всей серии экспериментов для всех испытуемых. Были получены профили, отражающие группировку индивидуальных особенностей испытуемых по способности устанавливать или не устанавливать закономерности канала обратной связи и корректировать его собственной ЭЭГ активностью. Ряд результатов стал основой для лабораторных работ студентов (https://www.youtube.com/watch?v=YBDmpAH6WKs). https://www.youtube.com/watch?v=Jt_YslPSICo https://www.youtube.com/watch?v=fG7VEFojfRY

Публикации

8. Я А. Туровский, В.А. Тищенко Control of Information Synthesis for the Ergatic System Simulator IEEE (год публикации - 2024)
10.1109/MLSD61779.2024.10739624