КАРТОЧКА ПРОЕКТА,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 17-72-30003

НазваниеФизические основы самообучающихся адаптивных интеллектуальных систем и их применения в биоморфной и антропоморфной робототехнике

РуководительХрамов Александр Евгеньевич, Доктор физико-математических наук

Организация финансирования, регионАвтономная некоммерческая организация высшего образования "Университет Иннополис", Республика Татарстан

Года выполнения при поддержке РНФ2017 - 2020

КонкурсКонкурс 2017 года по мероприятию «Проведение исследований научными лабораториями мирового уровня в рамках реализации приоритетов научно-технологического развития Российской Федерации» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными

Область знания, основной код классификатора 02 - Физика и науки о космосе, 02-402 - Нелинейные колебания и волны

Ключевые словаНелинейная динамика, теория колебаний, динамический хаос, антропоморфная робототехника, адаптивная система управления, искусственные нейронные сети, сложные сети, синхронизация, машинное обучение, нейронаука, эксперимент, экзоскелет, большие данные

Код ГРНТИ29.35.03


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Предлагаемый проект направлен на решение актуальной научной проблемы, лежащей на стыке физики, нелинейной динамики, нейронауки, создания интеллектуальных систем и робототехники, связанной с выявлением и изучением физических процессов, обуславливающих возможности живых организмов к адаптивному управлению моторными системами в условиях сложной и постоянно меняющейся внешней среды, с целью построения на их основе стратегий и конкретных методов интеллектуального управления биоморфными и антропоморфными роботами. Конкретной задачей проекта в рамках указанной выше проблемы является разработка, экспериментальная верификация и практическое внедрение усовершенствованных технологий адаптивного интеллектуального управления биоморфными и антропоморфными роботизированными системами на основе методов и подходов нелинейной динамики в условиях динамически меняющихся условий окружающей среды. Актуальность данной конкретной задачи обусловлена необходимостью повышения уровня автоматизации поведения биоморфных и антропоморфных роботов [Waldron K.J., Tokhi M.O., Virk G.V. Nature-Inspired Mobile Robotics, World Scientific, 2013], их адаптации к внешней динамически меняющейся обстановке, что, в свою очередь, повысит эффективность и расширит возможности их использования в социальной сфере, науке и технологиях, включая промышленное производство [Klimchik A. Efficiency evaluation of robots in machining applications using industrial performance measure // Robotics and Computer-Integrated Manufacturing 48. 12 (2017)] спасательные операции [Hodson H. 2015 preview: Rescue robots go head-to-head // New Scientist 3000 (2014)], ликвидация последствий стихийных бедствий [Nagatani, K. et al. // J. Field Robot. 30, 44–63 (2013)], здравоохранение [Guang-Zhong Yang et al Medical robotics—Regulatory, ethical, and legal considerations for increasing levels of autonomy // Science Robotics 2. 4 (2017)], транспортировку [Mataric M.J. Socially assistive robotics: Human augmentation versus automation // Science Robotics 2. 4 (2017)], освоение космоса [Barfoot T.D., Wettergreen D. Editorial: Special Issue on Space Robotics // J. Field Robot. 33. 2 (2016); Rus D., Tolley M. Design, fabrication and control of soft robots // Nature 521. 467 (2015)], сервисные функции [Sprenger M., Mettler T. Service Robots // Business & Information Systems Engineering, 57. 271 (2015)], что соответствует как мировым тенденциям в использовании антропоморфной робототехники, так и будет способствовать формированию научных и технологических заделов, обеспечивающих экономический рост Российской Федерации за счет освоения новых технологий и рынков. Поставленная задача является масштабной, так как ее решение предполагает использование комплексного подхода, подразумевающего как фундаментальные научные исследования, включающие разработку теоретических основ создания интеллектуальных самообучающихся систем управления, базируясь на численном анализе и экспериментальном радиофизическом исследовании модельных нейроподобных систем и моделирования процессов, обеспечивающих локомоторные функции человека, проведение нейрофизиологических экспериментов и анализ сигналов электроэнцефаллограмм и миограмм человека с целью выявление процессов, отвечающих за взаимодействие человека с окружающими объектами и реализацию двигательной локомоторной активности, так и построение на основе полученной информации интеллектуальной системы управления на основе методов и подходов искусственного интеллекта, ее обучение и тестирование на примере конкретной антропоморфной роботизированной платформы (антропоморфного робота AR-600 производства НПО «Андроидная техника»). В предлагаемом проекте могут быть выделены три больших направления исследований, подчиненных общим целям проекта, сформулированным выше, и объединяющие в себе ряд взаимосвязанных и взаимодополняющих задач. Направление 1. «Развитие теоретических основ построения нелинейно-динамических моделей, самообучающихся адаптивных интеллектуальных систем». Работы в рамках данного направления подразумевают проведение крупномасштабного численного анализа динамики сетей нейроноподобных элементов с различной конфигурацией межэлементных связей с целью выявления закономерностей, отвечающих за образования пространственно-временных структур, их эволюцию, переключения между различными типами динамики, при внешнем воздействии. Выявленные закономерности динамики модельных нейронных сетей будут широко использованы при проектировании интеллектуальных самообучающихся систем автоматического управления. Направление 2. «Анализ и выявление общих механизмов эволюции нейронных связей и переключения между различными паттернами нейронной и мышечной активности человека, обеспечивающих адаптивную моторную активность и пространственную ориентацию при управлении антропоморфными манипуляторами.» Работы в рамках данного направления являются экспериментальными и будут выполняться на уникальном оборудовании, которое имеется в НОЦ "Нелинейная динамика сложных систем" и дополнительно планируется к приобретению у НПО «Андроидная техника» - ведущего производителя антропоморфных робототехнических систем в России. В результате выполнения работ будет создана база данных, содержащая цифровые сигналы электроэнцефалограмм и миограмм вместе с сигналами, содержащими команды для непосредственного управления роботом, которая впоследствии будет использована для обучения интеллектуальных систем управления. Направление 3 «Создание интеллектуальной системы управления биоморфными робототехническими устройствами c возможностью автоматической адаптации к изменяющимся условиям внешней среды» В рамках данного направления планируется разработка интеллектуальной системы, основанной на искусственных нейронных сетях, позволяющей управлять двигательными функциями антропоморфного робота, в том числе, взаимодействовать с движущимися объектами окружения. Разработанная система будет апробирована на реальном антропоморфном роботе AR-600, закупка которого вместе со стендом управления и тренировки будет осуществлена в рамках данного проекта. Научная новизна предлагаемого проекта заключается в анализе и дальнейшем использовании динамических механизмов, обуславливающих возможности живых организмов к адаптивному управлению моторными системами в условиях сложной и постоянно меняющейся внешней среды в качестве основы для построения стратегий и конкретных методов адаптивного управления биоморфными и антропоморфными роботами. Проект должен быть доведен до стадии разработки самообучающейся адаптивной интеллектуальной системы антропоморфного робота, что позволит создать робототехническую платформу, способную действовать в нестандартных ситуациях и обеспечивать локомоторные функции в условиях меняющегося окружения. С учетом этого в предлагаемом проекте будут впервые в комплексе проведены взаимосвязанные исследования, включающие теоретический и численный анализ модельных нейронных сетей, экспериментальные радиофизические и нейрофизиологические исследования, связанные с моделированием и анализом (используя машинное обучение и методы обработки больших данных) активности головного и спинного мозга, а также мышечной активности человека (в том числе и с использованием копирующих экзоскелетов), анализ взаимодействия оператора и антропоморфного робота на принципах биологической обратной связи, проектирование и обучения систем управления мобильным антропоморфным роботом на основе методов и подходов искусственного интеллекта.

Ожидаемые результаты
По итогам выполнения проекта ожидается получение следующих основных результатов: • Будут выявлены закономерности, описывающие адаптивную динамику модельных нейронных сетей, и сформулированы предложения по использованию полученных результатов при проектировании самообучающихся интеллектуальных систем для управления антропоморфными робототехническими системами. • Будет предложена новая модель центрального генератора ритма, основанная на гетерогенном ансамбле осцилляторов, характеризующаяся возможностью переключения генерируемых ритмов, отвечающих сосуществующим устойчивым динамическим режимам ансамбля. Полученная модель ляжет в основу создания интеллектуальной системы, обеспечивающей локомоторную активность антропоморфного робота. • Будет проведен комплекс экспериментальных работ по снятию ЭЭГ-данных человека, дополненных данными мышечной активности, при управлении полноразмерным антропоморфным роботом с помощью копирующего экзоскелета. Будет выявлены характерные сценарии активности головного мозга и мышечной активности, обеспечивающие позиционирование тела человека, моторную активность и взаимодействие с динамическими объектами. • Будет создана структурированная база данных нейронной и мышечной активности человека, полученной во время экспериментов по управлению человеком движениями антропоморфного робота, для обучения систем интеллектуального управления с использованием технологий машинного обучения на базе искусственных нейронных сетей. • Будут спроектированы интеллектуальные системы, основанные на искусственных нейронных сетях и нелинейных динамических моделях, позволяющие в автоматическом режиме управлять верхними и нижними конечностями робота. Для обучения разработанных систем будет использована база данных нейронной и мышечной активности человека, полученная во время экспериментов по управлению человеком движениями антропоморфного робота. Ожидаемые результаты представляют большую научную и общественную значимость, что обусловлено современными мировыми тенденциями ко все большему внедрению робототехнических систем (в том числе антропоморфных) в социальную сферу, науку и производство. Научные исследования в рамках данного проекта будут использовать имеющийся в мире обширный научный и технологический задел в данном направлении, а также непосредственно наработки коллектива, предлагающего данный проект, и на их основе развивать новые усовершенствованные концепции адаптивного интеллектуального управления антропоморфными робототехническими системами как в производстве, так и в сервисных применениях, космической технике, спасательных операциях и т.д. С учетом вышесказанного можно ожидать соответствие заявленных результатов мировому уровню исследований в области интеллектуальных систем, анализа больших данных и робототехники. Полученная по итогам проекта научно-техническая продукция в виде систем интеллектуального управления робототехническими изделиями обладает большим потенциалом для дальнейшего развития и внедрения при разработке робототехнической продукции на научно-производственных предприятиях России, в частности, АО «Завод лабораторного оборудования «Мехатроника и робототехника», являющегося индустриальным партнером проекта, НПО «Андроидная техника», ООО «Акродим», занимающееся разработкой и производством антропоморфных роботов и др. предприятий в России. С учетом этого можно с высокой степенью вероятности ожидать формирования по результатам проекта обширного научно-технологического задела на стыке физики, робототехники и интеллектуальных технологий, который в ближайшем будущем будет внедрен в производство и внесет существенный вклад в экономический рост и социальное развитие Российской Федерации в области прорывных робототехнических технологий. Следует отметить, что предлагаемый проект является уникальным в плане экспериментальных работ, которые планируется провести с использованием оригинальных антропоморфных роботизированных решений. В данном контексте возможность проведения исследований на реальном оборудовании является важной особенностью проекта, определяющей возможность экспериментальной верификации и апробации разработанных решений, что, в свою очередь, существенно сокращает время, необходимое для внедрения полученных результатов в производственный процесс.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2017 году
Разработана модель сети фазовых осцилляторов, топология которой характеризуется двумя масштабами связности – существованием структуры связанных подсетей элементов. В ходе выполнения задачи изучено, как соотношение между топологиями структурных масштабов влияет на динамические режимы, реализующиеся в такой системе, в частности, на реализацию таких специфических режимов как химерное состояние. Показано, что изменение связности подсетей позволяет управлять соотношением размеров синхронного и асинхронного кластера в глобальном кольце осцилляторов и приводит к расширению области реализации химерного состояния. Полученные в рамках данной задачи результаты будут использованы при разработке многомасштабной сети нейронных элементов в контексте создания центрального генератора ритмов. Численно смоделированы однослойные и многослойные нейронные сети на базе модели нейрона Рулькова с синаптическими связями. Внутри каждого слоя все связи являлись возбуждающими, в то время, как между слоями часть связей была возбуждающей, а другая часть – ингибиторной. В данных сетях был обнаружен эффект образования пространственно-временных структур, было изучено влияние на образование этих структур таких параметров, как размеры сети, число стимулируемых нейронов, доли ингибиторных связей между слоями, величины подаваемого на систему стимула и амплитуды внутреннего шума. В зависимости от вышеуказанных параметров было обнаружено явление когерентного резонанса, который может быть использован для адаптивной обработки внешних сигналов нейронной сетью. Разработан новый механизм структурной адаптации в сети отображений Рулькова на основе принципа пластичности, зависящей от времени активации нейрона (spike-timing-dependent plasticity (STPD)). Показано, что разработанная модель адаптивной сети демонстрирует намного более сложную динамику по сравнению с классическим механизмом STPD. Выявлено, что данное различие напрямую связано с типом формирующихся в процессе адаптации структур: введение дополнительного гомеостатического слагаемого в уравнение связей привело к возникновению сильно неоднородных кластеров в структуре и появлению свойства свободного масштабирования, присущего реальным нейронным ансамблям головного мозга. Данные результаты открывают возможность создания генератора ритмов, характеристики которого адаптивно перестраиваются в зависимости от внешних условий. Проведены предварительные экспериментальные исследования, связанные с регистрацией нейронной активности человека во время активного движения для управления антропоморфным протезом руки. Выполнены 56 экспериментальных замеров с условно здоровыми добровольцами. Проведены различные виды анализа данных: спектральный анализ с помощью вейвлет-спектров, кросспектральный анализ, оценка коэффициентов фазовой когерентности, которые позволили предварительно выбрать перспективные для более детального анализа пары сигналов ЭЭГ, а также частотные диапазоны анализа. После выбора параметров методов анализа было проведено исследование направленной связанности, которое позволило выявить значимое отличие разности коэффициентов связи между симметричными отведениями ЭЭГ в противоположных направлениях от фоновых значений для двигательной активности. При помощи мультифрактального анализа изучена структура сигналов ЭЭГ, регистрируемых у нетренированных операторов во время двигательной активности. На основе полученных результатов выделены области мозга, для которых возможно достоверное детектирование различий между сигналами ЭЭГ, регистрируемыми при выполнении движений руки, и фоновыми записями электрической активности головного мозга. Показано, что наибольшая эффективность классификации достигается при использовании записей ЭЭГ, снимаемых в лобных областях мозга. Полученные результаты указывают на перспективу адаптации использованных методов для решения задач построения человеко-машинных интерфейсов. Разработана методика, основанная на машинном обучении, а именно на аппарате искусственных нейронных сетей для распознавания и классификации паттернов на ЭЭГ, соответствующих различным типам движений, которая продемонстрировала высокую эффективность для нетренированных субъектов: точность распознавания до 90-95%. Искусственная нейронная сеть с радиально-базисными функциями показывает наилучшие результаты распознавания и классификации. Предварительная фильтрация входных данных ЭЭГ с использованием фильтра нижних частот значительно повышает точность распознавания (в среднем на 10-20%), при этом фильтр нижних частот с частотой отсечки 4 Гц показывает наилучшие результаты. Показано, что при использовании сигналов из определенных групп электродов, состоящих из 6-12 каналов, точность классификации достигает значения, близкого к максимуму. Последний результат важен с практической точки зрения, поскольку он показывает возможность использования более компактных систем для регистрации сигналов ЭЭГ (с меньшим количеством электродов) при сохранении требуемой точности распознавания. 20-22 ноября 2017 года в СГТУ имени Гагарина Ю.А. состоялась I Международная школа молодых ученых «Динамика сложных сетей и их применение в интеллектуальной робототехнике» (DCNAIR 2017) (http://www.sstu.ru/nauka/konferentsii/dinamika-slozhnykh-setey-i-ikh-primenenie-v-intellektualnoy-robototekhnike-dcnair-2017.html). Школа-конференция стала международной площадкой для обучения и обмена образовательными, научными и техническими идеями между специалистами, в особенности – молодыми учеными и студентами, работающими в области изучения сложных сетей и интеллектуальной робототехники. DCNAIR 2017 способствовала активному научному взаимодействию, как на российском, так и на международном уровне (http://www.sstu.ru/news/uchenye-predstavili-rezultaty-issledovaniy-na-mezhdunarodnoy-ploshchadke-po-intellektualnoy-robotote.html).

 

Публикации

1. - В лабораториях Саратовского техуниверситета установлено новое оборудование Сайт 4science, 5 августа 2017 г. (год публикации - ).

2. - Саратовские ученые научат роботов сомневаться и принимать решения Сайт Российского научного фонда, 30 августа 2017 г. (год публикации - ).

3. - Саратовские ученые получили 120 млн руб. на создание искусственного интеллекта роботов Федеральное государственное унитарное предприятие «Информационное телеграфное агентство России (ИТАР-ТАСС)», 12 июля 2017 г. (год публикации - ).

4. - В Саратовском техническом университете взялись очеловечить робота Телеканал Россия 1, Программа Вести в 11:00 от 12.09.17 (год публикации - ).

5. Александр Писарчик, Мариано Альберто Гарсия-Веллиска, Райдер Хайме-Реатеги, Франсиско де Позо-Герреро Bistability in Hindmarsh-Rose neural oscillators induced by asymmetric electrical coupling CYBERNETICS AND PHYSICS, VOL. 6, NO. 3, P. 126–130 (год публикации - 2017).

6. Андреев А.В., Макаров В.В., Руннова А.Е., Писарчик А.Н., Храмов А.Е. Coherence resonance in stimulated neuronal network Chaos, Solitons and Fractals, 106, (2018) 80-85 (год публикации - 2018).

7. Андреев А.В., Макаров В.В., Руннова А.Е., Храмов А.Е. Coherent resonance in neuron ensemble with electrical couplings CYBERNETICS AND PHYSICS, VOL. 6, NO. 3, P. 145–148 (год публикации - 2017).

8. Грубов В.В., Мусатов В.Ю., Максименко В.А., Храмов А.Е. Development of intelligent system for classification of multiple human brain states corresponding to different real and imaginary movements CYBERNETICS AND PHYSICS, VOL. 6, NO. 3, P. 103–107 (год публикации - 2017).

9. Недайвозов В.О., Макаров В.В., Кирсанов Д.В., Горемыко М.В., Храмов А.Е. Программа для ЭВМ для моделирования динамики многослойной адаптивной кооперативной сети с использованием технологий параллельных вычислений -, - (год публикации - ).

10. Недайвозов В.О., Макаров В.В., Кирсанов Д.В., Горемыко М.В., Храмов А.Е. Программа для ЭВМ для моделирования динамики многослойной адаптивной конкурентной сети с использованием технологий параллельных вычислений -, - (год публикации - ).

11. Недайвозов В.О., Макаров В.В., Кирсанов Д.В., Храмов А.Е. Программа для ЭВМ для расчёта вейвлет-преобразования ЭЭГ сигнала с использованием параллельных вычислений на базе CUDA NVideo -, 2017618971 (год публикации - ).

12. Фролов Н.С., Короновский А.А., Макаров В.В., Максименко В.А., Горемыко М.В., Храмов А.Е. Control of pattern formation in complex network by multiplexing CYBERNETICS AND PHYSICS, VOL. 6, NO. 3, P. 121–125 (год публикации - 2017).


Аннотация результатов, полученных в 2018 году
В качестве модели центрального генератора ритма (ЦГР) впервые предложена система, состоящая из активного осциллятора, демонстрирующего квазигармонические автоколебания (модель автогенератора Ван дер Поля) и связанных с ним двух пассивных линейных диссипативных осцилляторов. Сигналы, снимаемые с генератора и контура, используются в качестве сигналов, управляющих движениями ноги в тазобедренном и коленном суставах робота. Режим ЦГР определяет скорость передвижения робота, походку и режим «бег» или «ходьба». Построена математическая модель ЦГР, и с её использованием проведено исследование динамики ЦГР. Обнаружено, что движение по части плоскости параметров внешнего воздействия, соответствующей синхронизации через подавление, позволяет реализовать мягкий переход от одного колебательного режима к другому, что соответствует переключению бег/ходьба. Проведено численное и экспериментальное исследование динамики сети, состоящей из нейроподобных осцилляторов ФитцХью-Нагумо, связанных между собой запаздывающими связями. Создана радиофизическая установка для экспериментального исследования возможности управления колебательными режимами в ансамбле нейроподобных осцилляторов, связанных настраиваемыми связями. Показано, что введение адаптивно управляемой запаздывающей связи позволяет решить задачу синфазной синхронизации неидентичных нейроподобных осцилляторов в широкой области значений управляющих параметров. Для экспериментального исследования автогенератора с мягким возбуждением, моделируемого уравнением Ван-дер-Поля, разработана и построена радиофизическая установка, включающая в себя автогенератор с кубической нелинейностью и два дополнительных колебательных контура, связанных с контуром генератора через емкостную связь. Экспериментально исследована зависимость амплитуды колебаний в основном контуре от емкости конденсатора в основном генераторе, отвечающей за расстройку частот автогенератора и дополнительных контуров. Показано, что, меняя частоту автоколебаний основного генератора, можно управлять мультистабильными колебательными режимами в системе и наблюдать жесткие переходы между ними. В ходе проведенных работ были численно исследованы эффекты синхронизации и формирования пространственно-временных структур в многослойных сетях фазовых и нейроподобных осцилляторов. Было обнаружено и детально исследовано новое явление – макроскопическое химероподобное состояние сети, состоящее в разделении взаимодействующих изначально идентичных слоев сети на подгруппы, демонстрирующие разные динамические режимы. Такие состояния могут быть ассоциированы с состоянием сомнения нейронной сети головного мозга в ходе принятия неоднозначных решений. Проведен анализ нейронной активности головного мозга человека в ходе наблюдения бистабильных изображений и принятия решения относительно их интерпретации. Данные магнитоэнцефалографического эксперимента были обработаны при помощи искусственной нейронной сети, обученной классифицировать состояния восприятия слабо-неоднозначных визуальных стимулов. Были введены объективные критерии для описания процесса обработки информации и принятия решения в ситуации с неоднозначностью выбора. С помощью этих критериев предложен алгоритм для интеллектуальной системы принятия решений на основе обработки внешней сенсорной информации. По результатам выполнения экспериментальной работы согласно разработанному дизайну сформирован массив однородных экспериментальных данных, содержащий в себе наборы многоканальных электроэнцефалографий и миографий, зарегистрированных у 20 условно здоровых испытуемых. Разработан единый алгоритм обработки комплексных массивов электроэнцефалографических (ЭЭГ) и электромиографических (ЭМГ) сигналов. Комплекс обработки основан на выделении двигательной активности человека и её объективной классификации по миографическим сигналам. Показано, что использование методов энергетических и скелетонных оценок непрерывного вейвлетного преобразования позволяет установить точную связь между возникновением мышечной активности (ростом амплитуды ЭМГ) и ЭЭГ-сигналами в сенсомоторной зоне регистрации. Применение метода многомасштабного анализа на основе дискретного вейвлет-преобразования позволяет достоверно различать сигналы электрической активности головного мозга при выполнении движений. Для выделения общих закономерностей, присущих вертикальной позе испытуемых, осуществлялись энергетические оценки основных нейрофизиологических режимов колебательной активности головного мозга человека в моменты осуществления движений различных типов. Для минимизации помеховых компонент, вызванных непроизвольным напряжением шейных и плечевых мышечных групп, предложен специальный алгоритм, включающий в себя отдельную регистрацию сигналов с нескольких электродов, расположенных на задней поверхности мышц, и последующее включение фильтрации на базе расчёта эмпирических мод преобразования Гильберта-Хуанга в моменты повышения уровня амплитуды высокочастотной активности в регистрируемых миографических сигналах, приводящих к специфическому искажению активности головного мозга. Выявлено, что переход к вертикальному положению испытуемого, близкого к естественному, вызывает существенное усложнение частотной структуры динамики электрической активности головного мозга, делая менее выраженной характерную для сенсомоторной коры генерацию высокочастотных колебаний при двигательной активности рук в классических нейрофизиологических пробах. Разработаны методы управления антропоморфным протезом руки с использованием сигналов нейронной активности и мышечной активности при помощи прямой расшифровки биологических сигналов без использования копирующего экзоскелета. Показано, что движение управляющей руки вызывает формирование характерного паттерна на сигнале электрической активности соответствующей мышцы, форма которого сохраняется от одного движения к другому. Это позволяет детектировать точный момент начала движения автоматически при помощи предварительно установленного порогового значения. При этом найдено оптимальное пороговое значение, при котором возможно детектирование 100% движений при 10% ложных детектирований. Показано, что характерные паттерны электрической активности головного мозга могут быть детектированы с точностью 92% и при 5% ложных детектирований. Выявлено, что при выполнении движений в условиях дополнительной внешней стимуляции наблюдается активация лобных областей, что связано с концентрацией внимания на внешнем стимуле. Менее, чем за секунду до начала движения и во время его выполнения, как в случае произвольной двигательной активности, так и в случае дополнительных внешних стимулов наблюдается локальное уменьшение активности 8-12 Гц в левой части центрально-фронтальной коры (для движения правой рукой). При этом в случае присутствия дополнительного внешнего стимула наблюдается сохранение активности в лобных областях и подавление активности 8-12 Гц в затылочной коре, что также свидетельствует о концентрации внимания при обработке сенсорной информации. Создана методика проведения экспериментов по регистрации сигналов активности головного мозга (ЭЭГ) и мышечной активности (ЭМГ) человека при управлении антропоморфным роботом с помощью копирующего экзоскелета. При помощи искусственной нейронной сети (ИНС) и методов частотно-временного анализа выявлены частотные и пространственные свойства паттернов нейронной активности при генерации моторных команд для управления движениями ног робота. Показано, что наиболее высокая точность классификации моторных паттернов при помощи ИНС достигается при рассмотрении сигналов ЭЭГ в лобной и височных долях, при этом наиболее информативным является частотный диапазон 1-12 Гц. С использованием ИНС выявлены уникальные особенности и общие черты для ЭЭГ-данных, регистрируемых при управлении движениями рук и ног. Показано, что ИНС эффективно (средняя точность 95%) детектирует различия между данными паттернами при включении в рассмотрение высокочастотной (>30 Гц) составляющей сигналов ЭЭГ. В случае, когда учитывается низкочастотная составляющая (<4 Гц), средняя точность классификации уменьшается до 70%. Реализована интеллектуальная система управления антропоморфным роботом на основании коррелированных процессов активности головного мозга и мышечной активности. Для детектирования моторных паттернов на ЭЭГ и их сопоставления с характерными паттернами ЭМГ была использована рекуррентная ИНС. Средняя точность распознавания моторных команд составила 90%. 8-10 октября 2018 года в СГТУ имени Гагарина Ю.А. состоялась II Международная школа молодых ученых «Динамика сложных сетей и их применение в интеллектуальной робототехнике» (DCNAIR 2018) (http://www.sstu.ru/nauka/konferentsii/dcnair-2018-ru.html). Школа-конференция стала международной площадкой для обучения и обмена образовательными, научными и техническими идеями между специалистами, в особенности – молодыми учеными и студентами, работающими в области изучения сложных сетей и интеллектуальной робототехники. DCNAIR 2018 способствовала активному научному взаимодействию, как на российском, так и на международном уровне (http://www.sstu.ru/news/v-sgtu-proshla-shkola-konferentsiya-po-intellektualnoy-robototekhnike.html).

 

Публикации

1. - РАЗМИНКА ДЛЯ УМА. ОТ "ИГРЫ В БИСЕР" - К РЕАЛЬНЫМ ПРОБЛЕМАМ РОБОТОТЕХНИКИ И НЕЙРОТЕХНОЛОГИЙ газета "Поиск", № 16(2018) (год публикации - ).

2. - Российские биологи выяснили, как мозг управляет фантомными конечностями РИА НАУКА, - (год публикации - ).

3. - С помощью электроэнцефалограммы сравнили реальное и воображаемое движение человека Индикатор, - (год публикации - ).

4. - Ученые смогли отличить реальные и воображаемые движения человека Газета.ру, - (год публикации - ).

5. Андреев А.В., Руннова А.Е., Писарчик А.Н. Numerical simulation of coherent resonance in a model network of Rulkov neurons Proc. SPIE, V.10717, No. 107172E, P. 1-6 (год публикации - 2018).

6. Кирсанов Д.В., Макаров В.В., Храмов А.Е. Программа для моделирования динамики многомасштабной сети -, 2018613337 (год публикации - ).

7. Куркин С., Пицик Е., Мусатов В., Руннова А., Храмов А. Artificial Neural Networks as a Tool for Recognition of Movements by Electroencephalograms In Proceedings of the 15th International Conference on Informatics in Control, Automation and Robotics (ICINCO 2018), Vol. 1, P. 166-171 (год публикации - 2018).

8. Макаров В.В., Kundu S., Кирсанов Д.В., Фролов Н.С., Максименко В.А., Гош Д., Дана С.К., Храмов А.Е. Multiscale interaction promotes chimera states in complex networks Communications in Nonlinear Science and Numerical Simulation, Vol. 71, P. 118–129 (год публикации - 2019).

9. Макаров В.В., Журавлев М.О., Руннова А.Е., Протасов П., Максименко В.А., Фролов Н.С., Писарчик А.Н., Храмов А.Е. Betweenness centrality in multiplex brain network during mental task evaluation Physical Review E, - (год публикации - 2018).

10. Макаров В.В., Кирсанов Д., Горемыко М., Андреев А., Храмов А.Е. Nonlinear dynamics of the complex multi-scale network Proc. SPIE, V. 10717, No. 1071729, P. 1-7 (год публикации - 2018).

11. Макаров В.В., Кирсанов Д.С., Фролов Н.С., Максименко В.А., Li X., Wang Z., Храмов А.Е., Боккалетти С. Assortative mixing in spatially extended networks Scientific Reports, V. 8, No. 13825, P. 1-8 (год публикации - 2018).

12. Максименко В., Руннова А., Пчелинцева С., Ефремова Т., Журавлев М., Писарчик А. Analysis of the features of untrained human movements based on the multichannel EEG for controlling anthropomorphic robotic arm Proc. SPIE, Vol. 10717, No. 107171L, P. 1-7 (год публикации - 2018).

13. Максименко В.А., Куркин С.А., Пицик Е.Н., Мусатов В.Ю., Руннова А.Е,, Ефремова Т.Ю., Храмов А.Е,, Писарчик А.Н. Artificial Neural Network Classification of Motor-Related EEG: An Increase in Classification Accuracy by Reducing Signal Complexity Complexity, V. 2018, No. 9385947, P. 1-10 (год публикации - 2018).

14. Максименко В.А., Павлов А., Руннова А.Е., Недайвозов В., Грубов В,, Короновский А., Пчелинцева С.В., Пицик Е., Писарчик А.Н., Храмов А.Е. Nonlinear analysis of brain activity, associated with motor action and motor imaginary in untrained subjects Nonlinear Dynamics, V. 91, Issue 4, P. 2803–2817 (год публикации - 2018).

15. Максименко В.А., Руннова А,Е., Фролов Н.С., Макаров В.В., Недайвозов В., Короновский А.А., Писарчик А., Храмов А.Е. Multiscale neural connectivity during human sensory processing in the brain Physical Review E, V. 97, Issue 5, No. 052405 (год публикации - 2018).

16. Максименко В.А., Руннова А.Е., Куркин С.А., Храмов А.Е. Способ классификации сигналов ЭЭГ при воображении двигательной активности у нетренированного оператора -, - (год публикации - ).

17. Максименко В.А., Храмов А.Е., Грубов В.В., Недайвозов В.О., Макаров В.В., Писарчик А.Н. Nonlinear effect of biological feedback on brain attentional state Nonlinear Dynamics, P. 1-17 (год публикации - 2018).

18. Недайвозов В.О., Руннова А.Е., Храмов А.Е. Интерфейс для распознавания и визуализации воображаемых движений рукой -, 2018612855 (год публикации - ).

19. Павлов А.Н., Руннова А.Е., Максименко В.А., Гришина Д.С., Храмов А.Е. Detection of EEG-patterns associated with real and imaginary movements using detrended fluctuation analysis Proc. SPIE, V.10493, No. 1049315, P. 1-5 (год публикации - 2018).

20. Павлов А.Н., Руннова А.Е., Максименко В.А., Павлова О.Н., Гришина Д.С., Храмов А.Е. Распознавание движений руки по сигналам электроэнцефалограммы на основе флуктуационного анализа Письма в ЖТФ, 2019, том 45, вып. 4 (год публикации - 2019).

21. Павлов А.Н., Руннова А.Е., Максименко В.А., Павлова О.Н., Гришина Д.С., Храмов А.Е. Detrended fluctuation analysis of EEG patterns associated with real and imaginary arm movements Physica A, V. 509, P. 777-782 (год публикации - 2018).

22. Писарчик А.Н., Huerta-Cuellar G., Kulp C.W. Statistical analysis of symbolic dynamics in weakly coupled chaotic oscillators Communications in Nonlinear Science and Numerical Simulation, V. 62, P. 134-145 (год публикации - 2018).

23. Пицик Е.Н., Макаров В.В., Кирсанов Д.В., Фролов Н.С., Горемыко М., Li X., Wang Z., Храмов А.Е., Боккалетти С. Inter-layer competition in adaptive multiplex network New Journal of Physics, V. 20, No. 075004, P. 1-9 (год публикации - 2018).

24. Пицик Е.Н., Макаров В.В., Недайвозов В.О., Кирсанов Д.В., Горемыко М.В. Self-organization in multilayer network with adaptation mechanisms based on competition Proc. SPIE, V.10717, No.107172B, P. 1-6 (год публикации - 2018).

25. Пономаренко В.И., Кульминский Д.Д., Прохоров М.Д. An Experimental Study of Synchronization of Nonidentical Neuronlike Oscillators with an Adaptive Delayed Coupling Technical Physics Letters, Vol. 44, Iss. 9, P. 761-764 (год публикации - 2018).

26. Руннова А.Е., Андреев А.В., Журавлев М.О. Программа ЭВМ обеспечения сложного дизайна нейрофизиологического эксперимента в области исследования двигательной активности различных типов при синхронной электроэнцефалографической регистрации у человека -, 2018612999 (год публикации - ).

27. Фролов Н.С., Максименко В.А., Макаров В.В., Кирсанов Д.В., Храмов А.Е., Куртс Ю. Macroscopic chimeralike behavior in a multiplex network Physical Review E, Vol. 98, Iss. 2, No. 022320 (год публикации - 2018).

28. Фролов Н.С., Максименко В.А., Храмов А.Е. Программный модуль для поиска и классификации состояний головного мозга в процессе принятия решения -, 2018662581 (год публикации - ).

29. Фролов Н.С., Максименко В.А., Храмов А.Е., Писарчик А.Н. Способ идентификации состояния сомнений человека по данным активности головного мозга -, - (год публикации - ).

30. Фролов Н.С., Писарчик А.Н. Diagnostics of the Brain Neural-Ensemble States Using MEG Records and Artificial Neural-Network Concepts Technical Physics Letters, Vol. 44, No. 5, pp. 441–444 (год публикации - 2018).

31. Храмов А.Е., Сельский А.О., Егоров И.В. Nonlinear correlation method for the separation of couplings in EEG experiments with neural ensembles Proc. SPIE, Vol. 10493, No. 104931C, P. 1-6 (год публикации - 2018).

32. Храмов А.Е., Фролов Н.С., Максименко В.А., Макаров В.В., Короновский А.А., Garcia-Prieto J., Anton-Toro L.F., Maestu F., Писарчик А.Н. Artificial neural network detects human uncertainty Chaos, V. 28, Issue 3, No. 033607 (год публикации - 2018).