КАРТОЧКА ПРОЕКТА,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 19-12-00394

НазваниеНелинейная динамика нейронных сетей, реализующих когнитивную обработку динамических ситуаций в мозге

РуководительМакаров Валерий Анатольевич, Кандидат физико-математических наук

Организация финансирования, регионфедеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского", Нижегородская обл

Года выполнения при поддержке РНФ 2019 - 2021 

КонкурсКонкурс 2019 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 02 - Физика и науки о космосе, 02-402 - Нелинейные колебания и волны

Ключевые слованейронные сети, нелинейная динамика, внутреннее представление, локальные полевые потенциалы, когнитивные роботы

Код ГРНТИ29.35.03


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
В последние годы наблюдается беспрецедентный рост возможностей искусственного интеллекта (ИИ) и его стремительное проникновение в нашу повседневную жизнь. Ожидается, что это может привести к появлению высокоразвитых роботов, конкурирующих по своим когнитивным способностям с животными и, возможно, человеком. Похожие выводы, однако, были сделаны почти полвека назад в период бурного роста знаний об искусственных нейронных сетях. Тем не менее, высокоинтеллектуальные антропоморфные роботы все еще остаются несбыточной мечтой. Данный ход истории был предсказан в 80-х годах прошлого века и получил название парадокса Моравека: «Человечеству будет намного проще создать робота, способного говорить с нами, чем робота, способного двигаться между нами в комнате где мы находимся». Действительно, многочисленные разработки в области ИИ показывают, что создание сложных экспертных систем (Siri от Apple или Google Assistant), является куда более тривиальной задачей, чем создание роботов, способных имитировать такие, на первый взгляд, простые действия, как движение человека во встречном потоке пешеходов. Даже один из наиболее совершенных роботов ASIMO (Honda) демонстрирует относительно скромные способности к когнитивному или «обдуманному» поведению в таких ситуациях. Современные роботы хорошо справляются со статическими или квазистатическими сценариями, где их поведение может быть ограничено некогнитивными («если-то») алгоритмами. Однако этого недостаточно для работы в сложных, меняющихся во времени ситуациях. Все усилия исследователей разбиваются о фундаментальное препятствие - отсутствие синтетического когнитивного интеллекта. Поэтому возникает вопрос: почему мы не можем скопировать когнитивные механизмы мозга? Ответ прост: они во многом неизвестны. По нашему мнению, для кардинального прогресса в данном направлении необходим синергетический подход, включающий экспериментальное исследование когнитивных механизмов, реализованных в кортико-гиппокампальных сетях, моделирование нелинейной динамики и волновой активности данных регионов и, наконец, апробацию математических моделей на роботах. Ранее нами была сформулирована универсальная теория компактных внутренних представлений (КВП), которая базируется на взаимодействии между: а) предсказанием динамики окружающей среды и б) мысленным моделированием различных стратегий поведения. Оба процесса синхронизируются в специальной нейронной сети, которая трансформирует динамические ситуации в статические когнитивные карты, так называемые КВП. Таким образом, время "свертывается" и пространственные отношения между виртуальными объектами, возникающими на карте, описывают потенциальные столкновения между индивидуумом и окружающей средой. Заметим, что теория КВП недавно получила экспериментальную поддержку. Было показано, что человек при принятии решений в динамических ситуациях опирается на ее механизмы. Таким образом, задача изучения когнитивных механизмов основанных на КВП поставлена корректно, т.е. в принципе имеет решение. Однако, КВП не является константой. Для его успешного использования необходимо реализовать динамическую ситуационную память, функционально имитирующую принципы работы гиппокампа, отдела мозга, ответственного за ориентацию в пространстве и память. Предпосылки для создания нового типа памяти были заложены нами в последних работах по нейронным сетям, предлагающих новую концепцию “многомерного мозга”. В этом контексте, КВП являются точками в пространстве мозга, которые могут быть запомнены, кластеризованы, сравнены и т.д. Однако, обычные подходы, включая конволюционные нейронные сети, имеют существенные трудности при оперировании с такими объектами, связанные с так называемым “проклятием размерности”. Тем не менее, наши последние результаты указывают на возможность эффективного запоминания КВП в пирамидальных нейронах гиппокампа, используя принцип «благословения размерности», берущий истоки в термодинамической эквивалентности ансамблей Гиббса и теории концентрации меры. Таким образом, в данном проекте предполагается разработать модели реалистичных нейронных сетей и изучить их колебательную динамику, воспроизводящую когнитивные функций мозга. Будет разработана новая концепция “виртуального гиппокампа”, включающего ситуационную пространственно-временную память на основе КВП-мотивов (неделимых действий, служащих в качестве “атомов” при создании сложных поведений в динамических ситуациях). Для достижения целей проекта планируется выполнить три задачи: 1) Экспериментально исследовать КВП-мотивы на животных и человеке; 2) Разработать модели нейронных сетей, реализующих экосистему виртуального гиппокампа и 3) Апробировать предложенные модели, используя колесные роботы Pioneer 3DX и антропоморфный робот Poppy Torso. Научная новизна исследований обусловлена применением синергетического подхода к проблеме, сочетающего теорию и эксперимент, кардинального сдвига парадигмы когнитивного восприятия динамических ситуаций и комбинацией КВП с ситуационной памятью, создающей полную экосистему. В настоящее время авторский коллектив обладает четырьмя новейшими результатами: 1) концепция КВП (2010-2017 г.), 2) функциональный подход к исследованию информационных потоков в гиппокампе (2014-2018 г.), 3) подтверждение существования КВП в человеческом мозге (2018 г.) и 4) концепция многомерного мозга (2018 г.), предвосхищающая создание ситуационной памяти. Таким образом, открывается окно возможностей для создания новой технологии - экосистемы виртуального гиппокампа, воспроизводящей когнитивные способности человека. Разрабатываемый виртуальный гиппокамп может быть положен в основу управления мобильными роботами новой генерации, обладающими человекоподобными когнитивными способностями. Таким образом, данный проект предполагает добиться кардинального прорыва в решении парадокса Моравека. В заключении отметим, что проект предполагает получение пионерских результатов в развитии систем искусственного интеллекта и соответствует Стратегии научно-технологического развития Российской Федерации: Н1 Переход к передовым цифровым, интеллектуальным производственным технологиям, роботизированным системам, новым материалам и способам конструирования, создание систем обработки больших объемов данных, машинного обучения и искусственного интеллекта.

Ожидаемые результаты
Основное свойство субъектов, обладающих когнитивными способностями, будь то человек, животное или робот, это понимание окружающего мира в терминах практического взаимодействия с ним. Таким образом, исследование когнитивных способностей, выражающихся в решении таких жизненно-важных проблем, как навигация и манипулирование объектами в динамически меняющихся ситуациях, является одной из важнейших проблем современной науки. Цель данного проекта - разработать модели реалистичных нейронных сетей и изучить их колебательную динамику, воспроизводящую когнитивные функций мозга. Анатомически, эти функции реализованы в гиппокампе, отделе мозга ответственном за ориентацию и пространственную память. Таким образом, мы предполагаем разработать новую концепция “виртуального гиппокампа”, включающую компактное внутреннее представление (КВП) динамических ситуаций и ситуационную пространственно-временную память, построенную на новой концепции многомерного мозга. Виртуальный гиппокамп позволит генерировать и запоминать статические когнитивные карты для внутреннего представления динамических ситуаций и, далее, извлекать их из памяти для реагирования в реальном времени на меняющиеся ситуации и конструирования сложных поведений, как это делают животные и человек. В среднесрочной перспективе, виртуальный гиппокамп может служить моделью прото-мозга для технологической революции в разработке новой генерации роботов. Таким образом, можно заключить, что, проект ставит перед собой масштабную задачу, не решенную в современной науке. Для достижения цели проекта нами разработан план работ, включающий три основные задачи, синергетически связанные между собой: 1) Экспериментальное исследование КВП-мотивов на животных и человеке; 2) Разработка моделей нейронных сетей, реализующих экосистему виртуального гиппокампа; и 3) Апробация предложенных алгоритмов в робототехнических устройствах. По всем направлениям ожидается получить результаты мирового уровня. Экспериментальное исследование КВП-мотивов Будут получены данные о топологическом подобии поведения животных и человека и предсказаний, сделанных на основе теории КВП и многомерного мозга. В экспериментах на крысах будут выделены основные генераторы локальных полевых потенциалов (ЛПП), вовлеченные в информационные потоки, связанные с когнитивной деятельностью. Динамические характеристики данных генераторов и их корреляции с поведением животных будут изучены, что позволит выделить основные КВП-мотивы. На основании экспериментальных данных будут сделаны выводы о нейронных контурах, определяющих выполнение КВП-мотивов и определены генераторы ЛПП, связанные с принятием решений. Эти знания будут использованы для разработки модельных нейронных сетей. Теория предсказывает, что КВП-память должна существенно влиять на поведение. Ожидается, что тестирование данного аспекта на животных может встретить существенные затруднения, поэтому мы будем проводить эксперименты на людях. Это также позволит провести оценку различий между когнитивными поведениями животных и человека. Для экспериментов с людьми будут использованы специально разработанные компьютерные тесты в виде динамических игр аркадного типа. Также будет разработан и апробирован инструментарий, реализующий виртуальную реальность на основе ВР очков для более полного погружения в динамическую ситуацию. Будут получены результаты по накоплению КВП-памяти в группах людей, отличающихся степенью тренированности восприятия динамических ситуаций. Это позволит разработать модели нейронных сетей, реализующих ситуационную память. Разработка виртуального гиппокампа Будут разработаны нейронные сети, которые реализуют прогрессивно усложняющиеся версии виртуального гиппокампа. На первом этапе предполагается адаптировать существующие сети для создания КВП к сценариям, предлагаемым в проекте, для реализации на роботах. Будет также разработана новая модель пирамидальных “многомерных” нейронов и исследована их селективность при частотном и временном типе кодирования стимулов. На втором этапе сети КВП и ситуационной памяти будут соединены через промежуточный интерфейс, т.е., они будут работать относительно независимо друг от друга, что позволит провести их индивидуальную настройку в соответствии с результатами экспериментальных исследований. На последнем этапе сети будут объединены в единое целое и, таким образом, будет создана экосистема виртуального гиппокампа. На каждом из этапов будет проведено исследование нелинейной динамики нейронных сетей с привлечением моделирования in silico. При разработке будет уделено особое внимание биофизической реалистичности моделей. Например, будут использованы мульти-компартиментальные модели пирамидальных нейронов с тысячами синаптических входов, обладающих STDP пластичностью Апробация моделей на роботах Разрабатываемые модели виртуального гиппокампа будут апробированы на колесных роботах Pioneer 3DX и антропоморфном Torso. Это позволит показать их жизнеспособность в реальных условиях, а не только in silico. Будет показана возможность генерации КВП в реальном времени. Далее в блоке управления роботов будут запрограммированы модели ситуационной памяти. Будет показано, что роботы способны обучаться в процессе взаимодействия с динамическими объектами, находящимися в их окружении. Будут проведены эксперименты с роботами, управляемыми различными версиями виртуального гиппокампа. По результатам испытаний будут определены ключевые факторы, лимитирующие производительность алгоритмов, что послужит обратной связью для задачи разработки моделей. Чтобы замкнуть синергетический круг исследований, будет проведен сравнительный анализ кривых обучения роботов с данными, полученными в экспериментах на людях и животных. Успешное развитие проекта создаст предпосылки для переноса новой технологии в коммерческую сферу. Создание роботов нового поколения будет иметь громадный социально-экономический эффект. Кардинально изменится профиль занятости. Многие рабочие места пропадут. Однако по оценкам экспертам на каждые 10 потерянных рабочих место приходиться 18 вновь созданных. Доход от ИИ в мировом масштабе составит $1,6 триллионов и достигнет в 2024 (к моменту окончания проекта) $23,8 триллионов. В этой связи, данный проект может послужить для ускорения внедрения новых роботизированных технологий в Российской Федерации.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2019 году
Настоящий проект посвящен исследованию нелинейной динамики нейронных сетей, реализующих когнитивную обработку динамических ситуаций в мозге. Наш подход к данной проблеме является комплексным и мульти-дисциплинарным. Для достижения целей проекта были поставлены три основных задачи: 1) Исследовать корреляции предсказаний, сделанных на основе теории компактных внутренних представлений (КВП), с нейронной активностью мозга у животных и с поведением людей в рамках специально разрабатываемых компьютерных игр. 2) Изучить математические модели нейронных сетей, способных моделировать процессы создания КВП и принятия решений на их основе. 3) Реализовать математические модели в качестве компьютерных алгоритмов, которые управляют поведением реальных роботов и виртуальных агентов в компьютерных играх. Ниже приводятся основные научные результаты, полученные за истекший период. ЗАДАЧА 1: Экспериментальное исследование КВП Данная задача была разделена на две части: A) Инвазивное исследование нейронной активности на крысах и Б) Поведенческие исследования человека. А. Нами была разработана экспериментальная установка, включающая Т-образный лабиринт, систему регистрации локальных полевых потенциалов (ЛПП) с помощью мультиэлектродных матриц и систему видеоконтроля для одновременной записи поведения животных в лабиринте. Данная установка позволяет изучать корреляцию когнитивных функций, связанных с навигацией в пространстве, и нейронной активности мозга. Были проведены пилотные эксперименты по регистрации 32-канальных ЛПП в гиппокампе (области мозга, ответственной за ориентирование в пространстве). Для математического анализа ЛПП был применен ранее адаптированный для этих целей метод Анализа Нeзависимых Компонент (АНК), позволяющий разделить исходные ЛПП на ЛПП-генераторы, описывающие активность различных афферентных нейронных ансамблей. Было проведено сравнение активности ЛПП-генераторов в анастезированных и свободно движущихся животных. Анализ полученных данных показал, что сигналы ЛПП не меняют свои основные спектральные характеристики. Тем не менее, качество записей спустя семь дней после имплантации ухудшается. Кроме того, точность выделения ЛПП-генераторов зависит от их относительной мощности. Для улучшения пространственно-временных характеристик выделяемых ЛПП-генераторов с низкой мощностью нами был разработан новый многошаговый алгоритм MАНК, который позволяет значительно улучшить качество разделения слабых генераторов (например, в тестах было получена относительная погрешность 207% для стандартного АНК и 15,7% для нового метода). Б. Для апробации теории КВП в качестве основного механизма принятия решений человеком в динамических ситуациях нами были разработаны два типа компьютерных тестов. 1. Тест на существование КВП. Участникам предлагалось классифицировать различные ситуации, отображаемые на экране компьютера. Им предъявлялись сначала статичные сцены, а затем - динамические. В контрольной группе предъявляемые статичные сцены не содержали эффективных объектов будущих динамических сцен; во второй группе динамические сцены с эффективными объектами соответствовали ранее показанным статичным сценам; и в третьей группе динамические сцены не соответствовали статичным. Далее были построены кривые обучения, то есть зависимости доли правильных ответов от номера попытки для различных групп. Предварительные данные показали, что испытуемые из второй группы демонстрируют более быструю скорость обучения по сравнению с контрольной группой и третьей группой, в полном соответствии с гипотезой КВП. 2. Аркадный тест. Тест состоял из игровых сцен, в которых объект (жучок), управляемый испытуемым, должен достичь цели (вишенки), избегая препятствие (осу). Всего было реализовано 10 сцен трех типов. В первом типе оценивалась ошибка управления объектом, связанная с моторным контролем человека. Второй тип позволяет сравнить экспериментальные траекторий с траекториями, предсказанными алгоритмами КВП (глобальный) и “простое правило” (локальный). Незначимые отличия отклонений ошибки между тестами данных типов говорят о соответствии экспериментальных траекторий алгоритмам КВП и “простое правило”. Третий тип с динамическими сценами был реализован для сопоставления экспериментальных траекторий прежде всего с алгоритмом КВП. В настоящее время накапливаются результаты для тестирования теоретических предсказаний, сделанных на основе теории КВП. Для более глубокого понимания детализированного анализа моторных реакций испытуемого, данный тест также проводился с использованием электрофиографического (ЭМГ) интерфейса. Анализ ЭМГ-сигналов мышц испытуемых показал наличие характерных паттернов в моментах, критических с точки зрения управления. В контролируемом (“спокойном”) режиме паттерн содержит высокоамплитудный сигнал с мышц, синергичных к актуальному движению, в режиме потери управления и последующей корректировки паттерн включает в себя активацию антагонистов. Для анализа данных был предложен динамический коэффициент реципроктности, который позволяет определяет величину КВП-окна. ЗАДАЧА 2: Разработка моделей нейронных сетей По данной задаче были проведены работы по созданию моделей А) концепции многомерного мозга на импульсных нейронах, Б) Сети многомерных нейронов для реализации памяти и В) Самоорганизации и образования мозгоподобных архитектур. А. Количество нейронных связей играет ключевую роль в передаче информации и ее хранении в мозге. Модели нейронов со множеством входов отражают принцип многоканальной структуры, характерной для нейронных сетей в кортико-гиппокампальных образованиях, изучаемых в Задаче 1. На основе наших раннее полученных результатов, мы разработали новую концепцию многомерного импульсного (спайкового) нейрона. Таким образом, была достигнута биологическая реалистичность, отсутствующая в моделях с формальными нейронами. В качестве основы была использована модель нейрона Ижикевича. Далее были проведены исследования селективности полученного нейрона при различных схемах кодирования информации. Для временного кодирования было показано, что спайковый нейрон, так же как и формальный, демонстрирует пороговую селективность, т.е., селективность повышается скачкообразно при увеличении размерности входного сигнала. Похожие результаты были получены и для частотного кодирования. Таким образом, полученные результаты показывают, что концепция “многомерного мозга” может быть реализована с помощью реалистичных импульсных нейронов. Б. В научной среде широко распространено мнение о том, что существование в человеческом мозге абстрактных понятий, таких как, например, «стол», требует сложного, идеально организованного взаимодействия множества нейронов. Однако последние экспериментальные данные свидетельствуют об обратном. Отдельные нейроны, так называемые концептуальные клетки, могут отвечать за сложные задачи. Исходя из первых принципов, мы предложили биофизическую модель гиппокампа, состоящую из двух нейронных слоев: нейроны в первом слое обучаются селективности с помощью локального динамического правила, нейроны во втором слое группируют стимулы и становятся селективными к концепциям. Было установлено, что концептуально способный мозг должен отвечать следующим основным требованиям: а) иерархическая организация крупных ламинарных нейрональных слоев; б) надпороговое число синаптических входов для главных нейронов в слоях; в) величина синаптической пластичности должна быть адекватна для каждого нейронного слоя. Эти три фундаментальных условия, выполняемых человеческим мозгом, обеспечивают высокую когнитивную функцию отдельных клеток. В. Механизмы структурной пластичности играют ключевую роль при динамической оптимизации функциональной связности в мозге. Изменения анатомических связей напрямую зависят от характера коммуникации в сети, но в свою очередь существует и обратная связь, что приводит к самоорганизации крупномасштабных структур мозга. Нами было показано, что мозгоподобные архитектуры могут проявляться в результате адаптивной реорганизации. Динамика реорганизации связей подчиняется трем механизмам. Р1: Самое длинное соединение удаляется и заменяется соединением между ближайшими нейронами. Р2: Удаляется соединение, наиболее близкое к ортогональному направлению распространения волн, и заменяется на наиболее близкое к параллельному направлению. Р3: В графе происходит диффузия, т.е., удаляется малоиспользуемое соединение, и устанавливается связь между неподключенными блоками с наиболее интенсивным трафиком. Эти механизмы могут привести к формированию структур “маленького мира”, а также свер-цепочек и колец в функциональном пространстве, состоящих из малосвязанных кластеров нейронов. Полученные результаты показывают, что функциональная организация в биологических сетях является неизменным феноменом их динамики, а не результатом экспрессии генов. ЗАДАЧА 3: Апробация моделей в робототехнических устройствах Работы по данной задаче базировались на результатах, полученных при исследовании Задач 1 и 2, и проводились по двум направлениям: А) Проблема навигации и Б) Манипулирование объектами. А. Теория КВП была применена для управления колесным роботом Pioneer 3DX. Был разработан аппаратный комплекс, включающий в себя: стационарный компьютер, широкоугольную usb-камеру и робот, оснащенный бортовым миникомпьютером. Для управления роботом использовалась клиент-серверная архитектура. Детектирование координат и ориентации агента, и маскирования препятствий производилось средствами библиотеки OpenCV, используя цветовое HSV-кодирование. Для создания масок использовалась диапазонная полосовая фильтрация. Для решения задачи следования траектории, траектория представлялась в виде массива ключевых точек, составляющих траекторию. Управление роботом осуществлялось через скорость углового вращения моторов. Программно-аппаратный комплекс вычислял КВП ситуации и генерировал траекторию движения. Было установлено, что данный подход позволяет достичь высокой точности прохождения арены. Б. Был создан программно-аппаратный комплекс “Фехтовальщик”, состоящий из гибридного робота (антропоморфный робот Poppy Torso установленный на колесной платформе Pioneer 3DX) со шпагой в правом манипуляторе и простого робота оппонента, также обладающего шпагой. Для управления роботами была разработана новая теория, базирующаяся на семантическом описании КВП-мотивов. В качестве испытательного стенда был использован сценарий фехтования, в котором субъект выбирает стратегию защиты с последующей атакой (так называемая стратегия parry-riposte). Семантическое содержание каждого действия с точки зрения летальности, универсальности и неизбежности структурируется как пространственная карта, представляющая конкретную фехтовальную (динамическую) ситуацию. Модель позволяет быстро и надежно развернуть различные когнитивные стратегии. Полученные результаты сначала были проверены в виртуальной реальности, а затем опробованы на реальных роботах.

 

Публикации

1. К. Кальво Тапия, Дж.А. Виллакорта-Атенза, С.Д. Диез-Хермано, М. Хоружко, С.А. Лобов, И. Потапов, А. Санчес-Джимез, В.А. Макаров Semantic Knowledge Representation for Strategic Interactions in Dynamic Situations Frontiers in Neurorobotics, - (год публикации - 2020).

2. Кальво Тапиа К., C., Макаров, В.А, ван Лювен К. Basic principles drive self-organization of brain-like connectivity structure Communications in Nonlinear Science and Numerical Simulation, 82 (2020), 105065 (год публикации - 2020).


Аннотация результатов, полученных в 2020 году
Проект посвящен исследованию нелинейной динамики нейронных сетей, реализующих когнитивную обработку динамических ситуаций в мозге. Наш подход к данной проблеме является комплексным и мультидисциплинарным. Для достижения целей проекта были поставлены три основных задачи: 1) Исследовать корреляции предсказаний, сделанных на основе теории компактных внутренних представлений (КВП), с нейронной активностью мозга у животных и с поведением человека в рамках специально разрабатываемых компьютерных игр. 2) Изучить математические модели нейронных сетей, способные моделировать процессы создания КВП и принятия решений на их основе. 3) Реализовать математические модели в качестве компьютерных алгоритмов, которые управляют поведением реальных роботов и виртуальных агентов в компьютерных играх. Ниже приводятся основные научные результаты, полученные за истекший период. ЗАДАЧА 1: Экспериментальное исследование КВП Данная задача была разделена на две части: A) Инвазивное исследование нейронной активности на крысах и Б) Поведенческие эксперименты на людях. А. Проведены электрофизиологические эксперименты по регистрации локальных полевых потенциалов (ЛПП), генерируемых в гиппокампе крыс. На первом этапе исследований были получены записи спонтанной активности у анестезированных крыс. На основе анализа независимых компонент, были построены генераторы ЛПП, позволившие определить положение синаптических входов афферентных нейронных популяций и их временную составляющую. ЛПП, регистрируемые на протяжении месяца, позволили сравнить генераторы в динамике. Было обнаружено, что до 15 дня нейронные генераторы не претерпевают существенных изменений. Однако, начиная с третьей недели, пространственные профили генераторов деформируются, что может свидетельствовать о нарушении целостности мозговых тканей, связанной с образованием глиальных рубцов. На следующем этапе были проведены исследования на свободно двигающихся животных. Задачи, выполняемые животным, включали тесты пространственной памяти, оценку новизны окружающей обстановки, запоминание траекторий движущихся объектов. Были разработаны протоколы теста на когнитивно-мнестические функции в пространственных лабиринтах с использованием питьевой депривации. Анализ сигналов ЛПП в левом и правом гиппокампах показал, что локальные потенциалы обеих структур создаются одинаковым количеством нейронных генераторов. Были обнаружены как генераторы с высоким коэффициентом корреляции между левым и правым гиппокампами, так и не демонстрирующие значимую когерентность. Сравнительное исследование генераторов ЛПП в зоне СА1 гиппокампа и М1 коры головного мозга показало наличие общих генераторов для обеих областей и генераторов характерных только для СА1. Генераторы эксклюзивные для корры М1 обнаружены не были. Таким образом, существует общий информационный поток, поступающий одновременно в зоны СА1 гиппокампа и М1 коры. В то же время, СА1 обрабатывает информацию, которая является эксклюзивной для этой структуры. Б. Для апробации теории КВП в качестве основного механизма принятия решений у человека было разработано и проведено два типа тестов на принятие решений: 1) в задачах дискриминационного обучения (353 испытуемых) и 2) в аркадных играх (63 испытуемых). Оба типа тестов подтвердили основное предсказание теории КВП о тождественности компактных когнитивных карт генерируемых человеком для статических и динамических ситуаций и о существовании виртуальных объектов в этих картах. Наши результаты выявили, что мужчины предпочитают использовать компактирование времени для преодоления динамических ситуаций, в то время как женщины полагаются на более широкий спектр стратегий. Эта предрасположенность соответствует ранее опубликованным работам о гендерных различиях, связанных с разделением ролей у людей для увеличения вероятности выживания. Таким образом, полученные результаты подтвердили гипотезу, что компактирования времени является когнитивной стратегией, центральной для жизненно важного взаимодействия с динамической средой на абстрактном и поведенческом уровнях. Также было показано, что в динамических ситуациях решения, демонстрируемые не тренированными людьми, могут значительно отличаться от решений, предлагаемых алгоритмом КВП. Однако при уменьшении времени отводимого на реакцию, данные различия перестают быть статистически значимыми, что свидетельствует о том, что в условиях нехватки времени мозг пользуется статическими когнитивными картами, сохраненными в памяти, а не занимается поиском решения непосредственно во время разворачивания динамической сцены. ЗАДАЧА 2: Разработка моделей нейронных сетей, реализующих экосистему виртуального гиппокампа На основе нейронной сети с STDP-пластичностью, была разработана модель пространственной памяти с положительным и отрицательным подкреплением. Показано, что STDP-опосредованные перестройки синаптических весов приводят к изменению активности сети, что в свою очередь меняет направление движения робота. В результате робот после этапа обучения избегает негативной (опасные) зоны, оставаясь преимущественно в нейтральной зоне. Далее были разработаны принципы семантического представления стратегических взаимодействий на основе КВП. Показано, что концепция КВП обеспечивает естественный способ представления семантических знаний о действиях в меняющихся во времени ситуациях, в частности в спортивном фехтовании. Было показано, что семантическое содержание действий с точки зрения летальности, универсальности и неизбежности структурируется как пространственная карта, представляющая конкретную динамическую ситуацию. Для решения одной из задач по созданию виртуального гиппокампа, нами была исследована возможность существования в гиппокампе клеток, генерирующих абстрактные концепций, т.е. отвечающих за выполнение сложных задач, связанных с ассоциативной памятью. Нами была разработана сеть “многомерных” нейронов с автоассоциативными свойствами, реализующая возможность извлечения из КВП памяти образа при предъявлении на входе схожей динамической ситуации. Были установлены три фундаментальных условия, выполняемые мозгом человека, которые обеспечивают высокую когнитивную функциональность отдельных клеток: 1) иерархическая организация больших ламинарных нейронных слоев, 2) надпороговое количество синаптических входов у пирамидальных нейронов и 3) величина синаптической пластичности, адекватная для каждого нейронного слоя. Далее была показана возможность выполнения аналогичных функций биологически релевантным импульсным нейроном с Хеббовским обучением. ЗАДАЧА 3: Апробация предложенных алгоритмов в робототехнических устройствах Для объединения колесного и антропоморфного роботов в единую платформу была переработана и расширена ранее разработанная программно-аппаратная платформа для антропоморфного робота Poppy. Было разработано ПО, которое может использоваться не только в экспериментах с роботами, управляемыми разными алгоритмами (Задача 2), но и для компьютерного тестирования человека (Задача 1). В новой версии платформы был реализован сценарий эмуляции прямоугольной арены с набором препятствий; добавлен режим эмуляции колесного робота; добавлена возможность эмуляции антропоморфного и колесного роботов в тандеме; улучшена производительность и визуальное качество картинки. С использованием сетей глубокого обучения, на база колесного робота Pioneer 3DX, был разработан программно-аппаратный комплекс, позволяющий тестировать модели алгоритмов с КВП-памятью, полученных в Задаче 2. Показано, что модель, построенная на основе многомерных нейронов, может распознавать три типа объектов: рукописные цифры, геометрические фигуры и буквы. Более того, картинки с символами могут быть расположены под разными углами обзора, что позволяет роботу определять класс (концепцию) объекта на ходу, вне зависимости от положения камеры. Далее сеть была усложнена и кроме двухслойной структуры концептуальных клеток (Задача 2) в нее были включены интернейроны. Полученная сеть была исследована, и были определены значения параметров, позволяющие реализовать процесс обучения концепциям, оптимизирующий количество отдельных стимулов в общем потоке. Это позволило успешно обучить нейронную сеть как в условиях виртуальной реальности, так и в случае экспериментов с роботом в реальных условиях. Результаты были продемонстрированы в экспериментах по «ориентированной навигации», в которых робот распознавал символы для перемещения по лабиринту. Было показано, что робот успешно определял, с какой концепцией был связан символ (число, буква или геометрическая фигура), и, в зависимости от распознанной концепции, строил маршрут перемещения. Проведенная работа позволяет утверждать, что разрабатываемый программно-аппаратный комплекс действительно справляется с возложенными на него задачами. На следующем этапе (2021 г.) будет продолжена модель искусственного гиппокампа.

 

Публикации

1. - Расчеты математиков впервые показали, что за абстрактные понятия в мозге отвечают отдельные клетки научно-популярный портал poisknews.ru, - (год публикации - ).

2. - Мозг уплотняет время для принятия быстрых и эффективных решений” на сайте Мадридского университета Комплутенсе сайт Мадридского университета Комплутенсе, - (год публикации - ).

3. - Работу концептуальных клеток показали на девятой симфонии Бетховена Государственное информационное агентство ТАСС, - (год публикации - ).

4. - Робот сможет рассуждать Российская газета, - (год публикации - ).

5. - Учёные ННГУ смоделировали работу нейронов, отвечающих за абстрактное мышление Портал ННГУ им. Н.И.Лобачевского, - (год публикации - ).

6. Вилакорта-Атенза А.Д., Кальво Тапия К., Диез-Хермано С., Санчес-Джименес А., Лобов С.А., Крылова Н.П., Мурчиано А., Лопез-Толса, Г.Е., Рикардо П., Макаров В.А. Static Internal Representation of Dynamic Situations reveals Time Compaction in Human Cognition. Journal of Advanced Research, - (год публикации - 2020).

7. Жаринов А.И., Макаров В.А., Казанцев В.Б., Лобов С.А. Spatial memory based on an STDP-driven neural network Conference Proceedings - 4th Scientific School on Dynamics of Complex Networks and their Application in Intellectual Robotics, DCNAIR 2020, Номер статьи 9216804, Страницы 269-271 (год публикации - 2020).

8. Кальво Тапия К., Тюкин И., Макаров В.А. Universal principles justify the existence of concept cells SCIENTIFIC REPORTS, Том: ‏ 10 Выпуск: ‏ 1 Номер статьи: 7889 (год публикации - 2020).

9. Лобов С.А., Михайлов А.Н., Шамшин М.О., Макаров В.А., Казанцев В.Б. Spatial properties of STDP in a self-learning spiking neural network enable controlling a mobile robot FRONTIERS IN NEUROSCIENCE, 14, 88 (год публикации - 2020).

10. Херрерас О., Макарова Ю.М. Mechanisms of the negative potential associated with Leão’s spreading depolarization: A history of brain electrogenesis. Journal of Cerebral Blood Flow & Metabolism, 40, 1934–1952 (год публикации - 2020).