Аннотация результатов, полученных в 2019 году
Настоящий проект посвящен исследованию нелинейной динамики нейронных сетей, реализующих когнитивную обработку динамических ситуаций в мозге. Наш подход к данной проблеме является комплексным и мульти-дисциплинарным. Для достижения целей проекта были поставлены три основных задачи: 1) Исследовать корреляции предсказаний, сделанных на основе теории компактных внутренних представлений (КВП), с нейронной активностью мозга у животных и с поведением людей в рамках специально разрабатываемых компьютерных игр. 2) Изучить математические модели нейронных сетей, способных моделировать процессы создания КВП и принятия решений на их основе. 3) Реализовать математические модели в качестве компьютерных алгоритмов, которые управляют поведением реальных роботов и виртуальных агентов в компьютерных играх. Ниже приводятся основные научные результаты, полученные за истекший период. ЗАДАЧА 1: Экспериментальное исследование КВП Данная задача была разделена на две части: A) Инвазивное исследование нейронной активности на крысах и Б) Поведенческие исследования человека. А. Нами была разработана экспериментальная установка, включающая Т-образный лабиринт, систему регистрации локальных полевых потенциалов (ЛПП) с помощью мультиэлектродных матриц и систему видеоконтроля для одновременной записи поведения животных в лабиринте. Данная установка позволяет изучать корреляцию когнитивных функций, связанных с навигацией в пространстве, и нейронной активности мозга. Были проведены пилотные эксперименты по регистрации 32-канальных ЛПП в гиппокампе (области мозга, ответственной за ориентирование в пространстве). Для математического анализа ЛПП был применен ранее адаптированный для этих целей метод Анализа Нeзависимых Компонент (АНК), позволяющий разделить исходные ЛПП на ЛПП-генераторы, описывающие активность различных афферентных нейронных ансамблей. Было проведено сравнение активности ЛПП-генераторов в анастезированных и свободно движущихся животных. Анализ полученных данных показал, что сигналы ЛПП не меняют свои основные спектральные характеристики. Тем не менее, качество записей спустя семь дней после имплантации ухудшается. Кроме того, точность выделения ЛПП-генераторов зависит от их относительной мощности. Для улучшения пространственно-временных характеристик выделяемых ЛПП-генераторов с низкой мощностью нами был разработан новый многошаговый алгоритм MАНК, который позволяет значительно улучшить качество разделения слабых генераторов (например, в тестах было получена относительная погрешность 207% для стандартного АНК и 15,7% для нового метода). Б. Для апробации теории КВП в качестве основного механизма принятия решений человеком в динамических ситуациях нами были разработаны два типа компьютерных тестов. 1. Тест на существование КВП. Участникам предлагалось классифицировать различные ситуации, отображаемые на экране компьютера. Им предъявлялись сначала статичные сцены, а затем - динамические. В контрольной группе предъявляемые статичные сцены не содержали эффективных объектов будущих динамических сцен; во второй группе динамические сцены с эффективными объектами соответствовали ранее показанным статичным сценам; и в третьей группе динамические сцены не соответствовали статичным. Далее были построены кривые обучения, то есть зависимости доли правильных ответов от номера попытки для различных групп. Предварительные данные показали, что испытуемые из второй группы демонстрируют более быструю скорость обучения по сравнению с контрольной группой и третьей группой, в полном соответствии с гипотезой КВП. 2. Аркадный тест. Тест состоял из игровых сцен, в которых объект (жучок), управляемый испытуемым, должен достичь цели (вишенки), избегая препятствие (осу). Всего было реализовано 10 сцен трех типов. В первом типе оценивалась ошибка управления объектом, связанная с моторным контролем человека. Второй тип позволяет сравнить экспериментальные траекторий с траекториями, предсказанными алгоритмами КВП (глобальный) и “простое правило” (локальный). Незначимые отличия отклонений ошибки между тестами данных типов говорят о соответствии экспериментальных траекторий алгоритмам КВП и “простое правило”. Третий тип с динамическими сценами был реализован для сопоставления экспериментальных траекторий прежде всего с алгоритмом КВП. В настоящее время накапливаются результаты для тестирования теоретических предсказаний, сделанных на основе теории КВП. Для более глубокого понимания детализированного анализа моторных реакций испытуемого, данный тест также проводился с использованием электрофиографического (ЭМГ) интерфейса. Анализ ЭМГ-сигналов мышц испытуемых показал наличие характерных паттернов в моментах, критических с точки зрения управления. В контролируемом (“спокойном”) режиме паттерн содержит высокоамплитудный сигнал с мышц, синергичных к актуальному движению, в режиме потери управления и последующей корректировки паттерн включает в себя активацию антагонистов. Для анализа данных был предложен динамический коэффициент реципроктности, который позволяет определяет величину КВП-окна. ЗАДАЧА 2: Разработка моделей нейронных сетей По данной задаче были проведены работы по созданию моделей А) концепции многомерного мозга на импульсных нейронах, Б) Сети многомерных нейронов для реализации памяти и В) Самоорганизации и образования мозгоподобных архитектур. А. Количество нейронных связей играет ключевую роль в передаче информации и ее хранении в мозге. Модели нейронов со множеством входов отражают принцип многоканальной структуры, характерной для нейронных сетей в кортико-гиппокампальных образованиях, изучаемых в Задаче 1. На основе наших раннее полученных результатов, мы разработали новую концепцию многомерного импульсного (спайкового) нейрона. Таким образом, была достигнута биологическая реалистичность, отсутствующая в моделях с формальными нейронами. В качестве основы была использована модель нейрона Ижикевича. Далее были проведены исследования селективности полученного нейрона при различных схемах кодирования информации. Для временного кодирования было показано, что спайковый нейрон, так же как и формальный, демонстрирует пороговую селективность, т.е., селективность повышается скачкообразно при увеличении размерности входного сигнала. Похожие результаты были получены и для частотного кодирования. Таким образом, полученные результаты показывают, что концепция “многомерного мозга” может быть реализована с помощью реалистичных импульсных нейронов. Б. В научной среде широко распространено мнение о том, что существование в человеческом мозге абстрактных понятий, таких как, например, «стол», требует сложного, идеально организованного взаимодействия множества нейронов. Однако последние экспериментальные данные свидетельствуют об обратном. Отдельные нейроны, так называемые концептуальные клетки, могут отвечать за сложные задачи. Исходя из первых принципов, мы предложили биофизическую модель гиппокампа, состоящую из двух нейронных слоев: нейроны в первом слое обучаются селективности с помощью локального динамического правила, нейроны во втором слое группируют стимулы и становятся селективными к концепциям. Было установлено, что концептуально способный мозг должен отвечать следующим основным требованиям: а) иерархическая организация крупных ламинарных нейрональных слоев; б) надпороговое число синаптических входов для главных нейронов в слоях; в) величина синаптической пластичности должна быть адекватна для каждого нейронного слоя. Эти три фундаментальных условия, выполняемых человеческим мозгом, обеспечивают высокую когнитивную функцию отдельных клеток. В. Механизмы структурной пластичности играют ключевую роль при динамической оптимизации функциональной связности в мозге. Изменения анатомических связей напрямую зависят от характера коммуникации в сети, но в свою очередь существует и обратная связь, что приводит к самоорганизации крупномасштабных структур мозга. Нами было показано, что мозгоподобные архитектуры могут проявляться в результате адаптивной реорганизации. Динамика реорганизации связей подчиняется трем механизмам. Р1: Самое длинное соединение удаляется и заменяется соединением между ближайшими нейронами. Р2: Удаляется соединение, наиболее близкое к ортогональному направлению распространения волн, и заменяется на наиболее близкое к параллельному направлению. Р3: В графе происходит диффузия, т.е., удаляется малоиспользуемое соединение, и устанавливается связь между неподключенными блоками с наиболее интенсивным трафиком. Эти механизмы могут привести к формированию структур “маленького мира”, а также свер-цепочек и колец в функциональном пространстве, состоящих из малосвязанных кластеров нейронов. Полученные результаты показывают, что функциональная организация в биологических сетях является неизменным феноменом их динамики, а не результатом экспрессии генов. ЗАДАЧА 3: Апробация моделей в робототехнических устройствах Работы по данной задаче базировались на результатах, полученных при исследовании Задач 1 и 2, и проводились по двум направлениям: А) Проблема навигации и Б) Манипулирование объектами. А. Теория КВП была применена для управления колесным роботом Pioneer 3DX. Был разработан аппаратный комплекс, включающий в себя: стационарный компьютер, широкоугольную usb-камеру и робот, оснащенный бортовым миникомпьютером. Для управления роботом использовалась клиент-серверная архитектура. Детектирование координат и ориентации агента, и маскирования препятствий производилось средствами библиотеки OpenCV, используя цветовое HSV-кодирование. Для создания масок использовалась диапазонная полосовая фильтрация. Для решения задачи следования траектории, траектория представлялась в виде массива ключевых точек, составляющих траекторию. Управление роботом осуществлялось через скорость углового вращения моторов. Программно-аппаратный комплекс вычислял КВП ситуации и генерировал траекторию движения. Было установлено, что данный подход позволяет достичь высокой точности прохождения арены. Б. Был создан программно-аппаратный комплекс “Фехтовальщик”, состоящий из гибридного робота (антропоморфный робот Poppy Torso установленный на колесной платформе Pioneer 3DX) со шпагой в правом манипуляторе и простого робота оппонента, также обладающего шпагой. Для управления роботами была разработана новая теория, базирующаяся на семантическом описании КВП-мотивов. В качестве испытательного стенда был использован сценарий фехтования, в котором субъект выбирает стратегию защиты с последующей атакой (так называемая стратегия parry-riposte). Семантическое содержание каждого действия с точки зрения летальности, универсальности и неизбежности структурируется как пространственная карта, представляющая конкретную фехтовальную (динамическую) ситуацию. Модель позволяет быстро и надежно развернуть различные когнитивные стратегии. Полученные результаты сначала были проверены в виртуальной реальности, а затем опробованы на реальных роботах.

Аннотация результатов, полученных в 2020 году
Проект посвящен исследованию нелинейной динамики нейронных сетей, реализующих когнитивную обработку динамических ситуаций в мозге. Наш подход к данной проблеме является комплексным и мультидисциплинарным. Для достижения целей проекта были поставлены три основных задачи: 1) Исследовать корреляции предсказаний, сделанных на основе теории компактных внутренних представлений (КВП), с нейронной активностью мозга у животных и с поведением человека в рамках специально разрабатываемых компьютерных игр. 2) Изучить математические модели нейронных сетей, способные моделировать процессы создания КВП и принятия решений на их основе. 3) Реализовать математические модели в качестве компьютерных алгоритмов, которые управляют поведением реальных роботов и виртуальных агентов в компьютерных играх. Ниже приводятся основные научные результаты, полученные за истекший период. ЗАДАЧА 1: Экспериментальное исследование КВП Данная задача была разделена на две части: A) Инвазивное исследование нейронной активности на крысах и Б) Поведенческие эксперименты на людях. А. Проведены электрофизиологические эксперименты по регистрации локальных полевых потенциалов (ЛПП), генерируемых в гиппокампе крыс. На первом этапе исследований были получены записи спонтанной активности у анестезированных крыс. На основе анализа независимых компонент, были построены генераторы ЛПП, позволившие определить положение синаптических входов афферентных нейронных популяций и их временную составляющую. ЛПП, регистрируемые на протяжении месяца, позволили сравнить генераторы в динамике. Было обнаружено, что до 15 дня нейронные генераторы не претерпевают существенных изменений. Однако, начиная с третьей недели, пространственные профили генераторов деформируются, что может свидетельствовать о нарушении целостности мозговых тканей, связанной с образованием глиальных рубцов. На следующем этапе были проведены исследования на свободно двигающихся животных. Задачи, выполняемые животным, включали тесты пространственной памяти, оценку новизны окружающей обстановки, запоминание траекторий движущихся объектов. Были разработаны протоколы теста на когнитивно-мнестические функции в пространственных лабиринтах с использованием питьевой депривации. Анализ сигналов ЛПП в левом и правом гиппокампах показал, что локальные потенциалы обеих структур создаются одинаковым количеством нейронных генераторов. Были обнаружены как генераторы с высоким коэффициентом корреляции между левым и правым гиппокампами, так и не демонстрирующие значимую когерентность. Сравнительное исследование генераторов ЛПП в зоне СА1 гиппокампа и М1 коры головного мозга показало наличие общих генераторов для обеих областей и генераторов характерных только для СА1. Генераторы эксклюзивные для корры М1 обнаружены не были. Таким образом, существует общий информационный поток, поступающий одновременно в зоны СА1 гиппокампа и М1 коры. В то же время, СА1 обрабатывает информацию, которая является эксклюзивной для этой структуры. Б. Для апробации теории КВП в качестве основного механизма принятия решений у человека было разработано и проведено два типа тестов на принятие решений: 1) в задачах дискриминационного обучения (353 испытуемых) и 2) в аркадных играх (63 испытуемых). Оба типа тестов подтвердили основное предсказание теории КВП о тождественности компактных когнитивных карт генерируемых человеком для статических и динамических ситуаций и о существовании виртуальных объектов в этих картах. Наши результаты выявили, что мужчины предпочитают использовать компактирование времени для преодоления динамических ситуаций, в то время как женщины полагаются на более широкий спектр стратегий. Эта предрасположенность соответствует ранее опубликованным работам о гендерных различиях, связанных с разделением ролей у людей для увеличения вероятности выживания. Таким образом, полученные результаты подтвердили гипотезу, что компактирования времени является когнитивной стратегией, центральной для жизненно важного взаимодействия с динамической средой на абстрактном и поведенческом уровнях. Также было показано, что в динамических ситуациях решения, демонстрируемые не тренированными людьми, могут значительно отличаться от решений, предлагаемых алгоритмом КВП. Однако при уменьшении времени отводимого на реакцию, данные различия перестают быть статистически значимыми, что свидетельствует о том, что в условиях нехватки времени мозг пользуется статическими когнитивными картами, сохраненными в памяти, а не занимается поиском решения непосредственно во время разворачивания динамической сцены. ЗАДАЧА 2: Разработка моделей нейронных сетей, реализующих экосистему виртуального гиппокампа На основе нейронной сети с STDP-пластичностью, была разработана модель пространственной памяти с положительным и отрицательным подкреплением. Показано, что STDP-опосредованные перестройки синаптических весов приводят к изменению активности сети, что в свою очередь меняет направление движения робота. В результате робот после этапа обучения избегает негативной (опасные) зоны, оставаясь преимущественно в нейтральной зоне. Далее были разработаны принципы семантического представления стратегических взаимодействий на основе КВП. Показано, что концепция КВП обеспечивает естественный способ представления семантических знаний о действиях в меняющихся во времени ситуациях, в частности в спортивном фехтовании. Было показано, что семантическое содержание действий с точки зрения летальности, универсальности и неизбежности структурируется как пространственная карта, представляющая конкретную динамическую ситуацию. Для решения одной из задач по созданию виртуального гиппокампа, нами была исследована возможность существования в гиппокампе клеток, генерирующих абстрактные концепций, т.е. отвечающих за выполнение сложных задач, связанных с ассоциативной памятью. Нами была разработана сеть “многомерных” нейронов с автоассоциативными свойствами, реализующая возможность извлечения из КВП памяти образа при предъявлении на входе схожей динамической ситуации. Были установлены три фундаментальных условия, выполняемые мозгом человека, которые обеспечивают высокую когнитивную функциональность отдельных клеток: 1) иерархическая организация больших ламинарных нейронных слоев, 2) надпороговое количество синаптических входов у пирамидальных нейронов и 3) величина синаптической пластичности, адекватная для каждого нейронного слоя. Далее была показана возможность выполнения аналогичных функций биологически релевантным импульсным нейроном с Хеббовским обучением. ЗАДАЧА 3: Апробация предложенных алгоритмов в робототехнических устройствах Для объединения колесного и антропоморфного роботов в единую платформу была переработана и расширена ранее разработанная программно-аппаратная платформа для антропоморфного робота Poppy. Было разработано ПО, которое может использоваться не только в экспериментах с роботами, управляемыми разными алгоритмами (Задача 2), но и для компьютерного тестирования человека (Задача 1). В новой версии платформы был реализован сценарий эмуляции прямоугольной арены с набором препятствий; добавлен режим эмуляции колесного робота; добавлена возможность эмуляции антропоморфного и колесного роботов в тандеме; улучшена производительность и визуальное качество картинки. С использованием сетей глубокого обучения, на база колесного робота Pioneer 3DX, был разработан программно-аппаратный комплекс, позволяющий тестировать модели алгоритмов с КВП-памятью, полученных в Задаче 2. Показано, что модель, построенная на основе многомерных нейронов, может распознавать три типа объектов: рукописные цифры, геометрические фигуры и буквы. Более того, картинки с символами могут быть расположены под разными углами обзора, что позволяет роботу определять класс (концепцию) объекта на ходу, вне зависимости от положения камеры. Далее сеть была усложнена и кроме двухслойной структуры концептуальных клеток (Задача 2) в нее были включены интернейроны. Полученная сеть была исследована, и были определены значения параметров, позволяющие реализовать процесс обучения концепциям, оптимизирующий количество отдельных стимулов в общем потоке. Это позволило успешно обучить нейронную сеть как в условиях виртуальной реальности, так и в случае экспериментов с роботом в реальных условиях. Результаты были продемонстрированы в экспериментах по «ориентированной навигации», в которых робот распознавал символы для перемещения по лабиринту. Было показано, что робот успешно определял, с какой концепцией был связан символ (число, буква или геометрическая фигура), и, в зависимости от распознанной концепции, строил маршрут перемещения. Проведенная работа позволяет утверждать, что разрабатываемый программно-аппаратный комплекс действительно справляется с возложенными на него задачами. На следующем этапе (2021 г.) будет продолжена модель искусственного гиппокампа.

Аннотация результатов, полученных в 2021 году
Работы по проекту велись по трем основным направлениям. Ниже приводится описание полученных научных результатов с разбивкой по задачам. ЗАДАЧА 1: Разработка моделей нейронных сетей, реализующих экосистему виртуального гиппокампа Концепция компактных внутренних представлений (КВП) подразумевает обработку пространственной информации, включая элементы динамической памяти. Поэтому, предполагается, что нейронные сети гиппокампальных образований участвуют в формировании КВП. Физическим механизмом формирования КВП является процесс распространения волн в нейронной решетке. Одной из поставленных задач являлось исследование устойчивости волн к внешним флуктуациям. Было показано, что в случае статических межнейронных связей, сила взаимодействия между нейронами и состояние каждого нейрона определяют распространение круговой волны. При недостаточном межнейронном взаимодействии процесс возбуждения затухает и распространение волн прекращается. Было обнаружено, что, в случае, когда нейроны, равноудаленные от центрального, генерируют асинхронные спайки, волновой фронт искажается. Также нами был рассмотрен случай пластичности межнейронных связей. Пластичность приводит к неравномерному распространению возбуждения и, как следствие, искажению или разрушению волнового фронта, а также формированию спиральных волн. С точки зрения концепции КВП, искажение фронта можно интерпретировать в терминах целеполагания. Корковые структуры мозга могут вызывать смену приоритетов во время навигации субъекта в пространстве и через пластичность создавать предпосылки к нетривиальному взаимодействию субъекта с внешней средой. Ранее нами был предложен алгоритм поиска траекторий, основанный на градиентном спуске в потенциальном поле двумерных когнитивных карт. Данный алгоритм минимизирует затраченную энергию. Однако, в спортивных играх, игроки редко оптимизируют энергию или расстояние при планировании и выполнении движений. Таким образом, градиентный спуск неприменим во многих конкурентных динамических ситуациях. Для решения данной проблемы был предложен новый подход. Задача поиска траекторий, параметризированных скоростью, была сведена к построению КВП в виртуальном трехмерном пространстве X-Y-C. Первые две координаты соответствую реальным координатам на плоскости, в то время как третья является виртуальной. Математический анализ показал, что трехмерное виртуальное пространство является полным, т.е. включает все возможные траектории на плоскости X-Y со скоростями, произвольно меняющимися во времени. Для генерации КВП в пространстве X-Y-C, нами была разработана динамическая система в форме уравнений в частных производных. Было исследовано существование и единственность решений, а также установлен принцип максимума, позволяющий классифицировать траектории. Таким образом, предложенная модель позволила создавать обобщенные КВП, моделирующие комплексную систему работы гиппокампа в динамических ситуациях, и существенно расширить репертуар доступных поведений субъекта. Далее нами было проведено исследование селективного декодирования информации, экспериментально наблюдаемого в гиппокампе. Было показано, что селективный отклик на частотно-кодированные паттерны в виде КВП может быть достигнут в рамках концепции многомерного мозга. Для этого была создана математическая модель, включающая три основные нейронные популяции. Пирамидальные нейроны из области СА3 гиппокампа использовались для частотного кодирования информационных паттернов. Далее паттерны возбуждали пирамидальные нейроны популяции СА1, которые также находились под воздействием тормозной тонической активности, поступающей от интернейронов. Было показано, что обучение нейронов происходит на уровне отдельных синапсов, и синаптические веса однозначно определяются частотой спайков. Таким образом, происходит кодирование паттернов в соответствующих синаптических каналах. Обучение может существенно менять вероятность отклика нейронов на стимулы и вести к селективному поведению. Для этого необходима настройка соотношения возбуждающего и тормозного токов, а также скорости обучения и забывания. Диапазон оптимальных значений параметров возрастает с увеличением размерности нейронов, т.е., нейроны большой размерности более склонны к обучению. Исследование процесса образования селективных клеток показало, что ключевым параметром, является размерность информации n. При низкой размерности вероятность нейронного отклика до обучения высока, однако и после обучения она остается достаточной для ответа нейрона на несколько стимулов. При большом n только малая часть нейронов способна отвечать на схожие стимулы, тем самым способна к обучению. Тем не менее, данный недостаток нивелируется большим ансамблем клеток. Таким образом, высокая размерность стимулов играет решающую роль в обработке информации в гиппокампальных структурах. ЗАДАЧА 2: Апробация предложенных алгоритмов в робототехнических устройствах Нами были получены результаты по следующим направлениям: а) Адаптация поведения нейроробота, управляемого моделью пространственной памяти; б) Реализация ассоциативного обучения нейроробота, управляемого модульной нейронной сетью; в) Развитие программно-аппаратного инструментария для биологических экспериментов. С помощью нейро-робототехнического подхода была исследована модель динамической пространственной памяти с негативным подкреплением, основанная на способности нейронной сети “запоминать” локализацию стимулов. Нейронная сеть имитировала работу когнитивной нейронной карты с клетками места. Движение робота определялось направлением распространения волн активности. Было показано, что робот способен обучиться избеганию опасных зон. Однако, после обучения робот продолжал время от времени заходить в опасные участки арены. Такая поисковая активность служит основой для повторного обучения (переобучения) при изменении окружающих условий. После перемещения опасной зоны в другой квадрант, нейроробот научился избегать новый участок, а также восстановил перемещения в участке, ставшим безопасным. Разработанный протокол лег в основу экспериментов с животными. На основе «правила кратчайшего пути», описанного ранее, была разработана модульная нейронная сеть. Было показано, что нейроробот, управляемый сетью, демонстрирует ассоциативное обучение, близкое к формированию условного рефлекса. До обучения робот объезжал препятствия только после столкновении с ними, что вызывалось срабатыванием датчика касания (безусловный рефлекс). После обучения робот смог избегать столкновения, используя сигналы бесконтактного ультразвукового датчика (условный рефлекс). На основе соотношения весов межсетевых связей был введен коэффициент качества обучения. Натурные эксперименты показали, что количество столкновений робота с препятствиями экспоненциально падает с ростом коэффициента. Было установлено, что функциональная роль сетевых модулей определяется их архитектурой. Так, в модуле, отвечающим за “безусловную реакцию” важно отсутствие бегущих волн. Напротив, в модуле, отвечающим за “условную реакцию” необходимо беспрепятственное прохождение волн активности, обеспечивающих обучение нейронов. Отметим, что нейроробот проявлял способность к переобучению. При изменении схемы расположения ультразвуковых датчиков установленные ранее ассоциации в нейронной сети становились неактуальными, что сопровождалось увеличением количества столкновений с препятствиями. Далее робот переучивался, что обеспечивалось установлением новых ассоциаций. Разработанный ранее робототехнический комплекс “Аватар” был адаптирован для компьютерного тестирования человека в игровых динамических ситуациях. Для оценки влияния экспериментальных условий на выбор стратегии поведения человека были реализованы 3D динамические сцены, соответствующие 2D сценам в аркадной игре, использованной на предыдущих этапах проекта. Новое ПО позволило тестировать когнитивное поведение в окружении как от первого лица (эгоцентрическое отображение), так и от третьего (аллоцентрическое отображение). Кроме того, для концентрации внимания была увеличена степень погруженности игрока путем повышения реалистичности сцен. ЗАДАЧА 3: Экспериментальное исследование КВП-мотивов на животных и человеке В рамках Задачи 3 нами были проведены эксперименты с животными и человеком. Первая серия экспериментов на крысах имела целью исследовать процесс ориентации в пространстве и поиск объектов для выявления особенностей формирования кратковременной и долговременной памяти. В качестве мотивационного фактора была использована депривация воды. Было установлено, что относительное время достижения цели крысой существенно уменьшается от попытки к попытке. Таким образом, приобретенный в течение дня опыт положительно влияет на скорость принятия решений, причем данный эффект сохранялся независимо от местоположения вознаграждения во все дни проведения экспериментов. Кроме того, мы обнаружили резкий рост скорости поиска воды в первые три дня, когда местоположение сосуда с водой не изменялось, а значит в игру вступала долговременная память. Начиная с четвертого дня, когда местоположение сосуда менялось ежедневно, в течение нескольких дней не происходило значимых изменений, из чего можно сделать вывод, что обучение без поддержки долговременной памятью не эффективно. Однако, далее процесс обучения запустился вновь так же эффективно, как и в первые три дня. В Задачах 1 и 2 было обнаружено, что процесс формирования когнитивных карт роботом, движущимся по арене, разделенной на опасные и безопасные секторы, не является идеальным. Даже после обучения робот посещал опасные зоны. Для верификации такого проведения был исследован процесс формирования пространственной памяти у крыс. Мы провели серию экспериментов с крысами, исследующими круглую арену, разделенную на четыре сектора, один из которых назначался опасным. При входе крысы в опасный сектор, подавался ультразвуковой отпугивающий сигнал. В результате обучения время пребывания крыс в опасной зоне сократилось с 18% до 0,3%, при этом нахождения в противоположном секторе увеличилось с 39% до 54%. После окончания первичного обучения было обнаружено, что первое время крысы избегали опасную зону, но спустя несколько минут стали посещать ее. Затем мы провели еще одну серию экспериментов с теми же крысами, при этом подавая отрицательный стимул в зону 2. В результате время пребывания крыс в зоне 2 уменьшилось до 1%, а в зоне 1 увеличилась до 54%. Таким образом, в соответствии с теорией, крысы пытаются войти в опасную зону даже после длительной тренировки. Такое поведение допускает адаптивные изменения, необходимые для выживания, что кардинально отличается от современных трендов в искусственном интеллекте, направленных на минимизацию ошибок обучения. Ранее нами было отмечено, что, так называемые, локальные полевые потенциалы (ЛПП) содержат нетривиальную смесь истинно локальных и распространяющихся по объему сигналов. Поэтому, их прямая корреляция с поведением может содержать значимые артефакты. Для решения этой проблемы было предложено выделять генераторы ЛПП. Сигналы ЛПП записывались во время проведения операции по имплантации микроэлектродов и 7 дней спустя во время выполнения крысой поведенческих задач. На основе полученных записей, были выделены четыре генератора ЛПП. Наиболее мощными оказались генератор тета ритма в СА1 (33 ± 7%) и тормозный генератор зубчатой извилины (29 ± 3%). Тета генератор имел пик на частоте 8 Гц, который зависел от уровня анестезии. Во время поведенческих экспериментов тета ритм наблюдался только при движении животного по арене. В моменты, когда животное останавливалось, тета ритм замещался низкоамплитудным сигналом без доминирующей частоты. Мощность генератора зубчатой извилины достигала максимума в полиморфном хилусе. Этот генератор характеризуется волнами с высокой амплитудой и частотой колебаний 16-30 Гц. Оставшиеся два локальных генератора имеют более высокую частоту (60-100 Гц) и значительно более низкую амплитуду (7 ± 1% и 6 ± 1% для генераторов в СА1 и в зубчатой извилине соответственно). Около 20% ЛПП приходится на потенциалы, генерируемые в областях, удаленных от гиппокампа. Было обнаружено, что в моменты, когда тета генератор теряет четкий ритм, гамма генератор в СА1 приобретает более устойчивую частоту, и наблюдаются шарп-волны, особенно заметные в момент достижения животным цели. В современной литературе вопрос об участии долей гиппокампа в обработке информации остается открытым. Исследования в данном направлении являются важными для развития теории КВП. Предыдущие результаты, полученные на анестезированных крысах, показали, что билатеральные гамма-волны в СА1 в большей мере управляются гиппокампом правого полушария, в то время как гамма-волны в СА3 привязаны к своим полушариям. Эти результаты были расширены на бодрствующих животных. Во время выполнения крысами задачи по распознаванию новых объектов генераторы, в левом и правом полушариях, имеют схожие пространственно-временные характеристики. Анализ кросс-корреляции показал, что, генераторы региона СА1 имеют высокую корреляцию (0.97 ± 0.01 и 0.75 ± 0.05 для тета и гамма генераторов соответственно), а генераторы зубчатой извилины демонстрируют низкую корреляцию (0.39 ± 0.05 и 0.18 ± 0.05, для тормозного и гамма генераторов соответственно). Сравнительный анализ временных характеристик в различные периоды выполнения тестовых операций показал, что коэффициент корреляции увеличивается в момент достижения животным цели. Поведение людей было исследовано в аркадных играх. Накопленные данные, позволили предположить, что глобальные стратегии (например, КВП) реализуются на основе аллоцентрических когнитивных карт, а на основе эгоцентрических - локальные (например, “Simple Rule”, SR). До экспериментов все испытуемые были отнесены к категории “тренированные” и “нетренированные” на основе анкетирования. Полученные результаты позволили сравнить меру присутствия КВП в стратегиях поведения людей в различных окружениях. Априори предполагалось, что действия в условиях 3D (эгоцентрических) сцен будут способствовать использованию локальных стратегий, а в 2D сценах (аллоцентрических) - глобальных. Результаты сравнительного анализа в 2D и 3D сценах, усредненные по всем группам пользователей, оказались очень близкими. Однако, мужчины и тренированные испытуемые имели тенденцию использовать глобальные стратегии (т.е., КВП), в то время как, женщины и нетренированные субъекты преимущественно использовали локальные. Важно отметить, что в 3D сценах данные различия проявляются существенно больше. Таким образом, при использовании человеком преимущественно глобальных стратегий, мозг эффективно трансформирует эгоцентрическое отображение в аллоцентрическое. Система слежения за направлением взгляда (айтрекинг) позволила обнаружить, что нетренированные испытуемые существенно больше фиксируют внимание на управляемом объекте, чем тренированные, которые сосредотачиваются на движущемся препятствии и цели. Похожая ситуация наблюдается и в случае гендерных различий: женщины преимущественно фиксируют взгляд на объекте, а мужчины на препятствии. На заключительном этапе проекта было проведено исследование возможности изменения стратегии поведения человека в процессе обучения. Для этого были привлечены испытуемые с низким уровнем начальной подготовки. Тестирование проводилось через день, в течение двух недель. Сцены в тест-игре повторялись при совершении ошибки, побуждая при этом испытуемых проводить определенную “работу над ошибками”. Было установлено, что в сценах, где локальные стратегии не находят пути к цели, пользователь был вынужден перейти к использованию глобальной стратегии, близкой к КВП. Таким образом, повторяющиеся в течение нескольких дней тренировки позволяют неопытным пользователям переключиться с локальных стратегий на глобальные и существенно улучшить игровые результаты.