Аннотация результатов, полученных в 2021 году
Настоящий проект направлен на исследование проблемы создания мемристивных сетевых архитектур для реализации ансамблей многомерных нейронов, позволяющих имитировать функции пространственной памяти гиппокампа человека. Данная архитектура, в частности, позволит использовать новые эффективные подходы к обработке больших данных в системах искусственного интеллекта и робототехнике нового поколения. В ходе отчетного этапа абстрактные принципы многомерного мозга, основанные на идее «благословения размерности» и накопленных знаниях об уникальных свойствах индивидуальных биологических нейронов, впервые спроецированы на конкретные подходы к реализации формальных и спайковых нейронов с мемристивными синапсами. Разработаны адекватные динамические модели мемристивных устройств, спроектированы и изготовлены мемристивные чипы и управляющие схемы, необходимые для первой аппаратной реализации мемристивного многомерного нейрона. Следующие работы были выполнены в соответствии с планом: разработаны перспективные математические модели, реализующие принципы многомерного мозга и нейромофной памяти на основе передовой мемристивной электроники; разработаны и реализованы в интегральном исполнении пассивные массивы металл-оксидных мемристивных микроустройств, необходимые для решения задач проекта на первом и последующих этапах; разработаны адекватные динамические модели мемристивных устройств, основанные на физике транспортных явлений, учитывающие шумы и флуктуации для конкретных реализованных конструктивных вариантов устройств; разработан и реализован программно-аппаратный комплекс для автоматизированного программирования резистивных состояний в линейках мемристивных устройств; В результате выполнения этих работ разработана система перспективных математических моделей, реализующих принципы многомерного мозга и нейроморфной памяти, которая предусматривает исследование как формального нейрона со статической функцией активации и с синапсами, веса которых программируются в соответствии с заданным алгоритмом настройки (дообучения), так и спайковых нейронов с динамическими синапсами, веса которых настраиваются автоматически на основе локальных правил или на основе естественного адаптивного отклика мемристивного устройства на спайкоподобную активность. Детальное моделирование выполнено для формального многомерного нейрона с учетом его возможной реализации на мемристивной элементной базе, в том числе с учетом стохастического характера, конечного разрешения и динамического диапазона резистивных состояний мемристивного устройства. Результаты численных экспериментов показали, что селективность многомерного нейрона, близкая к 100%, достигается при размерности входных данных более 30, но для задания весов в соответствии с математической моделью необходимо обеспечить разрешение не хуже 3 бит и точность не хуже 20% в динамическом диапазоне от единиц до сотен кОм. Оптимизированная топология и отобранные конструктивные варианты мемристивных структур «металл-оксид-металл» на основе стабилизированного иттрием диоксида циркония реализованы путем изготовления двух партий интегральных чипов с пассивными массивами кросс-бар мемристивных микроустройств, пригодных для адаптивного программирования резистивного состояния и демонстрирующих синаптическую пластичность под действием спайкоподобной активности. Разработаны адекватные динамические модели мемристивных устройств, основанные на физике транспортных явлений и учитывающие внутренние источники шумов и флуктуаций в соответствии с экспериментальными данными, полученными для конкретных реализованных мемристивных устройств. Разработан программно-аппаратный комплекс для автоматизированного программирования резистивных состояний в линейках 1×64 мемристивных устройств в качестве синапсов многомерного нейрона, который реализован в виде двухсторонней печатной платы с использованием многоканальных цифро-аналоговых преобразователей и силовых операционных усилителей для достижения необходимого значения тока через мемристор, суммирования токов с мемристоров в многоканальной схеме и реализации функции активации многомерного нейрона. Результаты тестирования программно-аппаратного комплекса свидетельствуют о работоспособности отдельных каналов схемы, позволяющей провести экспериментальную проверку модели формального многомерного нейрона на линейках мемристивных устройств. Все задачи, поставленные на отчетном этапе проекта, выполнены. Полученные результаты вносят важный вклад в достижение цели проекта и создают задел для первой в мире аппаратной реализации многомерного нейрона на биоподобной элементной базе. Сопоставление полученных результатов с имеющейся научно-технической информацией позволяет оценить уровень проводимых исследований как соответствующий лучшим мировым достижениям в области создания нейроморфных систем на основе мемристивных устройств. Информация о проекте в сети Интернет доступна на страницах руководителя и исполнителей проекта в системе Research Gate по адресу: https://www.researchgate.net/project/Memristive-High-Dimensional-Brain.

Аннотация результатов, полученных в 2022 году
Настоящий проект направлен на исследование проблемы создания мемристивных сетевых архитектур для реализации ансамблей многомерных нейронов, позволяющих имитировать функции пространственной памяти гиппокампа человека. Данная архитектура, в частности, позволит использовать новые эффективные подходы к обработке больших данных в системах искусственного интеллекта и робототехнике нового поколения. В ходе отчетного этапа новые модели и технические (схемотехнические, конструкторские и технологические) решения разного уровня, разработанные исполнителями проекта для создания многомерных мемристивных нейронов, были скомбинированы в составе имитационных «двойников» программно-аппаратных комплексов, которые позволяют оценить достижимость функциональных характеристик этих комплексов в процессе их изготовления или еще до него. Апробированы новые подходы к созданию управляемых массивов кросс-бар и моделированию спайковых нейросетевых архитектур на основе мемристивных устройств, которые позволяют продвинуться на пути к созданию ансамблей многомерных нейронов. Следующие работы были выполнены в соответствии с планом: В рамках ранее предложенного общего подхода к реализации принципа многомерного мозга на втором этапе проекта разработан стек моделей разного уровня структурно-функциональной иерархии и программных модулей для многомасштабного моделирования нейронных сетей на базе мемристивных устройств. Набор моделей разного уровня позволил разработать имитационные модели традиционных сетевых архитектур на основе формальных нейронов и динамических моделей мемристивных устройств. При этом предложены и обоснованы конкретные схемотехнические решения, которые позволяют привязать безразмерные величины из абстрактной математической модели к физическим параметрам мемристоров и элементов схем. Для управления резистивным состоянием мемристивных устройств в активных массивах кросс-бар требуется одновременная подача управляющих сигналов на затворы транзисторов целевых строк, подача входных сигналов на целевые столбцы и регистрация выходных сигналов на строках кросс-бара. Для решения этой задачи был разработан оригинальный программно-аппаратный комплекс, который состоит из пользовательского программного обеспечения с графическим интерфейсом, запускаемого на персональном компьютере, и прошивки микроконтроллера, смонтированного на плате аппаратной части. Разработаны математические модели спайковых сетевых архитектур на основе разных феноменологических моделей нейронов и динамических моделей мемристивных устройств, которые предусматривают использование локальных правил самообучения типа Spike-Timing-Dependent Plasticity (STDP) и самоорганизацию мемристивных связей на основе богатой и многоуровневой динамики мемристивных устройств. Описанные модели необходимы для демонстрации эффекта динамической памяти в ансамбле импульсных нейронов с многомерными мемристивными связями, которая запланирована на следующем этапе проекта. В ходе выполнения этих работ получены следующие результаты: Разработан набор модулей и библиотек компонентов искусственных нейронных сетей на базе мемристивных устройств для разного уровня структурно-функциональной иерархии, который включает программный модуль HDNeuron.py на языке программирования Python для создания моделей преобразования информации в формальном многомерном нейроне в процессе функционирования и самонастройки весов, программный модуль HDNeuronH.py на языке программирования Python для создания моделей преобразования сигналов в формальном многомерном нейроне в процессе функционирования, набор SPICE моделей отдельных компонентов формального многомерного нейрона для создания моделей преобразования сигналов в процессе функционирования и самонастройки весов, программный модуль current.m на языке программирования MATLAB для создания динамических моделей мемристивных устройств, программный модуль SpikingNet.py на языке программирования Python для создания моделей преобразования сигналов в спайковых нейронных сетях. Разработаны имитационные модели традиционных сетевых архитектур на основе модели многомерного формального нейрона и динамических моделей мемристивных устройств, откалиброванных по экспериментальным данным, которые демонстрируют уникальные селективные свойства многомерного формального нейрона. В основе моделей лежат экспериментальные данные, полученные для отобранной на первом этапе технологии изготовления мемристивных структур Au/Ta/ZrO2(Y)/Pt/Ti в интегральном исполнении (в виде КМОП-интегрированных устройств). Разработан новый программно-аппаратный комплекс для управления резистивным состоянием мемристивных устройств в массиве кросс-бар в качестве синапсов спайковых нейронных сетей с учетом характеристик КМОП-интегрированных устройств, который позволяет осуществлять работу с кросс-барами в различных режимах, конфигурируемых на стороне пользовательского программного обеспечения. Динамические модели мемристивных устройств первого и второго порядка, откалиброванные по экспериментальным данным для КМОП-интегрированных устройств, позволили разработать математические модели спайковых сетевых архитектур на основе феноменологических моделей нейронов (модель Ижикевича и оригинальная модель нейрона на основе фазовой автоподстройки частоты) путем адаптации правил или механизмов обучения к двум вариантам реализации мемристивной пластичности. Полученные результаты демонстрируют возможность частотного кодирования в простых нейросетевых архитектурах на основе мемристивных связей и будут использованы при моделировании эффекта динамической памяти в ансамблях многомерных импульсных нейронов. Все задачи, поставленные на отчетном этапе проекта, выполнены. Полученные результаты вносят важный вклад в достижение цели проекта и создают задел для первой в мире аппаратной реализации многомерного нейрона на биоподобной элементной базе. Сопоставление полученных результатов с имеющейся научно-технической информацией позволяет оценить уровень проводимых исследований как соответствующий лучшим мировым достижениям в области создания нейроморфных систем на основе мемристивных устройств. Информация о проекте в сети Интернет доступна на страницах руководителя и исполнителей проекта в системе Research Gate по адресу: https://www.researchgate.net/project/Memristive-High-Dimensional-Brain.

Аннотация результатов, полученных в 2023 году
Настоящий проект направлен на исследование проблемы создания мемристивных сетевых архитектур для реализации ансамблей многомерных нейронов, позволяющих имитировать функции пространственной памяти гиппокампа человека. Данная архитектура, в частности, позволит использовать новые эффективные подходы к обработке больших данных в системах искусственного интеллекта и робототехнике нового поколения. В ходе отчетного этапа совершен качественный скачок в технологии изготовления КМОП-интегрированных мемристивных устройств и матриц, который позволил впервые перейти от математических и схемотехнических моделей, имитационных «двойников» многомерного нейрона к экспериментальной демонстрации функциональных характеристик программно-аппаратного комплекса многомерного нейрона. Апробированные подходы к созданию управляемых массивов кросс-бар и разработанные модели спайковых нейросетевых архитектур на основе мемристивной пластичности позволили продвинуться на пути к созданию ансамблей многомерных нейронов и виртуальной модели гиппокампа. Следующие работы были выполнены в соответствии с планом: В рамках ранее предложенного общего подхода к реализации принципа многомерного мозга на третьем этапе проекта аппаратно реализована классифицирующая искусственная нейронная сеть на основе формального многомерного нейрона с заданным количеством мемристивных связей. Для демонстрации эффекта динамической памяти в ансамбле импульсных нейронов с многомерными мемристивными связями и построения виртуальной модели гиппокампа, адаптированной для анализа многомерных данных, использованы разработанные математические модели спайковых сетевых архитектур на основе феноменологических моделей нейронов и динамических моделей мемристивных устройств, которые предусматривают использование локальных правил самообучения и самоорганизацию мемристивных связей на основе богатой и многоуровневой динамики мемристивных устройств. Разработанные правила обучения протестированы в практических приложениях: в частности, реализованы двумерные (2D) неструктурированные нейронные сети и 2D-ламинарные нейронные ансамбли. Разработан новый подход к управлению резистивным состоянием мемристивного устройства как синапса многомерного нейрона с применением широтно-импульсной модуляции. Мозгоподобные нейросетевые архитектуры адаптированы к разным вариантам реализации ансамблей многомерных нейронов на управляемых массивах кросс-бар. Разработана виртуальная модель гиппокампа, которая базируется на результатах многолетних нейробиологических исследований и новых подходах к моделированию ансамблей многомерных нейронов. В частности, исходя из первых принципов, предложена биофизическая модель гиппокампа, состоящая из двух нейронных слоев: нейроны в первом слое обучаются селективному отклику на натуральные стимулы с помощью нового правила обучения, а нейроны во втором слое группируют стимулы и становятся восприимчивыми к абстрактным концепциям. В ходе выполнения этих работ получены следующие результаты: Аппаратно реализована классифицирующая искусственная нейронная сеть на основе формального многомерного нейрона с заданным количеством мемристивных связей (не менее 60). Достаточное количество мемристивных устройств, изготовленных по усовершенствованной технологии на базе организации-партнера (ИФМ РАН), в рабочем режиме нейрона позволило продемонстрировать его уникальную селективность к многомерному входному образу по сравнению со случаем низкоразмерного входного сигнала на том же аппаратном нейроне. Характеристики ячеек 1T1R в составе управляемых матриц кросс-бар, полученные с помощью разработанного ранее программно-аппаратного комплекса для управления резистивным состоянием мемристивных устройств были использованы при демонстрации эффекта динамической памяти в ансамбле импульсных нейронов с многомерными мемристивными связями. При этом использованы как традиционные, так и новые модели синаптической пластичности, реализованные на базе мемристивных устройств. Новые возможности для реализации мемристивной пластичности связаны с предложенным динамическим подходом к управлению откликом мемристора на периодические последовательности биполярных импульсов с различной длительностью. Показано, что с помощью воздействия на мемристор такого рода сигналов можно получить большое количество разнообразных дискретных состояний проводимости мемристора. Разработка и адаптация правил обучения к случаю реализации на мемристивных устройствах позволила провести моделирование больших ансамблей мемристивно связанных нейронов. В частности, реализованы 2D-неструктурированные нейронные сети (модель культуры, выращенной на мультиэлектродной матрице) и 2D-ламинарные нейронные ансамбли (модель гиппокампа). Разработана виртуальная модель гиппокампа, включающая слои многомерных нейронов, моделирующих селективные и концептуальные клетки в задачах анализа многомерных данных – таких, как идентификация когнитивных карт, полученных мобильным роботом. Показана возможность моделирования работы концептуальных клеток с высокой степенью биологического правдоподобия. Установлено, что появление концептуальных клеток обусловлено синаптической (входной) размерностью главных нейронов в слоях с однонаправленной связью. Все задачи, поставленные на данном этапе проекта, выполнены и обеспечили достижение общей цели проекта, состоящей в реализации первого в мире аппаратного многомерного нейрона на биоподобной элементной базе (на основе мемристивных устройств). Эти результаты составляют основу для последующей организации сложных явлений памяти и в ансамблях импульсных нейронов, продемонстрированных в моделях и численных экспериментах. Сопоставление полученных результатов с имеющейся научно-технической информацией позволяет оценить их уровень как соответствующий лучшим мировым достижениям в области создания нейроморфных систем на основе мемристивных устройств.