КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ

---

Номер проекта 21-11-00328

НазваниеРазработка биоподобных методов обучения и архитектур спайковых нейронных сетей, пригодных для реализации на базе мемристоров, для решения задач анализа гетерогенных данных

Руководитель Рыбка Роман Борисович, Кандидат технических наук

Организация финансирования, регион Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" , г Москва

Конкурс №55 - Конкурс 2021 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-208 - Нейроинформатика

Ключевые слова Спайковые нейронные сети, импульсные нейронные сети, обучение спайковых нейронных сетей, локальное обучение, синаптическая пластичность, мемристоры

Код ГРНТИ28.23.00

---

 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

---

Аннотация
Изучение реалистичных механизмов обучения спайковых нейронных сетей является одним из наиболее актуальных направлений научных исследований последних лет, цель которых – создание моделей нового поколения обучаемых биологически мотивированных спайковых нейронных сетей с динамическими элементами, эффективных для практического применения. Современное развитие технологии производства мемристоров (являющихся наноразмерными физическими моделями синаптической пластичности) закладывает новую элементную базу для создания суперпараллельных интегральных схем, позволяющих воспроизводить процессы, протекающие в биологических нейронных сетях, и способных заменить традиционные громоздкие вычислительные системы, необходимые для исполнения нейросетевых алгоритмов. Отличительными чертами этих элементов являются не только высокая вычислительная эффективность, но и низкое энергопотребление и возможность сверхплотного размещения на чипе. Публикации 2020 года [1,2] о тестировании производительности показали потенциальные преимущества мемристивных устройств по сравнению с обычными: повышение энергоэффективности в 19,7 раз и на 2 порядка по сравнению с тензорным процессором Google (TPU) и современным графическим процессором (GPU), соответственно. Такие свойства мемристорных устройств открывают принципиально новые возможности их применения в автономных вычислительных системах, в частности, мобильных и робототехнических. Однако «узким местом» внедрения данной технологии являются низкие показатели воспроизводимости и повторяемости электрических характеристик мемристоров, которые являются, по сути, аналоговыми элементами. Это ограничивает возможность реализации на мемристивных устройствах детерминированных биологически неправдоподобных методов обучения, таких, как метод обратного распространения ошибки. В то же время, нервная система живых организмов также состоит из неоднородных по свойствам элементов и, тем не менее, успешно обучается решению сложнейших когнитивных задач. Это приводит нас к идее создания искусственной “надежной системы из ненадежных элементов” на основе биологически правдоподобных спайковых нейросетей с биоподобными механизмами пластичности, обладающими потенциальной возможностью их реализации на специализированных высокопроизводительных нейрочипах. Реализация этой идеи в данном проекте способствует решению научной проблемы cоздания математически обоснованных биологически мотивированных методов обучения спайковых нейронных сетей для решения сложных практических задач на основе моделей нейронов, топологий сетей, входных сигналов, синапсов и синаптической пластичности, пригодных для реализации на биоморфных устройствах. В рамках проекта будут решаться задачи выбора топологий сетей и методов их обучения на базе мемристивных функций изменений проводимости, эффективных для ряда задача анализа данных, в т.ч. изображений, векторно-числовой и аудио информации; формирования подходов гибридного характера на основе спайковых сетей в роли экстрактора значимой информации и формальных методов для принятия итогового решения; создания методов поиска архитектуры спайковой сети, наиболее эффективно реализующей исследованные механизмы обмена и обработки информации в сетях такого типа. Таким образом, проект соответствует Стратегии НТР РФ по двум пунктам: а) переход к передовым цифровым, интеллектуальным производственным технологиям, роботизированным системам, новым материалам и способам конструирования, создание систем обработки больших объемов данных, машинного обучения и искусственного интеллекта; з) исследования в области понимания процессов, происходящих в обществе и природе, развития природоподобных технологий, человеко-машинных систем, управления климатом и экосистемами, а также исследования, связанные с этическими аспектами технологического развития, изменениями социальных, политических и экономических отношений. Работы по проекту будут проводиться в тесной увязке с работами по созданию практических нейроморфных вычислительных систем, выполняемых в подразделениях НИЦ “Курчатовский Институт” при финансовой поддержке грантов РФФИ (№18-29-23041), и РНФ (№18-79-10253, №16-19-10233). В этих проектах изучаются физические принципы работы мемристивных устройств на основе органических и неорганических материалов, возможности аппаратной реализации компонентов нейросетевого моделирования и разрабатываются макеты мемристивных кроссбар-матриц. Разработанные в настоящем проекте системы локального обучения спайковых нейронных сетей, а также их топологии, будут отрабатываться при выполнении указанных выше проектов. Таким образом, реализация работ данного проекта создает теоретико-методическую основу для реализации практически значимых топологий спайковых сетей и методов их обучения на мемристорных системах. Используемые источники: [1] Sun, Z., Pedretti, G., Bricalli, A., and Ielmini, D. (2020). One-step regression and classification with cross-point resistive memory arrays. Sci. Adv. 6:eaay2378. doi: 10.1126/sciadv.aay2378 [2] Yao, P., Wu, H., Gao, B., Tang, J., Zhang, Q., Zhang, W., et al. (2020). Fully hardware-implemented memristor convolutional neural network. Nature 577, 641–646. doi: 10.1038/s41586-020-1942-4

---

 

ОТЧЁТНЫЕ МАТЕРИАЛЫ

---