КАРТОЧКА ПРОЕКТА,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 16-19-00135

НазваниеНовые нейросетевые технологии ассоциативной памяти и распознавания образов в системе взаимодействующих осцилляторов на базе переключательных структур оксидов переходных металлов.

РуководительВеличко Андрей Александрович, Кандидат физико-математических наук

Организация финансирования, регионфедеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет", Республика Карелия

Года выполнения при поддержке РНФ2016 - 2018

КонкурсКонкурс 2015 года «Проведение фундаментальных научных исследований и поисковых научных исследований по приоритетным тематическим направлениям исследований» (11)

Область знания, основной код классификатора 09 - Инженерные науки, 09-701 - Электронная элементная база информационных систем

Ключевые словаНейронный осциллятор, биоподобные нейронные сети, электрическое переключение, оксид ванадия, энергонезависимая резистивная память, электронно-лучевая модификация

Код ГРНТИ28.23.15


СтатусУспешно завершен


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
В проекте ставится задача реализации искусственных динамических нейронных сетей с функциями ассоциативной памяти и распознавания образов с помощью массива связанных осцилляторов. В качестве объекта исследования и разработки используются структуры на основе двуокиси ванадия, с эффектами фазового перехода металл-изолятор и электрического переключения, на базе которых проектируются релаксационные автогенераторы(осцилляторы), а за основу физического моделирования взята модель сети из взаимодействующих нейронных осцилляторов. Масштабность и актуальность задачи проекта связана в первую очередь с разработкой новой парадигмы компьютерных вычислений и распознавания образов, а также имеет аспект, связанный с пониманием физики функционирования оксидных переключательных микро и нано структур. На данный момент существует несколько подходов к моделированию нейронной сети. Это прежде всего cети из нейронов, в которых динамика каждого элемента описывается системой дифференциальных уравнений, например, уравнения для ионного транспорта через мембрану, как в модели Ходжкина – Хаксли, сети из интегративно-пороговых нейронов, накапливающих поступающие сигналы и генерирующим импульс (спайк) при достижении порога, и сети из взаимодействующих нейронных осцилляторов, в том числе фазовых осцилляторов. В осцилляторном подходе сети из нейронных осцилляторов исследуются методами теории бифуркаций, что позволяет аналитически и численно описать области параметров, при которых имеет место тот или иной вид динамики сети. В более простом подходе активность связанных осцилляторов характеризуется лишь разностью фаз или частот. Основная задача этого подхода состоит в описании областей пространства параметров, соответствующих различным режимам синхронизации (полной или частичной), а распознавание образа, трактуется как попадание входных параметров в область синхронизации взаимодействующих осцилляторов. Разрабатываемые в проекте ‘искусственные нейроны’ на основе двуокиси ванадия с эффектом электрического переключения на фоне релаксационных колебаний демонстрируют также естественный электрический шум, имеющий иногда детерминированный характер. Это явление (в пределах комнатных температур), присутствующее реальным биообъектам, в совокупности с быстродействием и возможностью наномасштабирования, делают переключатели на основе VO2 перспективным элементом для создания искусственной нейронной сети связанных осцилляторов. В результате будут разработаны технологий создания переключательных структур, планарного и сэндвич типов, на основе оксидов ванадия, с эффектом электрического переключения, с микронными и нанометровыми размерами рабочих областей и электродов. Одна из научных задач решаемая в проекте, это разработка новых методов ввода информации в искусственную нейронную сеть. Здесь планируется использовать свойство оксидно-ванадиевых структур обратимо модифицироваться под действием электронно-лучевого облучения (ЭЛМ). Это позволит напрямую управлять динамикой релаксационных колебаний, через изменение пороговых характеристик переключательного элемента, при этом электронно-литографическая система будет преобразовывать любой видимый образ в распределение экспонированной дозы. Планируется также исследование фоторезистивных преобразователей включенных последовательно с переключательным элементом для прямого влияния освещения, от распознаваемого образа, на динамику осцилляторной нейросети. Другой научной задачей является задача хранения образа тест объекта в параметрах осциллятора. Здесь будут исследоваться осцилляторные цепи содержащие резистивный элемент памяти, играющий функцию памяти состояния системы (частоты, фазы), с последующим распознаванием этого состояния. Одним из аспектов задачи будет поиск оксидных структур, обладающих несколькими устойчивыми резистивными состояниями, так называемый Multilevel ReRam. Кроме этого экспериментальные наблюдения будут дополнены результатами численного моделирования динамики связанных осцилляторов и программно- аппаратными методиками обработки сигналов. Будет получена технологий создания массива (размерностью не менее 4*4) связанных осцилляторов и элементов резистивной памяти на базе переключательных структур оксидов переходных металлов. Изучено влияния ЭЛМ и фотомодификации на динамику осцилляций массива связанных осцилляторов, для реализации функции ассоциативной памяти и распознавания образов. Таким образом, открывается новое направление исследований в разработке нейронных сетей на основе принципиально новых осцилляторов не только по физическому механизму, но и организованных по совершенно другому принципу параметрического воздействия. С практической точки зрения эта работа даст вклад в разработку новых устройств оксидной биоподобной электроники и методов обработки информации.

Ожидаемые результаты
1. Представлены технологии создания рабочих переключательных элементов, планарного и сэндвич типов, элементов резистивной памяти, микронного и наномасштаба на основе оксидов переходных металлов, в том числе массивов осцилляторов. 2. Созданы многоконтурные связанные осцилляторы и изучена их динамика, параметры (спектр колебаний и шума, сдвиг фаз и частот и др.) в зависимости от типа связующего элемента. 3. Разработаны новые методы ввода информации в искусственную нейронную сеть. Представлены результаты исследования эффекта электронно-лучевой модификации на пороговые параметры переключателя и генерируемых релаксационных колебаний в осцилляторном контуре. Выявлены физические механизмы ответственные за ЭЛМ. Представлена методика использования литографической электронно-лучевой системы для преобразования многопараметрического образа в дозы облучения. Представлены возможности фоторезистивных преобразователей для ввода информации. 4. Представлены численные модели динамики осцилляторов и результаты их исследования, с учетом влияния на параметры схемы фото и электроннолучевой модификации. Проведен расчет временных зависимостей напряжений и токов в схеме, распределения температуры в канале переключателя в планарной и сэндвич конфигурациях, представлено сравнение расчетных и экспериментальных данных. Спрогнозирована динамика работы массива осцилляторов. 5. Изучена нелинейная динамика массива связанных осцилляторов (размерностью не менее 4*4), с использованием ЭЛМ и фото способа ввода информации. Приведены конкретные схемы и методики позволяющие эмулировать функции ассоциативной памяти и распознавания образов. Полученные результаты будут актуальны в мировом масштабе, что в первую очередь связано с разработкой новой, не булевой, парадигмы компьютерных вычислений, моделирующие искусственные нейронные сетей с функциями ассоциативной памяти и распознавания образов. Открывается новое направление исследований в разработке нейронных сетей на основе принципиально новых осцилляторов не только по физическому механизму, но и организованных по совершенно другому принципу параметрического воздействия. С практической точки зрения эта работа даст вклад в разработку новых устройств оксидной биоподобной электроники, развитию физики функционирования оксидных переключательных микро и нано структур, в применении к нейротехнологиям и методов обработки информации.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2016 году
1) Разработана технология изготовления переключательных элементов планарного типа на основе VO2 пленок с фазовым переходом металл – изолятор (ФПМИ). Тонкие (~200 нм) пленки диоксида ванадия получались методом DC магнетронного напыления с последующим отжигом в атмосфере кислорода (10 мТорр, 480°C, t = 40 минут). Лучшими для электрического переключения являются пленки нестехиометрического VO2, со скачком удельного сопротивления при ФПМИ до двух порядков, с температурой фазового перехода ~60°C (по сравнению с Tt ≈ 70°C в стехиометрическом VO2) и повышенной проводимостью. Методами оптической литографии и lift-off процесса сформированы планарные переключательные структуры с электродами в виде двухслойных V-Au металлических контактов толщиной порядка 50 нм и с межэлектродным зазором ~ 2,5 мкм; ширина электродов составляла ~10 мкм. ВАХ переключателя имеет S-образный вид с пороговым напряжением 1-15 В; скачок тока при пороговом напряжении включения Vth составляет ~10, при напряжении выключения Vh скачок ~5, динамические сопротивления во включенном Ron и выключенном Roff состояниях составляют ~40 Ом и ~1,1 кОм, соответственно. Статическое сопротивление во включенном состоянии имеет нелинейный характер и изменяется от 40 до 200 Ом в диапазоне напряжений от Vh до Vth. Данная технология позволила получить двухэлектродные структуры со стабильным эффектом электрического переключения, выдерживающие более 10Е8 циклов переключения, а также устанавливать переключатели в макетные платы, для дальнейшего изучения в условиях вакуума. 2) Для наблюдения автоколебаний, на основе VO2 переключателя собрана схема одиночного колебательного контура. Последовательное сопротивление Rs и напряжение питания Vdd (в диапазоне от 20 до 100 В) подбираются таким образом, чтобы нагрузочная прямая проходила через участок отрицательного дифференциального сопротивления (ОДС), что является условием возникновения осцилляций. Путем вариации условий и режимов получения пленок (в частности, t отжига), подобраны оптимальные параметры, при которых достигается минимальное значение Vth и максимальное отношение токов Ih/Ith. Это обеспечивает максимальный наклон ОДС и лучшую стабильность получаемых осцилляций. На основе программы LTSpice создана модель VO2-переключателя, описывающая поведение переключательной структуры. Экспериментальные осциллограммы автоколебаний падения напряжения на переключателе и спектр колебаний с высокой степенью точности совпадают с соответствующими теоретическими кривыми, полученными в рамках данной модели. Зафиксировано уширение спектральных пиков, связанное с наличием шума в предпороговых областях, что приводит к слабой частотной модуляции автоколебаний хаотическим сигналом; наблюдались эффекты стохастического резонанса. При исследовании одиночного контура обнаружено явление бистабильности, заключающееся в управляемом включении и выключении автоколебаний внешним импульсом. Данный эффект обусловлен наличием общего разогрева структуры в силу того, что за один период автоколебания канал переключения не успевает остыть до равновесной температуры. Для прекращения автоколебаний подается импульс обратной полярности с амплитудой, достаточной для выключения переключателя и длительностью, равной времени остывания канала до равновесной температуры. Указанный эффект может быть использован для создания осцилляторных элементов памяти и реализации режима импульсной связи в искусственных нейронных сетях. 3) Показано, что электронно-лучевая модификация (ЭЛМ) существенным образом изменяет параметры ФПМИ, снижает температуру перехода Tt и приводит к общему снижению сопротивления полупроводниковой и металлической фаз. Уменьшение Roff и Tt в свою очередь снижает Vth. Проведен квантово-химический расчет энергий образования кислородных вакансий и миграции кислорода в моноклинной и тетрагональной фазах диоксида ванадия. Показано, что диффузия в обеих фазах диоксида ванадия имеет преимущественное направление миграции кислорода вдоль кристаллографической оси а в моноклинной фазе (T < Tt) и оси с в тетрагональной фазе рутила (T > Tt). Различие в темпе генераций кислородных вакансий при электронно-лучевом воздействии выше и ниже температуры ФПМИ объясняется скачком (~1,5 раза) энергии активации диффузии кислорода при структурном фазовом переходе, что изменяет подвижность кислорода (кислородных вакансий) более чем на порядок. Расчеты электронных структур кристалла проводились в программном пакете Quantum Espresso. Исследована ЭЛМ пороговых параметров ВАХ VO2-переключателя и частоты автоколебаний осциллятора на его основе. Показано, что ЭЛМ, проводимая в вакууме, носит обратимый характер и параметры восстанавливаются при экспозиции на воздухе с давлением 150 Па. При ЭЛМ с дозой 3 Кл/см2 напряжения Vth и Vh, а также сопротивление в выключенном состоянии Roff, уменьшаются до 50% от исходных значений. Частота осцилляций возрастает на 30% при ЭЛМ с дозой 0,7 Кл/см2. Физический механизм наблюдаемых процессов связан с окислительно-восстановительными реакциями и образованием кислородных вакансий в результате ЭЛМ с учетом вышеописанного различия вкладов металлической и полупроводниковой фаз канала переключателя. Управляемая модификация позволяет проводить электронно-лучевую формовку переключателей с заданными параметрами, а также ЭЛМ может быть использована в искусственных осцилляторных нейронных сетях для распознавания образов на основе частотной манипуляции (frequency shift keying). 4) Проведено численное моделирование динамики осцилляций, с учетом изменения параметров переключателя при ЭЛМ, а также расчет временных характеристик и распределения температуры в канале переключателя. При этом применяется два подхода: 1) использование стандартных математических комплексов, которые могут предсказывать работу электрических схем (пакет LTSpice) и моделировать физические процессы в микроструктурах (пакет COMSOL Multiphysics); 2) создание собственных программных комплексов, использующих первопринципные методы и аналитическая оценка параметров осцилляций простейших схем. Показано, что теоретические (полученные с помощью численного моделирования) кривые с высокой точностью соответствуют экспериментальным данным, в частности, таким как зависимости частоты осцилляторов от дозы облучения при ЭЛМ, временные характеристики восстановления после ЭЛМ в металлической и полупроводниковой фазах, а также стационарные ВАХ и распределение температуры в планарном переключателе. 5) Исследована динамика переключения двух связанных осцилляторов на основе VO2 с резистивной и емкостной связью, а также показана принципиальная возможность их применения в осцилляторных нейронных сетях. Построена адекватная SPICE модель для описания режимов работы связанных осцилляторных контуров. Установлены физические механизмы, определяющие времена прямого и обратного электрического переключения, которые, в свою очередь, определяют пределы применимости предложенной модели. Для резистивной связи показано, что синхронизация происходит при определенном значении сопротивления связи, однако она является нестабильной и периодически происходит сбой синхронизации. При минимальной величине связи не наблюдается ни частотной ни фазовой синхронизации осцилляторных контуров. При резистивной связи в диапазоне 3 кОм < Rcoup < 10 кОм наблюдается постепенное нерегулярное искажение формы автоколебаний напряжения. Данное изменение связано с шунтированием одного переключателя другим при их взаимном переключении в высокопроводящую фазу. В этом диапазоне резистивной связи наблюдается искажение спектров с появлением новых гармоник при взаимомодуляции, и колебания в целом имеют квазипериодических характер. Для емкостной связи наблюдаются два режима синхронизации: со слабой и сильной связью. Переход между этими режимами сопровождается хаотическими колебаниями. Переход к хаосу происходит по механизму удвоения периода. Обнаружено уменьшение ширины гармоник спектра в режиме слабой связи, и ее увеличение в режиме сильной связи. Таким образом, осцилляторы, связанные с помощью емкостей, показали большее разнообразие режимов работы по сравнению с резистивной связью. При емкостной связи осцилляции контуров наблюдаются во всем диапазоне значений Сcoup. В режиме слабой связи при увеличении номинала связующей емкости, частоты осцилляторов сближаются, и после порогового значения Сcoup ~ 2,5 нФ осцилляторы синхронизуются. В отличие от резистивной связи, разность фаз после синхронизации может управляемо меняться в широком диапазоне (от 30º до 170º), поэтому использование такого типа связи в системах распознавания образов, использующих схему распознавания на основе сдвига фаз (phase shift keying), является более предпочтительным. В качестве применения рассмотренных систем связанных осцилляторов продемонстрирована совместная работа R- и С-связи в ансамбле из четырех осцилляторов для моделирования центрального генератор ритма (ЦГР). 6) Исследовано влияние электронного облучения на синхронизацию связанных осцилляторов. Исходные частоты осцилляторов составляли 850 Гц и 770 Гц, что не обеспечивало синхронизацию при емкостной связи Сcoup = 10 нФ. Для установления синхронизации частота одного из осцилляторов изменялась при помощи ЭЛМ. Показано, что синхронизация устанавливается при дозе облучения ~1 Кл/см2, а при дальнейшем облучении происходит десинхронизация. Продемонстрирован отклик осцилляторной системы на электронно-лучевое воздействие, где важным аспектом является направление изменения частот при ЭЛМ, а также то, что даже при наличии зашумлённости параметра частоты осцилляций, по поведению разности фаз можно достаточно точно предсказать возникновение синхронизации. Поэтому метод фазового детектирования синхронизации здесь может являться ключевым методом для анализа осцилляторных нейронных сетей. 7) Электрическая схема автоколебательного контура была дополнена последовательно включенным фоторезистором. Показано, что освещенность фотосопротивления влияет на частоту колебаний. Найдены значения освещенности, при которых наблюдались устойчивые автоколебания в схеме (1,25 – 4,1 лк, фоторезистор GL5516). При освещенности I < 1,25 лк переключатель находился в устойчиво выключенном состоянии, а при I > 4,1 лк – в устойчиво включенном. Данный способ управления параметрами автоколебаний в схемах на основе VO2-переключателей аналогичен вышеописанному способу с использованием ЭЛМ, однако необходимость ЭЛМ самого переключателя не всегда может быть целесообразна в связи со сложностью системы электронного экспонирования и необходимостью наличия вакуума. 8) Проведено моделирование функции распознавания образ-векторов с использованием метода фазовой синхронизации осцилляций. Методика распознавания при использовании такой системы заключается в установлении начальной (входной) разности фаз Δφt (входной фазовый вектор) и выявление спустя время Δts конечной разности фаз Δφi,j, являющейся одним из запомненных собственных образ-векторов. В ходе модельного эксперимента использованы три одиночных осцилляторных контура на основе VO2-переключателей, которые были соединены через связующие емкости, по топологии «звезда». Для моделирования использовалась среда NGSpice с программой автоматизации модельного эксперимента (написанной на Си) для расчетов в условиях вариации значений параметров схемы. Результаты моделирования показали, что время стабилизации фазы тем меньше, чем меньше разница между входным и собственным фазовым вектором, а актом распознавания является выявление «победителя» (критерий наименьшего времени) из набора входных векторов.

 

Публикации

1. Беляев М.А., Путролайнен В.В., Величко А.А. The Bistability Phenomenon in Single and Coupled Oscillators Based on VO2 Switches Technical Physics Letters, Vol. 42 , No. 12, pp. 1197–1200 (год публикации - 2016).

2. Борисков П.П., Беляев М.А., Величко А.А. Активационная диффузия кислорода в условиях фазового перехода металл-полупроводник диоксида ванадия Журнал физической химии, - (год публикации - 2017).

3. Величко А.А., Беляев М.А., Путролайнен В.В., Пергамент А.Л., Перминов В.В. Switching dynamics of single and coupled VO2-based oscillators as elements of neural networks International Journal of Modern Physics B, Vol. 30, 1650261 (год публикации - 2016).

4. Максим Беляев, Андрей Величко, Вадим Путролайнен, Валентин Перминов, Александр Пергамент Electron beam modification of vanadium dioxide oscillators Physica Status Solidi C: Current Topics in Solid State Physics, - (год публикации - 2016).

5. Пергамент А.Л., Стефанович Г.Б., Величко В.В. Relaxation oscillations in circuits containing sandwich switches based on vanadium dioxide Phase Transitions, PHASE TRANSITIONS, 2016 (год публикации - 2016).


Аннотация результатов, полученных в 2017 году
В ходе научных исследований за 2017 год нами была проведена экспериментальная и теоретическая работа по наблюдению новых эффектов синхронизации осцилляторов, в том числе с использованием мемристоров, а также изучены особенности электрического переключения переключателей планарного и сэндвич типов при масштабировании. Предложен альтернативный вид не электрической, а термической связи, имеющей перспективы для 3D интеграции осцилляторных сетей и организации связей вида все-со-всеми. Проведено исследование эффекта синхронизации на субгармониках, используемого для увеличения емкости классификации осцилляторной системы и распознавания образов, а также синхронизации на длинные расстояния. Описанные результаты в большей своей степени имеют универсальный характер и в дальнейшем могут быть применены к другим переключательным структурам, в том числе на основе полупроводниковых компонентов, для которых существует промышленная технология изготовления. 1. Методами электронной и лазерной литографии, с использованием магнетронного напыления, нами были изготовлены планарные переключательные структуры с величиной межэлектродного промежутка a в диапазоне от 500 до 3000 нм. Экспериментально было обнаружено снижение пороговых токов и напряжений, времен включения и выключения, а также пороговой мощности при уменьшении величины a. Используя численное моделирование, выявлены обобщенные формульные зависимости пороговых характеристик от масштаба области переключения и свойств пленки. Наиболее интересным является оценка максимально достижимых частот при осцилляциях, поэтому нами было проведено моделирование непосредственно переключателя включенного в схему осциллятора. Оценка собственной частоты F0 осцилляторов при фиксированной емкости (C=10 нФ) показывает, что F0 незначительно падает с уменьшением размеров переключательной структуры, несмотря на снижение временных характеристик переключения. В свою очередь, с уменьшением а, можно снижать минимальную емкость, при которой колебания вообще существуют, поэтому, при размерах области a~100 нм, максимальная частота осцилляций может приближаться к F0~20 МГц, а в некоторых случаях может достигать F0~300 МГц. Показано, что для изучения физики переключения одиночных наноструктур удобно использовать сэндвич структуры, например, на основе аморфных анодных VO2 пленок, которые являются хорошими модельными объектами. Для этих целей нами был разработан стенд на основе атомно-силового микроскопа СММ-2000, позволяющий получать топографические карты и карты распределения проводимости на изучаемом участке поверхности, до и после проведения электрической формовки (in situ). С помощью стенда был изучен процесс электрической формовки в пленке оксида ванадия толщиной ~50 нм. Показано, что после формовки образуется модифицированный участок с повышенной проводимостью, соответствующий сформированному каналу диаметром ~500 нм, который в свою очередь состоит из наноканалов диаметром в диапазоне (10-100 нм). Сделан вывод, что на данном этапе предпочтительнее использовать планарные структуры, т.к сэндвич технология пока еще нуждается в электрической формовке канала. Тем не менее, сэндвич структуры на основе аморфного VO2 перспективны, в будущем, для разработки технологии 3D интеграции элементов и миниатюризации. 2. Показано, что существуют возможности эффективного применения мемристоров обоих типов в осцилляторных контурах, однако, для униполярной резистивной памяти переход между состояниями требует более сложных схем с наличием управляемого ограничителя по току. Для биполярной памяти схемная реализация перехода между состояниями значительно проще, так как в осцилляторной цепи, на определенных ветках, можно создать условия поочерёдного возникновения импульсов положительной и отрицательной полярности. Показано, что биполярная память проявляет свойство мультистабильности, когда сопротивление низкоомного состояния может меняться в широком диапазоне значений. Здесь уместно говорить о квазистабильном состоянии, т.к сопротивление ячейки зависит не только от величин приложенных напряжений, но и является функцией времени. Такое поведение физически связано с полевым управлением концентрацией кислородных вакансий в межэлектродном промежутке, за счет электрополевой миграции. При положительной полярности их концентрация возрастает, при этом со временем наблюдается обратная диффузия, что приводит к восстановлению равновесных значений сопротивления. Двухэлектродные сэндвич МОП(МОМ) структуры на основе оксидов Ti, Ta, Nb, V формировались нами методами реактивного магнетронного распыления и анодного окисления. В большинстве случаев биполярная память наблюдается без предварительной формовки, что является несомненно плюсом, а проведение формовки обычно приводит к возрастанию токов включенного состояния и подавлению мультистабильности. Анодные аморфные пленки ниобия и ванадия представляются нам хорошими кандидатами на роль мультистабильной биполярной памяти, за исключением одного минуса – использования жидкого электролита. Таким образом, сделан вывод, что биполярная память с мультистабильными состояниями на основе представленных оксидов может претендовать на роль элементов для моделирования синаптической пластичности нейронной сети. 3. Нами была разработана схемотехническая модель биполярной памяти, которая по динамике ВАХ очень напоминала квазистабильное поведение реальных ячеек. Здесь использовалась аналогия концентрации вакансий к величине напряжения на конденсаторе, которая зависела не только от амплитуды входных напряжений, но и от времени, за счет процессов зарядки и разрядки емкости через сопротивления. Модельная ячейка (мемристор) была использована нами в схемах одиночного и двух связанных контуров. В первом случае мы обнаружили очень интересный режим работы схемы, когда вид осциллограмм напряжения на мемристре напоминает пачечную (взрывную) активность нейрона, и обусловлен последовательной сменой режимов работы одиночного осциллятора. Целью создания схемы связанных осцилляторов с ячейкой памяти являлось моделирование процесса обучения. Мемристор часто используется при моделировании нейронных систем организмов, как элемент, позволяющий симулировать эффект синаптической пластичности, выражающийся в увеличении силы синаптической связи при активации постсинаптических рецепторов. Для моделирования эффекта синаптической пластичности мы использовали два нейрона-осциллятора, соединенных мемристором и последовательной емкостью. Емкость была необходима для реализации практически униполярных импульсов напряжения на ячейке памяти при осцилляциях. Первый осциллятор, работающий в нормальном режиме, возбуждает второй осциллятор, который находится в подпороговом режиме, в котором значение питающего тока незначительно ниже, чем необходимое для возникновения осцилляций. Под воздействием импульсов напряжения сопротивление мемристора начинает уменьшается, что равносильно усилению электрической связи между контурами. При падении сопротивления мемристора до некоторого порогового уровня, инициируется включение второго осциллятора. Таким образом, нами была показана динамика работы одиночного и двух связанных осцилляторов, с включенным в схему мемристором, которые моделируют эффекты пачечной активности и синаптической пластичности нейронов, а также связанный с ними процесс обучения. 4. Разработана схема двух термически связанных осцилляторов с нагрузочными сопротивлениями (Rx, Ry), представляющими собой матрицу 3×3 фоторезистивных преобразователей. В одном поле матрицы находятся два гальванически развязанных фоторезистора, которые засвечиваются одновременно, а сама матрица представляет собой сенсор засвечиваемых образов (фигур). Каждой фигуре соответствует определенный набор светлых и темных полей и определенные значения Rx и Ry, а значит и свое SHR (при соответствующем подборе статических параметров схемы). Таким образом, данная система из двух осцилляторов может классифицировать и распознавать образы с учетом симметрии фигур. 5. В результате проведенных экспериментальных исследований и численного моделирования динамики развития канала переключения в планарных структурах на основе диоксида ванадия установлены закономерности поведения времен перехода из высокоомного в низкоомное состояние и обратно в зависимости от амплитуды и длительности импульса и величины опорного напряжения. Полученные данные, в совокупности с результатами расчета и измерений температуры в канале переключения, свидетельствуют об определяющей роли в процессе переключения фазового перехода “металл−полупроводник” в диоксиде ванадия, стимулированного джоулевым разогревом. Предложен альтернативный вид не электрической, а термической связи, имеющей перспективы для трехмерной интеграции осцилляторных сетей и организации связей вида все-со-всеми и эффекта синхронизации на субгармониках. Термическая связь между осцилляторами осуществляется за счет распространения тепла через подложку, на которой находятся элементы осцилляторов. Для этого необходимо, чтобы элементы цепи при генерации колебаний могли играть роль источника тепла переменной мощности (подойдет любой резистивный элемент по которому течет переменный ток, в том числе сам переключательный элемент) и, одновременно, параметры окружающих осцилляторов должны иметь сильную зависимость от температуры (например, пороговое напряжение переключателя имеет сильную зависимость от температуры). Получены расчетные зависимости радиусов термической связи RTC, соответствующие ΔT ~ 0.2 K, от величин емкости и ограничительного сопротивления. Это доказывает возможность управления силой и радиусом связи не только статическими величинами, такими как расстояние между структурами и тепловыми константами подложки, но также и динамическими, варьируя параметры схемы. Экспериментальное и численное изучение колебаний двух термически связанных осцилляторов привело нас к явлению синхронизации на субгармониках (частичной синхронизации). Это явление заключается в том, что синхронизация может происходить на неосновных (кратных) гармониках спектра осцилляций. Был разработан достаточно простой, но эффективный алгоритм, основанный на фазовом подходе, который определяет наличие эффекта синхронизации, эффективность синхронизации µ и значение SHR (отношение номеров гармоник на частоте синхронизации). Рассчитана карта синхронных состояний в пространстве питающих токов, имеющая вид языков Арнольда. Для случая сильной связи, соответствующей эксперименту по параметрам и уровню шума, было получено 12 различных состояний. Для других параметров системы, с меньшим уровнем шума, количество возможных состояний может значительно возрастать, и при учете 20 первых гармоник доходить до 200. Таким образом, эффект синхронизации на субгармониках обладает большой емкостью классификации и может быть использован в задачах распознавания образов. 6. Показано, что эффект синхронизации на большие расстояния может наблюдаться в цепочке термически связанных осцилляторов, при этом параметр синхронизации (SHR) между крайними элементами цепи выражается через произведение SHR соседних осцилляторов. Таким образом, эффект синхронизации на субгармониках позволяет реализовать синхронизацию на большие расстояния, через попарное взаимодействие осцилляторов составляющих цепочку связи. Показано, что при варьировании токов питания двух первых осцилляторов (I1, I2) в цепочке из N=100 осцилляторов, распределение SHR1,100, в пространстве управляющих токов, имеет градиент изменения только по оси I1, в отличии от двух-осцилляторной схемы, в то же время симметрия синхронных состояний осталась диагональной, что говорит о роли взаимного соотношения токов соседних осцилляторов в физике распространения синхронизма по цепочке. Однако области синхронизации распределены неравномерно, и не образуют яркой системы языков Арнольда. При варьировании токов питания центральных осцилляторов (I51, I52) мы получаем распределение одного единственного состояния SHR1,100=1/1, что, очевидно, связано с неизменными частотами крайних осцилляторов. Таким образом, соотношение I51 и I52 играет роль ключа, включающего или выключающего синхронизацию крайних осцилляторов. 7. Основным методом для решения задачи распознавания образов, мы считаем, является использование явления синхронизации на субгармониках для увеличения емкости классификации осцилляторной системы. В работе исследовалась термическая связь, но аналогичные эффекты частичной синхронизации могут быть получены и на других видах связи (R- и C-типа), т.к физический механизм синхронизации на субгармониках является универсальным.

 

Публикации

1. Беляев М.А., Борисков П.П., Величко А.А., Пергамент А.Л., Путролайнен В.В., Рябоконь Д.В., Стефанович Г.Б., Сысун В.И., Ханин С.Д. Динамика развития канала переключения в планарных структурах на основе диоксида ванадия Физика твердого тела, 2018, т. 60, в. 3, стр.443-451 (год публикации - 2018).

2. Величко А.А., Беляев М.А., Путролайнен В.В., Перминов В.В., Пергамент А.Л. Modeling of thermal coupling in VO2-based oscillatory neural networks Solid-State Electronics, Volume 139, Pages 8-14, 2018 (год публикации - 2017).

3. Пергамент А.Л., Величко А.А., Беляев М.А., Путролайнен В.В. Electrical switching and oscillations in vanadium dioxide Physica B, - (год публикации - 2017).

4. Перминов В.В., Путролайнен В.В., Беляев М.А., Величко А.А. Synchronization in the system of coupled oscillators based on VO2 switches Journal of Physics: Conference Series, vol. 929, 012045, 2017 (год публикации - 2017).

5. Стефанович Г.Б., Величко А.А., Пергамент А.Л., Борисков П.П. Amorphous vanadium dioxide: the resist for electron-beam lithography Surface Review and Letters, - (год публикации - 2017).


Аннотация результатов, полученных в 2018 году
В ходе научных исследований за 2018 год нами была проведена экспериментальная и теоретическая работа по развитию методов работы с осцилляторными нейронными сетями (их тренировки), для таких применений как запоминание и распознавания образов, кодирование информации. Более подробно изучены эффекты синхронизации в массивах связанных осцилляторов, с применением специального семейства метрик оценки синхронизации, кроме того показаны эффекты влияния задержки термической связи при 3D интеграции осцилляторов. Результаты опубликованы в рейтинговых журналах в том числе с открытым доступом, часть работ находится на рецензии, получены права и поданы заявки на РИДы. Также хочется пояснить, что VO2 переключатели (осцилляторы) являются модельными объектами, технология изготовления которых широко применяется не только в нашей лаборатории, но и в мире. Тем не менее, описанные ниже эффекты в большей своей степени имеют универсальный характер и в дальнейшем могут быть применены для создания сетей на основе самых различных физических осцилляторов: электрических, магнитных, оптических, для которых существует промышленная технология изготовления. Кроме того, данные наработки лягут в основу нового направления по развитию технологий функционирования осцилляторной нейронной сети на высокопроизводительных вычислительных платформах: видеокартах и программируемых логических интегральных схемах. 1. Отработана технология создания массива связанных осцилляторов на базе переключательных структур оксидов переходных металлов. Основными элементами осцилляторной сети являются VO2-переключатели, представляющие собой двухэлектродные планарные структуры с функциональным слоем диоксида ванадия и двумя металлическими контактами. Связь между осцилляторами осуществляется через тепловые потоки, распространяющиеся через подложку и возникающие в результате Джоулева разогрева переключателей при включении. В качестве подложки использовался синтетический корунд (Al2O3), однако может применяться любой другой диэлектрический материал (кварц, ситалл и т.д.). Подложки проходили стандартную процедуру очистки от органических загрязнений с использованием ацетона, метилового и изопропилового спирта. На подложку с помощью магнетронного распыления металлической мишени в кислород-аргоновой атмосфере при комнатной температуре наносилась пленка аморфного оксида ванадия, близкого по стехиометрии к VO2. В зависимости от требований к параметрам переключателя толщина VO2 пленки варьировалась от 100 до 200 нм. Вторым этапом изготовления массива осцилляторов является формирование областей диоксида ванадия квадратной формы, с помощью методов оптической литографии. После изготовления литографической маски, происходило травление аморфного оксида в 3-нормальном растворе азотной кислоты в течение 2 минут. Затем производилось снятие фоторезистивной маски с помощью ацетона, и подложка вновь отжигалась при температуре 480 °С в течение 30-60 минут (в зависимости от требуемых параметров переключения) при давлении 10E-2 мм.рт.ст. и скорости натекания 10 см3/мин. Последним этапом формирования массива связанных осцилляторов являлось нанесение золотых контактов. 2. Предложена методика учета временной задержки взаимодействия термически связанных осцилляторов. Тепловой сигнал может распространяться со значительной задержкой относительно величины периода осцилляций и стандартный алгоритм определения синхронизации требует уточнения. Моделирование физики работы двух осцилляторов в случае 3D интеграции было выполнено с использованием вычислительной платформы COMSOL. В случае присутствия временной задержки взаимодействия осцилляторов τ на осциллограммах токов возникают относительные временные смещения δ импульсов тока. Мы выяснили, что для определения основных параметров синхронизации высокого порядка (SHR и η) при наличии временного смещения взаимодействия τ необходимо определить набор временных смещений пиков тока δ1, δ2…δi…δp, выбрать из этого набора наиболее часто встречающееся значение δi в пределах длительности обрабатываемой осциллограммы Tall, и произвести обратное смещение осциллограмм друг относительно друга на эту величину, и затем применить стандартные методики. Анализируя график η(τ) можно отметить, что кривая имеет ряд периодических минимумов и в целом эффективность η снижается с ростом τ. При проектировании 3D ОНС можно варьировать расстояние l между осцилляторами, но при этом меняется не только величина τ, но и величина теплового взаимодействия, поэтому мы наблюдаем довольно сложную зависимость η(l), где также присутствуют минимумы. По всей видимости, появление минимумов и максимумов параметров синхронизации при вариации временной задержки взаимодействия осцилляторов в сети является универсальным эффектом. 3. Выполнено моделирование сэндвич переключателя. Показано, что полученные при моделировании ВАХ имели область с отрицательным дифференциальным сопротивлением. Сопротивление выскоомной ветки составляло Roff ~15 кОм, а низкоомной Ron ~ 1 кОм, напряжение включения Vth ~ 1.55 В, а выключения Vth ~ 0.88 В, что соответствует порядку величин наблюдаемым в эксперименте с анодными пленками. Рассчитано распределение температуры в момент включения переключателя. Максимум температуры достигается в центре канала и достигает значения ~370 K, соответствующее температуре фазового перехода в двуокиси ванадия. При диаметре канала 200 нм и толщине пленки 100 нм, радиус эффективного термического взаимодействия составлял RTC ~4.5 мкм, а область взаимодействия имела полусферичную форму. 4. Изучено влияние биполярного элемента памяти на осцилляторные цепи. Мы видоизменили модельную схему мемристора, добавив в нее два диода, которые позволяли моделировать разные скорости генерации и рекомбинации вакансии, концентрация которых определяла сопротивлений мемристора RM. Кроме того схема имела возможность подачи отрицательного напряжения на мемристор VM, переводящее его в закрытое состояние. Исследована схема двух нейронов-осцилляторов, соединенных мемристором RM и последовательной емкостью Cc. Временные диаграммы сопротивления мемристора RM(t) и выходного напряжения Vo (t), демонстрировали пачечную активность выходного нейрона. 5. Изучены особенности динамики осцилляций массива осцилляторов и их применение к задачам распознавания образов и логики. Здесь хочется отметить, что достигнут определенный прогресс, когда можно сказать, что выделено новое направление в этой области, и предлагаемые нами методики с успехом могут быть использованы в задачах кодирования и распознавания наряду с уже известными методиками, разработанными для нейронных сетей. Особенностью является применение семейства метрик, на данный момент состоящее из двух параметров – это величина синхронизации высокого порядка SHR и значение эффективности синхронизации (в дальнейшем мы планируем увеличить их количество). Другой особенностью является то, что это интегральные по времени параметры, которые измеряются не после единичного акта прихода импульса, а это состояние определяется (устанавливается) после значительного количества колебаний осциллятора, поэтому в некотором роде это более сложная система, где необходим учет динамики всех связанных осцилляторов одновременно. Выделены два подхода к решению задачи распознавания “Интегральный подход” и “Дифференциальный подход”. Первый реализуется, когда мы задаем вектор образ, запоминаемый или распознаваемый в виде параметров отдельных осцилляторов в системе и изучаем комплексную синхронизацию всей системы, в том числе с учетом входных нейронов. Таким образом, понятия входного и выходного слоя нет, т.к они могут быть совмещенными. При этом параметр синхронизации высокого порядка может иметь довольно сложный вид типа SHR=k1:k2:k3:..kN, состоящий из номеров гармоник нескольких (N) осцилляторов. Эта идея изложена нами в работе, опубликованной в журнале Electronics. Второй подход назовем его “Дифференциальный подход”, здесь мы разделяем входные и выходные слои нейронов, при этом синхронизация измеряется в основном только между двумя осцилляторами – выходным и задающим (референсным), имеющим постоянную частоту. Этот подход наиболее похож на методику работы со стандартным нейронными сетями. Отличием является то, что один нейрон на выходе может иметь множество состояний (мультиуровневый нейрон) тем самым позволяя сократить число нейроном на выходе для решения определенных задач. Изучено влияние шума на сеть, и обнаружены эффекты стохастического резонанса. 6. С помощью численного моделирования двух- и трехосцилляторных схем с термически связанными VO2-переключателями показан новый метод запоминания и распознавания образов (векторов) в импульсной осцилляторной нейронной сети (ОНС) на основе эффекта синхронизации высокого порядка. Данный способ позволяет хранить множество образов, число которых определяется количеством синхронных состояний Ns. Каждое состояние системы характеризуется порядком синхронизации, определяемым как отношение номеров гармоник на общей частоте синхронизации. Модельно показано достижение Ns нескольких порядков, так для трех осцилляторной схемы Ns~650 и для двух осцилляторной схемы Ns~260. Получены ряд закономерностей, в частности, обнаружено наличие оптимальной силы связи осцилляторов, при которой Ns имеет максимум. Также показана общая тенденции к уменьшению информационной емкости с ростом силы связи и амплитуды внутреннего шума переключателей. Предложен алгоритм запоминания векторов и распознавания тестового вектора, а также показано, что для снижения неопределенности распознавания необходимо использовать число координат в каждом векторе на единицу меньше количества осцилляторов. 7. Используя “Дифференциальный подход”, представлен новый метод кодирования информации c помощью импульсной осцилляторной нейронной сети на основе эффекта синхронизации высокого порядка. В предложенной нейросетевой схеме данные поступают на входной слой в виде уровней токов питания осцилляторов и преобразуются в набор неповторяющихся синхронных состояний выходного осциллятора. На примере моделирования схемы термически связанных VO2-осцилляторов продемонстрирована настройка сети через подбор сил связей, уровней токов питания и параметра эффективности синхронизации. 8. Была поставлена и решена задача распознавания образов, представляющих собой фигуры в матрице 3x3. На вход подавался набор фигур в виде матрицы 3x3, имеющей 512 различных комбинаций, разбитых на 102 класса Cm по признаку симметрии. Выход состоит из одного осциллятора. Тренировка сети производилась методом модельного отжига, при этом фиксировались значение Un и ηth, а токи (ION, IOFF, I0, I10) и силы связей между осцилляторами (sr, so, sm) варьировались случайным образом в определенных диапазонах. Задача разбивалась на следующие подзадачи. Задача I: Необходимо найти решение, когда сеть распознает один класс (P=1, где P- это количество распознаваемых классов) из 102 возможных Cm, с определенным значением m. Задача II: Сеть распознает P>1 классов, причем каждому классу ставит в соответствие оригинальное значение синхронизации SHR. Задача III: Когда сеть распознает все классы P=102. Оказалось, что после тренировки вероятность нахождения любого решения с P=1 (Задача I) составляет ~ 10%, и это наибольшая вероятность по сравнению с другими P>1. Определено, что наибольшая вероятность (~4%) появления решения для множества C1 и С102, когда все клетки входного паттерна либо пусты, либо закрашены. Решения для других m появляется намного реже, с вероятностью на два порядка ниже (~0.03%). Теме не менее, эта гистограмма показывает, что можно обучить сеть решению задачи I, с определенной, наперёд заданной величиной m. После всех этапов тренировки максимальное значение P достигло P=14 и это на данный момент максимальный результат по решению Задачи II. Понятно, что это не предел, а конфигурацию и алгоритм тренировки можно развивать дальше, с другой стороны целью этой работы было показать возможность реализации мультиуровневой нейронной сети и ее применения для распознавания образов. Задачи III на данный момент не имеет решения, но это может быть целью будущих исследований. Стоит также отметить, что количество решений Np одной и той же задачи может быть множество, и вероятность нахождения решения можно выражать в процентах, это еще один довод в пользу состоятельности применённого нами алгоритма поиска решения методом случайного поиска (как разновидности метода модельного отжига). Кроме того, мы провели исследование влияния величины шума на результат поиска решений и оказалось, что существует оптимальная величина шума при которой как NP так и P достигают максимума. Поэтому можно говорить о наличии эффекта схожего с эффектом стохастичесокго резонанса, который следует изучать в будущих работах. Варьирование величины эффективности синхронизации, являющейся скорее не параметром сети, а параметром алгоритма обработки, также показало наличие максимума. 9. Проведен эксперимент по аддитивному воздействию гармонического сигнала и шума на VO2-осциллятор с планарным переключателем. В автоколебательном режиме продемонстрирован эффект стохастической синхронизации с наличием резонанса отношения сигнал/шум, который оценивается на основе разработанной оригинальной спектральной методики. 10. Показано, что фоторезистивное преобразование параметров осцилляторов элементами их внешней схемы (фотодиодами) являются удобным способом трансляции визуальных образов в ОНС. Поскольку наиболее простым вариантом настройки частоты колебаний осцилляторов является вариация их токов питания, то фотодиоды в составе нагрузочных элементов в цепи питания эффективным образом решают эту задачу. Информационные ресурсы в сети Интернет (url-адреса), посвященные проекту: https://www.gazeta.ru/science/news/2018/12/04/n_12371083.shtml https://gazeta-licey.ru/news/73671-uchyonyie-petrgu-nashli-novyiy-metod-raspoznavaniya-obrazov https://indicator.ru/news/2018/12/04/raspoznavanie-obrazov-nejroset/ http://rscf.ru/ru/node/fiziki-iz-petrozavodska-nashli-novyy-metod-obucheniya-neyroseti-raspoznavaniyu-obrazov https://tass.ru/nauka/5867377 http://velichko.site/category/science_ru/ https://petrsu.ru/page/science/science_projects/novye-neirosetevye-tehnologii-assot

 

Публикации

1. - Российские физики разработали новый способ распознавания образов нейронной сетью газета.ru, - (год публикации - ).

2. - Разработан новый способ распознавания образов нейронной сетью Индикатор, - (год публикации - ).

3. - Физики из Петрозаводска нашли новый метод обучения нейросети распознаванию образов Сайт РНФ, - (год публикации - ).

4. - Физики из Петрозаводска нашли новый метод обучения нейросети распознаванию образов ТАСС, - (год публикации - ).

5. - Учёные ПетрГУ нашли новый метод распознавания образов Интернет-журнал Лицей, - (год публикации - ).

6. Борисков П.П., Беляев М.А., Величко А.А. Стохастическая синхронизация и отношение сигнал/шум в осцилляторе с пленочным VO2 переключателем Радиотехника и Электроника, - (год публикации - 2019).

7. Величко А.А, Беляев М.А., Путролайнен В.В., Перминов В.В., Пергамент А.Л. Thermal coupling and effect of subharmonic synchronization in a system of two VO2 based oscillators Solid-State Electronics, Volume 141, Pages 40-49 (год публикации - 2018).

8. Величко А.А., Беляев М.А. Исследование эффекта влияния временной задержки термической связи на синхронизацию VO2-осцилляторов Письма в Журнал технической физики, - (год публикации - 2019).

9. Величко А.А., Беляев М.А., Путролайнен В.В., Борисков П.П. A New Method of the Pattern Storage and Recognition in Oscillatory Neural Networks Based on Resistive Switches Electronics, Volume 7, Issue 10, no. 266 (год публикации - 2018).

10. Величко Андрей Александрович, Борисков Петр Петрович, Беляев Максим Александрович, Путролайнен Вадим Вячеславович Способ обработки информации в импульсной нейронной сети -, - (год публикации - ).

11. Величко Андрей Александрович, Путролайнен Вадим Вячеславович, Беляев Максим Александрович Программа для изучения эффекта синхронизации в осцилляторной нейронной сети «Subharmonic net 1.0» -, RU 2018614877 (год публикации - ).

12. Величко Андрей Александрович, Путролайнен Вадим Вячеславович, Беляев Максим Александрович, Борисков Петр Петрович Способ распознавания образов в системе связанных осцилляторов -, - (год публикации - ).

13. Путролайнен Вадим Вячеславович, Величко Андрей Александрович, Беляев Максим Александрович, Пергамент Александр Лионович Способ взаимодействия в системе связанных осцилляторов на базе оксидных структур с эффектом электрического переключения -, RU 2663546 (год публикации - ).