Аннотация результатов, полученных в 2019 году
Проект посвящен бурно развивающемуся научному направлению, возникшему на стыке машинного обучения и квантовой физики. Данное направление предполагает как использование методов машинного обучения для анализа квантовых систем, так и ускорение машинного обучения с использованием квантовых систем. В рамках выполнения задач исследовательского проекта достигнуты важные научно-технологические результаты в области квантового машинного обучения. Разработан новый подход для определения границ фазовых переходов и классификации одночастичных/многочастичных состояний квантовых систем на основе машинного обучения. Для этого разработан обобщенный метод «обучения с путаницей». Разработанный метод был использован для исследования переходов между хаотическими и регулярными состояниями в одночастичных и многочастичных квантовых системах. В частности, в качестве одночастичной задачи рассмотрена модель квантовых бильярдов - одной из наиболее простых систем, в которых возникает хаотическое поведение. Именно, рассмотрены три модели с различной геометрией: бильярд Синая, бильярд Бунимовича и бильярд Паскаля. Установлено, что точка перехода из регулярного режима в хаотический, обнаруженные с помощью разработанного метода, совпадает с точкой перехода, которая предсказывается традиционным методом: с помощью анализа статистики энергетических уровней (если статистика Пуассона – то система находится в регулярной фазе, если статистика Вигнера-Дайсона – в хаотическом). Данный метод также протестирован на многочастичной квантовой системе – спиновой XXZ цепочке. Также установлено, что точка перехода из регулярного режима в хаотический совпадает с точкой перехода, которая предсказывается путем анализа статистики энергетических уровней. Предложен и реализован новый метод классификации фазовых переходов на основе методов обучения без учителя (unsupervised learning). Интересно отметить, что помимо классификации фаз данный метод может быть использован для детектирования аномалий в квантовых системах. Примером такой аномалии являются шрамы – «траектории» (в квантовом случае – распределения вероятностей) специального вида в квантовых бильярдах. Предложенный метод использован для кластеризации состояний на 3 класса: хаотические, регулярные, шрамы. Особенностью реализации данного проекта является тесная связь с экспериментальными исследованиями. В рамках научного взаимодействия с группой П. Лагудакиса (Сколтех) разработан и апробирован на экспериментальных данных алгоритм на основе машинного обучения для создания контролируемых голографических масок на основе метода Герхберга-Сакстона. Разработано программное обеспечение на языке Python. В данный момент происходит оптимизация параметров алгоритма и проведение сравнений его работы с традиционными методами создания голографических масок. В ходе разработки и предварительно проведенного анализа выявлены сложности на уровне реализации, cвязанные с возникающим шумом. На следующем этапе реализации проекта предполагается провести новую серию тестирований данного метода на экспериментальных данных, а также рассмотреть возможность использования поляритонной системы для реализации алгоритмов машинного обучения. В ходе реализации проекта предложен новый метод квантовой томографии для систем с непрерывными переменными, который апробирован на широком классе квантовых состояний: суперпозиции оптических кубитов, оптических кошках Шредингера и состояниях Готтсмана-Китаева-Прескилла. По своей сути квантовая томография – это метод, основанный на проведении многократных измерений квантовых состояний в многочисленных базисах. Существующие методы для томографии сталкиваются с вычислительными трудностями, в особенности, в случае многочастичных систем. Нами показано, что эффективность гомодинной квантовой томографии - одного из основных экспериментальных инструментов для квантовых технологий - может быть повышена за счет использования методов машинного обучения. Мы провели исследование на широком классе квантовых состояний и показали преимущество метода квантовой томографии с использованием машинного обучения: метод квантовой томографии с использованием машинного обучения позволяет добиться более высокой точности воспроизведения (fidelity) состояний с использованием меньшего количества экспериментальных данных. Впервые экспериментально показана возможность реализации решета Эратосфена, лежащего в основе алгоритма поиска простых чисел. Для данного эксперимента использована оптическая схема на основе SLM. С использованием предлагаемой экспериментальной схемы удалось провести факторизацию чисел меньше 22201. Нами также выявлен ряд перспективных научных задач на стыке машинного обучения, квантовой физики и области комбинаторной оптимизации. Предложен метод решения задач комбинаторной оптимизации с использованием обучения с подкреплением (reinforcement learning). Была исследована задача MAX-CUT. В этой задаче также использовался, разработанный участниками коллектива, квантово-вдохновленный алгоритм оптимизации SimCIM. Результаты представлены на одной из ведущих конференцией по машинному обучению AAAI Conference on Artificial Intelligence. По результатам работы подготовлено 5 научных статей (4 статьи опубликованы и 1 статья находится на рецензировании), из которых 3 опубликованы в издания Q1. Все участники научного коллектива принимали активное участие в реализации проекта и представляли результаты своих исследований на научных конференциях и семинарах (за период реализации проекта участники коллектива сделали 19 докладов). Коллективом проекта ведется обширная образовательная деятельность. Руководитель проекта (А.К. Федоров) является преподавателем курса «Введение в современные квантовые технологии» (Школа Ландау (ЛФИ), МФТИ), участники коллектива (А.И. Львовский, А.Е. Уланов и Е.С. Тиунов) являются преподавателям курса «Машинное обучение для квантовой и статистической физики» (Школа Ландау (ЛФИ), МФТИ). В рамках проекта подготовлена бакалаврская диссертация А.Н. Кобзевой (МФТИ) на тему квантовой оптимизации, а также готовится магистерская диссертация А.С. Мастюковой (МФТИ) на тему изучения динамики многочастичных квантовых систем.

Аннотация результатов, полученных в 2020 году
Настоящий проект посвящен активно развивающейся области квантового машинного обучения. К области квантового машинного обучения относятся, во-первых, вопросы применение методов машинного обучения для изучения сложных многочастичных квантовых систем и, во-вторых, использование квантовых вычислительных технологий (т.е. технологий, работающих с использованием свойств индивидуальных квантовых систем) для ускорения задач машинного обучения. В рамках текущего (второго) этапа выполнения проекта получен ряд важных научно-технологических результатов в указанных выше сферах квантового машинного обучения. План проекта предполагал развитие нескольких научных направлений. Во-первых, исследование квантовой и квантово-вдохновленной оптимизации для решения практических задач. Во-вторых, анализ использования методов машинного обучения для описания квантовых систем. В-третьих, исследование применения квантово-вдохновленных алгоритмов отжига для решения задач комбинаторной оптимизации с использованием обучения с подкреплением. Наконец, в-четверых, анализ и разработку моделей оптических нейронных сетей. По каждому из направлений получены оригинальные научные результаты. В рамках первого направления разработан квантовый алгоритм для решения задачи сборки геномов de novo (т.е. в отсутствие референсного генома) с использованием квантовой и квантово-вдохновленной оптимизации [1]. Показано, что задача сборки генома может быть сведена к задаче поиска Гамильтонова пути на специальном графе (т.н. OLC-графе), а затем отображена на архитектуру устройств квантового отжига. Нетривиальный аспект этого отображения состоит в том, что реальные устройства квантового отжига имеют свою (нативную) архитектуру, которую необходимо учитывать при отображении задачи. С использованием предложенного подхода была проведена сборка геномов на модельных данных, а также сборка генома бактериофага (φX 174 bacteriophage). Данный эксперимент является первой демонстрацией возможности сборки геномов реальных организмов с использованием квантовой и квантово-вдохновленной оптимизации. Изучены требования к устройствам квантового отжига для обеспечения преимущества при решении данной задачи. Научная публикация принята в журнал Scientific Reports. Вторым результатом стал научный обзор о применении квантовых вычислений в задачах вычислительной биологии, подготовленной для журнала Nature Computational Science. Проведен анализ ряда практических задач вычислительной биологии, для которых необходима разработка квантовых алгоритмов. Рассмотрены квантовые алгоритмы и различные квантовые вычислительных архитектуры для таких задач как моделирование биомолекул и биофизических процессов, сворачивание (фолдинг) белков, поиск новых лекарств, а также сборка геномов. Рассмотрены требования к различным типам квантовых компьютеров, включая количество кубитов и точность операций. Обзор опубликован в журнале Nature Computational Science. Также разработана новая версия квантового-вдохновленного алгоритма SimCIM (разработанного участниками проекта на предыдущем этапе). Новая версия алгоритма – PolySimCIM – позволяет решать также задачи полиномиальной оптимизации (тогда как SimCIM предназначен для решения задач бинарной оптимизации). Одной из мотиваций для разработки алгоритма PolySimCIM стал тот факт, что при рассмотрении практических задач из областей биоинформатики и квантовой химии, при применении техник для решения задач бинарной оптимизации возникает потребность в экспоненциально растущем количестве дополнительных переменных, поэтому решить задачу можно только для очень маленьких размерностей. В частности, в работах компании D-Wave (совместно с автопроизводителем Volkswagen) было показано решение задач квантовой химии, но только для очень маленьких молекул (таких как H_2 или LiH, но не в полной конфигурации). Сведение практических задач не к бинарной, а к полиномиальной оптимизации позволяет значительно снизить количество дополнительных кубитов. Это позволило решить задачи для больших размерностей. Показаны преимущества алгоритма PolySimCIM над аналогичными решениями в задачах графовой оптимизации, фолдинга белка и квантовой химии. В последнем случае проведено сравнение с результатами, полученными с помощью других квантовых устройств (с упором на сравнение с устройством D-Wave). Подготовлена научная публикация, препринт будет опубликован на arxiv.org (прилагается текущая версия). В рамках второго направления предложена модель использования поляритонных кондесатов для задач распознавания образов. Данная проблематика развивается в рамках продолжения исследований методов машинного обучения, которые могут быть использованы в экспериментах с графами поляритонных кондесатов. В рамках сотрудничества с экспериментальной группой П. Лагудакиса в Сколковском институте науки и технологий, студент группы П. Коханчик прошел стажировку в Российском квантовом центре. Был предложен метод использования поляритонных кондесатов для задач распознавания образов. В данный момент получены предварительные теоретические результаты и идет подготовка к эксперименту. Предполагается продолжить работу на следующем этапе. Также показано, что псевдостохастическое описание квантовой динамики тесно связано с методом тензорных сетей и нейросетевыми анзацами для описания квантовых состояний. В данный момент получены предварительные результаты, предполагается продолжить работу на следующем этапе. В рамках третьего направления разработан метод использования квантово-вдохновленного алгоритма SimCIM с обучением с подкреплением (reinforcement learning) [4]. Агент обучения с подкреплением управляет алгоритмом, настраивая один из его параметров с целью улучшения уже обнаруженных решений. Предложена новая схема для работы с агентом обучения с подкреплением. Результаты работы метода продемонстрированы на случайным образом сгенерированных задачах (такой метод является стандартным способом эталонного оценивания оптимизационных алгоритмов). Результаты опубликованы в профильном журнале Machine Learning: Science and Technology. В рамках четвертого направления проведена демонстрация оптического умножителя (с использованием оптики в свободном пространстве), который способен выполнять более 3000 параллельных вычислений с использованием пространственных модуляторов света с разрешением всего 340×340 пикселей. Это обеспечивает возможность векторно-матричного умножения и параллельного вектор-векторного умножения с размером вектора до 56. По нашим сведениям, наша работа представляет первую схему, которая одновременно поддерживает оптическую реализацию для действительнозначных линейных алгебраических операций. Такой оптический умножитель может служить строительным блоком для специализированных оптических процессоров, таких как оптические нейронные сети и оптические машины Изинга. Результаты опубликованы в журнале Optics Letters [5]. Также проведена демонстрация практической схемы для оптического машинного обучения, в частности, для оптического обратного распространения (optical backpropagation). Проведенное моделирование показывает, что в задаче классификации изображений предлагаемая схема достигает схожих показателей с современными инструментами машинного обучения. Наша работа показывает практический путь к полностью оптическим нейронным сетям. Результаты опубликованы в журнале Photonics Research [6]. Проведена демонстрация работы робота-настройщика оптического интерферометра Маха-Цендера на основе глубокого обучения с подкреплением. Робот управляет двумя оптическими элементами: зеркалом и светоделителем. Оба элемента имеют моторизованные подвижки, позволяющие управлять направлением распространения отраженного луча света. Робот получает изображение интерференционной картины с камеры и отдает управляющие команды на моторизованные подвижки. Задачей интерферобота является максимизации видности интерференционной картины. Политика робота тренировалась с помощью метода обучения с подкреплением Double dueling DQN. Обучение происходило полностью в симулированной среде. Обученный в симуляции агент был протестирован на реальной экспериментальной установке. На реальной установке интерферобот продемонстрировал качество настройки интерференции, сравнимое с качеством, получаемым квалифицированным специалистом. Применение симулятора позволило значительно сократить время обучения исключив задержку, связанную с медленным механическим движением зеркала и светоделителя. В данной работе было продемонстрировано, что обучение политики агента полностью в симулированной среде с добавлением рандомизаций позволяет переносить такую политику на реального робота (Sim2Real) без значительной потери в качестве работы. По результатам опубликована статья [7]. Статья была выбрана в качестве Spotlight Talk на конференции NeurIPS 2020. Все участники научного коллектива принимали активное участие в реализации проекта и представляли результаты своих исследований на научных конференциях и семинарах (за период реализации проекта участники коллектива сделали 20 докладов; преимущественно в формате онлайн из-за сложившейся ситуации с пандемией COVID-19). Коллективом проекта ведется обширная образовательная деятельность. Руководитель проекта (А.К. Федоров) является преподавателем курса «Физика квантовых вычислений» (Школа Ландау (ЛФИ), МФТИ), участники коллектива (А.И. Львовский, А.Е. Уланов и Е.С. Тиунов) являются преподавателям курса «Машинное обучение для квантовой и статистической физики» (Школа Ландау (ЛФИ), МФТИ). В рамках проекта подготовлена магистерская диссертация А.С. Мастюковой (МФТИ) на тему изучения динамики многочастичных квантовых систем. [1] A.S. Boev, A.S. Rakitko, S.R. Usmanov, A.N. Kobzeva, I.V. Popov, V.V. Ilinsky, E.O. Kiktenko, and A.K. Fedorov, Genome assembly using quantum and quantum-inspired annealing, Scientific Reports (accepted, 2021). [2] A.K. Fedorov and M.S. Gelfand, Towards practical applications in quantum computational biology, Nature Computational Science 1, 114 (2021) [3] D.A. Chermoshentsev, A.O. Malyshev, E.S. Tiunov, A.K. Fedorov, and A.I. Lvovsky, Polynomial unconstrained binary optimisation inspired by optical simulation, to be submitted (2021). [4] D. Beloborodov, A.E. Ulanov, J.N. Foerster, S. Whiteson, and A.I. Lvovsky, Reinforcement learning enhanced quantum-inspired algorithm for combinatorial optimization, Machine Learning: Science and Technology 2, 025009 (2021). [5] J. Spall, X. Guo, T.D. Barrett, and A.I. Lvovsky, Fully reconfigurable coherent optical vector-matrix multiplication, Optics Letters 45, 5752 (2020) [6] X. Guo, T.D. Barrett, Z.M. Wang, and A.I. Lvovsky, Backpropagation through nonlinear units for all-optical training of neural networks, Photonics Research 9, B71 (2021). [7] D. Sorokin, A. Ulanov, E. Sazhina, and A. Lvovsky. Interferobot: aligning an optical interferometer by a reinforcement learning agent. Neural Information Processing Systems (NeurIPS) 2020.

Аннотация результатов, полученных в 2021 году
Настоящий проект посвящен активно развивающемуся научно-технологическому направлению квантового машинного обучения. Данное направление возникло на стыке квантовых вычислений и машинного обучения. Развитие данного направления включает, во-первых, вопросы применения методов (классического) машинного обучения для изучения сложных многочастичных квантовых систем; во-вторых, использование квантовых вычислительных технологий (т.е. технологий, работающих с использованием свойств индивидуальных квантовых систем - квантовых компьютеров и симуляторов) для ускорения задач машинного обучения и, в-третьих, разработку анзацев для описания сложных (многочастичных и взаимодействующих) квантовых систем с помощью анзацев, представляемых нейронными сетями (т.н. neural network quantum states, NNQS). На третьем (финальном) этапе выполнения проекта получен ряд важных научно-технологических результатов в указанных выше сферах квантового машинного обучения. Одной из ключевых и наиболее сложных задач является моделирование квантовых систем, например, сложных молекул и материалов. Это связано с экспоненциальным ростом сложности такой задачи при увеличении размерности рассматриваемой системы. Практические задачи квантовой химии стали одним из основных направлений для исследований в рамках реализации данного проекта. В этом направлении разработан новый вариант квантового алгоритма ADAPT-VQE (batched ADAPT-VQE). Данные алгоритмы относятся к классу вариационных, в которых "квантовая часть" отвечает за вычисление значения некоторой целевой функции для определенных значений параметров, при этом "классическая часть" позволяет производит классическую оптимизацию и с ипользованием обратной связи обновляет параметры "квантовой части". Такая гибридная квантово-классическая модель позволяет использовать квантовые компьютеры с достаточно ограниченным количеством кубитов и точностью операций. Разработанный коллективном алгоритм batched ADAPT-VQE добавляет на каждом шаге набор операторов в изначальный анзац (который описывает квантвую систему), причем размер этого набора различен на каждом шаге и определяется значениями производных. Применимость предложенного алгоритма была исследована на наборе молекул LiH, H2O, O2, CO, CO2, часть из которых участвуют в реакции окисления моноксида углерода. Альтернативным подходом в квантовом машинном обучении в задачах квантовой химии является использование анзацев для описания сложных (многочастичных и взаимодействующих) квантовых систем с помощью анзацев, представляемых нейронными сетями. В этом направлении разработан алгоритм для моделирования квантово-химических систем на основе класса волновых функций, заданных нейронной сетью с новой авторегрессионной архитектурой, которая позволяет проводить высокоэффективное и масштабируемое сэмплирование, а также отражает структуру молекулярных систем, что упрощает обучение сети. Благодаря этому пероведены вычисления электронной структуры для молекул, имеющих вплоть до 30 спин-орбиталей, что опережает по числу детерминантов Слейтера известные из литературы нейросетевые вычисления на несколько порядков. Дополняющей работой стала разработка анзаца для улучешния сходимости метода квантового химического моделирования FermiNet, основанного на использовании глубокого обучения. Наконец, на стыке задач квантовой оптимизации, машинного обучения и генеративной химии разработан новый квантовый алгоритм для задач генеративной химии и поиска новых лекарств. Он основан на модификации классической архитектуры нейронной сети типа автокодировщика. Обучаемость такой модели была верифицирована на обучающей выборке Chembl, содержащей текстовые описания в формате SMILES молекул, имеющих лекарственные свойства. В результате обучения нейросеть смогла генерировать новые молекулы, отсутствующие в исходном датасете, но примерно соответствующие им по некоторым ключевым характеристикам. Одним из направлений работы проекта стало сотрудничество с группой П. Лагудакиса (Сколковский институт науки и технологий), в рамках которого предложена новая архитектура для использования поляритонных конденсатов в задачах распознавания образов. Основная идея состоит в том, чтобы использовать кодирование информации как в узлы поляритонного графа, так и ребра. Это позволяет повысить точность распознавания по сравнению с ранее предлагаемыми методами. При этом скорость работы потенциально может многократно превосходить классические (цифровые) системы. Также в рамках данного направления разработан метод управления квантово-оптическим экспериментом - автоматизирован процесс юстировки интерферометра Маха-Цандера. В направлении анализа открытых квантовых систем разработан метод, позволяющий предсказывать динамику квантовых систем с памятью, а также восстанавливать эффективную модель окружения квантовой системы, которая содержит важную информацию о реальном окружении квантовой системы. Эффективность метода продемонстрирована на общеизвестных моделях немарковской квантовой динамики (кубит в конечномерном окружении, спин-бозонная модель и модель Джейнса-Каммингса) и продемонстрировали эффективность метода. В направлении анализа цифровых моделей квантовых вычислений разработан метод моделирования квантовых процессоров на основе анзаца MERA использует идею о том, что состояние квантового процессора можно хранить в сжатом виде, опуская при этом часть информации о его состоянии. Самый распространенный и эффективный способ сжатого хранения квантовых состояний — тензорные сети. Коллектив проекта предложил новый метод моделирования квантовых процессоров на классическом компьютере, который использует тензорную сеть MERA для хранения состояния квантового процессора в сжатом виде. Мы также разработали новый подход квантового машинного обучения, основанный на квантовых сверточных нейронных сетях (QCNN) для решения такой задачи. Соответствующая процедура обучения реализуется через TensorFlowQuantum в виде гибридной квантово-классической (вариационной) модели, где результаты квантового вывода подаются в целевую функцию softmax с ее последующей минимизацией за счет оптимизации параметров квантовой схемы. Концептуальные усовершенствования включают в себя новую модель квантового перцептрона и оптимизированную структуру квантовой схемы. Предложенный подход используется, чтобы продемонстрировать 4-классовую классификацию для случая набора данных MNIST (объёмная база данных образцов рукописного написания цифр) с использованием 8-ми кубитов для кодирования данных и 4-х кубитов-анцилл. Ожидается, что данное открытие поможет сделать большой шаг к использованию квантового машинного обучения для решения практически важных задач в эпоху NISQ-устройств (шумные устройства промежуточного масштаба) и в последующие годы развития квантовых технологий. В рамках реализации третьего этапа проекта подготовлено 9 научных публикаций. Коллективом проекта ведется обширная образовательная деятельность. Результаты представлены на ведущих российских и международных научных мероприятиях.