Аннотация результатов, полученных в 2019 году
Тема 1. Техники масштабируемого семплирования Монте Карло, основанные на марковских цепях (#mcmc) Предложены новые методы решения задач динамического программирования с помощью Монте Карло генерации марковских цепей и регрессионных методов с подкреплением. Предложен новый способ оценивания плотности распределения, основанный на аппроксимации логарифма плотности рядом Фурье, коэффициенты которого вычисляются с помощью решения некоторой системы линейных уравнений. Метод оценивания плотности применяется для построения методов Монте Карло Марковских цепей для распределений с известными преобразованиями Фурье. Полученные результаты опубликованы в двух работах, одна из которых принята для публикации в журнале Communications in Mathematical Sciences (Q1 Scopus, Q2 WoS). Тема 2. Обучение по частично размеченным данным с применением методов восстановления многообразия и кластеризации (#manifold) В ходе работы разработан алгоритм структурно-адаптивной оценки многообразий (SAME), основанный на идее структурной адаптации, предложенной в (Hristache01a) и (Hristache01b). Алгоритм итеративно улучшает оценки проекций наблюдаемых точек на многообразие, а также оценивает проекторы на касательные подпространства в оцениваемых точках. В результате алгоритм устойчив к шуму и успешно восстанавливает проекции неточных наблюдений на многообразие. По результатам работы подготовлен препринт (Puchkin19). (Hristache01a) M. Hristache, A. Juditsky, V. Spokoiny, Direct estimation of the index coefficient in a single-index model. Ann. Statist. 29 (2001), no. 3, 595–623. (Hristache01b) M. Hristache, A. Juditsky, J. Polzehl, V. Spokoiny, Structure adaptive approach for dimension reduction. Ann. Statist. 29 (2001), no. 6, 1537–1566. (Puchkin19) N. Puchkin, V. Spokoiny, Structure-adaptive manifold estimation, (2019), ArXiv:1906.05014 Тема 3. Использование оптимального транспорта в задачах машинного обучения (#transport) 1. При помощи разработанного крупнозернистого метода моделирования конформационной подвижности белковых молекул, основанного на решении динамического аналога транспортной задачи Монжа-Канторовича произведено моделирование некоторых белков сложной структуры, в конформационных переходах которых может существенно меняться функция белка, и сравнение результатов с аналогичными результатами, полученными другими методами молекулярного моделирования. Показано, что метод дает существенные вычислительные преимущества по сравнению с ранее разработанными аналогами, использующими менее грубые представления молекулы белка, при этом давая физически адекватные предсказания конформационных движений. Показана возможность его применения к предсказанию возможных трехмерных эволюционных форм белков – «эволюционных переключателей». Результаты оубликованы в журналах Delfino, Yu. Porozov, E. Stepanov, G. Tamazian, V. Tozzini. Structural transition states explored with minimalist coarse grained models: applications to Calmodulin. Frontiers in Molecular Biosciences: Biological Modeling and Simulation. 2019. DOI 10.3389/fmolb.2019.00104. (https://doi.org/10.3389/fmolb.2019.00104) F. Delfino, Yu. Porozov, E. Stepanov, G. Tamazian, V. Tozzini. Evolutionary Switches Structural Transitions via Coarse-Grained Models. J. Comp. Biology. 2019. DOI 10.1089/cmb.2019.0338. (https://doi.org/10.1089/cmb.2019.0338) 2. Мы доказали, что рассматривая постановка задачи domain adaptation при определенном выборе параметрического класса ценовых функций эквивалентна задаче о максимизации правдоподобия. Было также установлено, что рассматриваемая постановка оказывается применимой для решения более широкого класса задач, включающих восстановление групповой динамики под действием внешних факторов. Проведены серии экспериментов на реальных данных, описывающих адаптацию иммунной системы респондентов при смене климатического пояса. Полученные результаты были одобрены специалистами в области иммунологии. Тема 4. Построение полунеявных моделей и методов вывода в них В ходе работы разработан неявный алгоритм Метрополиса-Хастингса. Данный алгоритм может рассматриваться как улучшение любой неявной генеративной модели. Теоретические и практические исследования свойств алгоритма опубликованы на конференции NeurIPS 2019 (https://papers.nips.cc/paper/9544-the-implicit-metropolis-hastings-algorithm). В ходе работы разработан метод для работы с маргинальными распределениями активаций стохастических нейронных сетей. Разработанный метод позволяет использовать предложенный аналог батч-нормализации для приведения маргинальных распределений активаций к стандартной нормальной форме. Тема 5. Использование сложных функций потерь для обучения условных моделей В рамках этой темы были, во-первых,получены теоретические результаты, которые в нескольких частных случаях обобщают результаты (Osokin17: о необходимости для эффективного обучения использования подходящих многообразий низких размерностей), известные ранее только для квадратичных функций потерь, на случай функций потерь вида логарифм правдоподобия. Во-вторых, были разработаны несколько модификаций методов обучения авторегрессионных моделей на основе подхода learning-to-search, позволяющих улучшить эти методы в задачах автоматического перевода (метрика METEOR), упорядочивания перемешанных слов (метрика на основе расстояния Кендалла-Тау), синтез кода на языке python по текстовому описанию (метрика BLEU). Результаты были доложены на сателлитном мероприятии конференции NeurIPS 2019 (Saparina19). (Osokin17) A. Osokin, F. Bach and S. Lacoste-Julien. On Structured Prediction Theory with Calibrated Convex Surrogate Losses. Advances in Neural Information Processing Systems (NIPS), 2017. (Saparina19) Cost-Sensitive Training for Autoregressive Models. I. Saparina, A. Osokin, NeurPS 2019 workshop, Women in Machine Learning 2019. Тема 6. Исследование многообразий, задаваемых нейросетями Эмпирически показано существование путей с приблизительно постоянным значением функционала ошибки между оптимумами нейронных сетей различного вида, в том числе между локальными оптимумами, найденными с помощью оптимизации на основе полного градиента, и между приближенными локальными оптимумами с разной обобщающей способностью. Также показана неединственность одномерных соединяющих кривых и существование многомерных соединяющих многообразий. Тема 7. Построение причинных графов и интерпретация моделей В работе (Gadetsky20) был предложен метод вариационной оптимизации (Staines12), использующий распределение Плакетта-Люса в качестве вариационного распределения. Метод обобщает полученные ранее результаты для категориальных распределений (Grathwohl18), предлагая эффективный способ снижения дисперсии используемых при оптимизации оценок градиента. Реалазиция метода доступна по адресу https://github.com/agadetsky/pytorch-pl-variance-reduction. Полученный метод был применен для поиска топологической сортировки причинных графов в случае линейных моделей для непрерывных данных и категориальных данных, позволяя на основе топологической сортировки графа эффективно восстановить матрицу смежности искомого графа. (Gadetsky20) A. Gadetsky, K. Struminsky, C. Robinson, N. Quadrianto, & D. Vetrov. Low-variance Black-box Gradient Estimates for the Plackett-Luce Distribution. In proceedings of the AAAI Conference on Artificial Intelligence 2020. (Staines12) J. Staines, & D.Barber. Variational optimization. arXiv preprint, 2012. (Grathwohl18) W. Grathwohl, D. Choi, Y. Wu, G. Roeder, G., & D. Duvenaud. Backpropagation through the void: Optimizing control variates for black-box gradient estimation. In ICLR 2018. Тема 8. Применение генеративных моделей для быстрой настройки симуляций реальных событий (#pythiaGAN) Было предложено улучшение подхода настройки параметров симуляторов - состязательной вариационной оптимизации - за счет замены дивергенции Дженсона-Шенона на адаптивную метрику. Доказана теорема о том, что адаптивная метрика является полноценной дивергенцией. Показано преимущество использования данной метрики для решения задач настройки симуляторов и практические способы использования данной метрики. Результат на модельных экспериментах опережает аналоги в несколько раз. Опубликован код https://gitlab.com/mborisyak/adversarial-optimization/ и препринт статьи ( https://arxiv.org/abs/1912.00520 ), которая будет подана в один из высокорейтинговый журналов в 2020 году. Тема 9. Разработка быстрых генеративных моделей имитации сложных физических процессов (#fastsim) В отчётный период был проведён анализ имеющихся решений и наработок по построению генеративных моделей для быстрой симуляции данных калориметра. Были созданы модели для быстрой генерации откликов детекторов как на основе данных детальной симуляции, так и на основе использования реально наблюдаемых данных. Исследовался подход с использованием графовых генеративных моделей. Была выдвинута гипотеза, что разделение процедуры обучения на воспроизведение стохастической и систематической компонент распределений может повысить контролируемую точность воспроизведения моделью данных. Успех данного подхода был продемонстрирован для стохастической компоненты подхода. Тема 10. Диагностика и предсказание аномалий с использованием генеративных моделей (#anomalies) В отчётный период был разработан метод выявления аномалий с использованием нормализующих потоков. Этот метод позволил повысить качество прогнозирования аномалий по большинству стандартных наборов данных. По итогам работы подготовлена публикация, которую планируется отправить в журнал до конца года. Тема 11. Построение обратимых генеративных моделей для повышения точности задач реконструкции (#reconstruction) Опубликован набор данных эксперимента OPERA: http://opendata.cern.ch/search?page=1&size=20&q=opera, http://opendata.cern.ch/visualise/events/opera Описание набора данных представлено в виде доклада на конференции CHEP-2019. Улучшен алгоритм реконструкции нейтральных частиц для детектора LHCb, представлен на конференции ACAT2019 и принят к публикации в scopus-индексируемом журнале. Разработан метод реконструкции частиц новой физики с помощью эмульсионного детектора SHiP, представлен на конференции ACAT2019 и принят к публикации в scopus-индексируемом журнале.

Аннотация результатов, полученных в 2020 году
Тема 1. Техники масштабируемого семплирования Монте Карло, основанные на марковских цепях (#mcmc) Предложен новый метод снижения дисперсии для аддитивных функционалов от цепей Маркова, основанный на минимизации оценки асимптотической дисперсии по классу контрольных переменных. Результаты опубликованы в D. Belomestny, E. Moulines, L. Iosipoi, A. Naumov, S. Samsonov, Variance reduction for Markov chains with application to MCMC, Statistics and Computing, 30, 973-997, 2020 DOI: http://dx.doi.org/10.1007/s11222-020-09931-z Мы изучили нерегулярные линейные дифференциальные уравнения в постановке [Friz and Hairer, Springer, 2014, глава 12]. На основе стохастического представления решения уравнения нерегулярной части мы предложили алгоритм регрессии Монте-Карло для пространственно-временного приближения решения. Результатом исследования является статья Ch. Bayer, D. Belomestny, M. Redmann, S. Riedel, J. Schoenmakers, Solving linear parabolic rough partial differential equations, Journal of Mathematical Analysis and Applications, 2020 (490), DOI: https://doi.org/10.1016/j.jmaa.2020.124236 Предложен новый алгоритм взвешенной стохастической сетки для аппроксимации задач динамического программирования. Результаты исследования опубликованы в ведущем журнале по финансовой математике, D. Belomestny, М. Kaledin and J. Schoenmakers, Semi-tractability of optimal stopping problems via a weighted stochastic mesh algorithm, Mathematical Finance, Vol. 30. No. 4. P. 1591-1616, DOI: 10.1111/mafi.12271. Предложен новый подход к использованию алгоритмов MCMC для распределений с аналитически известными преобразованиями Фурье и, в частности, для распределений с тяжелыми хвостами. Результаты опубликованы в ведущем журнале по вычислительной статистике D. Belomesty, L. Iosipoi, Fourier transform MCMC, heavy-tailed distributions, and geometric ergodicity, Mathematics and Computers in Simulation 181 (2021) 351–363, https://doi.org/10.1016/j.matcom.2020.10.005. Тема 2. Обучение по частично размеченным данным с применением методов восстановления многообразия и кластеризации (#manifold) В ходе работы исследованы теоретические свойства алгоритма восстановления многообразия по выборке из неточных наблюдений. Результаты представлены в препринте N. Puckin, V. Spokoiny, Structure-adaptive manifold estimation, https://arxiv.org/abs/1906.05014. Предложен способ решения задачи кластеризации k-средних на основе подхода медианы средних. Получены неасимптотические оценки на качество решения при условии конечной дисперсии распределения. Подготовлен препринт Klochkov, Y., Kroshnin, A., & Zhivotovskiy, N. (2020). Robust k-means Clustering for Distributions with Two Moments. arXiv preprint arXiv:2002.02339. Тема 3. Использование оптимального транспорта в задачах машинного обучения (#transport) С помощью методов крупнозернистого моделирования на основе оптимального транспорта удалось частично решить задачу выяснения возможного механизма S-глутатионилирования (связывания глутатиона - трипептида γ-глутамилцистеинилглицина - с тиоловой группой цистеина) Na-K-атфазы (аденозинтрифосфатазы) – трансмембранного белка, основная функция которого – «натрий-калиевый насос», т.е. перенос против электростатически сил внутрь клетки ионов К+, а во внешнюю среду из цитоплазмы - ионов Na+. Результаты опубликованы в E. Stepanov et al, Na/K-ATPase Glutathionylation: in silico Modeling of Reaction Mechanisms, Bioinformatics Research and Applications, Springer, 2020, https://doi.org/10.1007/978-3-030-57821-3_36 Тема 4. Построение полунеявных моделей и методов вывода в них (#semiimplicit) В рамках данной темы был предложен фреймворк, который описывает широкий спектр алгоритмов МСМС, и формулируем набор “трюков”, которые можно использовать как принципы дизайна при разработке новых алгоритмов МСМС. Таким образом, предложенный фреймворк дает унифицированный взгляд на большое количество известных алгоритмов МСМС, который способствует разработке эффективных модификаций. Тема 5. Использование сложных функций потерь для обучения условных моделей В рамках данной темы велась работа над одной из наиболее подходящих к запланированному исследованию конкретных задач, где по текстовому описанию задачи на английском языке требуется построить выполняемый SQL запрос. В этом проекте была разработана новая авторегрессионная нейросетевая модель для синтеза SQL запросов через промежуточное представление Question Decomposition Meaning Representation (QDMR). Тема 6. Исследование многообразий, задаваемых нейросетями (#lossmanifold) Мы провели широкое сравнение одномодовых и мультимодовых методов ансамблирования, а также исследовали вид зависимости качества стандартного мультимодового ансамбля от числа сетей в нем, размера этих сетей и общего числа параметров в модели. Также мы предложили новые метрики для сравнения ансамблей и два новых метода ансамблирования, использующих мультимодальность в пространстве данных вместо пространства весов. На основе проведенных исследований методов ансамблирования нейронных сетей мы также разработали новый алгоритм обучения с подкреплением для задач с непрерывными действиями В рамках исследования эффекта двойного спуска, был воспроизведен и проанализирован данный эффект по размеру модели и по итерациям обучения. Была установлена связь между поведением тестовой ошибки и теоретико-информационными характеристиками весов, послужившая основой для разработки гипотезы о трех фазах обучения нейросетей, обосновывающей эффект двойного спуска по итерациям обучения. Для оптимизации в пространствах большой размерности разработан метод стохастической координатной оптимизации. Проведено теоретическое исследование скорости сходимости метода, доказывающее преимущество использования блоков координат по сравнению с однокоординатным подходом. Тема 7. Построение причинных графов и интерпретация моделей (#causal) В рамках данной темы мы занимались исследованием приложений ранее разработанного метода оптимизации в классе распределений Плакетта-Люса. Мы рассмотрели задачу построения приближенных решений задачи о коммивояжере и получили результаты, уступающие современным решениям на основе авторегрессионных политик. Помимо этого, мы рассмотрели задачу немонотонной генерации, оценивая порядок генерации с помощью распределения Плакетта-Люса. Без дополнительной информации о порядке генерации модель восстанавливала стандартные авторегрессионные модели, а также оказалась способна выучить нетривиальные порядки генерации при наличии соответствующей частичной разметки. Тема 8. Применение генеративных моделей для быстрой настройки симуляций реальных событий (#pythiaGAN) Закончена работа по описанию адаптивной дивергенции для распределений и показаны способы ее практического использования для настройки параметров симуляторов. Доказаны основополагающие теоремы, определяющие способы построения и использования адаптивной дивергенции. Продемонстрированы реализации дивергенции за счет использования бустинга над решающими деревьями (дискретный случай), и стохастического dropout (непрерывный случай). Практические применения предложенного подхода включали задачи оптимизации параметров генератора Pythia для симуляции столкновений электронов с позитронами, и для задачи выявления скрытых параметров наблюдаемых событий. Тема 9. Разработка быстрых генеративных моделей имитации сложных физических процессов (#fastsim) Была разработана концепция специфического использования генеративных моделей для сокращения цикла разработки и оптимизации новых детекторов. Концепция была практически реализована в рамках задачи улучшения калориметра детектора LHCb, были получены предварительные оценки качества различных конфигураций. Были получены количественные оценки физического качества быстрых генеративных моделей, разработанных годом ранее в рамках данного проекта. Тема 10. Диагностика и предсказание аномалий с использованием генеративных моделей (#anomalies) Предложен новый подход к сбору данных в экспериментах естественнонаучного цикла. Данный подход основан на интенсивном использовании GPU вместо CPU и позволяет легко интегрировать результаты и подходы, разработанные в данном проекте, в программный комплекс эксперимента LHCb (CERN) и других экспериментов. Подход принят за основу советом коллаборации LHCb и будет использован для сбора данных в коллайдере с 2022 года. Собраны данные по расположению галактических скоплений из различных источников, предложен и опубликован метод их кластеризации. Тема 11. Построение обратимых генеративных моделей для повышения точности задач реконструкции (#reconstruction) В таких областях, как физика и инженерия, многие процессы моделируются с помощью недифференцируемых симуляторов, исключающих возможности явной оценки вероятности на исходные параметры. Развита методика построения дифференцируемых суррогатных моделей работы детектора. В рамках этой методики предложен новый метод градиентной оптимизации закрытых (black-box) симуляторов с использованием дифференцируемых локальных суррогатных моделей. Продемонстрирована эффективность данного подхода на примере оптимизации конструкции элемента детектора SHiP, экранирующей чувствительные элементы детектора от потока высокоэнергетических частиц. В результате численного эксперимента наш подход показал эффективность на 25% превышающую эффективность аналогов.

Аннотация результатов, полученных в 2021 году
Тема 1. Техники масштабируемого семплирования Монте Карло, основанные на марковских цепях (#mcmc) Разработан метод снижения дисперсии в алгоритмах МСМС в случае, когда динамика Марковской цепи задается алгоритмами типа SGLD (Stochastic Gradient Langevin Dynamics) и вариациями (SGLD-FP, SAGA). В данных алгоритмах градиент вычисляется не по всей выборке, а лишь по случайной подвыборке (батч). В таком случае в алгоритме появляется дополнительная случайность, которая значительно усложняет теоретический анализ алгоритмов. Изучены теоретические свойства данного алгоритма и протестированы на различных примерах. Результаты опубликованы в журнале SIAM\ASA Journal of UQ (Q1 Scopus). Тема 2. Обучение по частично размеченным данным с применением методов восстановления многообразия и кластеризации (#manifold) Была предложены алгоритмы прогнозирования временных рядов, основанные на восстановлении скрытого многообразия. Изучены теоретические свойства минимизаторов эмпирического риска в пространстве многообразий. Получены неасимптотические верхние оценки на их избыточный риск в случае, когда наблюдения не являются простой выборкой. Был предложен робастный способ решения задачи кластеризации k-средних в гильбертовом пространстве для случая тяжелых хвостов распределения. Метод основан на использовании медианы средних. Были получены неасимптотические оценки на точность решения, совпадающие с оценками для субгауссовского случая. Тема 3. Использование оптимального транспорта в задачах машинного обучения (#transport) Получено соотношение между расстояниями Буре-Вассерштейна и Фробениуса. Этот результат является одним из ключевых для валидации применимости процедуры multiplier bootstrap. Был выложен препринт. Экспериментально проверена гипотеза о примениости расстояний Буре-Вассерштейна для анализа single-cell Hi-C данных. Доказано, что оценка типа Талаграна для барицентров вероятностных мер эквивалентна неравенству Бляшке-Сантало для нескольких функций, последнее доказано при некоторых дополнительных предположениях о структуре мер. Рассмотрена задача в модификации Маккэна для мультимаргинальных распределений. Тема 5a. Нейронные сети для анализа и генерации исходных кодов (#dlforcode) В ходе проекта проведено эмпирическое сравнение нескольких подходов к учету синтаксической структуры исходного кода в архитектуре Трансформер и выявлен наиболее эффективный подход — применение модели с механизмом внимания к обходу синтаксического дерева в глубину. Данный подход достиг лучшего качества, чем другие рассмотренные подходы, в двух задачах (автодополнение кода и поиск и исправление ошибки в программе) для двух языков программирования (Python и JavaScript); в еще одной задаче (генерация имени функции) он показал такие же результаты, как другие подходы, для обоих языков. Также в ходе работы разработан механизм динамических векторных представлений для обработки переменных в рекуррентных нейронных сетях. В экспериментах показано превосходство разработанного подхода над стандартной моделью в двух задачах (автодополнение кода и поиск и исправление ошибки в программе) на двух языках программирования (Python и JavaScript). Кроме того, в ходе проекта разработана техника предобработки данных, улучшающая обработку переменных с редкими именами в архитектуре Трансформер. В экспериментах показано, что использование техники позволяет повысить качество исправления ошибки в программе на языках Python и JavaScript на несколько процентов. Тема 6. Исследование многообразий, задаваемых нейросетями (#lossmanifold) В ходе проекта создан метод эффективного ансамблирования нейросетей CPDE (Cross-Pollinated Deep Ensembles), основу которого составляет конструирование членов ансамбля из функциональных блоков сети и совместное обучение этих блоков. Новая схема обучения ансамбля включает в себя предобучение, совместное обучение с интерфейсами, соединяющими блоки, и выбор под-ансамбля. Также был обнаружен эффект периодического поведения метрик при обучении нейронных сетей с батч-нормализацией и L2-регуляризацией. Данный эффект объяснен с интуитивной точки зрения, а также обоснован теоретически. Проведено эмпирическое исследование данного эффекта и показано, что периодическое поведение проявляется в большом количестве различных постановок экспериментов и для широкого диапазона гиперпараметров. Тема 7. Построение причинных графов и интерпретация моделей (#causal) Был построен новый класс распределений над дискретными объектами с эффективной процедурой генерации путем применения комбинаторных алгоритмов. Было показано, что некоторые известные в литературе распределения над конкретными комбинаторными объектами (перестановками, подмножествами и деревьями) могут быть представлены в виде частного случая предложенного класса. Помимо этого, в работе предложены не встречавшиеся в литературе распределения над паросочетаниями и бинарными деревьями. Используя след исполнения упомянутых комбинаторных алгоритмов, удалось построить градиентные оценки для широкого класса моделей со структурными переменными. Эффективность предложенного метода оценивания проанализирована теоретически и эмпирически. В экспериментах показано сопоставимое и иногда лучшее качество работы в сравнении с методами на основе дифференцируемых релаксаций. Кроме того, был проведен эксперимент, показывающий работоспособность алгоритма в ситуациях, когда релаксации неприменимы, что может быть полезно для различных специализированных областей глубинного обучения. Тема 8. Применение генеративных моделей для быстрой настройки симуляций реальных событий (#pythiaGAN) Начат совместный проект с Яндекс.Погодой по оптимизации настройки параметров модели предсказания погоды с целью повышения точности прогноза. Тема 9. Разработка быстрых генеративных моделей имитации сложных физических процессов (#fastsim) Впервые было проведено исследование по проверке физического качества симуляции отклика времяпролетной камеры для эксперимента MPD в Дубне. Результаты продемонстрировали хорошее качество генерируемых моделью откликов, практически точно воспроизводящих физические характеристики построенных на результатах генерации объектов. Таким образом была продемонстрирована возможность и целесообразность использования предложенного подхода для внедрения в программный стек эксперимента MPD. Тема 10. Диагностика и предсказание аномалий с использованием генеративных моделей (#anomalies) Был предложен способ использования нормализующих потоков для поиска аномалий. Показано, что подход превосходит другие подходы на табличных данных в случае небольшого количества известных аномалий в обучающей выборке. Кроме того, было показано, что предложенный подход обладает потенциалом работы для обнаружения аномалий в наборе фотографий, в случае изменения текущих нормализующих потоков на более экспрессивные. Тема 11. Построение обратимых генеративных моделей для повышения точности задач реконструкции (#reconstruction) В рамках темы было разработано решение двух задач: аугментация кривых блеска в реальных астрофизических данных, собранных в обзоре Zwicky Transient Facility и реконструкция калориметрических данных с использованием графовых нейронных сетей. В первой задаче было показано, что качество аугментации сильно зависит от тренировочных данных, в частности о том, что невозможен прямой перенос решений из симуляции (использовался набор PLAsTiCC, популярный в астрофизике) в реальные данные. В качестве проверки использовалось разделение сверхновых класса Ia, от других транзиентов. Таким образом, было предложено разрабатывать решение, работающее непосредственно на сильно разреженных кривых блеска, полученных в реальных данных. Во второй задаче было впервые показано, что графовые нейронные сети могут быть использованы для реконструкции множественных ливней в адронном калориметре. Подход показал высокое качество в сравнении с аналогичными. В дальнейшем полученное представление данных может быть использовано для решения прямой задачи в применении к симуляции отклика калориметра.

Аннотация результатов, полученных в 2022 году
Тема 1 Техники масштабируемого семплирования Монте Карло, основанные на марковских цепях (#mcmc) Изучен непараметрический байесовский подход к оценке функции волатильности стохастического дифференциального уравнения, управляемого гамма-процессом. Тема 2 Обучение по частично размеченным данным с применением методов восстановления многообразия и кластеризации (#manifold) Разработан новый метод вложения многообразия в евклидово пространство. Алгоритм, получив на вход матрицу попарных геодезических расстояний размера nxn, строит близкое к изометричному вложение n точек в евклидово пространство заданной размерности. Предложена эффективная имплементация алгоритма, основанная на решении задачи полуопределенного программирования. Исследованы теоретические свойства метода, получена оценка на величину относительного искажения расстояний при вложении. Тема 3 Использование оптимального транспорта в задачах машинного обучения (#transport) Было исследовано обобщение метода многомерного шкалирования (MDS) на случай метрических пространств с мерой, введенное в (Adams, Blumstein, Kassab 2020). Была доказана его устойчивость относительно естественной сходимости пространств в метрике Громова-Васерштейна, а также относительно сходимости эмпирических мер в транспортной метрике Васерштейна. Данное исследование тесно связано с Темой 2 (#manifold), по его результатам опубликована статья в ESAIM: COCV. Тема 5a. Нейронные сети для анализа и генерации исходных кодов (#dlforcode) В рамках направления по исследованию и совершенствованию предобучения крупных языковых моделей на наборах данных исходного кода программ исследованы пять параметров токенизации при предобучении крупных языковых моделей, предложен новый метод токенизации на основе группировки пунктуационных символов, сжимающий последовательности на 17% без потери качества. Кроме того, разработан набор задач пробинга и проведен анализ пяти предобученных моделей с помощью пробинга, показывающий, что предуобученные модели распознают базовые свойства программного кода, но не всегда различают более сложные концепции (например, алгоритмическая эквивалентность). Анализ дообученных моделей показал, что способность распознавать свойства кода сохраняется при дообучении на задачу генерации кода и не сохраняется — при дообучении на задачи обработки кода. Тема 6 Исследование многообразий, задаваемых нейросетями (#lossmanifold) Были проведены исследования в двух направлениях: изучение нейронных сетей с точки зрения свойств обучаемости и обобщаемости; изучение влияния парадигмы обучения нейросети на итоговую модель. В рамках первого направления был предложен способ генерации наборов задач с предопределенной сложностью, который в дальнейшем использовался для оценки эффективности нейронных сетей. Обучены нейронные сети, способные качественно минимизировать энергию в неизвестных на этапе обучения моделях Изинга. Протестированы современные виды нейросетевых архитектур и предложены специальные стратегии их обучения. В рамках второго направления был предложен метод для анализа латентного пространства нейронных сетей, основанный на восстановлении входных изображений по обратимым зашумленным представлениям. Установлено, что нейронные сети, обученные в парадигме самообучения, имеют большее широкое латентное пространство и показано, что ширина латентного пространства регулируется аффинным параметром пакетной нормализации. Тема 7 Построение причинных графов и интерпретация моделей (#causal) Результаты по данному направлению использованы в интересах коммерческого заказчика для построения динамических графов вычислений с целью ускорения времени работы нейронной сети. Тема 8 Применение генеративных моделей для быстрой настройки симуляций реальных событий (#pythiaGAN) Продолжен совместный проект с индустриальным партнёром по оптимизации настройки параметров модели предсказания погоды с целью повышения точности прогноза. Проведены первые тесты на центральных регионах России. Тема 9 Разработка быстрых генеративных моделей имитации сложных физических процессов (#fastsim) Проведена полномасштабная настройка суррогатной модели для моделирования откликов времяпролетной камеры детектора MPD ускорительного комплекса Nica. Разработана система динамического обучения, хранения, каталогизации и динамического включения подходящих моделей для использования в программном стеке симуляции данных эксперимента MPD. Была практически исследована возможность целевого улучшения качества генеративных моделей за счет использования дополнительного суррогатного регрессора. Тема 10 Диагностика и предсказание аномалий с использованием генеративных моделей (#anomalies) Проведено исследование применимости генеративных моделей для обнаружения изменений распределения временного ряда. Экспериментально показано, что использование генеративных моделей для моделирования поведения сигнала позволяет улучшить качество обнаружения точек разладки. Тема 11 Построение обратимых генеративных моделей для повышения точности задач реконструкции (#reconstruction) Проведено исследование применимости генеративных моделей для задач реконструкции астрономических данных. Методы на основе нейронных сетей показали лучшее качество аппроксимации кривых блеска сверхновых и восстановления их физических характеристик. В задаче определения параметров атмосферы Солнца предложенные методы также показали лучшую точность реконструкции.