Использование вероятностных нейроморфных генеративных моделей для развития технологии цифровых двойников нелинейных стохастических систем

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 19-71-30020

НазваниеИспользование вероятностных нейроморфных генеративных моделей для развития технологии цифровых двойников нелинейных стохастических систем

Руководитель Наумов Алексей Александрович, Доктор физико-математических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет "Высшая школа экономики" , г Москва

Конкурс №33 - Конкурс 2019 года по мероприятию «Проведение исследований научными лабораториями мирового уровня в рамках реализации приоритетов научно-технологического развития Российской Федерации» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными 2019_33

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-201 - Искусственный интеллект и принятие решений

Ключевые слова оптимальный транспорт, марковские цепи, многообразия, генеративные модели, вероятностный вывод, глубинное обучение, структурные предсказания, причинные графы, semisupervised learning

Код ГРНТИ28.23.29

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
За последние годы технология цифровых двойников сильно продвинулась по Gartner Hype Cycle (см 2017 и 2018 гг, приложение к заявке). Ожидается, что цифровые двойники, или имитационные модели технологических объектов или процессов, которые помогают следить за состоянием объектов реального мира, будут составлять основу производственных процессов в ближайшем будущем Типовые сценарии их использования включают мониторинг состояний, уровня износа, предсказание аномалий, определения оптимального момента технического обслуживания. В то же время, построение и использование цифровых моделей, основанных на физических закономерностях зачастую приводит к высоким временным и вычислительным затратам в случаях высокой сложности моделируемых систем. Использование нейроморфных генеративных моделей, основанных на технологии генеративных состязательных сетей вариационных автокодировщиков, позволяет снизить вычислительные затраты на работу имитационных моделей на несколько порядков (PMLR 70 (2017) 1263). Нейроморфные генеративные модели хорошо зарекомендовали себя для решения задач уменьшения шума и воспроизведения изображения сверх-разрешения (arXiv:1511.04491, arXiv:1609.04802, arXiv:1612.07919). Несмотря на очевидные преимущества, замена точного симулятора на нейроморфную модель связана с определенными трудностями. Данные подходы пока находятся на сравнительно раннем этапе развития и обладают рядом серьезных недостатков при воспроизведении сложных объектов таких как многомерные последовательности / последовательности изображений, графовые структуры, трехмерные модели или условные последовательности управляющих воздействий. Принципиальной сложностью построения генеративных моделей является подход к их обучению, опирающийся на имеющиеся данные и указания функционального качества работы модели, в виде функции потерь. Изучение особенных случаев этих функций может привести к качественному росту генеративных технологий. Дополнительного изучения требуют случаи учета внешних ограничений для функции потерь генеративной модели. Работа с генеративными моделями сложной конфигурации при наложении ограничений может привести к медленной сходимости процедуры обучения и низкому качеству генеративных моделей. Предлагаемый проект состоит из нескольких тем, нацеленных на развитие методов и технологий машинного интеллекта для снижения барьера сложности решения актуальных задач современной индустрии: 1. Техники масштабируемого семплирования Монте Карло, основанные на марковских цепях 2. Обучение по частично размеченным данным с применением методов восстановления многообразия и кластеризации 3. Использование оптимального транспорта в задачах машинного обучения 4. Построение полунеявных моделей и методов вывода в них 5. Использование сложных функций потерь для обучения условных моделей 6. Исследование многообразий, задаваемых нейросетями 7. Построение причинных графов и интерпретация моделей 8. Применение генеративных моделей для быстрой настройки симуляций реальных событий 9. Разработка быстрых генеративных моделей имитации сложных физических процессов 10. Диагностика и предсказание аномалий с использованием генеративных моделей 11. Построение обратимых генеративных моделей для повышения точности задач реконструкции Первые три темы являются теоретическими наработками, которые будут использованы в более прикладных темах 4-6, которые в свою очередь повлияют на развитие прикладных тем 7-11. Практическая демонстрация работоспособности предложенных методов будет осуществлена на примерах задач международных физических коллабораций - SHiP, OPERA, LHCb, JUNO. Далее эти наработки лягут в основу сервисов и продуктов, которые сотрудники лаборатории планируют использовать для решения индустриальных задач.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Неклюдов К.О., Егоров Е.Е., Ветров Д.П. The Implicit Metropolis-Hastings Algorithm Advances in Neural Information Processing Systems 32 (NIPS 2019), Advances in Neural Information Processing Systems 32, Curran Associates, Inc., pp. 13932--13942 (год публикации - 2019)

2. Гадецкий А.В., Струминский К.А., Робинсон К.,Квадрианто Н., Ветров Д.П. Low-variance Black-box Gradient Estimates for the Plackett-Luce Distribution Thirty-fourth AAAI Conference On Artificial Intelligence Proceedings (год публикации - 2020)

3. Чекалина В, Орлова Е, Ратников Ф, Ульянов Д, Устюжанин А, Захаров Е Generative Models for Fast Calorimeter Simulation: the LHCb case EPJ Web of Conferences, vol 214, article 02034 (год публикации - 2019)
10.1051/epjconf/201921402034

4. Боолдырев А, Чекалина В, Ратников Ф Machine Learning approach to boosting neutral particles identification in the LHCb calorimeter Journal of Physics: Conference Series - IOPscience (год публикации - 2019)

5. Белавин В, Устюжанин А Electromagnetic shower generation with Graph Neural Networks Journal of Physics: Conference Series (год публикации - 2019)

6. Широбоков С, Устюжанин А, Голутвин А Accelerating dark matter search in emulsion SHiP detector by deep learning Journal of Physics: Conference Series (год публикации - 2019)

7. Беломестный Д, SCHOENMAKERS J, Спокойный В, ZHARKYNBAY B OPTIMAL STOPPING VIA REINFORCED REGRESSION Communications in Mathematical Sciences (год публикации - 2019)

8. Delfino F, Прозоров Ю, Степанов Е, Тамазян Г, Tozzini V Evolutionary Switches Structural Transitions via Coarse-Grained Models JOURNAL OF COMPUTATIONAL BIOLOGY, Volume 27, Number 0, 2020 (год публикации - 2019)
10.1089/cmb.2019.0338

9. Delfino F, Прозоров Ю, Степанов Е, Тамазян Г, Tozzini V Structural transition states explored with minimalist coarse grained models: applications to Calmodulin Frontiers in Molecular Biosciences (год публикации - 2019)
10.3389/fmolb.2019.00104

10. Беломестный Д. В., Иосипой Л. С. ОБ ОЦЕНКЕ ПЛОТНОСТИ РАСПРЕДЕЛЕНИЯ С ПОМОЩЬЮ РЯДА ФУРЬЕ Математическая теория управления, Выпуск: 82 (год публикации - 2019)
10.25728/ubs.2019.82.2

11. Сергеев Ф., Джайн Н., Кнунянц И., Костенков Г., Трофимова Е. Fast simulation of the LHCb electromagnetic calorimeter response using VAEs and GANs Journal of Physics: Conference Series (год публикации - 2021)

12. Беломестный Д., Иосипой Л., Мулине Э., Наумов А., Самсонов В. Optimal Stopping of McKean-Vlasov Diffusions via Regression on Particle Systems Statistics and Computing, Stat Comput 30, 973–997 (2020) (год публикации - 2020)
10.1007/s11222-020-09931-z

13. Байер К., Беломестный Д., Редман М., Ридел С., Шоенмакерс Д. Solving linear parabolic rough partial differential equations Journal of Mathematical Analysis and Applications, Volume 490, Issue 1, 1 October 2020, 124236 (год публикации - 2020)
10.1016/j.jmaa.2020.124236

14. Беломестный Д., Шоенмакерс Д. Optimal Stopping of McKean-Vlasov Diffusions via Regression on Particle Systems SIAM Journal on Control and Optimization, 2020, Vol. 58, No. 1 : pp. 529-550 (год публикации - 2020)
10.1137/18M1195590

15. Беломестный Д., Каледин М., Шоенмакерс Д. Semitractability of optimal stopping problems via a weighted stochastic mesh algorithm Mathematical Finance., Vol. 30. No. 4. P. 1591-1616. (год публикации - 2020)
10.1111/mafi.12271

16. Беломестный Д., Иосипой Л. Fourier transform MCMC, heavy-tailed distributions, and geometric ergodicity Mathematics and Computers in Simulation, 181 (2021) 351–363 (год публикации - 2020)
10.1016/j.matcom.2020.10.005

17. Соловьев Я., Островерхова Д., Тамазян Г., Домнин А., Анашкина А., Путрушанка И., Степанов Е., Порозов Ю. Na/K-ATPase Glutathionylation: in silico Modeling of Reaction Mechanisms Lecture Notes in Bioinformatics, ISBRA 2020, LNBI 12304, pp. 372–380, 2020 (год публикации - 2020)
10.1007/978-3-030-57821-3_36

18. Кузнецов А., Швечиков П., Гришин А., Ветров Д. Controlling Overestimation Bias with Truncated Mixture of Continuous Distributional Quantile Critics Proceedings of Machine Learning Research, PMLR, Vol. 119. 2020. P. 5556-5566 (год публикации - 2020)

19. Ашуха А., Лыжов А., Молчанов Д., Ветров Д. Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep Learning Proceedings of the 8th International Conference on Learning Representations (ICLR 2020), https://openreview.net/pdf?id=BJxI5gHKDr (год публикации - 2020)

20. Молчанов Д., Лыжов А., Молчанова Ю., Ашуха А., Ветров Д. Greedy Policy Search: A Simple Baseline for Learnable Test-Time Augmentation Proceedings of Machine Learning Research, Volume 124: 36th Conference on Uncertainty in Artificial Intelligence (UAI), 2020., Proceedings of Machine Learning Research, Volume 124: 36th Conference on Uncertainty in Artificial Intelligence (UAI), 2020. P. 1308-1317. 08.2020 (год публикации - 2020)

21. Неклюдов К., Веллинг М., Егоров Е., Ветров Д. Involutive MCMC: One Way to Derive Them All Proceedings of Machine Learning Research, PMLR 119:7273-7282 (год публикации - 2020)

22. Родоманов А., Кропотов Д. A Randomized Coordinate Descent Method with Volume Sampling SIAM Journal on Optimization, SIAM Journal on Optimization, 2020, Vol. 30, No. 3 : pp. 1878-1904 (год публикации - 2020)
10.1137/19M125532X

23. Лобачева Е., Чиркова Н., Кодрян М., Ветров Д. On Power Laws in Deep Ensembles NeurIPS Proceedings (год публикации - 2020)

24. Широбоков C., Белавин В, Каган М, Устюжанин А, Байдин А Differentiating the Black-Box: Optimization with Local Generative Surrogates NeurIPS Proceedings (год публикации - 2020)

25. Аайдж Р., Устюжанин А. и др. Allen: A high level trigger on GPUs for LHCb Computing and Software for Big Science, Comput Softw Big Sci 4, 7 (2020) (год публикации - 2020)
10.1007/s41781-020-00039-7

26. Ратников Ф Using machine learning to speed up and improve calorimeter R&D Journal of Instrumentation, 2020 JINST 15 C05032 (год публикации - 2020)
10.1088/1748-0221/15/05/C05032

27. Борисяк М, Гаинцева Т, Устюжанин А Adaptive divergence for rapid adversarial optimization PeerJ Computer Science, PeerJ Computer Science 6:e274 (год публикации - 2020)
10.7717/peerj-cs.274

28. Болдырев А., Деркач Д., Ратников Ф., Шевелев А. ML-assisted versatile approach to Calorimeter R&D Journal of Instrumentation, 2020 JINST 15 C09030 (год публикации - 2020)
10.1088/1748-0221/15/09/C09030

29. Ратников Ф. , Деркач Д., Болдырев А. , Шевелев А. , Факанов П. , Матюшин Л. Using machine learning to speed up new and upgrade detector studies: a calorimeter case EPJ Web of Conferences, EPJ Web of Conferences 245, 02019 (2020) (год публикации - 2020)
10.1051/epjconf/202024502019

30. Ратников Ф Generative Adversarial Networks for LHCb Fast Simulation EPJ Web of Conferences, EPJ Web of Conferences 245, 02026 (2020) (год публикации - 2020)
10.1051/epjconf/202024502026

31. Де Леллис Г., Дмитриевский С., Галац Г., Лаваса А., Шимко Т., Цанакцидис И. и Устюжанин А. Dataset of tau neutrino interactions recorded by OPERA experiment EPJ Web of Conferences, EPJ Web of Conferences 245, 08013 (2020) (год публикации - 2020)
10.1051/epjconf/202024508013

32. Зароднюк А, Трофимова Э., Соловьев А, Градобоев Д Galaxy Clusters Reconstruction Journal of Physics: Conference Series (год публикации - 2021)

33. Чиркова Н., Трошин С. A Simple Approach for Handling Out-of-Vocabulary Identifiers in Deep Learning for Source Code North American Chapter of the Association for Computational Linguistics, P. 278-288 (год публикации - 2021)
10.18653/v1/2021.naacl-main.26

34. С. Добряков, К. Маланчев, Д. Деркач, М. Гущин Photometric Data-driven Classification of Type Ia Supernovae in the Open Supernova Catalog Astronomy and Computing, vol 35, page 100451 (год публикации - 2021)
10.1016/j.ascom.2021.100451

35. В. Белавин, Е. Трофимова, А. Устюжанин Segmentation of EM showers for neutrino experiments with deep graph neural networks Journal of Instrumentation (год публикации - 2022)

36. А. Рыжиков, М. Борисяк, А. Устюжанин, Д. Деркач NFAD: fixing anomaly detection using normalizing flows PeerJ computer Science, PeerJ Computer Science 7:e757 (год публикации - 2021)
10.7717/peerj-cs.757

37. А.Г. Байдин, Д, Деркач, Ф. Ратников, А. Устюжанин и др. Toward Machine Learning Optimization of Experimental Design Nuclear Physics News, Nuclear Physics News, 31:1, 25-28 (2021) (год публикации - 2021)
10.1080/10619127.2021.1881364

38. А.Маевский, Ф.Ратников, А.Зинченко, В.Рябов Simulating the Time Projection Chamber responses at the MPD detector using Generative Adversarial Networks The European Physical Journal C, 81, 599 (2021) (год публикации - 2021)
10.1140/epjc/s10052-021-09366-4

39. Пучкин Н., Спокойный В. Structure-adaptive Manifold Estimation Journal of Machine Learning Research, 22, 1-62 (год публикации - 2021)

40. Лобачева Е., Кодрян М., Чиркова Н., Малинин А., Ветров Д. On the Periodic Behavior of Neural Network Training with Batch Normalization and Weight Decay NeurIPS Proceedings (год публикации - 2021)

41. Струминский К., Гадецкий А., Ракитин Д., Карпушкин Д., Ветров Д. Leveraging Recursive Gumbel-Max Trick for Approximate Inference in Combinatorial Spaces NeurIPS proceedings (год публикации - 2021)

42. Чиркова Н. On the Embeddings of Variables in Recurrent Neural Networks for Source Code North American Chapter of the Association for Computational Linguistics, P. 2679-2689 (год публикации - 2021)
10.18653/v1/2021.naacl-main.213

43. Чиркова Н., Трошин С. Empirical Study of Transformers for Source Code ESEC/FSE proceedings, Pages 703–715 (год публикации - 2021)
10.1145/3468264.3468611

44. А.В.Колесников, Э. Вернер Blaschke-Santalo inequality for many functions and geodesic barycenters of measures Advances in Mathematics (год публикации - 2021)

45. Е. Клочков, А.В. Крошнин, Н.К. Животовский Robust k-means clustering for distributions with two moments The Annals of Statistics, 49 (4) 2206 - 2230, 2021 (год публикации - 2021)
10.1214/20-AOS2033

46. А.В. Крошнин, А. Л. Суворикова, В.Г. Спокойный Statistical inference for Bures–Wasserstein barycenters Annals of Applied Probability, 31(3): 1264-1298, 2021 (год публикации - 2021)
10.1214/20-AAP1618

47. Д. В. Беломестный, Л. С. Иосипой, Э. Мулине, А.А.Наумов, С.В. Самсонов Variance Reduction for Dependent Sequences with Applications to Stochastic Gradient MCMC SIAM / ASA Journal on Uncertainty Quantification, 9(2), 507–535 (год публикации - 2021)
10.1137/19M1301199

48. Беломестный Д., Иосипой Л., Пари К., Животовский Н. Empirical variance minimization with applications in variance reduction and optimal control Bernoulli, Bernoulli 28 (2), 1382 - 1407, 2022 (год публикации - 2022)

49. Байер Ж., Беломестный Д., Хагер П., Пигато П., Шоенмейкерс Д., Спокойный В. REINFORCED OPTIMAL CONTROL Communications in Mathematical Sciences, 20, 7, 1951 - 1978 (год публикации - 2022)
10.4310/CMS.2022.v20.n7.a7

50. Крошнин А., Степанов E., Тревизан Д. Infinite multidimensional scaling for metric measure spaces ESAIM: Control, Optimisation and Calculus of Variations, 28, 58 (год публикации - 2022)

51. Чиркова Н., Трошин С. CodeBPE: Investigating Subtokenization Options for Large Language Model Pretraining on Source Code ICLR 2022 Workshop DL4C, Deep Learning for Code Workshop (год публикации - 2022)

52. Ратников Ф., Рогачёв А., Мохненко С., Деркач Д., Казеев Н., Маевский А., Дэвис А., Андерлини Л., Барбетти М., Сидди Б. A Full Detector Description Using Neural Network Driven Simulation Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment, Volume 1046 (год публикации - 2023)
10.1016/j.nima.2022.167591

53. Ратников Ф., Маевский А., Зинченко А., Рябов В., Сухоросов А., Евдокимов Д. Generative Surrogates for Fast Simulation: TPC case Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment, Volume 1047, (год публикации - 2023)

54. Богачев, В.И., Малофеев И. И. Nonlinear Kantorovich Problems with a Parameter The Bulletin of Irkutsk State University. Series Mathematics, The Bulletin of Irkutsk State University. Series Mathematics, 2022, vol. 41, pp. 96–106. (год публикации - 2022)
10.26516/1997-7670.2022.41.96

Публикации

5. Белавин В, Устюжанин А Electromagnetic shower generation with Graph Neural Networks Journal of Physics: Conference Series (год публикации - 2019)

23. Лобачева Е., Чиркова Н., Кодрян М., Ветров Д. On Power Laws in Deep Ensembles NeurIPS Proceedings (год публикации - 2020)

39. Пучкин Н., Спокойный В. Structure-adaptive Manifold Estimation Journal of Machine Learning Research, 22, 1-62 (год публикации - 2021)

43. Чиркова Н., Трошин С. Empirical Study of Transformers for Source Code ESEC/FSE proceedings, Pages 703–715 (год публикации - 2021)
10.1145/3468264.3468611

Публикации

5. Белавин В, Устюжанин А Electromagnetic shower generation with Graph Neural Networks Journal of Physics: Conference Series (год публикации - 2019)

23. Лобачева Е., Чиркова Н., Кодрян М., Ветров Д. On Power Laws in Deep Ensembles NeurIPS Proceedings (год публикации - 2020)

39. Пучкин Н., Спокойный В. Structure-adaptive Manifold Estimation Journal of Machine Learning Research, 22, 1-62 (год публикации - 2021)

43. Чиркова Н., Трошин С. Empirical Study of Transformers for Source Code ESEC/FSE proceedings, Pages 703–715 (год публикации - 2021)
10.1145/3468264.3468611

Публикации

5. Белавин В, Устюжанин А Electromagnetic shower generation with Graph Neural Networks Journal of Physics: Conference Series (год публикации - 2019)

23. Лобачева Е., Чиркова Н., Кодрян М., Ветров Д. On Power Laws in Deep Ensembles NeurIPS Proceedings (год публикации - 2020)

39. Пучкин Н., Спокойный В. Structure-adaptive Manifold Estimation Journal of Machine Learning Research, 22, 1-62 (год публикации - 2021)

43. Чиркова Н., Трошин С. Empirical Study of Transformers for Source Code ESEC/FSE proceedings, Pages 703–715 (год публикации - 2021)
10.1145/3468264.3468611