Разработка численных методов оптимизации в приложениях к задачам управления, обратным задачам и обучению

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 21-71-30005

НазваниеРазработка численных методов оптимизации в приложениях к задачам управления, обратным задачам и обучению

Руководитель Райгородский Андрей Михайлович, Доктор физико-математических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" , г Москва

Конкурс №53 - Конкурс 2021 года по мероприятию «Проведение исследований научными лабораториями мирового уровня в рамках реализации приоритетов научно-технологического развития Российской Федерации» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-203 - Теория оптимизации и исследование операций

Ключевые слова Численные методы оптимизации, невыпуклая оптимизация, оптимальное управление, выбор обратной связи, автоматическое дифференцирование, обратная задача, обучение с подкреплением, корректирующие алгоритмы и алгоритмы, основанные на допусках

Код ГРНТИ27.41.00

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Подавляющее большинство практически важных задач управления, обратных задач, задач обучения являются невыпуклыми. Как следствие, с точки зрения теоретической возможности их эффективного решения в общем случае не существует более эффективных методов, чем алгоритмы переборного типа (Немировский-Юдин, 1979). Тем не менее, как правило, для каждого конкретного класса задач можно предложить что-то лучше, чем просто перебор. В частности, довольно популярное направление связано с подменой исходной сложной (например, NP-трудной) задачи оптимизации похожей, более простой (например, выпуклой), задачей, решение которой является неплохим приближением к решению исходной задачи. Особенно, это направление популярно в сообществе специалистов по Computer Science (SDP-релаксации и т.п.). Однако в последние годы предпринимаются попытки перенести эту идею и на задачи синтеза управлений (Поляк-Фатхуллин, 2020) и на классические задачи машинного обучения (кластеризация, Ю.Е. Нестеров, 2018). Другими словами, в проекте планируется уделить значительное внимание проработке вопросов, связанных с тем, как именно ставить сами задачи оптимизации, которые необходимо решать, чтобы решения этих задач были хорошим приближением к решениям исходных задач (вообще говоря, не задач оптимизации): обратных задач, задач управления, обучения и т.д. Современные требования к точности и эффективности решения задач (связанные с тиражируемостью технологий и возможностью их переноса на различные мобильные устройства/приборы) подразумевают не только принципиальную (теоретическую) возможность получить достаточно точное решение, но и задают достаточно жесткие временные (ресурсные) рамки на то, насколько это может быть затратно. Последнее обстоятельство критическим образом заставляет взглянуть на то, каким образом далее стоит решать полученную задачу оптимизации. Собственно, вторая часть направлений исследований в проекте как раз и сосредотачивается вокруг чисто вычислительных вопросов, связанных с классами задач оптимизации, возникающих при сведении исходных постановок к задачам оптимизации. Далее мы опишем немного подробнее, на каких именно вопросах планируется сосредотачиваться. Любой численный метод (например, градиентного спуска) использует информацию о целевой функции (ограничениях). Как правило, это градиент целевой функции. Философия автоматического дифференцирования (в машинном обучении “обратного распространения”) позволяет для широкого класса задач (в которых имеется “дерево вычислений” целевого функционала) вычислять градиент за время, не превышающее более чем в пять раз время вычисления значения функции. Эта философия эффективно используется сейчас в различных оптимизационных пакетах, заточенных под задачи машинного обучения (например, Pytorch или TensorFlow). В проекте планируется использовать эту философию для значительно более общего и сложного класса задач оптимизации. В частности, задач оптимизации в бесконечномерных пространствах (пространствах функций - управлений, синтеза и т.п.), возникающих при решении задач оптимального управления и обратных задач. Нетривиальность тут, в частности, в том, что не понятно в общем случае, когда лучше дискретизировать задачу (сводить ее к конечномерной задаче оптимизации) - изначально или только в момент вычисления градиента. Это фундаментальный вопрос, на который (насколько нам известно) на данный момент нет общего (универсального) ответа. Нет и теории, объясняющей в достаточной общности, как в зависимости от класса задач следует действовать. Тем не менее, есть многолетний опыт (Ю.Г. Евтушенко и др.), который планируется использовать в проработке данных вопросов. Предполагается изучить, в каких случаях удобнее и эффективнее проводить дискретизацию задачи для ее прямой или двойственной формулировки таким образом, чтобы при необходимости ветвления одной из задач на подзадачи меньшей размерности можно было использовать эффективные правила ветвления по строго положительным теневым ценам (shadow prices). Для вычислительно труднорешаемых (NP-трудных)задач будет построена теория приближения исходных данных труднорешаемой задачи ее полиномиально (эффективно) решаемыми частными случаями. Такая теория позволит прогнозировать завершение поиска решения, приближенного к оптимальному, с помощью классических алгоритмов, например, ветвей и границ, с заданными до решения задачи точностью и временем вычислений (см. B. Goldengorin, P.M. Pardalos. Data Correcting Approaches in Combinatorial Optimization. Springer, 2012). Другое важное направление связано с разработкой адаптивных (самонастраивающихся) численных методов. Самонастройка может проходить: 1) за счет вспомогательной одномерной (маломерной) минимизации, как это имеет место в методах типа наискорейшего спуска (сопряженных градиентов и их обобщений А.С. Немировским (1981), BFGS и т.п.) - в таких подходах важную роль играет эффективность и точность процедуры одномерного поиска; 2) за счет правил адаптивного выбора размера шага метода по предписанной формуле (Поляк-Шор, Барзелай-Борвейн, Мищенко-Малицкий и т.д.); 3) за счет внутреннего цикла, основанного на проверке некоторых условий типа Армихо, Вульфа, Нестерова. Общая идея таких правил (из пп. 2), 3)): связь размера шага с константами гладкости целевого функционала, оценка констант гладкости по текущей и предыдущей итерации по вычисленным значениям функций и градиента на них. В контексте рассматриваемого в проекте класса задач управления, обратных задач, насколько нам известно, системное сопоставление отмеченных адаптивных подходов, равно как и их непосредственная адаптация под возникающие задачи оптимизации, в нужном объеме пока не производилась. Более того, ряд постановок задач управления и, особенно, обучения с подкреплением, по сути своей являются задачами в условиях неопределенности шума (случайного и даже враждебного), параметры которого могут меняться (в том числе враждебным образом) по мере процесса решения задачи (онлайн оптимизация). Для решения таких задач адаптивность (понимаемая сейчас уже в более общем ключе, чем описано выше) используемого подхода обусловлена не только желанием сделать метод более эффективным, но и является требованием к возможности его практического использования. Собственно, разработка онлайн алгоритмов, способных “отслеживать” изменения самой задачи по ходу ее решения - является популярным направлением исследований у специалистов по машинному обучению. Разработано много эффективных и универсальных процедур онлайн обучения (см., например, недавние обзоры F. Orabona 2019 и E. Hazan 2016) в приложении к задачам машинного обучения. В проекте планируется распространить (адаптировать) современные достижения онлайн обучения на задачи синтеза управлений в том числе в антагонистической среде. Надо отметить, что проблемы связи идей обучения и теории управления необычайно популярны в настоящее время. Например, уже две конференции Learning for Dynamics and Control были проведены в Беркли (последняя - в июне 2020 года) и собрали сотни участников. На последнем конгрессе ИФАК в Берлине (июль 2020 г.) два из четырех пленарных докладов были посвящены этой тематике, причем характерны их названия: B.Recht, Reflections on the Learning-to-Control Renaissance и J.Lee, Reinforcement Learning for Process Control and Beyond. Кроме того, состоялся там же круглый стол на тему Adaptive control and machine learning, на нем выступила Президент ЕЕС A. Annaswamy на тему Connections Between Adaptive Control and Optimization in Machine Learning. Коллектив, собранный для реализации настоящего проекта и объединяющий лучших специалистов России по оптимизации, машинному обучению и управлению, имеет уникальные предпосылки для выполнения этой престижной и актуальной программы. Особо следует отметить фундаментальный вопрос, открыто стоящий в современном машинном обучении: как адаптивно выбирать ОДНОВРЕМЕННО размер шага и размер батча в процедурах обучения (решения задач минимизации функционала эмпирического риска). На данный момент процедуры типа AdaGrad, Adam и их современные варианты частично решают только проблему адаптивного подбора шага. У авторского коллектива имеется здесь некоторый задел (Двинских-Гасников-Двуреченский, IFAC 2020), который позволяет надеяться, что проблему хотя бы частично, но можно решить в указанной общности. Предполагается развитие современных методов оптимизации, ориентированных на решение задач оптимального управления сложными динамическими системами. Будет исследована возможность применения методологии Быстрого Автоматического Дифференцирования (БАД-методологии) для решения задач оптимального управления методами второго порядка. В качестве объектов применения разрабатываемых методов будет рассмотрен ряд обратных коэффициентных задач, в основе которых лежит первая краевая задача для нестационарного уравнения теплопроводности. Задача идентификации зависящего от температуры коэффициента теплопроводности вещества будет решена в трехмерной постановке. Также предполагается применение БАД-методологии для решения оптимизационных задач, актуальных для развития СВЧ-электроники. А именно, будет рассмотрена задача определения оптимального легирования барьерного слоя, состоящего из ряда подслоев, обеспечивающего заданную концентрацию электронов в канале проводимости в полупроводниковых гетероструктурах. Задачи конического и полуопределенного программирования являются весьма важными классами задач условной оптимизации. К их решению сводятся многие выпуклые и невыпуклые задачи, включая задачи квадратичной оптимизации с квадратичными ограничениями, задачи структурной и робастной оптимизации, определения метрик в задачах идентификации и распознавания образов, задачи машинного обучения и многие другие. Более того, к таким задачам редуцируются некоторые задачи дискретной оптимизации, позволяя тем самым находить их точное решение или некоторое приближение с помощью непрерывных методов. Поэтому разработка эффективных численных методов для решения таких задач представляется важным перспективным исследованием. Многие задачи оптимизации характеризуются различными особенностями, требующими разработки специальных методов и подходов к их решениям. К этим задачам относятся нерегулярные (вырожденные) задачи оптимизации, в которых не работают стандартные условия оптимальности. Поэтому весьма актуальным является изучение структуры вырожденности и построение на этой основе эффективных численных методов их решения.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Dmitry Pasechnyuk, Andrei M. Raigorodskii Network Utility Maximization by Updating Individual Transmission Rates Communications in Computer and Information Science, pp 184-198 (год публикации - 2021)
10.1007/978-3-030-92711-0_13

2. Ю.Г.Евтушенко, А.А,Третьяков A New Class of Lyapunov Functions for Stability Analysis of Singular Dynamical Systems. Elements of p-Regularity Theory Doklady Mathematics, Vol. 104, No. 1, pp. 165–168 (год публикации - 2021)
10.1134/S1064562421040062

3. П. Щербаков, Ф. Даббене A probabilistic point of view on peak effects in linear difference equations European Journal of Control, pp 1-9 (год публикации - 2021)
10.1016/j.ejcon.2021.09.007

4. Фатхуллин И., Поляк Б.Т. OPTIMIZING STATIC LINEAR FEEDBACK: GRADIENT METHOD SIAM JOURNAL ON CONTROL AND OPTIMIZATION, Vol. 59, No. 5, pp. 3887–3911 (год публикации - 2021)
10.1137/20M1329858

5. Ю.Г.Евтушенко, В.Малкова, А.А.Третьяков Exit from Singularity. New Optimization Methods and the p-Regularity Theory Applications Lecture Notes in Computer Science, Том 13078, Страницы 3 - 19 (год публикации - 2021)
10.1007/978-3-030-91059-4_1

6. Гольденгорин Б.И., Романюк В. Experimental analysis of tardiness in preemptive single machine scheduling Expert Systems with Applications, Том186, Номер статьи 114947 (год публикации - 2021)
10.1016/j.eswa.2021.114947

7. Безносиков А., Рогозин А., Ковалев Д., Гасников А. Near-Optimal Decentralized Algorithms for Saddle Point Problems over Time-Varying Networks Lecture Notes in Computer Science, Том 13078, Страницы 246 - 257 (год публикации - 2021)
10.1007/978-3-030-91059-4_18

8. Абдурахмон Садиев, Александр Безносиков, Павел Двуреченский, Александр Гасников Solving Smooth Min-Min and Min-Max Problems by Mixed Oracle Algorithms Communications in Computer and Information Science, pp 19 - 40 (год публикации - 2021)
10.1007/978-3-030-86433-0_2

9. Александр Масловский, Дмитрий Пасечнюк, Александр Гасников, Антон Аникин, Александр Рогозин, Александр Горнов, Лев Антонов, Роман Власов, Анна Николаева, Мария Бегичева Non-convex Optimization in Digital Pre-distortion of the Signal Communications in Computer and Information Science, Том 1476, Страницы 54 - 70 (год публикации - 2021)
10.1007/978-3-030-86433-0_4

10. Сафин К., Двуреченский П., Гасников А. Adaptive gradient-free methods for stochastic optimization Communications in Computer and Information Science, pp 95 - 110 (год публикации - 2021)
10.1007/978-3-030-92711-0_7

11. Садиев А., Везносиков А., Двуреченский П., Гасников А. Zeroth-order algorithms for smooth saddle-point problems Lecture Notes in Computer Science, Том 1476, Страницы 71 - 85 (год публикации - 2021)
10.1007/978-3-030-86433-0_5

12. Безносиков А., Новицкий В., Гасников А. One-point gradient-free methods for smooth and non-smooth saddle-point problems Lecture Notes in Computer Science, Том 12755, Страницы 144 - 158 (год публикации - 2021)
10.1007/978-3-030-77876-7_10

13. Матюхин В., Кабанихин С., Шишленин М., Новиков Н., Васин А., Гасников А. Convex optimization with inexact gradients in hilbert space and applications to elliptic inverse problems Lecture Notes in Computer Science, стр 159 - 175 (год публикации - 2021)

14. Ковалев Д., Шульгин Э., Рихтарик П., Рогозин А., Гасников А. ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks ICML 2021, vol 139 , стр 5784-5793 (год публикации - 2021)

15. Бирюков А., Чернов А. On Numerical Estimates of Errors in Solving Convex Optimization Problems Communications in Computer and Information Science, pp 3-18 (год публикации - 2021)
10.1007/978-3-030-92711-0_1

16. Шатов Д.В. Analysis of Stability and Dwell Time of a Certain Class of Switched Systems with Second Order Subsystems 2022 16th International Conference on Stability and Oscillations of Nonlinear Control Systems (Pyatnitskiy's Conference), No. 180536 (год публикации - 2022)
10.1109/STAB54858.2022.9807515

17. Чежегов С., Новицкий А., Рогозин А., Парсегов С., Двуреченский П., Гасников А. A General Framework for Distributed Partitioned Optimization IFAC-PapersOnLine, Vol. 55, No. 13, P. 139 - 144 (год публикации - 2022)
10.1016/j.ifacol.2022.07.249

18. Поляк Б.Т., Хлебников М.В. Observer-Aided Output Feedback Synthesis as an Optimization Problem Automation and Remote Control, Vol. 83, No. 3, P. 303 - 324 (год публикации - 2022)
10.1134/S0005117922030018

19. Курузов И., Стонякин Ф. Sequential Subspace Optimization for Quasar-Convex Optimization Problems with Inexact Gradient Communications in Computer and Information Science, Vol. 1514 CCIS, P. 19 - 33 (год публикации - 2021)
10.1007/978-3-030-92711-0_2

20. Агафонов А. Д. Lower bounds for conditional gradient type methods for minimizing smooth strongly convex functions Computer Research and Modeling, Vol. 14, No, 2, P. 213 - 223 (год публикации - 2022)
10.20537/2076-7633-2022-14-2-213-223

21. Двуреченский П. Е. A gradient method with inexact oracle for composite nonconvex optimization Computer Research and Modeling, Vol. 14, No. 2, P. 321 - 334 (год публикации - 2022)
10.20537/2076-7633-2022-14-2-321-334

22. Базарова А. И., Безносиков А. Н., Гасников А. В. Linearly convergent gradient-free methods for minimization of parabolic approximation Computer Research and Modeling, V. 14, No. 2, P. 239–255 (год публикации - 2022)
10.20537/2076-7633-2022-14-2-239-255

23. Данилова М., Горбунов Э. Distributed Methods with Absolute Compression and Error Compensation Communications in Computer and Information Science, Vol. 1661, P. 163 - 177 (год публикации - 2022)
10.1007/978-3-031-16224-4_11

24. Д. Ярмошик, А. Рогозин, О. Хамисов, П. Двуреченский, А. Гасников Decentralized Convex Optimization Under Affine Constraints for Power Systems Control Lecture Notes in Computer Science, Vol. 13367, P. 62 - 75 (год публикации - 2022)
10.1007/978-3-031-09607-5_5

25. Двинских Д. М., Пырэу В. В., Гасников А. В. On the relations of stochastic convex optimization problems with empirical risk minimization problems on p-norm balls Computer Research and Modeling, V. 14, No. 2, P. 309–319 (год публикации - 2022)
10.20537/2076-7633-2022-14-2-309-319

26. Д. Двинских, В. Томинин, Я. Томинин, А. Гасников Noisy Zeroth-Order Optimization for Non-smooth Saddle Point Problems Lecture Notes in Computer Science, Vol. 13367, P. 18 - 33 (год публикации - 2022)
10.1007/978-3-031-09607-5_2

27. В.И. Зубов, А.Ф. Албу On Solving One Spectral Problem Lecture Notes in Computer Science, Vol.13367, P. 153 - 166 (год публикации - 2022)
10.1007/978-3-031-09607-5_11

28. А.Ф. Албу, Ю.Г. Евтушенко, В.И. Зубов Application of Second-Order Optimization Methods for Solving an Inverse Coefficient Problem in the Three-Dimensional Statement Proceedings of the Steklov Institute of Mathematics, Vol. 317, P. 1 - 15 (год публикации - 2022)
10.1134/S0081543822030014

29. Плетнев Н. В., Двуреченский П. Е., Гасников А. В Application of gradient optimization methods to solve the Cauchy problem for the Helmholtz equation Computer Research and Modeling, V. 14, No. 2, P. 417–444 (год публикации - 2022)
10.20537/2076-7633-2022-14-2-417-444

30. Алпатов А. В., Петерс Е. А., Пасечнюк Д. А., Райгородский А. М. Stochastic optimization in digital pre-distortion of the signal Computer Research and Modeling, V. 14, No. 2, P. 399 - 416 (год публикации - 2022)
10.20537/2076-7633-2022-14-2-399-416

31. Ю.Г. Евтушенко, В.И. Зубов, А.Ф. Албу Numerical Study of Stability of an Algorithm for Identifying the Thermal Conductivity in the Three-Dimensional Case Journal of Mathematical Sciences, Vol. 267, No. 4, P. 474 - 482 (год публикации - 2022)
10.1007/s10958-022-06152-9

32. Евтушенко Ю.Г., Третьяков А.А. Convergence of Continuous Analogues of Numerical Methods for Solving Degenerate Optimization Problems and Systems of Nonlinear Equations Computational Mathematics and Mathematical Physics, Vol. 62, No. 10, P. 1602 - 1608 (год публикации - 2022)
10.1134/S0965542522100049

33. Савчук О. С., Титов А. А., Стонякин Ф. С., Алкуса М. С. Adaptive first-order methods for relatively strongly convex optimization problems Computer Research and Modeling, V. 14, No. 2, P. 445–472 (год публикации - 2022)
10.20537/2076-7633-2022-14-2-445-472

34. Безносиков А., Скутари Г., Рогозин А., Гасников А. Distributed Saddle-Point Problems Under Similarity Advances in Neural Information Processing Systems, V. 10, P. 8172 - 8184 (год публикации - 2021)

35. Шатов Д.В. Синтез параметров пропорционально-интегрирующих и пропорционально-интегрально-дифференцирующих регуляторов для стационарных линейных объектов с ненулевыми начальными условиями Известия РАН. Теория и системы управления, No. 1 (год публикации - 2022)

36. Хлебников М.В, Sparse Filtering Under Norm-Bounded Exogenous Disturbances Using Observers SYSTEM THEORY, CONTROL AND COMPUTING JOURNAL, VOL. 2, NO. 1, pp. 1-7 (год публикации - 2022)
10.52846/stccj.2022.2.1.29

37. Ричтарик П., Соколов И., Фаткхуллин И., Гасанов Е., Ли З., Горбунов Е. 3PC: Three Point Compressors for Communication-Efficient Distributed Training and a Better Theory for Lazy Aggregation Proceedings of the 39th International Conference on Machine Learning, PMLR 162:18596-18648 (год публикации - 2022)

38. Ковалев Д., Безносиков А., Бородич Е., Гасников А., Сцутари Г. Optimal Gradient Sliding and its Application to Distributed Optimization Under Similarity Advances in Neural Information Processing Systems 2022, NIPS 2022 (год публикации - 2022)

39. B.T. Polyak, M.V. Khlebnikov Новые критерии настройки ПИД-регуляторов Автоматика и телемеханика, выпуск 11, страницы 62–82 (год публикации - 2022)
10.31857/S0005231022110022

40. Парсегов С., Щербаков П., Чеботарёв П., Ерофеева В., Рогозин А. Laplacian spectra of two-layer hierarchical cyclic pursuit schemes IFAC-PapersOnLine, Vol. 55, No. 13, P. 246-251. (год публикации - 2022)
10.1016/j.ifacol.2022.07.267

41. Данилова М. On the Convergence Analysis of Aggregated Heavy-Ball Method Lecture Notes in Computer Science, Vol. 13367, pp. 3-17 (год публикации - 2022)
10.1007/978-3-031-09607-5_1

42. Данилова М. Ю., Малиновский Г. С. Averaged heavy-ball method Computer Research and Modeling, Vol. 14. No. 2. P. 277–308. (год публикации - 2022)
10.20537/2076-7633-2022-14-2-277-308

43. Александров В. А., Зыбин Е. Ю., Косьянчук В. В., Сельвесюк Н. И., Тремба А. А., Хлебников М. В. Оптимизация расхода топлива воздушного судна на этапе набора высоты Автоматика и телемеханика, No 11, 2022, No. 11, P. 83–102 (год публикации - 2022)
10.31857/S0005231022110034

44. Фомин А., Гольденгорин Б. An exact algorithm for the preemptive single machine scheduling of equal-length jobs Computers and Operations Research, Vol. 142, No. 105742 (год публикации - 2022)
10.1016/j.cor.2022.105742

45. Евтушенко Ю.Г., Е. Беднарчук, Прусинска А., Третьяков А.А. Об эквивалентности вырожденных и некорректных задач. P-фактор метод регуляризации Доклады Российской академии наук. Математика, информатика, процессы управления., T. 506, № 1, стр. 41-44 (год публикации - 2022)
10.31857/S2686954322050095

46. Масловский А.Ю., Суменков О.Ю., Воркутов Д.А., Чуканов С.В. Application of discrete multicriteria optimization methods for the digital predistortion model design Computer Research and Modeling, vol. 15, no. 2, pp. 281-300 (год публикации - 2023)
10.20537/2076-7633-2023-15-2-281-300

47. Чернов А.В., Жукова А.А. Numerical Analysis of the Model of Optimal Savings and Borrowing Lecture Notes in Computer Science, volume 13781, стр. 165-176 (год публикации - 2023)
10.1007/978-3-031-22543-7_12

48. Рогозин А., Ярмошик Д., Копылова К., Гасников А. Decentralized Strongly-Convex Optimization with Affine Constraints: Primal and Dual Approaches Communications in Computer and Information Science, volume 1739, pp 93–105 (год публикации - 2023)
10.1007/978-3-031-22990-9_7

49. Чикаке Т., Гольденгорин Б. Dimensionality reduction using pseudo-Boolean polynomials for cluster analysis Springer Optimization and Its Applications, volume 202,pp 59–72 (год публикации - 2023)
10.1007/978-3-031-31654-8_4

50. Хлебников М.В. PI Controller Design for Suppressing Exogenous Disturbances Automation and Remote Control, Volume 84, Issue 8, Pages 901–917 (год публикации - 2023)
10.25728/arcRAS.2023.38.46.002

51. Чикаке Т., Гольденгорин Б., Самосюк А. Pseudo-Boolean Polynomials Approach to Edge Detection and Image Segmentation Springer Optimization and Its Applications, volume 202, pp 73–87 (год публикации - 2023)
10.1007/978-3-031-31654-8_5

52. Хлебников М.В. A Comparison of Guaranteeing and Kalman Filters Automation and Remote Control, том 84, 389–411 (год публикации - 2023)
10.1134/S0005117923040094

53. Назин А.В., Позняк А.С. Non-quadratic proxy functions in Mirror Descent Method applied to designing of robust controllers for nonlinear dynamic systems with uncertainty Computational Mathematics and Mathematical Physics, № 4, т.64 (год публикации - 2024)

54. Хлебников М.В., Стефанюк Е.А. Peak-Minimizing Design for Linear Control Systems with Exogenous Disturbances and Structured Matrix Uncertainties Control Sciences, Issue 3, Pages 9–14 (год публикации - 2023)
10.25728/cs.2023.3.2

55. Александров В.А., Зыбин Е.Ю., Косьянчук В.В., Сельвесюк Н.И., Стефанюк Е.А., Тремба А.А., Хлебников М.В. Aircraft Cruise Altitude and Speed Profile Optimization in a Real Atmosphere Automation and Remote Control, том 84, 327–336 (год публикации - 2023)
10.1134/S0005117923040021

56. Шатов Д.В. PI and PID Controllers Design for Tracking Systems via LQ Criterion IEEEXplore (год публикации - 2024)

57. Албу А. Ф., Горчаковa А. Ю. , Зубовa В. И. FAD Technique and Differentiation of a Composite Function Computational Mathematics and Mathematical Physics, vol. 63, 57–68 (год публикации - 2023)
10.1134/S0965542523010037

58. Евтушенко Ю. Г. , Медак Б. , Третьяков А. А. p-Regularity Theory and the Existence of a Solution to a Boundary Value Problem Continuously Dependent on Boundary Conditions Computational Mathematics and Mathematical Physics, 63, 957–972 (год публикации - 2023)
10.1134/S0965542523060076

59. Руденко В.Д., Юдин Н.Е., Васин А.А. Survey of convex optimization of Markov decision processes Computer Research and Modeling, vol. 15, no. 2, pp. 329–353 (год публикации - 2023)
10.20537/2076-7633-2023-15-2-329-353

60. Евтушенко Ю. Г. , Третьяков А. А. Method for False Extrema Localization in Global Optimization Doklady Mathematics, Vol. 108, No. 1, pp. 309–311 (год публикации - 2023)
10.1134/S1064562423700850

61. Стонякин Ф., Курузов И., Поляк Б. Stopping Rules for Gradient Methods for Non-convex Problems with Additive Noise in Gradient Journal of Optimization Theory and Applications, 198, 531–551 (год публикации - 2023)
10.1007/s10957-023-02245-w

62. Савчук О., Стонякин Ф., Алкоуса М., Забирова Р., Титов А., Гасников А. Online Optimization Problems with Functional Constraints Under Relative Lipschitz Continuity and Relative Strong Convexity Conditions Communications in Computer and Information Science, volume 1881, pp 29–43 (год публикации - 2023)
10.1007/978-3-031-43257-6_3

63. Акиндинов Г.Д., Матюхин В.В., Криворотько О.И. Numerical solving of an inverse problem of a hyperbolic heat equation with small parameter Computer Research and Modeling, VOL. 15 NO. 2 P. 245–258 (год публикации - 2023)
10.20537/2076-7633-2023-15-2-245-258

64. Плетнев Н.В., Матюхин В.В. On the modification of the method of component descent for solving some inverse problems of mathematical physics Computer Research and Modeling, VOL. 15 NO. 2 P. 301–316 (год публикации - 2023)
10.20537/2076-7633-2023-15-2-301-316

65. Айвазян Г.В., Стонякин Ф.С., Пасечнюк Д.А., Алкоуса М.С., Райгородский А.М. Adaptive Variant of the Frank-Wolfe Algorithm for Convex Optimization Problems Programming and Computer Software, Vol. 49, No. 6, pp. 493–504 (год публикации - 2023)
10.1134/S0361768823060038

66. Скачков Д.А., Гладышев С.И., Райгородский А.М. Experimental comparison of PageRank vector calculation algorithms Computer Research and Modeling, vol. 15, no. 2, pp. 369-379 (год публикации - 2023)
10.20537/2076-7633-2023-15-2-369-379

67. Скорик С.Н., Пырэу В.В., Седов С.А., Двинских Д.М. Comparsion of stochastic approximation and sample average approximation for saddle point problem with bilinear coupling term Computer Research and Modeling, vol. 15, no. 2, pp. 381–391 (год публикации - 2023)
10.20537/2076-7633-2023-15-2-381-391

68. Брежнева О., Евтушенко Ю., Малькова В., Третьяков А. Degenerate Equality Constrained Optimization Problems and P-Regularity Theory Lecture Notes in Computer Science, volume 13781, pp 18–33 (год публикации - 2023)
10.1007/978-3-031-22543-7_2

69. Садыков С. И., Лобанов А. В., Райгородский А. М. Gradient-Free Algorithms for Solving Stochastic Saddle Optimization Problems with the Polyak–Łojasiewicz Condition Programming and Computer Software, Vol. 49, p. 535–547 (год публикации - 2023)
10.31857/S0132347423060079

70. Лобанов А. Stochastic Adversarial Noise in the “Black Box” Optimization Problem Lecture Notes in Computer Science, volume 14395, p 60–71 (год публикации - 2023)
10.1007/978-3-031-47859-8_5

71. Лобанов А., Гасников А. Accelerated Zero-Order SGD Method for Solving the Black Box Optimization Problem Under “Overparametrization” Condition Lecture Notes in Computer Science, volume 14395, p 72–83 (год публикации - 2023)
10.1007/978-3-031-47859-8_6

72. Чернов А., Лисаченко А. Convergence Rate of Gradient-Concordant Methods for Smooth Unconstrained Optimization Lecture Notes in Computer Science, volume 14395, p 33–44 (год публикации - 2023)
10.1007/978-3-031-47859-8_3

73. Ф. С. Стонякин, А. А. Титов, Д. В. Макаренко, М. С. Алкуса Численные методы для некоторых классов вариационных неравенств с относительно сильно монотонными операторами Математические заметки, том 112, выпуск 6, страницы 879–894 (год публикации - 2022)
10.4213/mzm13357

74. Чернов А., Флерова А., Жукова А. Application of Optimization Methods in Solving the Problem of Optimal Control of Assets and Liabilities by a Bank Lecture Notes in Computer Science, volume 14395, p. 235–250 (год публикации - 2023)
10.1007/978-3-031-47859-8_17

75. Выгузов А.А., Стонякин Ф.С. Adaptive Variant of Frank-Wolfe Method for Relative Smooth Convex Optimization Problems Computational Mathematics and Mathematical Physics (год публикации - 2024)

76. Лобанов А.В., Гасников А.В. Advancing Maximum Noise Level Estimation in the Black-Box Optimization Problems WAIT: Workshop on Artificial Intelligence Trustworthiness (год публикации - 2024)

77. Хлебников М.В. Nonfragile Filtering under Bounded Exogenous Disturbances Automation and Remote Control, Automation and Remote Control, 2024, Vol. 85, No. 6, pp. 549–561. (год публикации - 2024)
10.1134/S0005117924060067

78. Шатов Д.В. Simultaneous Stabilization of Second Order Linear Switched Systems Based on Superstability and D-Decomposition Technique Automation and Remote Control, 2024, Vol. 85, No. 6, pp. 576–586. (год публикации - 2024)
10.1134/S0005117924060080

79. Щербаков П.С. Analysis of Peak Effects in the Solutions of a Class of Difference Equations Automation and Remote Control, 2024, Vol. 85, No. 6, pp. 587–597. (год публикации - 2024)
10.1134/S0005117924060092

80. Балашов М.В., Тремба А.А. The Gradient Projection Method for a Supporting Function on the Unit Sphere and Its Applications Computational Mathematics and Mathematical Physics, 2024, Vol. 64, No. 4, pp. 676–692. (год публикации - 2024)
10.1134/S096554252470009X

81. Балашов М.В., Биглов К.З., Тремба А.А. On Some Problems with Multivalued Mappings Automation and Remote Control, 2024, Vol. 85, No. 5, pp. 491–511. (год публикации - 2024)
10.1134/S0005117924050035

82. Евтушенко Ю.Г., Третьяков А.А. Exact Formula for Solving a Degenerate System of Quadratic Equations Computational Mathematics and Mathematical Physics, 2024, Vol. 64, No. 3, pp. 365–369 (год публикации - 2024)
10.1134/S0965542524030072

83. Юдин Н.Е., Гасников А.В. Регуляризация и ускорение метода Гаусса-Ньютона Компьютерные исследования и моделирование, 2024 Т. 16 No 7 С. 1–14 (год публикации - 2024)

84. Акиндинов Г.Д., Гасников А.В., Криворотько О.И., Матюхин В.В., Плетнев Н.В. Gradient-type Approaches to Inverse and Ill-posed Problems of Mathematical Physics Computational Mathematics and Mathematical Physics, 2024, 64, pp 1974–1990 (год публикации - 2024)
10.1134/S0965542524701136

85. Смирнов В.Н., Казистова К.М., Судаков И.А., Леплат В., Гасников А.В., Лобанов А.В. Asymptotic analysis of the Ruppert-Polyak averaging for Stochastic Order Oracle Russian Journal of Nonlinear Dynamics (год публикации - 2024)

86. Бычков Г.К., Двинских Д.М., Анциферова А.В., Гасников А.В., Лобанов А.В. Accelerated zero-order SGD under high-order smoothness and overparameterized regime Russian Journal of Nonlinear Dynamics (год публикации - 2024)

87. Евтушенко Ю.Г., Третьяков А.А. On the Redundancy of Hessian Nonsingularity for Linear Convergence Rate of the Newton Method Applied to the Minimization of Convex Functions Computational Mathematics and Mathematical Physics, 2024, Vol. 64, No. 4, pp. 781–787. (год публикации - 2024)
10.1134/S0965542524700040

88. Назин А.В., Позняк А.С. Non-Quadratic Proxy Functions in Mirror Descent Method Applied to Designing of Robust Controllers for Nonlinear Dynamic Systems with Uncertainty Computational Mathematics and Mathematical Physics, 2024, Vol. 64, No. 4, pp. 820–832. (год публикации - 2024)
10.1134/S0965542524700143

89. Зубов В.И., Горчаков А.Ю. The use of both temperature field and heat fluxes to identify the thermal conductivity and volumetric heat capacity lecture notes in computer science (год публикации - 2024)

Публикации

56. Шатов Д.В. PI and PID Controllers Design for Tracking Systems via LQ Criterion IEEEXplore (год публикации - 2024)

Публикации

56. Шатов Д.В. PI and PID Controllers Design for Tracking Systems via LQ Criterion IEEEXplore (год публикации - 2024)

Аннотация результатов, полученных в 2024 году
На основе конструкций теории p-регулярности предложен 2-фактор метод решения системы нелинейных уравнений вида F(x)=0, где отображение F квадратичное, действующее из Rn в Rn, при этом его производная в решении вырождена. Предложенный метод сходится с квадратичной скоростью. Получена точная формула для решения данной системы квадратичных уравнений в случае 2-регулярности отображения F. Также установлено новое свойство выпуклых функций, позволяющее добиться геометрической скорости сходимости метода Ньютона в процессе минимизации. Был предложен алгоритм для получения численного решения задачи одновременной идентификации зависящих от температуры объемной теплоемкости и коэффициента теплопроводности исследуемого вещества. Рассмотрение проводилось на основе первой краевой задачи для одномерного нестационарного уравнения теплопроводности. Исследуемая обратная коэффициентная задача сводилась к вариационной задаче, которая решалась градиентными методами, основанными на применении БАД-методологии. Исследовалась задача определения оптимального легирования барьерного слоя, состоящего из ряда подслоев, обеспечивающего заданную концентрацию электронов в канале проводимости в полупроводниковых гетероструктурах. Был предложен алгоритм для получения численного решения обратных задач гиперболической теплопроводности и термоакустики с множественными дельта-образными источниками. Были доказаны свойства: невыпуклость, некорректность, (кусочная) гладкость. Получены верхние оценки сходимости градиентных методов. В задаче термоакустики с множественными источниками удалось добиться совместной сходимости по координатам и амплитудам источников в небольшой окрестности истинного решения. Предложен регулярный подход к решению задачи нехрупкой фильтрации, состоящей в синтезе матрицы фильтра, которая выдерживает допустимые вариации своих коэффициентов. Применение концепции инвариантных эллипсоидов позволило переформулировать исходную проблему в терминах линейных матричных неравенств и свести ее к параметрической задаче полуопределенного программирования, легко решающейся численно. Предложено решение задачи синтеза ПИД-регуляторов для подавления внешних возмущений на основе нового оптимизационного подхода, в котором исходная задача сводится к задаче невыпуклой матричной оптимизации. Задача поиска расстояния между выпуклыми компактными множествами сформулирована как задача минимизации опорной функции на единичной сфере. Получены условия, при которых гарантируется линейная скорость сходимости метода проекции градиента. Для специального класса трехчленных уравнений показано, что всплеск их решений неизбежен, если коэффициенты принадлежат определенным подмножествам области устойчивости; показано, что момент и величина всплеска могут принимать произвольно большие значения. Для некоторых специальных значений коэффициентов и начальных условий получены точные выражения для величины и момента всплеска или аналитические нижние оценки. Развит подход к решению задачи одновременной стабилизации семейства линейных систем второго порядка с переключениями с помощью статической линейной обратной связи по состоянию. Сформулирован конструктивный алгоритм синтеза систем с переключениями. В направлении обратных и некорректных задач были обобщены результаты, полученные в предыдyщие этапы работ по проектy, а также разработан алгоритм решения обратной задачи термоакустики с дельта-образными источниками. Точнее говоря, предложен подход к формализации определения градиента для обратных задач и других неклассических задач оптимизации с целью применения методов градиентного типа к задачам вариационного исчисления. Для исследованных типов таких задач были доказаны следующие свойства: отсутствие, вообще говоря, выпуклости, гладкость, аддитивный характер ошибки градиента при реализации подхода и отсутствие накопление самой ошибки, а также некорректность самой задачи. Исследован вопрос о возможности применения тензорных методов второго и третьего порядка для задач достаточно гладкой стохастической оптимизации. Расширена область приложения тензорных методов (в том числе и третьего порядка) на класс задач стохастической оптимизации (включающие рандомизированные постановки) и постановки задач включающие неточности. Получена серия результатов, позволяющих описать влияние “статистической схожести” слагаемых в задачах минимизации и седловых задачах сумм большого количества слагаемых на сложность таких задач, что является одним из фундаментальных вопросов в приложениях современных методов оптимизации к задачам машинного обучения. Новизна соответствующего исследования состоит в том, что рассмотрены методы типа Франк-Вyльфа (причём адаптивные), что естественно для задач с ограничениями и для относительно гладких задач, причём схожесть может вводиться и относительно неевклидовых прокс-функций (прокс-сетапов).

Публикации

56. Шатов Д.В. PI and PID Controllers Design for Tracking Systems via LQ Criterion IEEEXplore (год публикации - 2024)

Возможность практического использования результатов
Существенная часть выполненных исследований по проекту посвящена стохастическим и безградиентным оптимизационных методам, а также распределенной оптимизации. Все эти специальные оптимизационные процедуры мотивированы именно желанием удешевления вычислительных затрат при решении задач машинного обучения, возникающих в самых разных практических задачах. Например, в приложениях безградиентные методы часто возникают при настройке (подборе) гиперпараметров. Кроме того, методы типа Франк-Вульфа активно используются для оптимизационных задач транспортного моделирования. В ходе реализации проекта подготовлены 2 статьи по адаптивным версиям такого метода, для которых полyчены yдобные для практики теоретические оценки с настраиваемыми в ходе работы метода параметрами. Представляется, что эти наработки потенциально могут быть полезными и для задач транспортного моделирования. Разрабатываемые методы синтеза ПИ- и ПИД-регуляторов могут быть использованы на реальном объекте управления при решении задачи синтеза обратной связи, а также при исследовании фактических показателей качества системы, замкнутой синтезированным ПИ/ПИД-регулятором (например, при решении задачи стабилизации БПЛА по углам Эйлера и задачи управления высотой).