КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер проекта 24-21-00015
НазваниеАнализ и численные методы для негладких уравнений и задач оптимизации с неизолированными решениями
Руководитель Измаилов Алексей Феридович, Доктор физико-математических наук
Организация финансирования, регион Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный университет имени M.В.Ломоносова» , г Москва
Конкурс №89 - Конкурс 2023 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами»
Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-203 - Теория оптимизации и исследование операций
Ключевые слова нелинейное уравнение, уравнение с ограничениями, кусочная гладкость, полугладкость, ньютоновский метод, оценка расстояния до решений, особое решение, неизолированное решение, критическое решение, 2-регулярность, ускорение сходимости, глобализация сходимости, задачи оптимизации с распадающимися ограничениями
Код ГРНТИ27.41.41, 27.47.19
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Системы нелинейных уравнений с дополнительными ограничениями - естественная схема для описания, анализа и решения широких и важных классов вариационных задач. Дополнительные ограничения возникают естественным образом как часть самой модели, либо требуются для анализа или методов решения получаемых задач.
Основная цель этого проекта состоит в развитии аналитических и численных средств для систем негладких уравнений с ограничениями и задач оптимизации, имеющих неизолированные решения. К естественным источникам таких задач, для которых характерна неизолированность решений, относятся задачи поиска обобщенного равновесия Нэша, задачи оптимизации с комплементарными ограничениями, другие классы задач оптимизации с распадающимися ограничениями, а также квазивариационные неравенства.
Для частного случая гладких уравнений без ограничений хорошо известно, что их множества решений могут содержать тощие подмножества так называемых критических решений, которые существенно ухудшают поведение ньютоновских и других методов, и в то же время, оказываются устойчивыми по отношению к широким классам возмущений. Природа и последствия этого феномена на данный момент достаточно хорошо исследованы. Однако, для уравнений с ограничениями, негладких уравнений, и особенно для постановок задач комбинирующих эти проблемные свойства, понимание этих эффектов находится в начале своего становления, и развитие этого понимания относится к основным целям проекта.
С указанной целью тесно связана задача использования понимания таких аналогов критических решений для улучшения поведения ньютоновских методов. Представляется, что это возможно либо за счет подавления тенденции сходимости к таким решениям, либо ускорения сходимости к ним. Последнее становится особенно нетривиальным в контексте глобализации сходимости, поскольку глобализованный алгоритм должен асимптотически наследовать характер сходимости базового локального алгоритма, чтобы средства ускорения могли дать эффект. Наконец, еще одной основной целью проекта является применение разрабатываемых теоретических и численных средств к упомянутым выше специальным классам задач.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Аннотация результатов, полученных в 2024 году
1. Получены условия, гарантирующие устойчивость (возможно) неизолированных решений нелинейных уравнений по отношению к широким классам возмущений при сниженных требованиях гладкости и при наличии дополнительных ограничений. А именно, естественные достаточные условия такого рода были получены для уравнений с один раз дифференцируемых отображениями, производные которых всего лишь липшицевы и B-дифференцируемы, а вторые производные могут не существовать, а также для кусочно-гладких уравнений. Полученные результаты были применены к анализу устойчивости решений комплементарных систем которые играют ключевую роль при исследовании различных классов вариационных задач, систем условий оптимальности, и задач о равновесиях (таких, как обобщенное равновесие Нэша).
2. Получены условия притяжения к особым решениям ньютоновских методов для уравнений с липшицевыми и B-дифференцируемыми производными, а также для уравнений с ограничениями в случае кусочной гладкости. Результаты конкретизированы для условных вариантов метода Гаусса-Ньютона, Левенберга-Марквардта, и метода Ньютона с подзадачами линейного программирования, и применены к переформулировкам нелинейных комплементарных задач в виде гладких уравнений с ограничениями.
3. Разработан кусочный метод Левенберга-Марквардта и теория его локальной сверхлинейной сходимости для кусочно-гладких уравнений с ограничениями, в предположениях, допускающих неизолированность решений. Локальная сверхлинейная сходимость установлена для варианта метода, в котором параметр регуляризации выбирается как некоторая степень невязки уравнения, в предположениях о выполнении так называемого P-свойства и кусочной липшицевой оценки расстояния (что допускает неизолированность решения). Дана неулучшаемая характеризация Q-порядка сверхлинейной скорости сходимости в зависимости от показателя степени в параметре регуляризации. Получены условия на допустимую неточность решения подзадач метода (также зависящие от показателя степени в параметре регуляризации), при которой сохраняется сверхлинейная скорость сходимости. Предложен способ глобализация сходимости кусочного метода Левенберга-Марквардта одномерным поиском. При выполнении так называемого условия мажорирования (влекущего, в частности, P-свойство в каждом решении) доказана глобальная сходимость такого алгоритма в смысле стационарности предельных точек генерируемых им последовательностей в задаче минимизации квадрата невязки какого-то активного гладкого уравнения на допустимом множестве. Установлено асимптотическое принятие алгоритмом полного шага, что обеспечивает наследование им сверхлинейной скорости сходимости локального метода. Разработанные алгоритмы применены к переформулировкам конкатенированных систем условий первого порядка оптимальности игроков в задаче об обобщенном равновесии Нэша. Проведено сравнительное численное тестирование разработанных глобализованных алгоритмов и имеющихся альтернатив.
4. Для задачи оптимизации с ограничениями-равенствами предложена интерпретация практически важных методов последовательного квадратичного программирования, использующих суженную на ядро матрицы Якоби ограничений матрицу Гессе функции Лагранжа, как возмущенного метода Ньютона-Лагранжа. Показано, что такая интерпретация с нужными оценками на возмущения возможна для определенных последовательностей, генерируемых вариантами метода с поправками второго порядка. Это позволяет с общих позиций установить сверхлинейную скорость сходимости таких последовательностей, вообще говоря отсутствующую для основных последовательностей рассматриваемых методов.
5. Разработана стратегия глобализации сходимости прямо-двойственных алгоритмов условной оптимизации, снабженных средствами модификации двойственных приближений, предназначенными для подавления сходимости к критическим множителям Лагранжа. В основе предложенного способа глобализации — объединение прямого стабилизированного метода последовательного квадратичного программирования с методом модифицированных функций Лагранжа. Стратегия глобализации основана на том, что итерацию стабилизированного метода последовательного квадратичного программирования можно интерпретировать как линеаризацию итерации метода модифицированных функций Лагранжа, и соответствующее направление может использоваться как направление убывания модифицированной функций Лагранжа. В рамках проекта разработана принципиальная схема такого глобализованного алгоритма.
Публикации
1.
Волков А.А., Измаилов А.Ф., Усков Е.И.
Методы с суженной матрицей Гессе как возмущенный метод Ньютона-Лагранжа
Вестник российских университетов. Математика, Т. 29, N 145, С. 51-64 (год публикации - 2024)
10.20310/2686-9667-2024-29-145-51-64
2.
Измаилов А.Ф., Усков Е.И., Янь Чжибай
Piecewise Levenberg-Marquardt method for generalized Nash equilibrium problems
Advances in Systems Science and Applications, V. 24, N 2. P. 19-31 (год публикации - 2024)
10.25728/assa.2024.2024.02.1639
3.
Измаилов А.Ф., Усков Е.И.
Ускорение сходимости ньютоновских методов к особым решениям нелинейных уравнений
Вестник российских университетов. Математика, Т. 29, №148, С.401-424 (год публикации - 2024)
10.20310/2686-9667-2024-29-148-401-424
4.
Измаилов А.Ф., Усков Е.И., Янь Чжибай
The piecewise Levenberg-Marquardt method
Advances in Systems Science and Applications, V. 24, № 1, P. 29-39 (год публикации - 2024)
10.25728/assa.2024.24.1.1550
5.
Измаилов А.Ф., Усков Е.И., Янь Чжибай
Globalization of convergence of the constrained piecewise Levenberg-Marquardt method
Optimization Methods and Software (год публикации - 2024)
10.1080/10556788.2024.2400468
Аннотация результатов, полученных в 2025 году
1. Получены результаты об оценках расстояния до множества решений системы Каруша-Куна-Таккера (ККТ) задачи оптимизации с комплементарными ограничениями (ЗОКО), переформулированный как система гладких или кусочно-гладких уравнений с ограничениями. Такие задачи, с одной стороны, привлекают большой интерес из-за наличия множества приложений (скажем, в двухуровневой оптимизации), а с другой стороны, порождают трудности при их теоретическом анализе и практическом решении, поскольку неизбежно являются вырожденными: стандартные условия регулярности ограничений нарушаются в любой допустимой точке такой задачи, что приводит к неизбежной неединственности соответствующих множителей Лагранжа, а значит, решения рассматриваемого уравнения с ограничением всегда являются неизолированными.
Сказанное мотивирует применение к данному уравнению с ограничением метода Левенберга-Марквардта и его кусочных версий, разработанных ранее в рамках проекта, а также метода Ньютона с подзадачами линейного программирования, поскольку эти численные стратегии ориентированы именно на случай потенциально неизолированных решений. Были получены результаты, гарантирующие выполнение необходимых для обоснования локальной сверхлинейной сходимости этих методов (кусочных) оценок расстояния до множеств решений, причем в слабых предположениях, не включающих в себя ЗОКО-условие линейной независимости, а для кусочно-гладкой переформулировки не использующих также и условие строгой дополнительности верхнего уровня. Более того, при выполнении условия строгой дополнительности верхнего уровня получены дальнейшие достаточные условия требуемых оценок расстояния, в том числе условие Мангасариана-Фромовица и ослабленное условие постоянного ранга для локального представления множества решений системы ККТ. Получены численные результаты, поддерживающие этот подход, и в частности, демонстрирующие, что результаты работы этих методов вполне конкурентоспособны не только в плане сходимости к сильно стационарным точкам ЗОКО, но и в плане достигаемых значений целевой функции исходной задачи оптимизации.
2. Стратегия глобализации сходимости ньютоновских методов условной оптимизации с двойственной модификацией, разработанная в первый год реализации проекта, была реализована в виде конкретного алгоритма для задачи оптимизации с ограничениями-равенствами. Алгоритм объединяет в себе прямую версию (изначально прямо-двойственного) стабилизированного метода последовательного квадратичного программирования и метода модифицированных функций Лагранжа. Обоснована глобальная сходимость предложенного алгоритма к стационарным точкам исходной задачи, а также квадратичная скорость сходимости при соответствующих предположениях.
3. Было показано, что метод Ньютона, применяемый к системе нелинейных уравнений после трансформации ее переменных, а также метод Ньютона, применяемый к трансформации самих уравнений системы (нелинейное предобусловливание, которое может служить, в частности, для улучшения обусловленности решаемой задачи и повышения эффективности применяемых методов), могут интерпретироваться через общую схему возмущенного метода Ньютона. Это позволяет получить новое понимание природы этих методов с единой точки зрения, а также некоторые новые результаты о локальной сходимости в случае особых решений. А именно, полученные результаты позволяют обосновать сходимости метода Ньютона с трансформацией переменных к особому решению из всех начальных точек, лежащих в асимптотически плотной звездной относительно решения области, причем скорость сходимости линейная, с асимптотическим общим частным 1/2. Метод с трансформацией уравнений обладает аналогичными свойствами локальной сходимости из широкой звездной области начальных точек, но асимптотически плотной эта область, вообще говоря, не является.
4. Простейшая процедура экстраполяции для ускорения сходимости ньютоновских методов к особому решению гладкого нелинейного уравнения состоит в генерировании вспомогательной итеративной последовательности посредством удвоения ньютоновского смещения. Для базового метода Ньютона такая процедура позволяет уменьшить асимптотическое общее частное в оценке скорости сходимости с 1/2 до 1/4. Было продемонстрировано, что ускоряющий эффект процедуры экстраполяции для разных ньютоновских методов, включая метод Левенберга-Марквардта и ньютоновский метод с подзадачами линейного программирования, может быть разным. Для линейно-квадратичных уравнений были получены теоретические результаты, дающие количественные оценки потенциального эффекта от экстраполяции, в определенном смысле объясняющие наблюдаемую разницу. Теоретически анализ основан на интерпретации этих методов как возмущенного метода Ньютона с соответствующими оценками на возмущения, а также на тонких результатах, количественно характеризующих шаг такого возмущенного метода и его локальную сходимость с линейной скоростью к особым решениям. Также были проведены численные эксперименты с глобализованными версиями указанных алгоритмов, снабженные процедурами выбором параметра длины шага, на двух тестовых наборах. Экспериментальные наблюдения подтверждают теоретические результаты, а также демонстрируют, что в случаях, когда уравнение содержит нелинейные и неквадратичные
члены, то эффект от экстраполяции выравнивается.
Публикации
1.
Измаилов А.Ф.
Stability of solutions of piecewise smooth constrained nonlinear equations
Journal of Optimization Theory and Applications, V. 205. Art. N 40. (год публикации - 2025)
10.1007/s10957-025-02650-3
2.
Фишер А., Измаилов А.Ф., Желитт М.
New sufficient and necessary conditions for constrained and unconstrained Lipschitzian error bounds
Optimization (год публикации - 2025)
10.1080/02331934.2025.2547718
3.
Измаилов А.Ф., Усков Е.И.
Гибридная глобализация сходимости метода Левенберга-Марквардта для задач оптимизации с ограничениями-равенствами
Вестник российских университетов. Математика, Т. 30, N 149. С. 41-55 (год публикации - 2025)
10.20310/2686-9667-2025-30-149-41-55
4.
Фишер А., Измаилов А.Ф., Пунке М., Янь Чжибай
Error bounds and Newton-type methods for reformulations of Karush-Kuhn-Tucker systems of mathematical programs with complementarity constraints
Computational Optimization and Applications (год публикации - 2025)
10.1007/s10589-025-00729-1
5. Измаилов А.Ф., Янь Чжибай Методы Левенберга–Марквардта и методы Ньютона с подзадачами линейного программирования для задач оптимизации с комплементарными ограничениями Ломоносовские чтения. Научная конференция. 24 марта – 4 апреля 2025 г.: тезисы докладов, С. 76-77 (год публикации - 2025)
6.
Измаилов А.Ф., Янь Чжибай
Глобализованный кусочный метод Левенберга-Марквардта с процедурой для предотвращения сходимости к нестационарным точкам
Вестник российских университетов. Математика, Т. 30, N 152. С. 346-360 (год публикации - 2025)
10.20310/2686-9667-2025-30-152-346-360