КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ

---

Номер проекта 22-21-20065

НазваниеИсследование алгоритмов градиентного типа для специальных классов задач анализа данных с аналогами условия выпуклости

Руководитель Стонякин Федор Сергеевич, Доктор физико-математических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" , г Москва

Конкурс №65 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами» (региональный конкурс)

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-203 - Теория оптимизации и исследование операций

Ключевые слова Выпуклая оптимизация, невыпуклая оптимизация, оценки сложности (скорости сходимости), условие Липшица градиента, условие Липшица, проксимальное условие Поляка-Лоясиевича, адаптивные численные методы, анализ данных, машинное обучение, квазивыпуклая функция, геометрическое программирование

Код ГРНТИ27.41.00

---

 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

---

Аннотация
Многие актуальные постановки задач машинного обучения приводят к математическим оптимизационным задачам с целевыми функциями, теряющими свойство выпуклости. Как известно, в общем случае для невыпуклых оптимизационных задач (особенно достаточно высокой размерности) оценки сложности переборных методов неулучшаемы (см., например, монографию А.С. Немировского и Д.Б. Юдина. "Сложность задач и эффективность методов оптимизации"). Однако всё же известны некоторые классы задач с аналогами (релаксациями) выпуклости, которые позволяют вывести эффективные теоретические гарантии скорости сходимости для методов градиентного типа. Например, это задачи с условием градиентного доминирования Поляка-Лоясиевича, задачи со слабо выпуклыми функциями, задачи геометрического программирования, а также допускающее построение ускоренных и стохастических градиентных методов предположение о слабой alpha-квазивыпуклости. Как и для выпуклых задач, не зависящих от размерности задач глобальных оценок сложности удаётся добиться за счёт подходящих предположений о свойствах гладкости функций. С другой стороны, в последние годы в выпуклой оптимизации возникли новые подходы к обобщению понятий гладкости (условие Липшица градиента) и сильной выпуклости --- относительная гладкость и относительная сильная выпуклость (см. Lu, Freud, Nesterov, 2018). Известно, что такие подходы существенно расширяют класс применимости (неускоренных) градиентных методов выпуклой оптимизации с сохранением вычислительных гарантий. Также достаточно популярны адаптивные методы для выпуклых оптимизационных задач, позволяющие вместо соответствующих глобальных значений параметров гладкости использовать в оценках скорости сходимости их локальные аналоги, настраиваемые в ходе работы методов. Адаптивность может позволить повысить качество выдаваемого решения (оценку скорости сходимости) и открывает возможность применения полученных результатов к задачам без априорного знания об их свойствах гладкости. Некоторый вклад в эту теорию внесли и работы руководителя проекта и предполагаемого члена научного коллектива. Цель проекта --- связать упомянутые в предыдущих двух абзацах направления и перенести упомянутые подходы и достижения для выпуклого случая на некоторые указанные выше классы невыпуклых задач. В частности, впервые будут исследованы методы градиентного типа и глобальные оценки скорости сходимости на классе задач с сочетанием условий типа относительной гладкости с условием градиентного доминирования Поляка-Лоясиевича. Будет впервые получена оценка скорости сходимости субградиентного метода на классе слабо выпуклых задач, удовлетворяющих условию Липшица, с использованием адаптивно подбираемых параметров. Данный результат намечено обобщить на рассматриваемый в прежних работах руководителя проекта и члена коллектива относительного обобщения условия Липшица с соответствующей вариацией слабой выпуклости. Наконец, впервые будут получены оценки скорости сходимости методов градиентного типа для задач геометрического программирования, содержащие адаптивно подбираемые параметры, соответствующие свойствам гладкости целевой функции. В ходе реализации проекта коллектив намерен подготовить 4-5 статей в высокорейтинговые издания согласно базам Scopus и WOS, принимать активное участие в конференциях и научных семинарах по оптимизации.

---

 

ОТЧЁТНЫЕ МАТЕРИАЛЫ

---