Аннотация результатов, полученных в 2025 году
В 2025 в рамках выполнения проекта были получены следующие основные научные результаты. 1. Реформулирование оптимизационных задач Выполнено реформулирование задач оптимизации в машинном обучении как обратных одноточечных задач. Задача глобальной оптимизации и минимизации функции потерь нейронной сети сведена к последовательности задач достижения целевого значения функции при изменении аргументов в соответствии с весовыми коэффициентами. Классическая LASSO-регрессии с лагранжевой формой переписана в виде условной оптимизации: минимизируется сумма абсолютных значений коэффициентов при фиксированном уровне ошибки. 2. Разработка и тестирование алгоритмов глобальной оптимизации на основе решения обратных задач. Разработан стохастический алгоритм для решения обратных задач в условиях многоэкстремальности целевой функции. На его основе предложены две модификации для глобальной оптимизации непрерывных функций: с равновероятным выбором аргумента и с выбором на основе градиентной информации. Комплексное тестирование на стандартном наборе тестовых функций CEC 2022 (включая функции Растригина, Розенброка и др.) с размерностями от 5 до 200 показало, что разработанные алгоритмы демонстрируют конкурентоспособную, а для ряда функций – превосходящую точность нахождения глобального минимума по сравнению с методами Dual Annealing, Particle Swarm Optimization и Genetic Algorithm. Особенно эффективно разработанные алгоритмы проявили себя для высокоразмерной функции Растригина. 3. Разработка алгоритмов минимизации функции потерь полносвязной нейронной сети. Разработаны модификации алгоритмов глобальной оптимизации, адаптированные для минимизации функции потерь в полносвязных нейронных сетях. Апробация проведена на задачах регрессии с использованием двух архитектур: однослойных (без скрытых слоёв) и с одним скрытым слоем. Исследовано 11 функций активации, включая специализированные (sincos, snake и ISRU и др.). Эксперименты на наборах данных из репозитория KEEL и на реальных временных рядах (температура, индекс Wilshire 2500) показали, что в ряде сценариев предложенные алгоритмы, особенно в сочетании с активацией sincos, превосходят классические оптимизаторы Adam и SGD, а также метаэвристику двойного отжига по качеству прогноза и демонстрируют существенно меньшую дисперсию ошибок на тестовых выборках. В частности, на наборах данных KEEL предложенные алгоритмы достигли минимальной ошибки в 74% случаев для однослойных сетей. 4. Построение алгоритмов обучения регрессии LASSO на основе метода решения обратной задачи. Разработаны оригинальные алгоритмы (Lasso-I и Lasso-H) обучения регрессии LASSO линейного и логистического вида на основе подхода через решение обратной задачи. Алгоритм Lasso-I формулирует классическую задачу LASSO как обратную задачу с минимизацией суммы абсолютных значений коэффициентов. Алгоритм Lasso-H представляет собой гибридный подход, сочетающий Lasso-I и пошаговую регрессию с использованием информационных критериев. Их ключевая особенность — отсутствие необходимости настройки параметра регуляризации с помощью кросс-валидации. Тестирование на 28 наборах данных показало, что Lasso-H обеспечил наилучшие значения информационного критерия AIC в 62,5% случаев для линейной регрессии и в 75% случаев для логистической регрессии, эффективно решив проблему мультиколлинеарности и обеспечив существенный отбор признаков. Кроме того, апробация модифицированной версии Lasso-H на синтетических данных с мультиколлинеарностью показала успешный отбор релевантных переменных при приемлемых значениях VIF, тогда как стандартные методы демонстрировали критически высокие значения этого показателя. Адаптация алгоритма к задаче обучения нейронных сетей показала его эффективность для получения разреженных моделей. При прогнозировании рентабельности однослойной нейронной сетью удалось сократить число параметров с 97 до 13 без потери точности. 5. Научные публикации и выступления по результатам проекта. По результатам исследования (2025 г.) подготовлены и опубликованы следующие научные работы: - 1 статья в журнале, индексируемом в Scopus (Q2); - 1 статья в журнале, индексируемом в Web of Science; - 2 статьи в журналах, индексируемых в иных зарубежных базах данных; - 3 статьи в материалах очных международных конференций, индексируемых в РИНЦ. Результаты исследования также были представлены устными докладами на двух международных научных конференциях. Участие в одной из конференций отмечено дипломом III степени.