АДАПТИВНЫЕ МЕТОДЫ ДЛЯ ВАРИАЦИОННЫХ НЕРАВЕНСТВ С ОТНОСИТЕЛЬНО ГЛАДКИМИ И ОТНОСИТЕЛЬНО СИЛЬНО МОНОТОННЫМИ ОПЕРАТОРАМИ

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Статья посвящена некоторым адаптивным методам для вариационных неравенств с относительно гладкими и относительно сильно монотонными операторами. Отталкиваясь от недавно предложенного проксимального варианта экстраградиентного метода для такого класса задач, мы детально исследуем метод с адаптивно подбираемыми значениями параметров. Доказана оценка скорости сходимости этого метода. Результат обобщен на класс вариационных неравенств с относительно сильно монотонными \(\delta \)-обобщенно гладкими операторами вариационного неравенства. Для задачи гребневой регрессии и вариационного неравенства, связанного с параллелепипедно-симплексными играми, выполнены численные эксперименты, демонстрирующие эффективность предложенной методики адаптивного подбора параметров в ходе реализации алгоритма.

Об авторах

С. С. Аблаев

Московский физико-технический институт; Крымский федеральный университет им. В.И. Вернадского

Автор, ответственный за переписку.
Email: seydamet.ablaev@yandex.ru
Россия, 141701, г. Долгопрудный, Институтский пер., 9; Россия, 295007, г. Симферополь, проспект академика Вернадского, 4

Ф. С. Стонякин

Московский физико-технический институт; Крымский федеральный университет им. В.И. Вернадского

Автор, ответственный за переписку.
Email: fedyor@mail.ru
Россия, 141701, г. Долгопрудный, Институтский пер., 9; Россия, 295007, г. Симферополь, проспект академика Вернадского, 4

М. С. Алкуса

Московский физико-технический институт; Национальный исследовательский университет “Высшая школа экономики”

Автор, ответственный за переписку.
Email: mohammad.alkousa@phystech.edu
Россия, 141701, г. Долгопрудный, Институтский пер., 9; Россия, 101000, г. Москва, ул. Мясницкая, д. 20

Д. А. Пасечнюк

Московский физико-технический институт; Исследовательский центр доверенного искусственного интеллекта ИСП РАН

Автор, ответственный за переписку.
Email: dmivilensky1@gmail.com
Россия, 141701, г. Долгопрудный, Институтский пер., 9; Россия, 109004, г. Москва, ул. Александра Солженицына, 25

Список литературы

  1. Stonyakin F., Tyurin A., Gasnikov A., Dvurechensky P., Agafonov A., Dvinskikh D., Alkousa M., Pasechnyuk D., Artamonov S., Piskunova V. Inexact Relative Smoothness and Strong Convexity for Optimization and Variational Inequalities by Inexact Model // Optim. Methods and Software. 2021. V. 36. № 6. P. 1155–1201.
  2. Cohen M.B., Sidford A., Tian K. Relative Lipschitzness in Extragradient Methods and a Direct Recipe for Acceleration. arXiv preprint https://arxiv.org/pdf/2011.06572.pdf (2020).
  3. Titov A.A., Ablaev S.S., Stonyakin F.S., Alkousa M.S., Gasnikov A. Some Adaptive First-Order Methods for Variational Inequalities with Relatively Strongly Monotone Operators and Generalized Smoothness. In: Olenev N., Evtushenko Y., Jaćimović M., Khachay M., Malkova V., Pospelov I. (eds) Optimization and Applications. OPTIMA 2022. Lecture Notes in Computer Science, vol 13781. Springer, Cham, 2022.
  4. Bauschke H.H., Bolte J., Teboulle M. A descent lemma beyond Lipschitz gradient continuity: first-order methods revisited and applications // Mathematics of Operations Research. 2017. V. 42 (1.2). P. 330–348.
  5. Lu H., Freund R.M., Nesterov Y. Relatively smooth convex optimization by first-order methods, and applications // SIAM Journal on Optimization. 2018. V. 28 (1.1). P. 333–354.
  6. Hendrikx H., Xiao L., Bubeck S., Bach F., Massoulie L. Statistically preconditioned accelerated gradient method for distributed optimization. In International conference on machine learning, 4203–4227. PMLR, 2020.
  7. Tian Y., Scutari G., Cao T., Gasnikov A. Acceleration in Distributed Optimization under Similarity. Proceedings of The 25th International Conference on Artificial Intelligence and Statistics // PMLR. 2022. V. 151. P. 5721–5756.
  8. Jin Y., Sidford A., Tian K. Sharper Rates for Separable Minimax and Finite Sum Optimization via Primal-Dual Extragradient Methods. In Conference on Learning Theory, 4362–4415. PMLR, 2022.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2.

Скачать (53KB)
3.

Скачать (68KB)

© С.С. Аблаев, Ф.С. Стонякин, М.С. Алкуса, Д.А. Пасечнюк, 2023

Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах