Buchumschlag

Stochastic Polyak Step-sizes and Momentum: Convergence Guarantees and Practical Performance

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Oikonomou, Dimitris, Loizou, Nicolas
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Safeguarded Stochastic Polyak Step Sizes for Non-smooth Optimization: Robust Performance Without Small (Sub)Gradients
von: Oikonomou, Dimitris, et al.
Veröffentlicht: (2025)

Adaptive Sharpness-Aware Minimization with a Polyak-type Step size: A Theory-Grounded Scheduler
von: Oikonomou, Dimitris, et al.
Veröffentlicht: (2026)

Sharpness-Aware Minimization: General Analysis and Improved Rates
von: Oikonomou, Dimitris, et al.
Veröffentlicht: (2025)

Non-convex Stochastic Composite Optimization with Polyak Momentum
von: Gao, Yuan, et al.
Veröffentlicht: (2024)

Dynamics of SGD with Stochastic Polyak Stepsizes: Truly Adaptive Variants and Convergence to Exact Solution
von: Orvieto, Antonio, et al.
Veröffentlicht: (2022)

Stochastic Extragradient with Random Reshuffling: Improved Convergence for Variational Inequalities
von: Emmanouilidis, Konstantinos, et al.
Veröffentlicht: (2024)

Constrained Online Convex Optimization with Polyak Feasibility Steps
von: Hutchinson, Spencer, et al.
Veröffentlicht: (2025)

Gradient Descent with Polyak's Momentum Finds Flatter Minima via Large Catapults
von: Phunyaphibarn, Prin, et al.
Veröffentlicht: (2023)

Extragradient Method for $(L_0, L_1)$-Lipschitz Root-finding Problems
von: Choudhury, Sayantan, et al.
Veröffentlicht: (2025)

Stochastic Compositional Minimax Optimization with Provable Convergence Guarantees
von: Deng, Yuyang, et al.
Veröffentlicht: (2024)

Taking the Road Less Scheduled with Adaptive Polyak Steps
von: Oikonomou, Dimitris, et al.
Veröffentlicht: (2025)

Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates
von: Wu, Haotian
Veröffentlicht: (2025)

Faster Stochastic Algorithms for Minimax Optimization under Polyak--Łojasiewicz Conditions
von: Chen, Lesi, et al.
Veröffentlicht: (2023)

On the Convergence of the Gradient Descent Method with Stochastic Fixed-point Rounding Errors under the Polyak-Lojasiewicz Inequality
von: Xia, Lu, et al.
Veröffentlicht: (2023)

SANIA: Polyak-type Optimization Framework Leads to Scale Invariant Stochastic Algorithms
von: Abdukhakimov, Farshed, et al.
Veröffentlicht: (2023)

Sparse Polyak: an adaptive step size rule for high-dimensional M-estimation
von: Qiao, Tianqi, et al.
Veröffentlicht: (2025)

Locally Adaptive Federated Learning
von: Mukherjee, Sohom, et al.
Veröffentlicht: (2023)

Multiplayer Federated Learning: Reaching Equilibrium with Less Communication
von: Yoon, TaeHo, et al.
Veröffentlicht: (2025)

Dissipative Gradient Descent Ascent Method: A Control Theory Inspired Algorithm for Min-max Optimization
von: Zheng, Tianqi, et al.
Veröffentlicht: (2024)

Improving Stochastic Cubic Newton with Momentum
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2024)

Stochastic Difference-of-Convex Optimization with Momentum
von: Chayti, El Mahdi, et al.
Veröffentlicht: (2025)

Momentum Does Not Reduce Stochastic Noise in Stochastic Gradient Descent
von: Sato, Naoki, et al.
Veröffentlicht: (2024)

Lean and Mean Adaptive Optimization via Subset-Norm and Subspace-Momentum with Convergence Guarantees
von: Nguyen, Thien Hang, et al.
Veröffentlicht: (2024)

Memory-Reduced Meta-Learning with Guaranteed Convergence
von: Yang, Honglin, et al.
Veröffentlicht: (2024)

MAP Estimation with Denoisers: Convergence Rates and Guarantees
von: Pesme, Scott, et al.
Veröffentlicht: (2025)

Communication-Efficient Gradient Descent-Accent Methods for Distributed Variational Inequalities: Unified Analysis and Local Updates
von: Zhang, Siqi, et al.
Veröffentlicht: (2023)

Parameter-free Clipped Gradient Descent Meets Polyak
von: Takezawa, Yuki, et al.
Veröffentlicht: (2024)

Subspace Optimization for Large Language Models with Convergence Guarantees
von: He, Yutong, et al.
Veröffentlicht: (2024)

Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees
von: Xiao, Nachuan, et al.
Veröffentlicht: (2023)

Learning Over-Relaxation Policies for ADMM with Convergence Guarantees
von: Lin, Junan, et al.
Veröffentlicht: (2026)

Improved Convergence in Parameter-Agnostic Error Feedback through Momentum
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2025)

(Accelerated) Noise-adaptive Stochastic Heavy-Ball Momentum
von: Dang, Anh, et al.
Veröffentlicht: (2024)

Dynamics of Stochastic Momentum with Sparse Updates in High Dimensions
von: Everett, Katie, et al.
Veröffentlicht: (2026)

On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization
von: Sahu, Sharan, et al.
Veröffentlicht: (2026)

New Perspectives on the Polyak Stepsize: Surrogate Functions and Negative Results
von: Orabona, Francesco, et al.
Veröffentlicht: (2025)

Shuffling Heuristic in Variational Inequalities: Establishing New Convergence Guarantees
von: Medyakov, Daniil, et al.
Veröffentlicht: (2025)

Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees
von: Agafonov, Artem, et al.
Veröffentlicht: (2025)

Stochastic Compositional Optimization via Hybrid Momentum Frank--Wolfe
von: Chayti, El Mahdi
Veröffentlicht: (2026)

Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization
von: Liu, Wei, et al.
Veröffentlicht: (2025)