Buchumschlag

Directional Smoothness and Gradient Methods: Convergence and Adaptivity

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mishkin, Aaron, Khaled, Ahmed, Wang, Yuanhao, Defazio, Aaron, Gower, Robert M.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Level Set Teleportation: An Optimization Perspective
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

Prodigy: An Expeditiously Adaptive Parameter-Free Learner
von: Mishchenko, Konstantin, et al.
Veröffentlicht: (2023)

Muon Does Not Converge on Convex Lipschitz Functions
von: Parshakova, Tetiana, et al.
Veröffentlicht: (2026)

Glocal Smoothness: Line search and adaptive step sizes can help in theory too!
von: Fox, Curtis, et al.
Veröffentlicht: (2025)

The Road Less Scheduled
von: Defazio, Aaron, et al.
Veröffentlicht: (2024)

On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
von: Zhou, Dongruo, et al.
Veröffentlicht: (2018)

Improving Convergence and Generalization Using Parameter Symmetries
von: Zhao, Bo, et al.
Veröffentlicht: (2023)

DoWG Unleashed: An Efficient Universal Parameter-Free Gradient Descent Method
von: Khaled, Ahmed, et al.
Veröffentlicht: (2023)

Non-Euclidean Gradient Descent Operates at the Edge of Stability
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

On Convergence of Incremental Gradient for Non-Convex Smooth Functions
von: Koloskova, Anastasia, et al.
Veröffentlicht: (2023)

PARQ: Piecewise-Affine Regularized Quantization
von: Jin, Lisa, et al.
Veröffentlicht: (2025)

Near-Optimal Convergence of Accelerated Gradient Methods under Generalized and $(L_0, L_1)$-Smoothness
von: Tyurin, Alexander
Veröffentlicht: (2025)

Provably Convergent Decentralized Optimization over Directed Graphs under Generalized Smoothness
von: Bo, Yanan, et al.
Veröffentlicht: (2026)

Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness
von: Zhao, Yuheng, et al.
Veröffentlicht: (2025)

On the Last-Iterate Convergence of Shuffling Gradient Methods
von: Liu, Zijian, et al.
Veröffentlicht: (2024)

An Accelerated Gradient Method for Convex Smooth Simple Bilevel Optimization
von: Cao, Jincheng, et al.
Veröffentlicht: (2024)

Faster Gradient Methods for Highly-Smooth Stochastic Bilevel Optimization
von: Chen, Lesi, et al.
Veröffentlicht: (2025)

Adaptive Gradient Normalization and Independent Sampling for (Stochastic) Generalized-Smooth Optimization
von: Yang, Yufeng, et al.
Veröffentlicht: (2024)

Revisiting the Last-Iterate Convergence of Stochastic Gradient Methods
von: Liu, Zijian, et al.
Veröffentlicht: (2023)

Can Adaptive Gradient Methods Converge under Heavy-Tailed Noise? A Case Study of AdaGrad
von: Liu, Zijian
Veröffentlicht: (2026)

Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise
von: Pan, Rui, et al.
Veröffentlicht: (2023)

Adam-SHANG: A Convergent Adam-Type Method for Stochastic Smooth Convex Optimization
von: Yu, Yaxin, et al.
Veröffentlicht: (2026)

MoMo: Momentum Models for Adaptive Learning Rates
von: Schaipp, Fabian, et al.
Veröffentlicht: (2023)

In-Expectation Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise
von: Liu, Zijian
Veröffentlicht: (2026)

Beyond Stationarity: Convergence Analysis of Stochastic Softmax Policy Gradient Methods
von: Klein, Sara, et al.
Veröffentlicht: (2023)

Almost Sure Convergence Analysis of Differentially Private Stochastic Gradient Methods
von: Mukherjee, Amartya, et al.
Veröffentlicht: (2025)

MGDA Converges under Generalized Smoothness, Provably
von: Zhang, Qi, et al.
Veröffentlicht: (2024)

A Methodology Establishing Linear Convergence of Adaptive Gradient Methods under PL Inequality
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2024)

Linear-Quadratic Mean-Field Reinforcement Learning: Convergence of Policy Gradient Methods
von: Carmona, René, et al.
Veröffentlicht: (2019)

Improved Last-Iterate Convergence of Shuffling Gradient Methods for Nonsmooth Convex Optimization
von: Liu, Zijian, et al.
Veröffentlicht: (2025)

A Randomized Linearly Convergent Frank-Wolfe-type Method for Smooth Convex Minimization over the Spectrahedron
von: Garber, Dan
Veröffentlicht: (2025)

Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs
von: Ding, Dongsheng, et al.
Veröffentlicht: (2023)

Complexity Lower Bounds of Adaptive Gradient Algorithms for Non-convex Stochastic Optimization under Relaxed Smoothness
von: Crawshaw, Michael, et al.
Veröffentlicht: (2025)

Tracking the Median of Gradients with a Stochastic Proximal Point Method
von: Schaipp, Fabian, et al.
Veröffentlicht: (2024)

Inexactly Smooth Performance Estimation and New Optimized Gradient Methods
von: Zoll, Aaron, et al.
Veröffentlicht: (2026)

GANs as Gradient Flows that Converge
von: Huang, Yu-Jui, et al.
Veröffentlicht: (2022)

Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness
von: He, Qi, et al.
Veröffentlicht: (2025)

AdAdaGrad: Adaptive Batch Size Schemes for Adaptive Gradient Methods
von: Lau, Tim Tsz-Kit, et al.
Veröffentlicht: (2024)

Handbook of Convergence Theorems for (Stochastic) Gradient Methods
von: Garrigos, Guillaume, et al.
Veröffentlicht: (2023)