Buchumschlag

On the fast convergence of minibatch heavy ball momentum

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bollapragada, Raghu, Chen, Tyler, Ward, Rachel
Format:	Preprint
Veröffentlicht:	2022
Schlagworte:	Machine Learning Data Structures and Algorithms Numerical Analysis Optimization and Control 65K05, 90C06, 90C30, 65F10, 68W20
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Preconditioned subgradient method for composite optimization: overparameterization and fast convergence
von: Díaz, Mateo, et al.
Veröffentlicht: (2025)

On the Convergence and Complexity of Proximal Gradient and Accelerated Proximal Gradient Methods under Adaptive Gradient Estimation
von: Bollapragada, Raghu, et al.
Veröffentlicht: (2025)

A Fast Monte Carlo algorithm for evaluating matrix functions with application in complex networks
von: Guidotti, Nicolas L., et al.
Veröffentlicht: (2023)

Retrospective Approximation Sequential Quadratic Programming for Stochastic Optimization with General Deterministic Nonlinear Constraints
von: Berahas, Albert S., et al.
Veröffentlicht: (2025)

Distributed Gradient-Regularized Newton Method: Scheduled Consensus and O(epsilon^{-1}) Global Iteration Complexity
von: Hu, Wei, et al.
Veröffentlicht: (2026)

Accelerated Gradient Methods with Gradient Restart: Global Linear Convergence
von: Bao, Chenglong, et al.
Veröffentlicht: (2024)

The Global R-linear Convergence of Nesterov's Accelerated Gradient Method with Unknown Strongly Convex Parameter
von: Bao, Chenglong, et al.
Veröffentlicht: (2023)

Convergence of iterates and improved rates for accelerated augmented Lagrangian methods for linearly constrained convex optimization
von: He, Xin, et al.
Veröffentlicht: (2026)

Stochastic momentum ADMM for nonconvex and nonsmooth optimization with application to PnP algorithm
von: Deng, Kangkang, et al.
Veröffentlicht: (2025)

Delayed Feedback in Online Non-Convex Optimization: A Non-Stationary Approach with Applications
von: Lara, Felipe, et al.
Veröffentlicht: (2024)

On the boundedness of the sequence generated by minibatch stochastic gradient descent
von: Bauschke, Heinz H., et al.
Veröffentlicht: (2025)

On the convergence of proximal gradient methods for convex simple bilevel optimization
von: Latafat, Puya, et al.
Veröffentlicht: (2023)

Affordable mixed-integer Lagrangian methods: optimality conditions and convergence analysis
von: De Marchi, Alberto
Veröffentlicht: (2024)

Gradient descent with adaptive stepsize converges (nearly) linearly under fourth-order growth
von: Davis, Damek, et al.
Veröffentlicht: (2024)

A MINRES-based Linesearch Algorithm for Nonconvex Optimization with Non-positive Curvature Detection
von: Zeng, Hanfeng, et al.
Veröffentlicht: (2026)

Universal heavy-ball method for nonconvex optimization under Hölder continuous Hessians
von: Marumo, Naoki, et al.
Veröffentlicht: (2023)

Oracle complexities of augmented Lagrangian methods for nonsmooth manifold optimization
von: Deng, Kangkang, et al.
Veröffentlicht: (2024)

Heavy-ball Differential Equation Achieves $O(\varepsilon^{-7/4})$ Convergence for Nonconvex Functions
von: Okamura, Kaito, et al.
Veröffentlicht: (2024)

Effectively Leveraging Momentum Terms in Stochastic Line Search Frameworks for Fast Optimization of Finite-Sum Problems
von: Lapucci, Matteo, et al.
Veröffentlicht: (2024)

Convergence Conditions for Stochastic Line Search Based Optimization of Over-parametrized Models
von: Lapucci, Matteo, et al.
Veröffentlicht: (2024)

A linesearch-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
von: Zeng, Hanfeng, et al.
Veröffentlicht: (2026)

Mixed-integer linearity in nonlinear optimization: a trust region approach
von: De Marchi, Alberto
Veröffentlicht: (2023)

Variational Properties of Decomposable Functions. Part I: Strict Epi-Calculus and Applications
von: Ouyang, Wenqing, et al.
Veröffentlicht: (2023)

A Lasry-Lions envelope approach for mathematical programs with complementarity constraints
von: Wang, Jia, et al.
Veröffentlicht: (2025)

Randomized block proximal method with locally Lipschitz continuous gradient
von: Pérez-Aros, Pedro, et al.
Veröffentlicht: (2025)

Variational Properties of Decomposable Functions. Part II: Strong Second-Order Theory
von: Ouyang, Wenqing, et al.
Veröffentlicht: (2023)

Hybrid optimal control with mixed-integer Lagrangian methods
von: Nikitina, Viktoriya, et al.
Veröffentlicht: (2024)

General Optimal Step-size for ADMM-type Algorithms: Domain Parametrization and Optimal Rates
von: Ran, Yifan
Veröffentlicht: (2023)

Stability and convergence analysis of AdaGrad for non-convex optimization via novel stopping time-based techniques
von: Jin, Ruinan, et al.
Veröffentlicht: (2024)

A globalization of L-BFGS and the Barzilai-Borwein method for nonconvex unconstrained optimization
von: Mannel, Florian
Veröffentlicht: (2024)

ASPEN: An Additional Sampling Penalty Method for Finite-Sum Optimization Problems with Nonlinear Equality Constraints
von: Krejić, Nataša, et al.
Veröffentlicht: (2025)

Optimization in Theory and Practice
von: Wright, Stephen J.
Veröffentlicht: (2025)

A non-monotone trust-region method with noisy oracles and additional sampling
von: Krejic, Natasa, et al.
Veröffentlicht: (2023)

A structured L-BFGS method and its application to inverse problems
von: Mannel, Florian, et al.
Veröffentlicht: (2023)

A structured L-BFGS method with diagonal scaling and its application to image registration
von: Mannel, Florian, et al.
Veröffentlicht: (2024)

A Massively Parallel Interior-Point Method for Arrowhead Linear Programs with Local Linking Structure
von: Kempke, Nils-Christian, et al.
Veröffentlicht: (2024)

On the convergence of adaptive first order methods: proximal gradient and alternating minimization algorithms
von: Latafat, Puya, et al.
Veröffentlicht: (2023)

Safeguarding adaptive methods: global convergence of Barzilai-Borwein and other stepsize choices
von: Ou, Hongjia, et al.
Veröffentlicht: (2024)

RA-DCA: A Randomized Active-Set DCA for Directional Stationarity in Max-Structured DC Programs
von: Niu, Yi-Shuai
Veröffentlicht: (2026)

On a globally convergent semismooth* Newton method in nonsmooth nonconvex optimization
von: Gfrerer, H.
Veröffentlicht: (2024)