Buchumschlag

Accelerated Gradient Descent for Faster Convergence with Minimal Overhead

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Graca, Manuel, Silveira, L. Miguel, Oliveira, Arlindo, Liu, Frank
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

Enhancing Stochastic Gradient Descent: A Unified Framework and Novel Acceleration Methods for Faster Convergence
von: Deng, Yichuan, et al.
Veröffentlicht: (2024)

Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
von: Oowada, Kanata, et al.
Veröffentlicht: (2025)

Faster Acceleration for Steepest Descent
von: Bai, Cedar Site, et al.
Veröffentlicht: (2024)

Convergence Properties of Natural Gradient Descent for Minimizing KL Divergence
von: Datar, Adwait, et al.
Veröffentlicht: (2025)

Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding
von: Kawamura, Yuya, et al.
Veröffentlicht: (2024)

Stacking as Accelerated Gradient Descent
von: Agarwal, Naman, et al.
Veröffentlicht: (2024)

On the Convergence Rate of LoRA Gradient Descent
von: Mu, Siqiao, et al.
Veröffentlicht: (2025)

Provably Faster Gradient Descent via Long Steps
von: Grimmer, Benjamin
Veröffentlicht: (2023)

Learning Provably Improves the Convergence of Gradient Descent
von: Song, Qingyu, et al.
Veröffentlicht: (2025)

Convergence of Alternating Gradient Descent for Matrix Factorization
von: Ward, Rachel, et al.
Veröffentlicht: (2023)

Anytime Acceleration of Gradient Descent
von: Zhang, Zihan, et al.
Veröffentlicht: (2024)

Convergence Acceleration of Markov Chain Monte Carlo-based Gradient Descent by Deep Unfolding
von: Hagiwara, Ryo, et al.
Veröffentlicht: (2024)

Product-Stability: Provable Convergence for Gradient Descent on the Edge of Stability
von: Gan, Eric
Veröffentlicht: (2026)

On the Convergence of Gradient Descent for Large Learning Rates
von: Crăciun, Alexandru, et al.
Veröffentlicht: (2024)

Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
von: Li, Tianyou, et al.
Veröffentlicht: (2023)

Open Problem: Anytime Convergence Rate of Gradient Descent
von: Kornowski, Guy, et al.
Veröffentlicht: (2024)

On the Convergence of Gradient Descent on Learning Transformers with Residual Connections
von: Qin, Zhen, et al.
Veröffentlicht: (2025)

Armijo Line-search Can Make (Stochastic) Gradient Descent Provably Faster
von: Vaswani, Sharan, et al.
Veröffentlicht: (2025)

Minimax Optimal Convergence of Gradient Descent in Logistic Regression via Large and Adaptive Stepsizes
von: Zhang, Ruiqi, et al.
Veröffentlicht: (2025)

Streaming Krylov-Accelerated Stochastic Gradient Descent
von: Thomas, Stephen
Veröffentlicht: (2025)

Preconditioning for Accelerated Gradient Descent Optimization and Regularization
von: Ye, Qiang
Veröffentlicht: (2024)

Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
von: Kamo, Keisuke, et al.
Veröffentlicht: (2025)

Gradient Descent with Large Step Sizes: Chaos and Fractal Convergence Region
von: Liang, Shuang, et al.
Veröffentlicht: (2025)

Convergence Analysis of Fractional Gradient Descent
von: Aggarwal, Ashwani
Veröffentlicht: (2023)

Large Stepsizes Accelerate Gradient Descent for Regularized Logistic Regression
von: Wu, Jingfeng, et al.
Veröffentlicht: (2025)

Egalitarian Gradient Descent: A Simple Approach to Accelerated Grokking
von: Pasand, Ali Saheb, et al.
Veröffentlicht: (2025)

Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
von: Kale, Sacchit, et al.
Veröffentlicht: (2026)

On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes
von: Kong, Boao, et al.
Veröffentlicht: (2026)

Convergence of Gradient Descent with Small Initialization for Unregularized Matrix Completion
von: Ma, Jianhao, et al.
Veröffentlicht: (2024)

Convergence and Implicit Bias of Gradient Descent on Continual Linear Classification
von: Jung, Hyunji, et al.
Veröffentlicht: (2025)

On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks
von: Gao, Yihang, et al.
Veröffentlicht: (2024)

Negative Stepsizes Make Gradient-Descent-Ascent Converge
von: Shugart, Henry, et al.
Veröffentlicht: (2025)

Global Convergence Analysis of Vanilla Gradient Descent for Asymmetric Matrix Completion
von: Zhang, Xu, et al.
Veröffentlicht: (2025)

Convergence of Gradient Descent for Recurrent Neural Networks: A Nonasymptotic Analysis
von: Cayci, Semih, et al.
Veröffentlicht: (2024)

Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
von: Li, Xiang, et al.
Veröffentlicht: (2024)

Convergence Rates for Gradient Descent on the Edge of Stability in Overparametrised Least Squares
von: MacDonald, Lachlan Ewen, et al.
Veröffentlicht: (2025)

Convergence Analysis of Natural Gradient Descent for Over-parameterized Physics-Informed Neural Networks
von: Xu, Xianliang, et al.
Veröffentlicht: (2024)

Gradient Descent Converges Linearly to Flatter Minima than Gradient Flow in Shallow Linear Networks
von: Beneventano, Pierfrancesco, et al.
Veröffentlicht: (2025)

FedBCD:Communication-Efficient Accelerated Block Coordinate Gradient Descent for Federated Learning
von: Liu, Junkang, et al.
Veröffentlicht: (2026)