Buchumschlag

Provably Faster Gradient Descent via Long Steps

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Grimmer, Benjamin
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Optimization and Control Machine Learning Numerical Analysis
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Fast and Provable Tensor-Train Format Tensor Completion via Precondtioned Riemannian Gradient Descent
von: Bian, Fengmiao, et al.
Veröffentlicht: (2025)

Super Gradient Descent: Global Optimization requires Global Gradient
von: Achour, Seifeddine
Veröffentlicht: (2024)

Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration
von: Tyurin, Alexander
Veröffentlicht: (2025)

Gradient is All You Need? How Consensus-Based Optimization can be Interpreted as a Stochastic Relaxation of Gradient Descent
von: Riedl, Konstantin, et al.
Veröffentlicht: (2023)

On the Convergence of the Gradient Descent Method with Stochastic Fixed-point Rounding Errors under the Polyak-Lojasiewicz Inequality
von: Xia, Lu, et al.
Veröffentlicht: (2023)

Dual Cone Gradient Descent for Training Physics-Informed Neural Networks
von: Hwang, Youngsik, et al.
Veröffentlicht: (2024)

Modified Loss of Momentum Gradient Descent: Fine-Grained Analysis
von: Cattaneo, Matias D., et al.
Veröffentlicht: (2025)

Faster Randomized Methods for Orthogonality Constrained Problems
von: Shustin, Boris, et al.
Veröffentlicht: (2021)

Convergence Analysis of Fractional Gradient Descent
von: Aggarwal, Ashwani
Veröffentlicht: (2023)

Beyond Muon: MUD (MomentUm Decorrelation) for Faster Transformer Training
von: Southworth, Ben S., et al.
Veröffentlicht: (2026)

Fast Unconstrained Optimization via Hessian Averaging and Adaptive Gradient Sampling Methods
von: O'Leary-Roseberry, Thomas, et al.
Veröffentlicht: (2024)

A Block Coordinate Descent Method for Nonsmooth Composite Optimization under Orthogonality Constraints
von: Yuan, Ganzhao
Veröffentlicht: (2023)

A Single-Loop Gradient Descent and Perturbed Ascent Algorithm for Nonconvex Functional Constrained Optimization
von: Lu, Songtao
Veröffentlicht: (2022)

Policy Gradient with Second Order Momentum
von: Sun, Tianyu
Veröffentlicht: (2025)

Last-Iterate Convergence of Randomized Kaczmarz and SGD with Greedy Step Size
von: Dereziński, Michał, et al.
Veröffentlicht: (2026)

Adaptive Proximal Gradient Method for Convex Optimization
von: Malitsky, Yura, et al.
Veröffentlicht: (2023)

PowerStep: Memory-Efficient Adaptive Optimization via $\ell_p$-Norm Steepest Descent
von: Lu, Yao, et al.
Veröffentlicht: (2026)

Faster Computation of Entropic Optimal Transport via Stable Low Frequency Modes
von: Chhaibi, Reda, et al.
Veröffentlicht: (2025)

Enhanced Adaptive Gradient Algorithms for Nonconvex-PL Minimax Optimization
von: Huang, Feihu, et al.
Veröffentlicht: (2023)

Low-Discrepancy Set Post-Processing via Gradient Descent
von: Clément, François, et al.
Veröffentlicht: (2025)

Dynamic Proximal Gradient Algorithms for Schatten-$p$ Quasi-Norm Regularized Problems
von: Shen, Weiping, et al.
Veröffentlicht: (2026)

Adaptive Lipschitz-Free Conditional Gradient Methods for Stochastic Composite Nonconvex Optimization
von: Yuan, Ganzhao
Veröffentlicht: (2026)

Nonlinear model reduction for transport-dominated problems
von: Hesthaven, Jan S., et al.
Veröffentlicht: (2026)

Solving Dense Linear Systems Faster Than via Preconditioning
von: Dereziński, Michał, et al.
Veröffentlicht: (2023)

A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations
von: Liu, Shu, et al.
Veröffentlicht: (2024)

A Provably-Correct and Robust Convex Model for Smooth Separable NMF
von: Pan, Junjun, et al.
Veröffentlicht: (2025)

Armijo Line-search Can Make (Stochastic) Gradient Descent Provably Faster
von: Vaswani, Sharan, et al.
Veröffentlicht: (2025)

Accelerated Objective Gap and Gradient Norm Convergence for Gradient Descent via Long Steps
von: Grimmer, Benjamin, et al.
Veröffentlicht: (2024)

Faster Linear Systems and Matrix Norm Approximation via Multi-level Sketched Preconditioning
von: Dereziński, Michał, et al.
Veröffentlicht: (2024)

IRKA is a Riemannian Gradient Descent Method
von: Mlinarić, Petar, et al.
Veröffentlicht: (2023)

Nonlinear Assimilation via Score-based Sequential Langevin Sampling
von: Ding, Zhao, et al.
Veröffentlicht: (2024)

Solving Elliptic Optimal Control Problems via Neural Networks and Optimality System
von: Dai, Yongcheng, et al.
Veröffentlicht: (2023)

Anderson Acceleration in Nonsmooth Problems: Local Convergence via Active Manifold Identification
von: Li, Kexin, et al.
Veröffentlicht: (2024)

Fine-grained Analysis and Faster Algorithms for Iteratively Solving Linear Systems
von: Dereziński, Michał, et al.
Veröffentlicht: (2024)

The Essential Best and Average Rate of Convergence of the Exact Line Search Gradient Descent Method
von: Yu, Thomas
Veröffentlicht: (2023)

Block Acceleration Without Momentum: On Optimal Stepsizes of Block Gradient Descent for Least-Squares
von: Peng, Liangzu, et al.
Veröffentlicht: (2024)

From Cursed to Competitive: Closing the ZO-FO Gap via Input-to-State Stability
von: Farzin, Amir Ali, et al.
Veröffentlicht: (2026)

Constrained Density Estimation via Optimal Transport
von: Hu, Yinan, et al.
Veröffentlicht: (2026)

Scalable Acceleration for Classification-Based Derivative-Free Optimization
von: Han, Tianyi, et al.
Veröffentlicht: (2023)

Error Feedback Can Accurately Compress Preconditioners
von: Modoranu, Ionut-Vlad, et al.
Veröffentlicht: (2023)