Buchumschlag

Convergence Rates for Gradient Descent on the Edge of Stability in Overparametrised Least Squares

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	MacDonald, Lachlan Ewen, Min, Hancheng, Palma, Leandro, Tarmoun, Salma, Xu, Ziqing, Vidal, René
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Local Polyak-Lojasiewicz and Descent Lemma of Gradient Descent For Overparametrized Linear Models
von: Xu, Ziqing, et al.
Veröffentlicht: (2025)

Understanding the Learning Dynamics of LoRA: A Gradient Flow Perspective on Low-Rank Adaptation in Matrix Factorization
von: Xu, Ziqing, et al.
Veröffentlicht: (2025)

On a Family of Relaxed Gradient Descent Methods for Quadratic Minimization
von: MacDonald, Liam, et al.
Veröffentlicht: (2024)

Neural Collapse under Gradient Flow on Shallow ReLU Networks for Orthogonally Separable Data
von: Min, Hancheng, et al.
Veröffentlicht: (2025)

A Proof of the Exact Convergence Rate of Gradient Descent
von: Kim, Jungbin
Veröffentlicht: (2024)

Block Acceleration Without Momentum: On Optimal Stepsizes of Block Gradient Descent for Least-Squares
von: Peng, Liangzu, et al.
Veröffentlicht: (2024)

Iterative Pre-Conditioning for Expediting the Gradient-Descent Method: The Distributed Linear Least-Squares Problem
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2020)

Open Problem: Anytime Convergence Rate of Gradient Descent
von: Kornowski, Guy, et al.
Veröffentlicht: (2024)

Non-Euclidean Gradient Descent Operates at the Edge of Stability
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

An Improved Last-Iterate Convergence Rate for Anchored Gradient Descent Ascent
von: Surina, Anja, et al.
Veröffentlicht: (2026)

Tight Analysis of Difference-of-Convex Algorithm (DCA) Improves Convergence Rates for Proximal Gradient Descent
von: Rotaru, Teodor, et al.
Veröffentlicht: (2025)

Last-Iterate Convergence of Anchored Gradient Descent
von: Cai, Yang, et al.
Veröffentlicht: (2026)

On Convergence of the Iteratively Preconditioned Gradient-Descent (IPG) Observer
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2024)

Global Convergence of Iteratively Reweighted Least Squares for Robust Subspace Recovery
von: Lerman, Gilad, et al.
Veröffentlicht: (2025)

Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization
von: Kassing, Sebastian, et al.
Veröffentlicht: (2025)

The Essential Best and Average Rate of Convergence of the Exact Line Search Gradient Descent Method
von: Yu, Thomas
Veröffentlicht: (2023)

Accelerated Objective Gap and Gradient Norm Convergence for Gradient Descent via Long Steps
von: Grimmer, Benjamin, et al.
Veröffentlicht: (2024)

Learning Provably Improves the Convergence of Gradient Descent
von: Song, Qingyu, et al.
Veröffentlicht: (2025)

Convergence of Alternating Gradient Descent for Matrix Factorization
von: Ward, Rachel, et al.
Veröffentlicht: (2023)

Convergence and Trade-Offs in Riemannian Gradient Descent and Riemannian Proximal Point
von: Martínez-Rubio, David, et al.
Veröffentlicht: (2024)

Iteratively Reweighted Least Squares for Phase Unwrapping
von: Dubois-Taine, Benjamin, et al.
Veröffentlicht: (2024)

Linear Convergence Rate in Convex Setup is Possible! Gradient Descent Method Variants under $(L_0,L_1)$-Smoothness
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2024)

Dictionary-Restricted First-Order Descent Methods: Bounds and Convergence Rates
von: Berasategui, Miguel, et al.
Veröffentlicht: (2026)

Distributed Least-Squares Optimization Solvers with Differential Privacy
von: Liu, Weijia, et al.
Veröffentlicht: (2024)

Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
von: Li, Tianyou, et al.
Veröffentlicht: (2023)

On the Convergence of Gradient Descent on Learning Transformers with Residual Connections
von: Qin, Zhen, et al.
Veröffentlicht: (2025)

Optimality Conditions for Sparse Bilinear Least Squares Problems
von: Deng, Zixin, et al.
Veröffentlicht: (2026)

Dual Hierarchical Least-Squares Programming with Equality Constraints
von: Pfeiffer, Kai
Veröffentlicht: (2025)

Input-to-State Stability of a Bilevel Proximal Gradient Descent Algorithm
von: Kolmanovsky, Torbjørn Cunis Ilya
Veröffentlicht: (2022)

Rod Flow: A Continuous-Time Model for Gradient Descent at the Edge of Stability
von: Regis, Eric, et al.
Veröffentlicht: (2026)

High Probability Convergence of Distributed Clipped Stochastic Gradient Descent with Heavy-tailed Noise
von: Yang, Yuchen, et al.
Veröffentlicht: (2025)

Convergence of First-Order Algorithms with Momentum from the Perspective of an Inexact Gradient Descent Method
von: Khanh, Pham Duy, et al.
Veröffentlicht: (2025)

The Anytime Convergence of Stochastic Gradient Descent with Momentum: From a Continuous-Time Perspective
von: Feng, Yasong, et al.
Veröffentlicht: (2023)

Convergence Rate Bounds for the Mirror Descent Method: IQCs, Popov Criterion and Bregman Divergence
von: Li, Mengmou, et al.
Veröffentlicht: (2023)

Convergence Properties of Natural Gradient Descent for Minimizing KL Divergence
von: Datar, Adwait, et al.
Veröffentlicht: (2025)

Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
von: Kale, Sacchit, et al.
Veröffentlicht: (2026)

Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

Convergence of Gradient Descent with Small Initialization for Unregularized Matrix Completion
von: Ma, Jianhao, et al.
Veröffentlicht: (2024)

Convergence and Implicit Bias of Gradient Descent on Continual Linear Classification
von: Jung, Hyunji, et al.
Veröffentlicht: (2025)

On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes
von: Kong, Boao, et al.
Veröffentlicht: (2026)