Buchumschlag

A Proof of Exact Convergence Rate of Gradient Descent. Part I. Performance Criterion $\Vert \nabla f(x_N)\Vert^2/(f(x_0)-f_*)$

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Kim, Jungbin
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Proof of the Exact Convergence Rate of Gradient Descent
von: Kim, Jungbin
Veröffentlicht: (2024)

Accelerated Gradient Methods for Geodesically Convex Optimization: Tractable Algorithms and Convergence Analysis
von: Kim, Jungbin, et al.
Veröffentlicht: (2022)

Convergence Rate Bounds for the Mirror Descent Method: IQCs, Popov Criterion and Bregman Divergence
von: Li, Mengmou, et al.
Veröffentlicht: (2023)

The Essential Best and Average Rate of Convergence of the Exact Line Search Gradient Descent Method
von: Yu, Thomas
Veröffentlicht: (2023)

Horospherically Convex Optimization on Hadamard Manifolds Part I: Analysis and Algorithms
von: Criscitiello, Christopher, et al.
Veröffentlicht: (2025)

Open Problem: Anytime Convergence Rate of Gradient Descent
von: Kornowski, Guy, et al.
Veröffentlicht: (2024)

Linear Convergence Rate in Convex Setup is Possible! Gradient Descent Method Variants under $(L_0,L_1)$-Smoothness
von: Lobanov, Aleksandr, et al.
Veröffentlicht: (2024)

An Improved Last-Iterate Convergence Rate for Anchored Gradient Descent Ascent
von: Surina, Anja, et al.
Veröffentlicht: (2026)

Convergence Rates for Gradient Descent on the Edge of Stability in Overparametrised Least Squares
von: MacDonald, Lachlan Ewen, et al.
Veröffentlicht: (2025)

Tight Analysis of Difference-of-Convex Algorithm (DCA) Improves Convergence Rates for Proximal Gradient Descent
von: Rotaru, Teodor, et al.
Veröffentlicht: (2025)

Last-Iterate Convergence of Anchored Gradient Descent
von: Cai, Yang, et al.
Veröffentlicht: (2026)

A Fundamental Convergence Rate Bound for Gradient Based Online Optimization Algorithms with Exact Tracking
von: Wu, Alex Xinting, et al.
Veröffentlicht: (2025)

On Convergence of the Iteratively Preconditioned Gradient-Descent (IPG) Observer
von: Chakrabarti, Kushal, et al.
Veröffentlicht: (2024)

Accelerated Objective Gap and Gradient Norm Convergence for Gradient Descent via Long Steps
von: Grimmer, Benjamin, et al.
Veröffentlicht: (2024)

Learning Provably Improves the Convergence of Gradient Descent
von: Song, Qingyu, et al.
Veröffentlicht: (2025)

Convergence of Alternating Gradient Descent for Matrix Factorization
von: Ward, Rachel, et al.
Veröffentlicht: (2023)

Convergence and Trade-Offs in Riemannian Gradient Descent and Riemannian Proximal Point
von: Martínez-Rubio, David, et al.
Veröffentlicht: (2024)

Dictionary-Restricted First-Order Descent Methods: Bounds and Convergence Rates
von: Berasategui, Miguel, et al.
Veröffentlicht: (2026)

Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
von: Li, Tianyou, et al.
Veröffentlicht: (2023)

On the Convergence of Gradient Descent on Learning Transformers with Residual Connections
von: Qin, Zhen, et al.
Veröffentlicht: (2025)

Point Convergence of Nesterov's Accelerated Gradient Method: An AI-Assisted Proof
von: Jang, Uijeong, et al.
Veröffentlicht: (2025)

Non-asymptotic Global Convergence Rates of BFGS with Exact Line Search
von: Jin, Qiujiang, et al.
Veröffentlicht: (2024)

High Probability Convergence of Distributed Clipped Stochastic Gradient Descent with Heavy-tailed Noise
von: Yang, Yuchen, et al.
Veröffentlicht: (2025)

Convergence of First-Order Algorithms with Momentum from the Perspective of an Inexact Gradient Descent Method
von: Khanh, Pham Duy, et al.
Veröffentlicht: (2025)

The Anytime Convergence of Stochastic Gradient Descent with Momentum: From a Continuous-Time Perspective
von: Feng, Yasong, et al.
Veröffentlicht: (2023)

Convergence of Gradient Descent for Recurrent Neural Networks: A Nonasymptotic Analysis
von: Cayci, Semih, et al.
Veröffentlicht: (2024)

Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

Convergence of Gradient Descent with Small Initialization for Unregularized Matrix Completion
von: Ma, Jianhao, et al.
Veröffentlicht: (2024)

Convergence Properties of Natural Gradient Descent for Minimizing KL Divergence
von: Datar, Adwait, et al.
Veröffentlicht: (2025)

Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
von: Kale, Sacchit, et al.
Veröffentlicht: (2026)

Convergence and Implicit Bias of Gradient Descent on Continual Linear Classification
von: Jung, Hyunji, et al.
Veröffentlicht: (2025)

On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes
von: Kong, Boao, et al.
Veröffentlicht: (2026)

Convergence Analysis of Noisy Distributed Gradient Descent for Non-convex Optimization -- Saddle Point Escape
von: Qin, Lei, et al.
Veröffentlicht: (2025)

High Probability Convergence Bounds for Non-convex Stochastic Gradient Descent with Sub-Weibull Noise
von: Madden, Liam, et al.
Veröffentlicht: (2020)

Convergence Rate Analysis for Monotone Accelerated Proximal Gradient Method
von: Wang, Zepeng, et al.
Veröffentlicht: (2025)

Optimal Convergence Rate for Mirror Descent Methods with special Time-Varying Step Sizes Rules
von: Alkousa, Mohammad, et al.
Veröffentlicht: (2024)

Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
von: Li, Xiang, et al.
Veröffentlicht: (2024)

Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
von: Oowada, Kanata, et al.
Veröffentlicht: (2025)

Temporal Variabilities Limit Convergence Rates in Gradient-Based Online Optimization
von: Van Scoy, Bryan, et al.
Veröffentlicht: (2025)

Natural Gradient Descent for Control
von: Esmzad, Ramin, et al.
Veröffentlicht: (2025)