Buchumschlag

Convergence of Gradient Descent for Recurrent Neural Networks: A Nonasymptotic Analysis

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cayci, Semih, Eryilmaz, Atilla
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Recurrent Natural Policy Gradient for POMDPs
von: Cayci, Semih, et al.
Veröffentlicht: (2024)

Finite-Time Analysis of Gradient Descent for Shallow Transformers
von: Arda, Enes, et al.
Veröffentlicht: (2026)

Convergence of Stochastic Gradient Langevin Dynamics in the Lazy Training Regime
von: Oberweis, Noah, et al.
Veröffentlicht: (2025)

A Riemannian Optimization Perspective of the Gauss-Newton Method for Feedforward Neural Networks
von: Cayci, Semih
Veröffentlicht: (2024)

Linear Convergence of Entropy-Regularized Natural Policy Gradient with Linear Function Approximation
von: Cayci, Semih, et al.
Veröffentlicht: (2021)

Non-Asymptotic Optimization and Generalization Bounds for Stochastic Gauss-Newton in Overparameterized Models
von: Cayci, Semih
Veröffentlicht: (2025)

Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation
von: Sheshukova, Marina, et al.
Veröffentlicht: (2024)

Optimal Rates of Convergence for Entropy Regularization in Discounted Markov Decision Processes
von: Müller, Johannes, et al.
Veröffentlicht: (2024)

Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
von: Li, Tianyou, et al.
Veröffentlicht: (2023)

Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks
von: Xu, Xianliang, et al.
Veröffentlicht: (2024)

Learning Provably Improves the Convergence of Gradient Descent
von: Song, Qingyu, et al.
Veröffentlicht: (2025)

Convergence of Alternating Gradient Descent for Matrix Factorization
von: Ward, Rachel, et al.
Veröffentlicht: (2023)

Gradient Descent Converges Linearly to Flatter Minima than Gradient Flow in Shallow Linear Networks
von: Beneventano, Pierfrancesco, et al.
Veröffentlicht: (2025)

Solving Inverse Problems with Deep Linear Neural Networks: Global Convergence Guarantees for Gradient Descent with Weight Decay
von: Laus, Hannah, et al.
Veröffentlicht: (2025)

Open Problem: Anytime Convergence Rate of Gradient Descent
von: Kornowski, Guy, et al.
Veröffentlicht: (2024)

On the Convergence of Gradient Descent on Learning Transformers with Residual Connections
von: Qin, Zhen, et al.
Veröffentlicht: (2025)

On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks
von: Gao, Yihang, et al.
Veröffentlicht: (2024)

Nonasymptotic Convergence Rates for Plug-and-Play Methods With MMSE Denoisers
von: Pritchard, Henry, et al.
Veröffentlicht: (2025)

A New Convergence Analysis of Plug-and-Play Proximal Gradient Descent Under Prior Mismatch
von: Xu, Guixian, et al.
Veröffentlicht: (2026)

Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

Convergence of Gradient Descent with Small Initialization for Unregularized Matrix Completion
von: Ma, Jianhao, et al.
Veröffentlicht: (2024)

Convergence Properties of Natural Gradient Descent for Minimizing KL Divergence
von: Datar, Adwait, et al.
Veröffentlicht: (2025)

Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
von: Kale, Sacchit, et al.
Veröffentlicht: (2026)

Convergence and Implicit Bias of Gradient Descent on Continual Linear Classification
von: Jung, Hyunji, et al.
Veröffentlicht: (2025)

On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes
von: Kong, Boao, et al.
Veröffentlicht: (2026)

Fisher-Rao Gradient Flows of Linear Programs and State-Action Natural Policy Gradients
von: Müller, Johannes, et al.
Veröffentlicht: (2024)

Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
von: Li, Xiang, et al.
Veröffentlicht: (2024)

Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
von: Oowada, Kanata, et al.
Veröffentlicht: (2025)

Convergence Rates for Gradient Descent on the Edge of Stability in Overparametrised Least Squares
von: MacDonald, Lachlan Ewen, et al.
Veröffentlicht: (2025)

Quantitative Convergence Analysis of Projected Stochastic Gradient Descent for Non-Convex Losses via the Goldstein Subdifferential
von: Zheng, Yuping, et al.
Veröffentlicht: (2025)

Dual Natural Gradient Descent for Scalable Training of Physics-Informed Neural Networks
von: Jnini, Anas, et al.
Veröffentlicht: (2025)

Non-Singularity of the Gradient Descent map for Neural Networks with Piecewise Analytic Activations
von: Crăciun, Alexandru, et al.
Veröffentlicht: (2025)

Convergence Analysis of Fractional Gradient Descent
von: Aggarwal, Ashwani
Veröffentlicht: (2023)

A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization
von: Zhu, Yuchen, et al.
Veröffentlicht: (2024)

Nonasymptotic analysis of Stochastic Gradient Hamiltonian Monte Carlo under local conditions for nonconvex optimization
von: Akyildiz, Ömer Deniz, et al.
Veröffentlicht: (2020)

Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization
von: Kassing, Sebastian, et al.
Veröffentlicht: (2025)

Stochastic Adaptive Gradient Descent Without Descent
von: Aujol, Jean-François, et al.
Veröffentlicht: (2025)

Corner Gradient Descent
von: Yarotsky, Dmitry
Veröffentlicht: (2025)

Implicit Bias of Gradient Descent for Non-Homogeneous Deep Networks
von: Cai, Yuhang, et al.
Veröffentlicht: (2025)

Natural Hypergradient Descent: Algorithm Design, Convergence Analysis, and Parallel Implementation
von: Kong, Deyi, et al.
Veröffentlicht: (2026)