Buchumschlag

Almost sure convergence rates of stochastic gradient methods under gradient domination

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Weissmann, Simon, Klein, Sara, Azizian, Waïss, Döring, Leif
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Beyond Stationarity: Convergence Analysis of Stochastic Softmax Policy Gradient Methods
von: Klein, Sara, et al.
Veröffentlicht: (2023)

Structure Matters: Dynamic Policy Gradient
von: Klein, Sara, et al.
Veröffentlicht: (2024)

Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization
von: Kassing, Sebastian, et al.
Veröffentlicht: (2025)

The global convergence time of stochastic gradient descent in non-convex landscapes: Sharp estimates via large deviations
von: Azizian, Waïss, et al.
Veröffentlicht: (2025)

The Role of Target Update Frequencies in Q-Learning
von: Weissmann, Simon, et al.
Veröffentlicht: (2026)

What is the long-run distribution of stochastic gradient descent? A large deviations analysis
von: Azizian, Waïss, et al.
Veröffentlicht: (2024)

The rate of convergence of Bregman proximal methods: Local geometry vs. regularity vs. sharpness
von: Azizian, Waïss, et al.
Veröffentlicht: (2022)

Almost sure convergence of stochastic Hamiltonian descent methods
von: Williamson, Måns, et al.
Veröffentlicht: (2024)

A stochastic gradient method for trilevel optimization
von: Giovannelli, Tommaso, et al.
Veröffentlicht: (2025)

Convergence rates of stochastic gradient method with independent sequences of step-size and momentum weight
von: Hwang, Wen-Liang
Veröffentlicht: (2024)

Local linear convergence of gradient methods for overparameterized Gaussian mixtures
von: Wang, Jingxing, et al.
Veröffentlicht: (2026)

Random Function Descent
von: Benning, Felix, et al.
Veröffentlicht: (2023)

Learning rate adaptive stochastic gradient descent optimization methods: numerical simulations for deep learning methods for partial differential equations and convergence analyses
von: Dereich, Steffen, et al.
Veröffentlicht: (2024)

Unregularized limit of stochastic gradient method for Wasserstein distributionally robust optimization
von: Le, Tam
Veröffentlicht: (2025)

Generalized EXTRA stochastic gradient Langevin dynamics
von: Gurbuzbalaban, Mert, et al.
Veröffentlicht: (2024)

The generator gradient estimator is an adjoint state method for stochastic differential equations
von: Badolle, Quentin, et al.
Veröffentlicht: (2024)

Problem-dependent convergence bounds for randomized linear gradient compression
von: Flynn, Thomas, et al.
Veröffentlicht: (2024)

Projected gradient methods for nonconvex and stochastic smooth optimization: new complexities and auto-conditioned stepsizes
von: Lan, Guanghui, et al.
Veröffentlicht: (2024)

Dealing with unbounded gradients in stochastic saddle-point optimization
von: Neu, Gergely, et al.
Veröffentlicht: (2024)

New logarithmic step size for stochastic gradient descent
von: Shamaee, M. Soheil, et al.
Veröffentlicht: (2024)

Non-asymptotic convergence analysis of the stochastic gradient Hamiltonian Monte Carlo algorithm with discontinuous stochastic gradient with applications to training of ReLU neural networks
von: Liang, Luxu, et al.
Veröffentlicht: (2024)

Non-convergence to global minimizers for Adam and stochastic gradient descent optimization and constructions of local minimizers in the training of artificial neural networks
von: Jentzen, Arnulf, et al.
Veröffentlicht: (2024)

Convergence of stochastic gradient descent under a local Lojasiewicz condition for deep neural networks
von: An, Jing, et al.
Veröffentlicht: (2023)

On the global convergence of gradient descent for wide shallow models with bounded nonlinearities
von: Petit, Romain, et al.
Veröffentlicht: (2026)

A short proof of near-linear convergence of adaptive gradient descent under fourth-order growth and convexity
von: Davis, Damek, et al.
Veröffentlicht: (2026)

Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
von: Lugosi, Gabor, et al.
Veröffentlicht: (2024)

A stochastic gradient descent algorithm with random search directions
von: Gbaguidi, Eméric
Veröffentlicht: (2025)

Lower and upper bounds of the convergence rate of gradient methods with composite noise in gradient
von: Vasin, Artem, et al.
Veröffentlicht: (2026)

Global convergence of gradient descent for phase retrieval
von: Fougereux, Théodore, et al.
Veröffentlicht: (2024)

Auto-conditioned primal-dual hybrid gradient method and alternating direction method of multipliers
von: Lan, Guanghui, et al.
Veröffentlicht: (2024)

Geometry and convergence of natural policy gradient methods
von: Müller, Johannes, et al.
Veröffentlicht: (2022)

ADDQ: Adaptive Distributional Double Q-Learning
von: Döring, Leif, et al.
Veröffentlicht: (2025)

Robust stochastic first order methods in heavy-tailed noise via medoid mini-batch gradient sampling
von: Vukovic, Manojlo, et al.
Veröffentlicht: (2026)

Fast Spawn\&Prune (FS\&P): Global convergence of stochastic conic particle gradient descent via birth/death process
von: De Castro, Yohann, et al.
Veröffentlicht: (2026)

Adaptive multi-gradient methods for quasiconvex vector optimization and applications to multi-task learning
von: Minh, Nguyen Anh, et al.
Veröffentlicht: (2024)

Two-norm discrepancy and convergence of the stochastic gradient method with application to shape optimization
von: Dambrine, Marc, et al.
Veröffentlicht: (2024)

An Approximate Ascent Approach To Prove Convergence of PPO
von: Doering, Leif, et al.
Veröffentlicht: (2026)

Exponential convergence rates for momentum stochastic gradient descent in the overparametrized setting
von: Gess, Benjamin, et al.
Veröffentlicht: (2023)

Neural incomplete factorization: learning preconditioners for the conjugate gradient method
von: Häusner, Paul, et al.
Veröffentlicht: (2023)

Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance
von: Stollenwerk, Alexander, et al.
Veröffentlicht: (2024)