Buchumschlag

High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Armacki, Aleksandar, Sharma, Pranay, Joshi, Gauri, Bajovic, Dragana, Jakovetic, Dusan, Kar, Soummya
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning Optimization and Control Statistics Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Nonlinear Stochastic Gradient Descent and Heavy-tailed Noise: A Unified Framework and High-probability Guarantees
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2024)

Large Deviation Upper Bounds and Improved MSE Rates of Nonlinear SGD: Heavy-tailed Noise and Power of Symmetry
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2024)

Sharp High-Probability Rates for Nonlinear SGD under Heavy-Tailed Noise via Symmetrization
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2025)

Tight Long-Term Tail Decay of (Clipped) SGD in Non-Convex Optimization
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2026)

A Unified Framework for Center-based Clustering of Distributed Data
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2024)

Distributed Gradient Clustering: Convergence and the Effect of Initialization
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2026)

Distributed gradient methods under heavy-tailed communication noise
von: Vukovic, Manojlo, et al.
Veröffentlicht: (2025)

Tackling heavy-tailed noise in distributed estimation: Asymptotic performance and tradeoffs
von: Bajovic, Dragana, et al.
Veröffentlicht: (2026)

Decentralized Nonconvex Optimization under Heavy-Tailed Noise: Normalization and Optimal Convergence
von: Yu, Shuhua, et al.
Veröffentlicht: (2025)

Smoothed Gradient Clipping and Error Feedback for Decentralized Optimization under Symmetric Heavy-Tailed Noise
von: Yu, Shuhua, et al.
Veröffentlicht: (2023)

Robust stochastic first order methods in heavy-tailed noise via medoid mini-batch gradient sampling
von: Vukovic, Manojlo, et al.
Veröffentlicht: (2026)

High Probability Convergence of Distributed Clipped Stochastic Gradient Descent with Heavy-tailed Noise
von: Yang, Yuchen, et al.
Veröffentlicht: (2025)

High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2026)

High-Probability Convergence Guarantees of Decentralized SGD
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2025)

High Probability Convergence Bounds for Non-convex Stochastic Gradient Descent with Sub-Weibull Noise
von: Madden, Liam, et al.
Veröffentlicht: (2020)

Analysing heavy-tail properties of Stochastic Gradient Descent by means of Stochastic Recurrence Equations
von: Damek, Ewa, et al.
Veröffentlicht: (2024)

Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences
von: Aolaritei, Liviu, et al.
Veröffentlicht: (2025)

Tropical Gradient Descent
von: Talbut, Roan, et al.
Veröffentlicht: (2024)

Type-II Saddles and Probabilistic Stability of Stochastic Gradient Descent
von: Ziyin, Liu, et al.
Veröffentlicht: (2023)

Parallel Inexact Levenberg-Marquardt Method for Nearly-Separable Nonlinear Least Squares
von: Fodor, Lidija, et al.
Veröffentlicht: (2023)

Algorithmic Stability of Stochastic Gradient Descent with Momentum under Heavy-Tailed Noise
von: Dang, Thanh, et al.
Veröffentlicht: (2025)

Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems
von: Puchkin, Nikita, et al.
Veröffentlicht: (2023)

In-Expectation Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise
von: Liu, Zijian
Veröffentlicht: (2026)

Distributed Inexact Newton Method with Adaptive Step Sizes
von: Jakovetic, Dusan, et al.
Veröffentlicht: (2023)

Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise
von: Pan, Rui, et al.
Veröffentlicht: (2023)

Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
von: Karnik, Santhosh, et al.
Veröffentlicht: (2024)

Momentum Does Not Reduce Stochastic Noise in Stochastic Gradient Descent
von: Sato, Naoki, et al.
Veröffentlicht: (2024)

A Novel Framework for Policy Mirror Descent with General Parameterization and Linear Convergence
von: Alfano, Carlo, et al.
Veröffentlicht: (2023)

Distributed Stochastic Optimization under Heavy-Tailed Noise: A Federated Mirror Descent Approach with High Probability Convergence
von: Yu, Zhan, et al.
Veröffentlicht: (2025)

Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
von: Li, Tianyou, et al.
Veröffentlicht: (2023)

Parameter Symmetry and Noise Equilibrium of Stochastic Gradient Descent
von: Ziyin, Liu, et al.
Veröffentlicht: (2024)

On the Uniform Convergence of Subdifferentials in Stochastic Optimization and Learning
von: Ruan, Feng
Veröffentlicht: (2024)

Breaking a Logarithmic Barrier in the Stopping Time Convergence Rate of Stochastic First-order Methods
von: Feng, Yasong, et al.
Veröffentlicht: (2025)

Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping
von: Liu, Zijian, et al.
Veröffentlicht: (2024)

Gaussian Approximation and Multiplier Bootstrap for Stochastic Gradient Descent
von: Sheshukova, Marina, et al.
Veröffentlicht: (2025)

Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
von: Kale, Sacchit, et al.
Veröffentlicht: (2026)

Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes
von: Kong, Boao, et al.
Veröffentlicht: (2026)

On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks
von: Gao, Yihang, et al.
Veröffentlicht: (2024)

The Collusion of Memory and Nonlinearity in Stochastic Approximation With Constant Stepsize
von: Huo, Dongyan, et al.
Veröffentlicht: (2024)