Buchumschlag

Sharp High-Probability Rates for Nonlinear SGD under Heavy-Tailed Noise via Symmetrization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Armacki, Aleksandar, Bajovic, Dragana, Jakovetic, Dusan, Kar, Soummya
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Large Deviation Upper Bounds and Improved MSE Rates of Nonlinear SGD: Heavy-tailed Noise and Power of Symmetry
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2024)

Tight Long-Term Tail Decay of (Clipped) SGD in Non-Convex Optimization
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2026)

High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2023)

Nonlinear Stochastic Gradient Descent and Heavy-tailed Noise: A Unified Framework and High-probability Guarantees
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2024)

Distributed gradient methods under heavy-tailed communication noise
von: Vukovic, Manojlo, et al.
Veröffentlicht: (2025)

A Unified Framework for Center-based Clustering of Distributed Data
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2024)

Smoothed Gradient Clipping and Error Feedback for Decentralized Optimization under Symmetric Heavy-Tailed Noise
von: Yu, Shuhua, et al.
Veröffentlicht: (2023)

Decentralized Nonconvex Optimization under Heavy-Tailed Noise: Normalization and Optimal Convergence
von: Yu, Shuhua, et al.
Veröffentlicht: (2025)

Distributed Gradient Clustering: Convergence and the Effect of Initialization
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2026)

High-Probability Convergence Guarantees of Decentralized SGD
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2025)

Tackling heavy-tailed noise in distributed estimation: Asymptotic performance and tradeoffs
von: Bajovic, Dragana, et al.
Veröffentlicht: (2026)

High-Probability Bounds for SGD under the Polyak-Lojasiewicz Condition with Markovian Noise
von: Kar, Avik, et al.
Veröffentlicht: (2026)

Can SGD Handle Heavy-Tailed Noise?
von: Fatkhullin, Ilyas, et al.
Veröffentlicht: (2025)

High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2026)

Revisiting Gradient Normalization and Clipping for Nonconvex SGD under Heavy-Tailed Noise: Necessity, Sufficiency, and Acceleration
von: Sun, Tao, et al.
Veröffentlicht: (2024)

Heavy-Tail Phenomenon in Decentralized SGD
von: Gurbuzbalaban, Mert, et al.
Veröffentlicht: (2022)

Robust stochastic first order methods in heavy-tailed noise via medoid mini-batch gradient sampling
von: Vukovic, Manojlo, et al.
Veröffentlicht: (2026)

High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2021)

High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise
von: Gorbunov, Eduard, et al.
Veröffentlicht: (2023)

From Gradient Clipping to Normalization for Heavy Tailed SGD
von: Hübler, Florian, et al.
Veröffentlicht: (2024)

Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2025)

Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise
von: Fang, Yuchen, et al.
Veröffentlicht: (2026)

Optimal Asynchronous Stochastic Nonconvex Optimization under Heavy-Tailed Noise
von: Wu, Yidong, et al.
Veröffentlicht: (2026)

In-Expectation Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise
von: Liu, Zijian
Veröffentlicht: (2026)

Sign Operator for Coping with Heavy-Tailed Noise in Non-Convex Optimization: High Probability Bounds Under $(L_0, L_1)$-Smoothness
von: Kornilov, Nikita, et al.
Veröffentlicht: (2025)

High Probability Bounds for Stochastic Subgradient Schemes with Heavy Tailed Noise
von: Parletta, Daniela A., et al.
Veröffentlicht: (2022)

Second-order Optimization under Heavy-Tailed Noise: Hessian Clipping and Sample Complexity Limits
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2025)

Muon Converges under Heavy-Tailed Noise: Nonconvex Hölder-Smooth Empirical Risk Minimization
von: Iiduka, Hideaki
Veröffentlicht: (2026)

Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping
von: Liu, Zijian, et al.
Veröffentlicht: (2024)

Algorithmic Stability of Stochastic Gradient Descent with Momentum under Heavy-Tailed Noise
von: Dang, Thanh, et al.
Veröffentlicht: (2025)

Stochastic Weakly Convex Optimization Under Heavy-Tailed Noises
von: Zhu, Tianxi, et al.
Veröffentlicht: (2025)

Clipped Gradient Methods for Nonsmooth Convex Optimization under Heavy-Tailed Noise: A Refined Analysis
von: Liu, Zijian
Veröffentlicht: (2025)

Near-Optimal Decentralized Stochastic Nonconvex Optimization with Heavy-Tailed Noise
von: Wang, Menglian, et al.
Veröffentlicht: (2026)

High Probability Complexity Bounds of Trust-Region Stochastic Sequential Quadratic Programming with Heavy-Tailed Noise
von: Fang, Yuchen, et al.
Veröffentlicht: (2025)

Can Adaptive Gradient Methods Converge under Heavy-Tailed Noise? A Case Study of AdaGrad
von: Liu, Zijian
Veröffentlicht: (2026)

Differentially Private Clipped-SGD: High-Probability Convergence with Arbitrary Clipping Level
von: Khah, Saleh Vatan, et al.
Veröffentlicht: (2025)

Convergence Analysis of Randomized Subspace Normalized SGD under Heavy-Tailed Noise
von: Omiya, Gaku, et al.
Veröffentlicht: (2026)

Scale-Invariant Neural Network Optimization: Norm Geometry and Heavy-Tailed Noise
von: Zhang, Jiayu, et al.
Veröffentlicht: (2026)

Muon with Nesterov Momentum: Heavy-Tailed Noise and (Randomized) Inexact Polar Decomposition
von: Choudhury, Sayantan, et al.
Veröffentlicht: (2026)

Does SGD Seek Flatness or Sharpness? An Exactly Solvable Model
von: Xu, Yizhou, et al.
Veröffentlicht: (2026)