Buchumschlag

Nonlinear Stochastic Gradient Descent and Heavy-tailed Noise: A Unified Framework and High-probability Guarantees

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Armacki, Aleksandar, Yu, Shuhua, Sharma, Pranay, Joshi, Gauri, Bajovic, Dragana, Jakovetic, Dusan, Kar, Soummya
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2023)

Large Deviation Upper Bounds and Improved MSE Rates of Nonlinear SGD: Heavy-tailed Noise and Power of Symmetry
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2024)

Sharp High-Probability Rates for Nonlinear SGD under Heavy-Tailed Noise via Symmetrization
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2025)

A Unified Framework for Center-based Clustering of Distributed Data
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2024)

Tight Long-Term Tail Decay of (Clipped) SGD in Non-Convex Optimization
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2026)

Distributed gradient methods under heavy-tailed communication noise
von: Vukovic, Manojlo, et al.
Veröffentlicht: (2025)

Smoothed Gradient Clipping and Error Feedback for Decentralized Optimization under Symmetric Heavy-Tailed Noise
von: Yu, Shuhua, et al.
Veröffentlicht: (2023)

Tackling heavy-tailed noise in distributed estimation: Asymptotic performance and tradeoffs
von: Bajovic, Dragana, et al.
Veröffentlicht: (2026)

Decentralized Nonconvex Optimization under Heavy-Tailed Noise: Normalization and Optimal Convergence
von: Yu, Shuhua, et al.
Veröffentlicht: (2025)

Distributed Gradient Clustering: Convergence and the Effect of Initialization
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2026)

High Probability Convergence of Distributed Clipped Stochastic Gradient Descent with Heavy-tailed Noise
von: Yang, Yuchen, et al.
Veröffentlicht: (2025)

High-Probability Convergence Guarantees of Decentralized SGD
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2025)

High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2026)

Robust stochastic first order methods in heavy-tailed noise via medoid mini-batch gradient sampling
von: Vukovic, Manojlo, et al.
Veröffentlicht: (2026)

Distributed Truncated Predictive Control for Networked Systems under Uncertainty: Stability and Near-Optimality Guarantee
von: Xu, Eric, et al.
Veröffentlicht: (2023)

Parallel Inexact Levenberg-Marquardt Method for Nearly-Separable Nonlinear Least Squares
von: Fodor, Lidija, et al.
Veröffentlicht: (2023)

Algorithmic Stability of Stochastic Gradient Descent with Momentum under Heavy-Tailed Noise
von: Dang, Thanh, et al.
Veröffentlicht: (2025)

Distributed Inexact Newton Method with Adaptive Step Sizes
von: Jakovetic, Dusan, et al.
Veröffentlicht: (2023)

High-Probability Guarantees for Random Zeroth-Order (Stochastic) Gradient Descent
von: Ye, Haishan
Veröffentlicht: (2026)

Momentum Does Not Reduce Stochastic Noise in Stochastic Gradient Descent
von: Sato, Naoki, et al.
Veröffentlicht: (2024)

Parameter Symmetry and Noise Equilibrium of Stochastic Gradient Descent
von: Ziyin, Liu, et al.
Veröffentlicht: (2024)

Towards Noise-adaptive, Problem-adaptive (Accelerated) Stochastic Gradient Descent
von: Vaswani, Sharan, et al.
Veröffentlicht: (2021)

Stochastic Adaptive Gradient Descent Without Descent
von: Aujol, Jean-François, et al.
Veröffentlicht: (2025)

High Probability Convergence Bounds for Non-convex Stochastic Gradient Descent with Sub-Weibull Noise
von: Madden, Liam, et al.
Veröffentlicht: (2020)

In-Expectation Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise
von: Liu, Zijian
Veröffentlicht: (2026)

Enhancing Stochastic Gradient Descent: A Unified Framework and Novel Acceleration Methods for Faster Convergence
von: Deng, Yichuan, et al.
Veröffentlicht: (2024)

An Improved Analysis of the Clipped Stochastic subGradient Method under Heavy-Tailed Noise
von: Parletta, Daniela Angela, et al.
Veröffentlicht: (2024)

Accelerated Convergence of Stochastic Heavy Ball Method under Anisotropic Gradient Noise
von: Pan, Rui, et al.
Veröffentlicht: (2023)

Distributed Stochastic Optimization under Heavy-Tailed Noise: A Federated Mirror Descent Approach with High Probability Convergence
von: Yu, Zhan, et al.
Veröffentlicht: (2025)

Stochastic Gradient Descent with Adaptive Data
von: Che, Ethan, et al.
Veröffentlicht: (2024)

Stochastic Gradient Descent with Strategic Querying
von: Jiang, Nanfei, et al.
Veröffentlicht: (2025)

Peer-to-Peer (P2P) Electricity Markets for Low Voltage Networks
von: Fernandes, Diana Vieira, et al.
Veröffentlicht: (2024)

High-Probability Guarantees for Random Zeroth-Order Gradient Descent on Smooth Functions
von: Ye, Haishan
Veröffentlicht: (2026)

Federated Stochastic Approximation under Markov Noise and Heterogeneity: Applications in Reinforcement Learning
von: Khodadadian, Sajad, et al.
Veröffentlicht: (2022)

Analysing heavy-tail properties of Stochastic Gradient Descent by means of Stochastic Recurrence Equations
von: Damek, Ewa, et al.
Veröffentlicht: (2024)

Stochastic Modified Equations for Stochastic Gradient Descent in Infinite-Dimensional Hilbert Spaces
von: Cerrai, Sandra, et al.
Veröffentlicht: (2026)

Derivatives of Stochastic Gradient Descent in parametric optimization
von: Iutzeler, Franck, et al.
Veröffentlicht: (2024)

Quadratic Gradient: A Unified Framework Bridging Gradient Descent and Newton-Type Methods by Synthesizing Hessians and Gradients
von: Chiang, John
Veröffentlicht: (2022)

Generalized Stochastic Gradient Descent with Momentum Methods for Smooth Optimization
von: Wang, Zimeng, et al.
Veröffentlicht: (2026)

Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping
von: Liu, Zijian, et al.
Veröffentlicht: (2024)