Buchumschlag

Byzantine-Robust Distributed SGD: A Unified Analysis and Tight Error Bounds

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ruan, Boyuan, Wang, Xiaoyu, Liu, Ya-Feng
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Unified Breakdown Analysis for Byzantine Robust Gossip
von: Gaucher, Renaud, et al.
Veröffentlicht: (2024)

Clipped SGD Algorithms for Performative Prediction: Tight Bounds for Clipping Bias and Remedies
von: Li, Qiang, et al.
Veröffentlicht: (2024)

A Tight Theory of Error Feedback Algorithms in Distributed Optimization
von: Thomsen, Daniel Berg, et al.
Veröffentlicht: (2026)

SGD with Adaptive Preconditioning: Unified Analysis and Momentum Acceleration
von: Kovalev, Dmitry
Veröffentlicht: (2025)

Bias-Optimal Bounds for SGD: A Computer-Aided Lyapunov Analysis
von: Cortild, Daniel, et al.
Veröffentlicht: (2025)

Optimal Complexity in Byzantine-Robust Distributed Stochastic Optimization with Data Heterogeneity
von: Shi, Qiankun, et al.
Veröffentlicht: (2025)

Tight Long-Term Tail Decay of (Clipped) SGD in Non-Convex Optimization
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2026)

Non-Euclidean SGD for Structured Optimization: Unified Analysis and Improved Rates
von: Kovalev, Dmitry, et al.
Veröffentlicht: (2025)

Does Worst-Performing Agent Lead the Pack? Analyzing Agent Dynamics in Unified Distributed SGD
von: Hu, Jie, et al.
Veröffentlicht: (2024)

Tight Robustness Certificates and Wasserstein Distributional Attacks for Deep Neural Networks
von: Le, Bach C., et al.
Veröffentlicht: (2025)

From PowerSGD to PowerSGD+: Low-Rank Gradient Compression for Distributed Optimization with Convergence Guarantees
von: Xie, Shengping, et al.
Veröffentlicht: (2025)

Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity
von: Tyurin, Alexander, et al.
Veröffentlicht: (2024)

Tight Generalization Bounds for Noiseless Inverse Optimization
von: Fatemi, Pouria, et al.
Veröffentlicht: (2026)

Empirical Risk Minimization with Shuffled SGD: A Primal-Dual Perspective and Improved Bounds
von: Cai, Xufeng, et al.
Veröffentlicht: (2023)

Tight Bounds for Online Convex Optimization with Adversarial Constraints
von: Sinha, Abhishek, et al.
Veröffentlicht: (2024)

High-Probability Bounds for SGD under the Polyak-Lojasiewicz Condition with Markovian Noise
von: Kar, Avik, et al.
Veröffentlicht: (2026)

Lower Bounds and Proximally Anchored SGD for Non-Convex Minimization Under Unbounded Variance
von: Fazla, Arda, et al.
Veröffentlicht: (2026)

A Simplified Analysis of SGD for Linear Regression with Weight Averaging
von: Meterez, Alexandru, et al.
Veröffentlicht: (2025)

Perturbed Iterate SGD for Lipschitz Continuous Loss Functions with Numerical Error and Adaptive Step Sizes
von: Metel, Michael R.
Veröffentlicht: (2022)

From Inexact Gradients to Byzantine Robustness: Acceleration and Optimization under Similarity
von: Gaucher, Renaud, et al.
Veröffentlicht: (2026)

Last-Iterate Convergence of Randomized Kaczmarz and SGD with Greedy Step Size
von: Dereziński, Michał, et al.
Veröffentlicht: (2026)

Enhancing Distributional Robustness in Principal Component Analysis by Wasserstein Distances
von: Wang, Lei, et al.
Veröffentlicht: (2025)

SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
von: Dahan, Tehila, et al.
Veröffentlicht: (2023)

Unifying Distributionally Robust Optimization via Optimal Transport Theory
von: Blanchet, Jose, et al.
Veröffentlicht: (2023)

Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Making SGD Parameter-Free
von: Carmon, Yair, et al.
Veröffentlicht: (2022)

On the Trajectories of SGD Without Replacement
von: Beneventano, Pierfrancesco
Veröffentlicht: (2023)

Tight Lower Bounds under Asymmetric High-Order Hölder Smoothness and Uniform Convexity
von: Bai, Cedar Site, et al.
Veröffentlicht: (2024)

The Marginal Value of Momentum for Small Learning Rate SGD
von: Wang, Runzhe, et al.
Veröffentlicht: (2023)

CoCoA Is ADMM: Unifying Two Paradigms in Distributed Optimization
von: Wu, Runxiong, et al.
Veröffentlicht: (2025)

The Optimality of (Accelerated) SGD for High-Dimensional Quadratic Optimization
von: Zhang, Haihan, et al.
Veröffentlicht: (2024)

Dual-Delayed Asynchronous SGD for Arbitrarily Heterogeneous Data
von: Wang, Xiaolu, et al.
Veröffentlicht: (2024)

A Comprehensive Framework for Analyzing the Convergence of Adam: Bridging the Gap with SGD
von: Jin, Ruinan, et al.
Veröffentlicht: (2024)

Dimension-adapted Momentum Outscales SGD
von: Ferbach, Damien, et al.
Veröffentlicht: (2025)

Heavy-Tail Phenomenon in Decentralized SGD
von: Gurbuzbalaban, Mert, et al.
Veröffentlicht: (2022)

Demystifying SGD with Doubly Stochastic Gradients
von: Kim, Kyurae, et al.
Veröffentlicht: (2024)

Distributionally Robust Learning in Survival Analysis
von: Jin, Yeping, et al.
Veröffentlicht: (2025)

Does SGD Seek Flatness or Sharpness? An Exactly Solvable Model
von: Xu, Yizhou, et al.
Veröffentlicht: (2026)

Phases of Muon: When Muon Eclipses SignSGD
von: Paquette, Elliot, et al.
Veröffentlicht: (2026)

Tight Finite Time Bounds of Two-Time-Scale Linear Stochastic Approximation with Markovian Noise
von: Haque, Shaan Ul, et al.
Veröffentlicht: (2023)