Buchumschlag

Bringing Order to Asynchronous SGD: Towards Optimality under Data-Dependent Delays with Momentum

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Dahan, Tehila, Reshef, Roie, Goldstein, Sharon, Levy, Kfir Y.
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

$μ^2$-SGD: Stable Stochastic Optimization via a Double Momentum Mechanism
von: Dahan, Tehila, et al.
Veröffentlicht: (2023)

Weight for Robustness: A Comprehensive Approach towards Optimal Fault-Tolerant Asynchronous ML
von: Dahan, Tehila, et al.
Veröffentlicht: (2025)

SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
von: Dahan, Tehila, et al.
Veröffentlicht: (2023)

Local MixVR: Breaking the Communication-Sample Dependence in Distributed Learning
von: Dahan, Tehila, et al.
Veröffentlicht: (2026)

Fault Tolerant ML: Efficient Meta-Aggregation and Synchronous Training
von: Dahan, Tehila, et al.
Veröffentlicht: (2024)

Private and Federated Stochastic Convex Optimization: Efficient Strategies for Centralized Systems
von: Reshef, Roie, et al.
Veröffentlicht: (2024)

Privacy-Preserving Federated Convex Optimization: Balancing Partial-Participation and Efficiency via Noise Cancellation
von: Reshef, Roie, et al.
Veröffentlicht: (2025)

Optimal Sample Complexity for Single Time-Scale Actor-Critic with Momentum
von: Kumar, Navdeep, et al.
Veröffentlicht: (2026)

Ordered Momentum for Asynchronous SGD
von: Shi, Chang-Wei, et al.
Veröffentlicht: (2024)

Dual-Delayed Asynchronous SGD for Arbitrarily Heterogeneous Data
von: Wang, Xiaolu, et al.
Veröffentlicht: (2024)

Ordered Local Momentum for Asynchronous Distributed Learning under Arbitrary Delays
von: Shi, Chang-Wei, et al.
Veröffentlicht: (2026)

Rescaled Asynchronous SGD: Optimal Distributed Optimization under Data and System Heterogeneity
von: Mahran, Ammar, et al.
Veröffentlicht: (2026)

Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

First Provably Optimal Asynchronous SGD for Homogeneous and Heterogeneous Data
von: Maranjyan, Artavazd
Veröffentlicht: (2026)

Bring Your Own (Non-Robust) Algorithm to Solve Robust MDPs by Estimating The Worst Kernel
von: Wang, Kaixin, et al.
Veröffentlicht: (2023)

SGD with Dependent Data: Optimal Estimation, Regret, and Inference
von: Shen, Yinan, et al.
Veröffentlicht: (2026)

Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity
von: Tyurin, Alexander, et al.
Veröffentlicht: (2024)

Pseudo-Asynchronous Local SGD: Robust and Efficient Data-Parallel Training
von: Naganuma, Hiroki, et al.
Veröffentlicht: (2025)

Leveraging Coordinate Momentum in SignSGD and Muon: Memory-Optimized Zero-Order
von: Petrov, Egor, et al.
Veröffentlicht: (2025)

Safety in the Face of Adversity: Achieving Zero Constraint Violation in Online Learning with Slowly Changing Constraints
von: Hamoud, Bassel, et al.
Veröffentlicht: (2025)

Enhancing Parallelism in Decentralized Stochastic Convex Optimization
von: Eisen, Ofri, et al.
Veröffentlicht: (2025)

Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

Dimension-adapted Momentum Outscales SGD
von: Ferbach, Damien, et al.
Veröffentlicht: (2025)

Beyond Communication Overhead: A Multilevel Monte Carlo Approach for Mitigating Compression Bias in Distributed Learning
von: Zukerman, Ze'ev, et al.
Veröffentlicht: (2025)

Asynchronous Local-SGD Training for Language Modeling
von: Liu, Bo, et al.
Veröffentlicht: (2024)

Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework
von: Zhou, Yijie, et al.
Veröffentlicht: (2025)

Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration
von: Garg, Sachin, et al.
Veröffentlicht: (2026)

Dynamic Byzantine-Robust Learning: Adapting to Switching Byzantine Workers
von: Dorfman, Ron, et al.
Veröffentlicht: (2024)

On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization
von: Sahu, Sharan, et al.
Veröffentlicht: (2026)

The Marginal Value of Momentum for Small Learning Rate SGD
von: Wang, Runzhe, et al.
Veröffentlicht: (2023)

SGD with Adaptive Preconditioning: Unified Analysis and Momentum Acceleration
von: Kovalev, Dmitry
Veröffentlicht: (2025)

Signal Processing Meets SGD: From Momentum to Filter
von: Yao, Zhipeng, et al.
Veröffentlicht: (2023)

Momentum Approximation in Asynchronous Private Federated Learning
von: Yu, Tao, et al.
Veröffentlicht: (2024)

High-dimensional limit theorems for SGD: Momentum and Adaptive Step-sizes
von: Jagannath, Aukosh, et al.
Veröffentlicht: (2025)

Birch SGD: A Tree Graph Framework for Local and Asynchronous SGD Methods
von: Tyurin, Alexander, et al.
Veröffentlicht: (2025)

DE-PADA: Personalized Augmentation and Domain Adaptation for ECG Biometrics Across Physiological States
von: Saleh, Amro Abu, et al.
Veröffentlicht: (2025)

Prediction-Powered Semi-Supervised Learning with Online Power Tuning
von: Shoham, Noa, et al.
Veröffentlicht: (2025)

Understanding Outer Optimizers in Local SGD: Learning Rates, Momentum, and Acceleration
von: Khaled, Ahmed, et al.
Veröffentlicht: (2025)

The Impact Analysis of Delays in Asynchronous Federated Learning with Data Heterogeneity for Edge Intelligence
von: Hao, Ziruo, et al.
Veröffentlicht: (2025)

Asynchronous Training Schemes in Distributed Learning with Time Delay
von: Wang, Haoxiang, et al.
Veröffentlicht: (2022)