Buchumschlag

Birch SGD: A Tree Graph Framework for Local and Asynchronous SGD Methods

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tyurin, Alexander, Sivtsov, Danil
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Distributed, Parallel, and Cluster Computing Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

Do We Need Asynchronous SGD? On the Near-Optimality of Synchronous Methods
von: Begunov, Grigory, et al.
Veröffentlicht: (2026)

First Provably Optimal Asynchronous SGD for Homogeneous and Heterogeneous Data
von: Maranjyan, Artavazd
Veröffentlicht: (2026)

LOSCAR-SGD: Local SGD with Communication-Computation Overlap and Delay-Corrected Sparse Model Averaging
von: Maziane, Yassine, et al.
Veröffentlicht: (2026)

Rescaled Asynchronous SGD: Optimal Distributed Optimization under Data and System Heterogeneity
von: Mahran, Ammar, et al.
Veröffentlicht: (2026)

Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
von: Tyurin, Alexander, et al.
Veröffentlicht: (2025)

Revisiting LocalSGD and SCAFFOLD: Improved Rates and Missing Analysis
von: Luo, Ruichen, et al.
Veröffentlicht: (2025)

MindFlayer SGD: Efficient Parallel SGD in the Presence of Heterogeneous and Random Worker Compute Times
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2024)

The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication
von: Patel, Kumar Kshitij, et al.
Veröffentlicht: (2024)

Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction
von: Tyurin, Alexander
Veröffentlicht: (2025)

Demystifying Why Local Aggregation Helps: Convergence Analysis of Hierarchical SGD
von: Wang, Jiayi, et al.
Veröffentlicht: (2020)

Local Methods with Adaptivity via Scaling
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)

Ordered Momentum for Asynchronous SGD
von: Shi, Chang-Wei, et al.
Veröffentlicht: (2024)

Optimality in Decentralized Optimization under Bandwidth Constraints
von: Tyurin, Alexander
Veröffentlicht: (2026)

Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2026)

On Principled Local Optimization Methods for Federated Learning
von: Yuan, Honglin
Veröffentlicht: (2024)

GradSkip: Communication-Accelerated Local Gradient Methods with Better Computational Complexity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2022)

Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps
von: Yang, Junchi, et al.
Veröffentlicht: (2024)

A Double Tracking Method for Optimization with Decentralized Generalized Orthogonality Constraints
von: Wang, Lei, et al.
Veröffentlicht: (2024)

A Penalty-Based Method for Communication-Efficient Decentralized Bilevel Programming
von: Nazari, Parvin, et al.
Veröffentlicht: (2022)

A Survey of Optimization Methods for Training DL Models: Theoretical Perspective on Convergence and Generalization
von: Wang, Jing, et al.
Veröffentlicht: (2025)

Energy-efficient Decentralized Learning via Graph Sparsification
von: Zhang, Xusheng, et al.
Veröffentlicht: (2024)

Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems
von: Li, Junyi, et al.
Veröffentlicht: (2023)

LoCoDL: Communication-Efficient Distributed Learning with Local Training and Compression
von: Condat, Laurent, et al.
Veröffentlicht: (2024)

A Hybrid Stochastic Gradient Tracking Method for Distributed Online Optimization Over Time-Varying Directed Networks
von: Shi, Xinli, et al.
Veröffentlicht: (2025)

Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)

FADAS: Towards Federated Adaptive Asynchronous Optimization
von: Wang, Yujia, et al.
Veröffentlicht: (2024)

Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)

Cooperative SGD with Dynamic Mixing Matrices
von: Sarkar, Soumya, et al.
Veröffentlicht: (2025)

Activations and Gradients Compression for Model-Parallel Training
von: Rudakov, Mikhail, et al.
Veröffentlicht: (2024)

Decentralized Personalized Federated Learning for Min-Max Problems
von: Borodich, Ekaterina, et al.
Veröffentlicht: (2021)

Truncated Non-Uniform Quantization for Distributed SGD
von: Yan, Guangfeng, et al.
Veröffentlicht: (2024)

A Single-Loop Algorithm for Decentralized Bilevel Optimization
von: Dong, Youran, et al.
Veröffentlicht: (2023)

A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration
von: Hu, Yuchen, et al.
Veröffentlicht: (2025)

A Stochastic Approximation Approach for Efficient Decentralized Optimization on Random Networks
von: Yau, Chung-Yiu, et al.
Veröffentlicht: (2024)

S$^3$LDBO: A Snapshot Single-Loop Algorithm for Decentralized Bilevel Optimization
von: Yin, Chao, et al.
Veröffentlicht: (2026)

Towards Dynamic Resource Allocation and Client Scheduling in Hierarchical Federated Learning: A Two-Phase Deep Reinforcement Learning Approach
von: Chen, Xiaojing, et al.
Veröffentlicht: (2024)

FedCanon: Non-Convex Composite Federated Learning with Efficient Proximal Operation on Heterogeneous Data
von: Zhou, Yuan, et al.
Veröffentlicht: (2025)

Time-varying Mixing Matrix Design for Energy-efficient Decentralized Federated Learning
von: Zhang, Xusheng, et al.
Veröffentlicht: (2025)