Buchumschlag

Distributed Stochastic Momentum Tracking with Local Updates: Achieving Optimal Communication and Iteration Complexities

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Huang, Kun, Pu, Shi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Optimization and Control Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

An Accelerated Distributed Stochastic Gradient Method with Momentum
von: Huang, Kun, et al.
Veröffentlicht: (2024)

CEDAS: A Compressed Decentralized Stochastic Gradient Method with Improved Convergence
von: Huang, Kun, et al.
Veröffentlicht: (2023)

Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression
von: He, Yutong, et al.
Veröffentlicht: (2023)

An Optimistic Gradient Tracking Method for Distributed Minimax Optimization
von: Huang, Yan, et al.
Veröffentlicht: (2025)

Achieving Near-Optimal Convergence for Distributed Minimax Optimization with Adaptive Stepsizes
von: Huang, Yan, et al.
Veröffentlicht: (2024)

Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum
von: Zhou, Yuan, et al.
Veröffentlicht: (2025)

A GPU-Accelerated Distributed Algorithm for Optimal Power Flow in Distribution Systems
von: Ryu, Minseok, et al.
Veröffentlicht: (2025)

Rennala MVR: Improved Time Complexity for Parallel Stochastic Optimization via Momentum-Based Variance Reduction
von: Tovmasyan, Zhirayr, et al.
Veröffentlicht: (2026)

Unbiased Compression Saves Communication in Distributed Optimization: When and How Much?
von: He, Yutong, et al.
Veröffentlicht: (2023)

A Hybrid Stochastic Gradient Tracking Method for Distributed Online Optimization Over Time-Varying Directed Networks
von: Shi, Xinli, et al.
Veröffentlicht: (2025)

A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration
von: Hu, Yuchen, et al.
Veröffentlicht: (2025)

Stochastic Controlled Averaging for Federated Learning with Communication Compression
von: Huang, Xinmeng, et al.
Veröffentlicht: (2023)

D-PDLP: Scaling PDLP to Distributed Multi-GPU Systems
von: Li, Hongpei, et al.
Veröffentlicht: (2026)

Problem-Parameter-Free Decentralized Nonconvex Stochastic Optimization
von: Li, Jiaxiang, et al.
Veröffentlicht: (2024)

The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication
von: Patel, Kumar Kshitij, et al.
Veröffentlicht: (2024)

GradSkip: Communication-Accelerated Local Gradient Methods with Better Computational Complexity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2022)

Decentralized Gradient-Free Methods for Stochastic Non-Smooth Non-Convex Optimization
von: Lin, Zhenwei, et al.
Veröffentlicht: (2023)

LoCoDL: Communication-Efficient Distributed Learning with Local Training and Compression
von: Condat, Laurent, et al.
Veröffentlicht: (2024)

Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems
von: Li, Junyi, et al.
Veröffentlicht: (2023)

From Sequential to Parallel: Reformulating Dynamic Programming as GPU Kernels for Large-Scale Stochastic Combinatorial Optimization
von: Zhao, Jingyi, et al.
Veröffentlicht: (2026)

Decentralized Distributed Optimization for Saddle Point Problems
von: Rogozin, Alexander, et al.
Veröffentlicht: (2021)

Decentralized Nonconvex Optimization under Heavy-Tailed Noise: Normalization and Optimal Convergence
von: Yu, Shuhua, et al.
Veröffentlicht: (2025)

Tailoring Gradient Methods for Differentially-Private Distributed Optimization
von: Wang, Yongqiang, et al.
Veröffentlicht: (2022)

Large-Scale LLM Inference with Heterogeneous Workloads: Prefill-Decode Contention and Asymptotically Optimal Control
von: Lin, Ruihan, et al.
Veröffentlicht: (2026)

Load Balancing with Network Latencies via Distributed Gradient Descent
von: Balseiro, Santiago R., et al.
Veröffentlicht: (2025)

Distributed Constraint-Coupled Optimization: Harnessing ADMM-consensus for robustness
von: Messilem, Mohamed Abdelmouamin, et al.
Veröffentlicht: (2025)

Distributed Constrained Combinatorial Optimization leveraging Hypergraph Neural Networks
von: Heydaribeni, Nasimeh, et al.
Veröffentlicht: (2023)

Improving the Bit Complexity of Communication for Distributed Convex Optimization
von: Ghadiri, Mehrdad, et al.
Veröffentlicht: (2024)

One-Point Feedback for Composite Optimization with Applications to Distributed and Federated Learning
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)

Accelerating Optimal Power Flow with GPUs: SIMD Abstraction of Nonlinear Programs and Condensed-Space Interior-Point Methods
von: Shin, Sungho, et al.
Veröffentlicht: (2023)

Optimizing Stochastic Gradient Push under Broadcast Communications
von: Nguyen, Tuan, et al.
Veröffentlicht: (2026)

Distributed Conjugate Gradient Method via Conjugate Direction Tracking
von: Shorinwa, Ola, et al.
Veröffentlicht: (2023)

Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2026)

BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify Communication-Efficient Federated Learning
von: Zhu, Heng, et al.
Veröffentlicht: (2021)

Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

Optimality in Decentralized Optimization under Bandwidth Constraints
von: Tyurin, Alexander
Veröffentlicht: (2026)

Rescaled Asynchronous SGD: Optimal Distributed Optimization under Data and System Heterogeneity
von: Mahran, Ammar, et al.
Veröffentlicht: (2026)

Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)

Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps
von: Yang, Junchi, et al.
Veröffentlicht: (2024)