Buchumschlag

Do We Need Asynchronous SGD? On the Near-Optimality of Synchronous Methods

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Begunov, Grigory, Tyurin, Alexander
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Distributed, Parallel, and Cluster Computing Artificial Intelligence Numerical Analysis Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Birch SGD: A Tree Graph Framework for Local and Asynchronous SGD Methods
von: Tyurin, Alexander, et al.
Veröffentlicht: (2025)

Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

Optimality in Decentralized Optimization under Bandwidth Constraints
von: Tyurin, Alexander
Veröffentlicht: (2026)

Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
von: Tyurin, Alexander, et al.
Veröffentlicht: (2025)

Exponential convergence of a distributed divide-and-conquer algorithm for constrained convex optimization on networks
von: Emirov, Nazar, et al.
Veröffentlicht: (2025)

First Provably Optimal Asynchronous SGD for Homogeneous and Heterogeneous Data
von: Maranjyan, Artavazd
Veröffentlicht: (2026)

Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction
von: Tyurin, Alexander
Veröffentlicht: (2025)

Rescaled Asynchronous SGD: Optimal Distributed Optimization under Data and System Heterogeneity
von: Mahran, Ammar, et al.
Veröffentlicht: (2026)

Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

Modifying the Asynchronous Jacobi Method for Data Corruption Resilience
von: Vogl, Christopher J., et al.
Veröffentlicht: (2022)

FADAS: Towards Federated Adaptive Asynchronous Optimization
von: Wang, Yujia, et al.
Veröffentlicht: (2024)

MAST: Model-Agnostic Sparsified Training
von: Demidovich, Yury, et al.
Veröffentlicht: (2023)

Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences
von: Malinovsky, Grigory, et al.
Veröffentlicht: (2023)

OptPipe: Memory- and Scheduling-Optimized Pipeline Parallelism for LLM Training
von: Li, Hongpei, et al.
Veröffentlicht: (2025)

Constraint Programming Models For Serial Batch Scheduling With Minimum Batch Size
von: Huertas, Jorge A., et al.
Veröffentlicht: (2025)

Residual-Weighted Randomized Jacobi: Sharpened Bounds via Residual Concentration and Asynchronous Extension
von: Coleman, Evan
Veröffentlicht: (2026)

LOSCAR-SGD: Local SGD with Communication-Computation Overlap and Delay-Corrected Sparse Model Averaging
von: Maziane, Yassine, et al.
Veröffentlicht: (2026)

Accelerating Optimal Power Flow with GPUs: SIMD Abstraction of Nonlinear Programs and Condensed-Space Interior-Point Methods
von: Shin, Sungho, et al.
Veröffentlicht: (2023)

MindFlayer SGD: Efficient Parallel SGD in the Presence of Heterogeneous and Random Worker Compute Times
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2024)

Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)

Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2026)

A Communication and Computation Efficient Fully First-order Method for Decentralized Bilevel Optimization
von: Wen, Min, et al.
Veröffentlicht: (2024)

Distributed Difference of Convex Optimization
von: Khatana, Vivek, et al.
Veröffentlicht: (2024)

Distribution System Voltage Prediction from Smart Inverters using Decentralized Regression
von: Atkins, Zachary R., et al.
Veröffentlicht: (2021)

Revisiting LocalSGD and SCAFFOLD: Improved Rates and Missing Analysis
von: Luo, Ruichen, et al.
Veröffentlicht: (2025)

The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication
von: Patel, Kumar Kshitij, et al.
Veröffentlicht: (2024)

A GPU-Accelerated Distributed Algorithm for Optimal Power Flow in Distribution Systems
von: Ryu, Minseok, et al.
Veröffentlicht: (2025)

Decentralized Nonconvex Optimization under Heavy-Tailed Noise: Normalization and Optimal Convergence
von: Yu, Shuhua, et al.
Veröffentlicht: (2025)

Distributed Stochastic Momentum Tracking with Local Updates: Achieving Optimal Communication and Iteration Complexities
von: Huang, Kun, et al.
Veröffentlicht: (2025)

A Parallel in Time Algorithm Based on ParaExp for Optimal Control Problems
von: Kwok, Felix, et al.
Veröffentlicht: (2024)

Large-Scale LLM Inference with Heterogeneous Workloads: Prefill-Decode Contention and Asymptotically Optimal Control
von: Lin, Ruihan, et al.
Veröffentlicht: (2026)

Average-case optimization analysis for distributed consensus algorithms on regular graphs
von: Nguyen, Nhat Trung, et al.
Veröffentlicht: (2024)

An Optimistic Gradient Tracking Method for Distributed Minimax Optimization
von: Huang, Yan, et al.
Veröffentlicht: (2025)

Tailoring Gradient Methods for Differentially-Private Distributed Optimization
von: Wang, Yongqiang, et al.
Veröffentlicht: (2022)

Achieving Near-Optimal Convergence for Distributed Minimax Optimization with Adaptive Stepsizes
von: Huang, Yan, et al.
Veröffentlicht: (2024)

Decentralized Gradient-Free Methods for Stochastic Non-Smooth Non-Convex Optimization
von: Lin, Zhenwei, et al.
Veröffentlicht: (2023)

Overlapping Schwarz Scheme for Linear-Quadratic Programs in Continuous Time
von: Zhao, Hongli, et al.
Veröffentlicht: (2025)

Krylov Solvers for Interior Point Methods with Applications in Radiation Therapy and Support Vector Machines
von: Liu, Felix, et al.
Veröffentlicht: (2023)

Decentralized Distributed Optimization for Saddle Point Problems
von: Rogozin, Alexander, et al.
Veröffentlicht: (2021)

GPU Accelerated Implicit Kinetic Meshfree Method based on Modified LU-SGS
von: Verma, Mayuri, et al.
Veröffentlicht: (2024)