Buchumschlag

On the Optimal Time Complexities in Decentralized Stochastic Asynchronous Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tyurin, Alexander, Richtárik, Peter
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Freya PAGE: First Optimal Time Complexity for Large-Scale Nonconvex Finite-Sum Optimization with Heterogeneous Asynchronous Computations
von: Tyurin, Alexander, et al.
Veröffentlicht: (2024)

Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity
von: Tyurin, Alexander, et al.
Veröffentlicht: (2024)

Local SGD and Federated Averaging Through the Lens of Time Complexity
von: Fradin, Adrien, et al.
Veröffentlicht: (2025)

Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity
von: Gruntkowska, Kaja, et al.
Veröffentlicht: (2024)

Tight Time Complexities in Parallel Stochastic Optimization with Arbitrary Computation Dynamics
von: Tyurin, Alexander
Veröffentlicht: (2024)

A Computation and Communication Efficient Method for Distributed Nonconvex Problems in the Partial Participation Setting
von: Tyurin, Alexander, et al.
Veröffentlicht: (2022)

Optimality in Decentralized Optimization under Bandwidth Constraints
von: Tyurin, Alexander
Veröffentlicht: (2026)

Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

Scalable Distributed Stochastic Optimization via Bidirectional Compression: Beyond Pessimistic Limits
von: Begunov, Grigory, et al.
Veröffentlicht: (2026)

Tighter Performance Theory of FedExProx
von: Anyszka, Wojciech, et al.
Veröffentlicht: (2024)

Speeding up Stochastic Proximal Optimization in the High Hessian Dissimilarity Setting
von: Gasanov, Elnur, et al.
Veröffentlicht: (2024)

Tight Lower Bounds and Optimal Algorithms for Stochastic Nonconvex Optimization with Heavy-Tailed Noise
von: Fradin, Adrien, et al.
Veröffentlicht: (2025)

Do We Need Asynchronous SGD? On the Near-Optimality of Synchronous Methods
von: Begunov, Grigory, et al.
Veröffentlicht: (2026)

Near-Optimal Convergence of Accelerated Gradient Methods under Generalized and $(L_0, L_1)$-Smoothness
von: Tyurin, Alexander
Veröffentlicht: (2025)

The Stochastic Multi-Proximal Method for Nonsmooth Optimization
von: Condat, Laurent, et al.
Veröffentlicht: (2025)

Rescaled Asynchronous SGD: Optimal Distributed Optimization under Data and System Heterogeneity
von: Mahran, Ammar, et al.
Veröffentlicht: (2026)

Toward a Unified Theory of Gradient Descent under Generalized Smoothness
von: Tyurin, Alexander
Veröffentlicht: (2024)

Convergence Analysis of the PAGE Stochastic Algorithm for Weakly Convex Finite-Sum Optimization
von: Condat, Laurent, et al.
Veröffentlicht: (2025)

Rennala MVR: Improved Time Complexity for Parallel Stochastic Optimization via Momentum-Based Variance Reduction
von: Tovmasyan, Zhirayr, et al.
Veröffentlicht: (2026)

Birch SGD: A Tree Graph Framework for Local and Asynchronous SGD Methods
von: Tyurin, Alexander, et al.
Veröffentlicht: (2025)

Stochastic Proximal Point Methods for Monotone Inclusions under Expected Similarity
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2024)

Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
von: Tyurin, Alexander, et al.
Veröffentlicht: (2025)

Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction
von: Tyurin, Alexander
Veröffentlicht: (2025)

Second-order Optimization under Heavy-Tailed Noise: Hessian Clipping and Sample Complexity Limits
von: Sadiev, Abdurakhmon, et al.
Veröffentlicht: (2025)

Jointly Improving the Sample and Communication Complexities in Decentralized Stochastic Minimax Optimization
von: Zhang, Xuan, et al.
Veröffentlicht: (2023)

Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
von: Divilkovskiy, Maxim, et al.
Veröffentlicht: (2025)

Decentralized Optimization over Time-Varying Row-Stochastic Digraphs
von: Liang, Liyuan, et al.
Veröffentlicht: (2025)

Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration
von: Tyurin, Alexander
Veröffentlicht: (2025)

Revisiting Stochastic Proximal Point Methods: Generalized Smoothness and Similarity
von: Tovmasyan, Zhirayr, et al.
Veröffentlicht: (2025)

Optimal Asynchronous Stochastic Nonconvex Optimization under Heavy-Tailed Noise
von: Wu, Yidong, et al.
Veröffentlicht: (2026)

Asynchronous Decentralized Optimization with Constraints: Achievable Speeds of Convergence for Directed Graphs
von: Shahriari-Mehr, Firooz, et al.
Veröffentlicht: (2024)

A Nesterov-Accelerated Primal-Dual Splitting Algorithm for Convex Nonsmooth Optimization
von: Condat, Laurent, et al.
Veröffentlicht: (2026)

A Parameter-Free Zeroth-Order Algorithm for Decentralized Stochastic Convex Optimization
von: Chen, Jiawei, et al.
Veröffentlicht: (2026)

MARINA-P: Superior Performance in Non-smooth Federated Optimization with Adaptive Stepsizes
von: Sokolov, Igor, et al.
Veröffentlicht: (2024)

Non-Euclidean Broximal Point Method: A Blueprint for Geometry-Aware Optimization
von: Gruntkowska, Kaja, et al.
Veröffentlicht: (2025)

A Unified Theory of Stochastic Proximal Point Methods without Smoothness
von: Richtárik, Peter, et al.
Veröffentlicht: (2024)

Decentralized Finite-Sum Optimization over Time-Varying Networks
von: Metelev, Dmitry, et al.
Veröffentlicht: (2024)

Consensus-Based Optimization with Truncated Noise
von: Fornasier, Massimo, et al.
Veröffentlicht: (2023)

A Simple Linear Convergence Analysis of the Point-SAGA Algorithm
von: Condat, Laurent, et al.
Veröffentlicht: (2024)