Buchumschlag

Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhou, Yijie, Pu, Shi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Accelerating Decentralized Optimization via Overlapping Local Steps
von: Zhou, Yijie, et al.
Veröffentlicht: (2026)

Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent
von: Jing, Gangshan, et al.
Veröffentlicht: (2021)

Heavy-Tail Phenomenon in Decentralized SGD
von: Gurbuzbalaban, Mert, et al.
Veröffentlicht: (2022)

Dual-Delayed Asynchronous SGD for Arbitrarily Heterogeneous Data
von: Wang, Xiaolu, et al.
Veröffentlicht: (2024)

Tight Long-Term Tail Decay of (Clipped) SGD in Non-Convex Optimization
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2026)

Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity
von: Tyurin, Alexander, et al.
Veröffentlicht: (2024)

A Block Coordinate Descent Method for Nonsmooth Composite Optimization under Orthogonality Constraints
von: Yuan, Ganzhao
Veröffentlicht: (2023)

SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
von: Dahan, Tehila, et al.
Veröffentlicht: (2023)

Differentially Private Random Block Coordinate Descent
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2024)

Lower Bounds and Proximally Anchored SGD for Non-Convex Minimization Under Unbounded Variance
von: Fazla, Arda, et al.
Veröffentlicht: (2026)

Birch SGD: A Tree Graph Framework for Local and Asynchronous SGD Methods
von: Tyurin, Alexander, et al.
Veröffentlicht: (2025)

Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization
von: Jiang, Ruichen, et al.
Veröffentlicht: (2024)

Compressed Proximal Federated Learning for Non-Convex Composite Optimization on Heterogeneous Data
von: Qiu, Pu, et al.
Veröffentlicht: (2026)

More Optimal Fractional-Order Stochastic Gradient Descent for Non-Convex Optimization Problems
von: Partohaghighi, Mohammad, et al.
Veröffentlicht: (2025)

AutoSGD: Automatic Learning Rate Selection for Stochastic Gradient Descent
von: Surjanovic, Nikola, et al.
Veröffentlicht: (2025)

High-Probability Convergence Guarantees of Decentralized SGD
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2025)

The Sample Complexity of Gradient Descent in Stochastic Convex Optimization
von: Livni, Roi
Veröffentlicht: (2024)

Quantitative Convergence Analysis of Projected Stochastic Gradient Descent for Non-Convex Losses via the Goldstein Subdifferential
von: Zheng, Yuping, et al.
Veröffentlicht: (2025)

Convergence of Steepest Descent and Adam under Non-Uniform Smoothness
von: Vaswani, Sharan, et al.
Veröffentlicht: (2026)

Rescaled Asynchronous SGD: Optimal Distributed Optimization under Data and System Heterogeneity
von: Mahran, Ammar, et al.
Veröffentlicht: (2026)

Leveraging Coordinate Momentum in SignSGD and Muon: Memory-Optimized Zero-Order
von: Petrov, Egor, et al.
Veröffentlicht: (2025)

RESIST: Resilient Decentralized Learning Using Consensus Gradient Descent
von: Fang, Cheng, et al.
Veröffentlicht: (2025)

Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks
von: Kovalev, Dmitry, et al.
Veröffentlicht: (2024)

Learning-Augmented Decentralized Online Convex Optimization in Networks
von: Li, Pengfei, et al.
Veröffentlicht: (2023)

Fast and Accurate Estimation of Low-Rank Matrices from Noisy Measurements via Preconditioned Non-Convex Gradient Descent
von: Zhang, Gavin, et al.
Veröffentlicht: (2023)

Convergence of Clipped-SGD for Convex $(L_0,L_1)$-Smooth Optimization with Heavy-Tailed Noise
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2025)

Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

Random Coordinate Descent on the Wasserstein Space of Probability Measures
von: Xu, Yewei, et al.
Veröffentlicht: (2026)

Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
von: Gao, Hongchang
Veröffentlicht: (2022)

Revisiting Multi-Agent Asynchronous Online Optimization with Delays: the Strongly Convex Case
von: Bao, Lingchan, et al.
Veröffentlicht: (2025)

Classical and Quantum Speedups for Non-Convex Optimization via Energy Conserving Descent
von: Sun, Yihang, et al.
Veröffentlicht: (2026)

Non-Convex Federated Optimization under Cost-Aware Client Selection
von: Jiang, Xiaowen, et al.
Veröffentlicht: (2025)

A Comprehensive Framework for Analyzing the Convergence of Adam: Bridging the Gap with SGD
von: Jin, Ruinan, et al.
Veröffentlicht: (2024)

Proactive DP: A Multple Target Optimization Framework for DP-SGD
von: van Dijk, Marten, et al.
Veröffentlicht: (2021)

Rapid Overfitting of Multi-Pass Stochastic Gradient Descent in Stochastic Convex Optimization
von: Vansover-Hager, Shira, et al.
Veröffentlicht: (2025)

FedSUM Family: Efficient Federated Learning Methods under Arbitrary Client Participation
von: You, Runze, et al.
Veröffentlicht: (2025)

Non-Euclidean SGD for Structured Optimization: Unified Analysis and Improved Rates
von: Kovalev, Dmitry, et al.
Veröffentlicht: (2025)

Stochastic Approximation with Block Coordinate Optimal Stepsizes
von: Jiang, Tao, et al.
Veröffentlicht: (2025)

Implicit Bias of Gradient Descent for Non-Homogeneous Deep Networks
von: Cai, Yuhang, et al.
Veröffentlicht: (2025)

Effective Dimension Aware Fractional-Order Stochastic Gradient Descent for Convex Optimization Problems
von: Partohaghighi, Mohammad, et al.
Veröffentlicht: (2025)