Buchumschlag

Convergence of Distributed Adaptive Optimization with Local Updates

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cheng, Ziheng, Glasgow, Margalit
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication
von: Patel, Kumar Kshitij, et al.
Veröffentlicht: (2024)

On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
von: Zhou, Dongruo, et al.
Veröffentlicht: (2018)

Convergence for Discrete Parameter Update Schemes
von: Wilson, Paul, et al.
Veröffentlicht: (2025)

Local Linear Convergence of Infeasible Optimization with Orthogonal Constraints
von: Sun, Youbang, et al.
Veröffentlicht: (2024)

Drop-Muon: Update Less, Converge Faster
von: Gruntkowska, Kaja, et al.
Veröffentlicht: (2025)

Convergence Analysis of the Lion Optimizer in Centralized and Distributed Settings
von: Jiang, Wei, et al.
Veröffentlicht: (2025)

Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization
von: Gong, Xiaochuan, et al.
Veröffentlicht: (2025)

Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator
von: Guo, Zhishuai, et al.
Veröffentlicht: (2021)

Adam Converges Without Any Modification On Update Rules
von: Zhang, Yushun, et al.
Veröffentlicht: (2026)

Weak Convergence Analysis of Online Neural Actor-Critic Algorithms
von: Lam, Samuel Chun-Hei, et al.
Veröffentlicht: (2024)

Communication-Efficient Gradient Descent-Accent Methods for Distributed Variational Inequalities: Unified Analysis and Local Updates
von: Zhang, Siqi, et al.
Veröffentlicht: (2023)

Less is More: Convergence Benefits of Fewer Data Weight Updates over Longer Horizon
von: Das, Rudrajit, et al.
Veröffentlicht: (2026)

Adaptive Delayed-Update Cyclic Algorithm for Variational Inequalities
von: Wei, Yi, et al.
Veröffentlicht: (2026)

Directional Smoothness and Gradient Methods: Convergence and Adaptivity
von: Mishkin, Aaron, et al.
Veröffentlicht: (2024)

Communication-Efficient Adaptive Batch Size Strategies for Distributed Local Gradient Methods
von: Lau, Tim Tsz-Kit, et al.
Veröffentlicht: (2024)

An Efficient Global Optimization Algorithm with Adaptive Estimates of the Local Lipschitz Constants
von: D'Agostino, Danny
Veröffentlicht: (2022)

From PowerSGD to PowerSGD+: Low-Rank Gradient Compression for Distributed Optimization with Convergence Guarantees
von: Xie, Shengping, et al.
Veröffentlicht: (2025)

Achieving Near-Optimal Convergence for Distributed Minimax Optimization with Adaptive Stepsizes
von: Huang, Yan, et al.
Veröffentlicht: (2024)

Fundamental Benefit of Alternating Updates in Minimax Optimization
von: Lee, Jaewook, et al.
Veröffentlicht: (2024)

Improved Convergence Rates of Muon Optimizer for Nonconvex Optimization
von: Nagashima, Shuntaro, et al.
Veröffentlicht: (2026)

AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates
von: Zhang, Minxin, et al.
Veröffentlicht: (2025)

The Effectiveness of Local Updates for Decentralized Learning under Data Heterogeneity
von: Wu, Tongle, et al.
Veröffentlicht: (2024)

Faster Convergence of Local SGD for Over-Parameterized Models
von: Qin, Tiancheng, et al.
Veröffentlicht: (2022)

Momentum Benefits Non-IID Federated Learning Simply and Provably
von: Cheng, Ziheng, et al.
Veröffentlicht: (2023)

On PI Controllers for Updating Lagrange Multipliers in Constrained Optimization
von: Sohrabi, Motahareh, et al.
Veröffentlicht: (2024)

Automatic Differentiation of Optimization Algorithms with Time-Varying Updates
von: Mehmood, Sheheryar, et al.
Veröffentlicht: (2024)

TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation
von: Condat, Laurent, et al.
Veröffentlicht: (2023)

Tractable Representations for Convergent Approximation of Distributional HJB Equations
von: Alhosh, Julie, et al.
Veröffentlicht: (2025)

Convergence of Spectral Descent for Non-smooth Optimization
von: Yang, Yixuan, et al.
Veröffentlicht: (2026)

Sketch-and-Project Meets Newton Method: Global $\mathcal O(k^{-2})$ Convergence with Low-Rank Updates
von: Hanzely, Slavomír
Veröffentlicht: (2023)

Optimal Local Convergence Rates of Stochastic First-Order Methods under Local $α$-PL
von: Masiha, Saeed, et al.
Veröffentlicht: (2024)

Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update
von: Pugacheva, Daria, et al.
Veröffentlicht: (2024)

Constant Stepsize Q-learning: Distributional Convergence, Bias and Extrapolation
von: Zhang, Yixuan, et al.
Veröffentlicht: (2024)

Stochastic Compositional Minimax Optimization with Provable Convergence Guarantees
von: Deng, Yuyang, et al.
Veröffentlicht: (2024)

On Convergence of Adam for Stochastic Optimization under Relaxed Assumptions
von: Hong, Yusu, et al.
Veröffentlicht: (2024)

Subspace Optimization for Large Language Models with Convergence Guarantees
von: He, Yutong, et al.
Veröffentlicht: (2024)

Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization
von: Kotary, James, et al.
Veröffentlicht: (2023)

Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees
von: Xiao, Nachuan, et al.
Veröffentlicht: (2023)

Locally Adaptive Federated Learning
von: Mukherjee, Sohom, et al.
Veröffentlicht: (2023)

Achieving Better Local Regret Bound for Online Non-Convex Bilevel Optimization
von: Jia, Tingkai, et al.
Veröffentlicht: (2026)