Buchumschlag

Accelerated Gradient Tracking over Time-varying Graphs for Decentralized Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Huan, Lin, Zhouchen
Format:	Preprint
Veröffentlicht:	2021
Schlagworte:	Optimization and Control Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Decentralized Federated Learning with Gradient Tracking over Time-Varying Directed Networks
von: Nguyen, Duong Thuy Anh, et al.
Veröffentlicht: (2024)

On the $O(\frac{\sqrt{d}}{K^{1/4}})$ Convergence Rate of AdamW Measured by $\ell_1$ Norm
von: Li, Huan, et al.
Veröffentlicht: (2025)

Convergence Rate Analysis of LION
von: Dong, Yiming, et al.
Veröffentlicht: (2024)

Convergence Rate Analysis of the AdamW-Style Shampoo: Unifying One-Sided and Two-Sided Preconditioning
von: Li, Huan, et al.
Veröffentlicht: (2026)

Sporadic Gradient Tracking over Directed Graphs: A Theoretical Perspective on Decentralized Federated Learning
von: Zehtabi, Shahryar, et al.
Veröffentlicht: (2026)

Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models
von: Xie, Xingyu, et al.
Veröffentlicht: (2022)

Decentralized Optimization on Compact Submanifolds by Quantized Riemannian Gradient Tracking
von: Chen, Jun, et al.
Veröffentlicht: (2025)

Optimized Gradient Tracking for Decentralized Online Learning
von: Sharma, Shivangi Dubey, et al.
Veröffentlicht: (2023)

A Variance-Reduced Stochastic Gradient Tracking Algorithm for Decentralized Optimization with Orthogonality Constraints
von: Wang, Lei, et al.
Veröffentlicht: (2022)

Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs
von: Liang, Yifei, et al.
Veröffentlicht: (2026)

High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking
von: Armacki, Aleksandar, et al.
Veröffentlicht: (2026)

Enhancing Convergence of Decentralized Gradient Tracking under the KL Property
von: Chen, Xiaokai, et al.
Veröffentlicht: (2024)

Provably Convergent Decentralized Optimization over Directed Graphs under Generalized Smoothness
von: Bo, Yanan, et al.
Veröffentlicht: (2026)

Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation
von: Li, Zehao, et al.
Veröffentlicht: (2024)

Accelerating Decentralized Optimization via Overlapping Local Steps
von: Zhou, Yijie, et al.
Veröffentlicht: (2026)

DCatalyst: A Unified Accelerated Framework for Decentralized Optimization
von: Cao, Tianyu, et al.
Veröffentlicht: (2025)

Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization
von: Liu, Wei, et al.
Veröffentlicht: (2025)

Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks
von: Kovalev, Dmitry, et al.
Veröffentlicht: (2024)

A Weighted Gradient Tracking Privacy-Preserving Method for Distributed Optimization
von: Xie, Furan, et al.
Veröffentlicht: (2025)

Stochastic Constrained Decentralized Optimization for Machine Learning with Fewer Data Oracles: a Gradient Sliding Approach
von: Nguyen, Hoang Huy, et al.
Veröffentlicht: (2024)

A Proximal Gradient Method With Probabilistic Multi-Gossip Communications for Decentralized Composite Optimization
von: Guo, Luyao, et al.
Veröffentlicht: (2023)

Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness
von: Zhao, Yuheng, et al.
Veröffentlicht: (2025)

An Accelerated Gradient Method for Convex Smooth Simple Bilevel Optimization
von: Cao, Jincheng, et al.
Veröffentlicht: (2024)

Generalized Continuous-Time Models for Nesterov's Accelerated Gradient Methods
von: Park, Chanwoong, et al.
Veröffentlicht: (2024)

DIGing--SGLD: Decentralized and Scalable Langevin Sampling over Time--Varying Networks
von: Bajwa, Waheed U., et al.
Veröffentlicht: (2025)

From Inexact Gradients to Byzantine Robustness: Acceleration and Optimization under Similarity
von: Gaucher, Renaud, et al.
Veröffentlicht: (2026)

Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum
von: Zhou, Yuan, et al.
Veröffentlicht: (2025)

Decentralized Sparse Linear Regression via Gradient-Tracking: Linear Convergence and Statistical Guarantees
von: Maros, Marie, et al.
Veröffentlicht: (2022)

DeMuon: A Decentralized Muon for Matrix Optimization over Graphs
von: He, Chuan, et al.
Veröffentlicht: (2025)

Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold
von: Chen, Jun, et al.
Veröffentlicht: (2023)

Accelerating Optimization via Differentiable Stopping Time
von: Xie, Zhonglin, et al.
Veröffentlicht: (2025)

Decentralized Sum-of-Nonconvex Optimization
von: Liu, Zhuanghua, et al.
Veröffentlicht: (2024)

RESIST: Resilient Decentralized Learning Using Consensus Gradient Descent
von: Fang, Cheng, et al.
Veröffentlicht: (2025)

Convergence Rate Analysis of SOAP with Arbitrary Orthogonal Projection Matrices
von: Li, Huan, et al.
Veröffentlicht: (2026)

Anytime Acceleration of Gradient Descent
von: Zhang, Zihan, et al.
Veröffentlicht: (2024)

Learning-Augmented Decentralized Online Convex Optimization in Networks
von: Li, Pengfei, et al.
Veröffentlicht: (2023)

Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
von: Gao, Hongchang
Veröffentlicht: (2022)

Accelerating optimization over the space of probability measures
von: Chen, Shi, et al.
Veröffentlicht: (2023)

Problem-Parameter-Free Decentralized Bilevel Optimization
von: Zhai, Zhiwei, et al.
Veröffentlicht: (2025)

Provable Acceleration of Nesterov's Accelerated Gradient Method over Heavy Ball Method in Training Over-Parameterized Neural Networks
von: Liu, Xin, et al.
Veröffentlicht: (2022)