Buchumschlag

Ordered Local Momentum for Asynchronous Distributed Learning under Arbitrary Delays

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Shi, Chang-Wei, Wang, Shi-Shang, Li, Wu-Jun
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Ordered Momentum for Asynchronous SGD
von: Shi, Chang-Wei, et al.
Veröffentlicht: (2024)

Global Momentum Compression for Sparse Communication in Distributed Learning
von: Shi, Chang-Wei, et al.
Veröffentlicht: (2019)

Bringing Order to Asynchronous SGD: Towards Optimality under Data-Dependent Delays with Momentum
von: Dahan, Tehila, et al.
Veröffentlicht: (2026)

Asynchronous Training Schemes in Distributed Learning with Time Delay
von: Wang, Haoxiang, et al.
Veröffentlicht: (2022)

Stochastic Normalized Gradient Descent with Momentum for Large-Batch Training
von: Zhao, Shen-Yi, et al.
Veröffentlicht: (2020)

Momentum Approximation in Asynchronous Private Federated Learning
von: Yu, Tao, et al.
Veröffentlicht: (2024)

Asynchronous Distributed Optimization with Delay-free Parameters
von: Wu, Xuyang, et al.
Veröffentlicht: (2023)

Faster Stochastic Optimization with Arbitrary Delays via Asynchronous Mini-Batching
von: Attia, Amit, et al.
Veröffentlicht: (2024)

Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays
von: Iakovidou, Charikleia, et al.
Veröffentlicht: (2024)

Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients
von: Wang, Xiaolu, et al.
Veröffentlicht: (2024)

Dual-Delayed Asynchronous SGD for Arbitrarily Heterogeneous Data
von: Wang, Xiaolu, et al.
Veröffentlicht: (2024)

Distributed Learning over Arbitrary Topology: Linear Speed-Up with Polynomial Transient Time
von: You, Runze, et al.
Veröffentlicht: (2025)

FedSUM Family: Efficient Federated Learning Methods under Arbitrary Client Participation
von: You, Runze, et al.
Veröffentlicht: (2025)

The Impact Analysis of Delays in Asynchronous Federated Learning with Data Heterogeneity for Edge Intelligence
von: Hao, Ziruo, et al.
Veröffentlicht: (2025)

Resource Efficient Asynchronous Federated Learning for Digital Twin Empowered IoT Network
von: Chu, Shunfeng, et al.
Veröffentlicht: (2024)

Asynchronous Local Computations in Distributed Bayesian Learning
von: Bhar, Kinjal, et al.
Veröffentlicht: (2023)

Analysis of Asynchronous Federated Learning: Unraveling the Interactions between Gradient Compression, Delay, and Data Heterogeneity
von: Yang, Diying, et al.
Veröffentlicht: (2025)

FLUX: Efficient Descriptor-Driven Clustered Federated Learning under Arbitrary Distribution Shifts
von: Fenoglio, Dario, et al.
Veröffentlicht: (2025)

Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework
von: Zhou, Yijie, et al.
Veröffentlicht: (2025)

Distributed Sign Momentum with Local Steps for Training Transformers
von: Yu, Shuhua, et al.
Veröffentlicht: (2024)

Harnessing Feature Resonance under Arbitrary Target Alignment for Out-of-Distribution Node Detection
von: Yang, Shenzhi, et al.
Veröffentlicht: (2025)

Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity
von: Tyurin, Alexander, et al.
Veröffentlicht: (2024)

Buffered Asynchronous Secure Aggregation for Cross-Device Federated Learning
von: Wang, Kun, et al.
Veröffentlicht: (2024)

Double Momentum Method for Lower-Level Constrained Bilevel Optimization
von: Shi, Wanli, et al.
Veröffentlicht: (2024)

Dynamic Momentum Recalibration in Online Gradient Learning
von: Yao, Zhipeng, et al.
Veröffentlicht: (2026)

AcceRL: A Distributed Asynchronous Reinforcement Learning and World Model Framework for Vision-Language-Action Models
von: Lu, Chengxuan, et al.
Veröffentlicht: (2026)

Revisiting Multi-Agent Asynchronous Online Optimization with Delays: the Strongly Convex Case
von: Bao, Lingchan, et al.
Veröffentlicht: (2025)

Delay-Empowered Causal Hierarchical Reinforcement Learning
von: Zhao, Chenran, et al.
Veröffentlicht: (2026)

A Survey of Deep Graph Learning under Distribution Shifts: from Graph Out-of-Distribution Generalization to Adaptation
von: Zhang, Kexin, et al.
Veröffentlicht: (2024)

Learning Clinical Representations Under Systematic Distribution Shift
von: Zhang, Yuanyun, et al.
Veröffentlicht: (2026)

DistRL: An Asynchronous Distributed Reinforcement Learning Framework for On-Device Control Agents
von: Wang, Taiyi, et al.
Veröffentlicht: (2024)

HALoS: Hierarchical Asynchronous Local SGD over Slow Networks for Geo-Distributed Large Language Model Training
von: Kim, Geon-Woo, et al.
Veröffentlicht: (2025)

Distributed Gradient Descent for Functional Learning
von: Yu, Zhan, et al.
Veröffentlicht: (2023)

Orthogonal Calibration for Asynchronous Federated Learning
von: Zhang, Jiayun, et al.
Veröffentlicht: (2025)

Graph Fairness Learning under Distribution Shifts
von: Li, Yibo, et al.
Veröffentlicht: (2024)

Distributionally Robust Constrained Reinforcement Learning under Strong Duality
von: Zhang, Zhengfei, et al.
Veröffentlicht: (2024)

Asynchronous and Stochastic Distributed Resource Allocation
von: Li, Qiang, et al.
Veröffentlicht: (2025)

Asynchronous Diffusion Learning with Agent Subsampling and Local Updates
von: Rizk, Elsa, et al.
Veröffentlicht: (2024)

Delayed Momentum Aggregation: Communication-efficient Byzantine-robust Federated Learning with Partial Participation
von: Otsuka, Kaoru, et al.
Veröffentlicht: (2025)

On the Performance Analysis of Momentum Method: A Frequency Domain Perspective
von: Li, Xianliang, et al.
Veröffentlicht: (2024)