Buchumschlag

GRAWA: Gradient-based Weighted Averaging for Distributed Training of Deep Learning Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Dimlioglu, Tolga, Choromanska, Anna
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Distributed, Parallel, and Cluster Computing Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Communication-Efficient Distributed Training for Collaborative Flat Optima Recovery in Deep Learning
von: Dimlioglu, Tolga, et al.
Veröffentlicht: (2025)

A Survey of Optimization Methods for Training DL Models: Theoretical Perspective on Convergence and Generalization
von: Wang, Jing, et al.
Veröffentlicht: (2025)

Activations and Gradients Compression for Model-Parallel Training
von: Rudakov, Mikhail, et al.
Veröffentlicht: (2024)

Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
von: Tyurin, Alexander, et al.
Veröffentlicht: (2025)

Stochastic Controlled Averaging for Federated Learning with Communication Compression
von: Huang, Xinmeng, et al.
Veröffentlicht: (2023)

LoCoDL: Communication-Efficient Distributed Learning with Local Training and Compression
von: Condat, Laurent, et al.
Veröffentlicht: (2024)

Continuous-Time Analysis of Federated Averaging
von: Overman, Tom, et al.
Veröffentlicht: (2025)

LOSCAR-SGD: Local SGD with Communication-Computation Overlap and Delay-Corrected Sparse Model Averaging
von: Maziane, Yassine, et al.
Veröffentlicht: (2026)

Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum
von: Zhou, Yuan, et al.
Veröffentlicht: (2025)

A Hybrid Stochastic Gradient Tracking Method for Distributed Online Optimization Over Time-Varying Directed Networks
von: Shi, Xinli, et al.
Veröffentlicht: (2025)

On Biased Compression for Distributed Learning
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)

Online Distributed Learning with Quantized Finite-Time Coordination
von: Bastianello, Nicola, et al.
Veröffentlicht: (2023)

CONGO: Compressive Online Gradient Optimization
von: Carleton, Jeremy, et al.
Veröffentlicht: (2024)

The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication
von: Patel, Kumar Kshitij, et al.
Veröffentlicht: (2024)

Optimizing Stochastic Gradient Push under Broadcast Communications
von: Nguyen, Tuan, et al.
Veröffentlicht: (2026)

ATA: Adaptive Task Allocation for Efficient Resource Management in Distributed Machine Learning
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

Provable Model-Parallel Distributed Principal Component Analysis with Parallel Deflation
von: Liao, Fangshuo, et al.
Veröffentlicht: (2025)

Towards Dynamic Resource Allocation and Client Scheduling in Hierarchical Federated Learning: A Two-Phase Deep Reinforcement Learning Approach
von: Chen, Xiaojing, et al.
Veröffentlicht: (2024)

A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration
von: Hu, Yuchen, et al.
Veröffentlicht: (2025)

GradSkip: Communication-Accelerated Local Gradient Methods with Better Computational Complexity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2022)

AGD: an Auto-switchable Optimizer using Stepwise Gradient Difference for Preconditioning Matrix
von: Yue, Yun, et al.
Veröffentlicht: (2023)

Towards a Better Theoretical Understanding of Independent Subnetwork Training
von: Shulgin, Egor, et al.
Veröffentlicht: (2023)

Communication Efficient Distributed Training with Distributed Lion
von: Liu, Bo, et al.
Veröffentlicht: (2024)

FIARSE: Model-Heterogeneous Federated Learning via Importance-Aware Submodel Extraction
von: Wu, Feijie, et al.
Veröffentlicht: (2024)

Achieving Near-Optimal Convergence for Distributed Minimax Optimization with Adaptive Stepsizes
von: Huang, Yan, et al.
Veröffentlicht: (2024)

Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps
von: Yang, Junchi, et al.
Veröffentlicht: (2024)

Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression
von: He, Yutong, et al.
Veröffentlicht: (2023)

Unbiased Compression Saves Communication in Distributed Optimization: When and How Much?
von: He, Yutong, et al.
Veröffentlicht: (2023)

Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)

Rescaled Asynchronous SGD: Optimal Distributed Optimization under Data and System Heterogeneity
von: Mahran, Ammar, et al.
Veröffentlicht: (2026)

Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)

Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction
von: Tyurin, Alexander
Veröffentlicht: (2025)

Convergence of Sign-based Random Reshuffling Algorithms for Nonconvex Optimization
von: Qin, Zhen, et al.
Veröffentlicht: (2023)

On Principled Local Optimization Methods for Federated Learning
von: Yuan, Honglin
Veröffentlicht: (2024)

Decentralized Directed Collaboration for Personalized Federated Learning
von: Liu, Yingqi, et al.
Veröffentlicht: (2024)

Adaptive Federated Learning with Auto-Tuned Clients
von: Kim, Junhyung Lyle, et al.
Veröffentlicht: (2023)

Energy-efficient Decentralized Learning via Graph Sparsification
von: Zhang, Xusheng, et al.
Veröffentlicht: (2024)

Decentralized Personalized Federated Learning for Min-Max Problems
von: Borodich, Ekaterina, et al.
Veröffentlicht: (2021)

Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability
von: Xiang, Ming, et al.
Veröffentlicht: (2024)

Resource-Constrained Decentralized Federated Learning via Personalized Event-Triggering
von: Zehtabi, Shahryar, et al.
Veröffentlicht: (2022)