Buchumschlag

Activations and Gradients Compression for Model-Parallel Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Rudakov, Mikhail, Beznosikov, Aleksandr, Kholodov, Yaroslav, Gasnikov, Alexander
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Distributed, Parallel, and Cluster Computing Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)

Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2023)

Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity
von: Bylinkin, Dmitry, et al.
Veröffentlicht: (2024)

Local Methods with Adaptivity via Scaling
von: Chezhegov, Savelii, et al.
Veröffentlicht: (2024)

On Biased Compression for Distributed Learning
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2020)

One-Point Feedback for Composite Optimization with Applications to Distributed and Federated Learning
von: Beznosikov, Aleksandr, et al.
Veröffentlicht: (2021)

Decentralized Personalized Federated Learning for Min-Max Problems
von: Borodich, Ekaterina, et al.
Veröffentlicht: (2021)

Decentralized Distributed Optimization for Saddle Point Problems
von: Rogozin, Alexander, et al.
Veröffentlicht: (2021)

CONGO: Compressive Online Gradient Optimization
von: Carleton, Jeremy, et al.
Veröffentlicht: (2024)

GRAWA: Gradient-based Weighted Averaging for Distributed Training of Deep Learning Models
von: Dimlioglu, Tolga, et al.
Veröffentlicht: (2024)

Provable Model-Parallel Distributed Principal Component Analysis with Parallel Deflation
von: Liao, Fangshuo, et al.
Veröffentlicht: (2025)

LoCoDL: Communication-Efficient Distributed Learning with Local Training and Compression
von: Condat, Laurent, et al.
Veröffentlicht: (2024)

Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
von: Tyurin, Alexander, et al.
Veröffentlicht: (2025)

Average-case optimization analysis for distributed consensus algorithms on regular graphs
von: Nguyen, Nhat Trung, et al.
Veröffentlicht: (2024)

Stochastic Controlled Averaging for Federated Learning with Communication Compression
von: Huang, Xinmeng, et al.
Veröffentlicht: (2023)

Optimizing Stochastic Gradient Push under Broadcast Communications
von: Nguyen, Tuan, et al.
Veröffentlicht: (2026)

MindFlayer SGD: Efficient Parallel SGD in the Presence of Heterogeneous and Random Worker Compute Times
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2024)

UniAP: Unifying Inter- and Intra-Layer Automatic Parallelism by Mixed Integer Quadratic Programming
von: Lin, Hao, et al.
Veröffentlicht: (2023)

Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum
von: Zhou, Yuan, et al.
Veröffentlicht: (2025)

A Survey of Optimization Methods for Training DL Models: Theoretical Perspective on Convergence and Generalization
von: Wang, Jing, et al.
Veröffentlicht: (2025)

Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression
von: He, Yutong, et al.
Veröffentlicht: (2023)

Unbiased Compression Saves Communication in Distributed Optimization: When and How Much?
von: He, Yutong, et al.
Veröffentlicht: (2023)

Rennala MVR: Improved Time Complexity for Parallel Stochastic Optimization via Momentum-Based Variance Reduction
von: Tovmasyan, Zhirayr, et al.
Veröffentlicht: (2026)

A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration
von: Hu, Yuchen, et al.
Veröffentlicht: (2025)

GradSkip: Communication-Accelerated Local Gradient Methods with Better Computational Complexity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2022)

AGD: an Auto-switchable Optimizer using Stepwise Gradient Difference for Preconditioning Matrix
von: Yue, Yun, et al.
Veröffentlicht: (2023)

BROADCAST: Reducing Both Stochastic and Compression Noise to Robustify Communication-Efficient Federated Learning
von: Zhu, Heng, et al.
Veröffentlicht: (2021)

CEDAS: A Compressed Decentralized Stochastic Gradient Method with Improved Convergence
von: Huang, Kun, et al.
Veröffentlicht: (2023)

A Hybrid Stochastic Gradient Tracking Method for Distributed Online Optimization Over Time-Varying Directed Networks
von: Shi, Xinli, et al.
Veröffentlicht: (2025)

Towards a Better Theoretical Understanding of Independent Subnetwork Training
von: Shulgin, Egor, et al.
Veröffentlicht: (2023)

Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction
von: Tyurin, Alexander
Veröffentlicht: (2025)

Birch SGD: A Tree Graph Framework for Local and Asynchronous SGD Methods
von: Tyurin, Alexander, et al.
Veröffentlicht: (2025)

Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity
von: Maranjyan, Artavazd, et al.
Veröffentlicht: (2025)

FIARSE: Model-Heterogeneous Federated Learning via Importance-Aware Submodel Extraction
von: Wu, Feijie, et al.
Veröffentlicht: (2024)

LOSCAR-SGD: Local SGD with Communication-Computation Overlap and Delay-Corrected Sparse Model Averaging
von: Maziane, Yassine, et al.
Veröffentlicht: (2026)

MAST: Model-Agnostic Sparsified Training
von: Demidovich, Yury, et al.
Veröffentlicht: (2023)

On Principled Local Optimization Methods for Federated Learning
von: Yuan, Honglin
Veröffentlicht: (2024)

Decentralized Directed Collaboration for Personalized Federated Learning
von: Liu, Yingqi, et al.
Veröffentlicht: (2024)

A Stochastic Approximation Approach for Efficient Decentralized Optimization on Random Networks
von: Yau, Chung-Yiu, et al.
Veröffentlicht: (2024)

The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication
von: Patel, Kumar Kshitij, et al.
Veröffentlicht: (2024)