Buchumschlag

Towards Faster Decentralized Stochastic Optimization with Communication Compression

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Islamov, Rustem, Gao, Yuan, Stich, Sebastian U.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Optimization and Control
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Non-convex Stochastic Composite Optimization with Polyak Momentum
von: Gao, Yuan, et al.
Veröffentlicht: (2024)

Safe-EF: Error Feedback for Nonsmooth Constrained Optimization
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

Exploiting Similarity for Computation and Communication-Efficient Decentralized Optimization
von: Takezawa, Yuki, et al.
Veröffentlicht: (2025)

Accelerated Distributed Optimization with Compression and Error Feedback
von: Gao, Yuan, et al.
Veröffentlicht: (2025)

Scalable Decentralized Learning with Teleportation
von: Takezawa, Yuki, et al.
Veröffentlicht: (2025)

Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

Why Do We Need Warm-up? A Theoretical Perspective
von: Alimisis, Foivos, et al.
Veröffentlicht: (2025)

On the Role of Batch Size in Stochastic Conditional Gradient Methods
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

Loss Landscape Characterization of Neural Networks without Over-Parametrization
von: Islamov, Rustem, et al.
Veröffentlicht: (2024)

Non-Euclidean Gradient Descent Operates at the Edge of Stability
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

Federated Optimization with Doubly Regularized Drift Correction
von: Jiang, Xiaowen, et al.
Veröffentlicht: (2024)

Stabilized Proximal-Point Methods for Federated Optimization
von: Jiang, Xiaowen, et al.
Veröffentlicht: (2024)

Composite Optimization with Error Feedback: the Dual Averaging Approach
von: Gao, Yuan, et al.
Veröffentlicht: (2025)

Enhancing Stochastic Gradient Descent: A Unified Framework and Novel Acceleration Methods for Faster Convergence
von: Deng, Yichuan, et al.
Veröffentlicht: (2024)

Non-Convex Federated Optimization under Cost-Aware Client Selection
von: Jiang, Xiaowen, et al.
Veröffentlicht: (2025)

Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy
von: Islamov, Rustem, et al.
Veröffentlicht: (2025)

FedMuon: Federated Learning with Bias-corrected LMO-based Optimization
von: Takezawa, Yuki, et al.
Veröffentlicht: (2025)

Communication-Efficient Gradient Descent-Accent Methods for Distributed Variational Inequalities: Unified Analysis and Local Updates
von: Zhang, Siqi, et al.
Veröffentlicht: (2023)

A Minimalist Bayesian Framework for Stochastic Optimization
von: Wang, Kaizheng
Veröffentlicht: (2025)

From Soliloquy to Agora: Memory-Enhanced LLM Agents with Decentralized Debate for Optimization Modeling
von: Lin, Jianghao, et al.
Veröffentlicht: (2026)

Stochastic Optimization of Inventory at Large-scale Supply Chains
von: Jin, Zhaoyang Larry, et al.
Veröffentlicht: (2025)

Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization
von: Liu, Wei, et al.
Veröffentlicht: (2025)

Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions
von: Islamov, Rustem, et al.
Veröffentlicht: (2026)

Faster Reinforcement Learning by Freezing Slow States
von: Wang, Yijia, et al.
Veröffentlicht: (2023)

On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks
von: Gao, Yihang, et al.
Veröffentlicht: (2024)

Locally Adaptive Federated Learning
von: Mukherjee, Sohom, et al.
Veröffentlicht: (2023)

Neural Combinatorial Optimization for Stochastic Flexible Job Shop Scheduling Problems
von: Smit, Igor G., et al.
Veröffentlicht: (2024)

Stochastic Optimization with Constraints: A Non-asymptotic Instance-Dependent Analysis
von: Khamaru, Koulik
Veröffentlicht: (2024)

Stochastic Subgradient Methods with Guaranteed Global Stability in Nonsmooth Nonconvex Optimization
von: Xiao, Nachuan, et al.
Veröffentlicht: (2023)

SPAP: Structured Pruning via Alternating Optimization and Penalty Methods
von: Hu, Hanyu, et al.
Veröffentlicht: (2025)

Neural Solver Selection for Combinatorial Optimization
von: Gao, Chengrui, et al.
Veröffentlicht: (2024)

Learning to Specialize: Joint Gating-Expert Training for Adaptive MoEs in Decentralized Settings
von: Farhat, Yehya, et al.
Veröffentlicht: (2023)

DeMuon: A Decentralized Muon for Matrix Optimization over Graphs
von: He, Chuan, et al.
Veröffentlicht: (2025)

A Benchmark for Maximum Cut: Towards Standardization of the Evaluation of Learned Heuristics for Combinatorial Optimization
von: Nath, Ankur, et al.
Veröffentlicht: (2024)

On Convergence of Incremental Gradient for Non-Convex Smooth Functions
von: Koloskova, Anastasia, et al.
Veröffentlicht: (2023)

Correlated Quantization for Faster Nonconvex Distributed Optimization
von: Panferov, Andrei, et al.
Veröffentlicht: (2024)

Convex and Bilevel Optimization for Neuro-Symbolic Inference and Learning
von: Dickens, Charles, et al.
Veröffentlicht: (2024)

A Communication and Computation Efficient Fully First-order Method for Decentralized Bilevel Optimization
von: Wen, Min, et al.
Veröffentlicht: (2024)

SGD at the Edge of Stability: The Stochastic Sharpness Gap
von: Liao, Fangshuo, et al.
Veröffentlicht: (2026)

Bilevel reinforcement learning via the development of hyper-gradient without lower-level convexity
von: Yang, Yan, et al.
Veröffentlicht: (2024)