Buchumschlag

SparseRL-Sync: Lossless Weight Synchronization with ~100x Less Communication

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hu, Lucas, Zhao, Ranchi, Zhu, Isaac, Zhang, Zach, Zhang, Hscos, Yin, Hugh, Zhao, Jason
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

RL over Commodity Networks: Overcoming the Bandwidth Barrier with Lossless Sparse Deltas
von: Ruan, Chaoyi, et al.
Veröffentlicht: (2026)

P-TimeSync: A Precise Time Synchronization Simulation with Network Propagation Delays
von: Dai, Wei, et al.
Veröffentlicht: (2024)

ACE-Sync: An Adaptive Cloud-Edge Synchronization Framework for Communication-Efficient Large-Scale Distributed Model Training
von: Yang, Yi, et al.
Veröffentlicht: (2025)

ABS: Adaptive Bounded Staleness Converges Faster and Communicates Less
von: Tan, Qiao, et al.
Veröffentlicht: (2023)

SyncFed: Time-Aware Federated Learning through Explicit Timestamping and Synchronization
von: Gül, Baran Can, et al.
Veröffentlicht: (2025)

Pier: Efficient Large Language Model pretraining with Relaxed Global Communication
von: Fan, Shuyuan, et al.
Veröffentlicht: (2025)

70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float (DFloat11)
von: Zhang, Tianyi, et al.
Veröffentlicht: (2025)

LIME:Accelerating Collaborative Lossless LLM Inference on Memory-Constrained Edge Devices
von: Sun, Mingyu, et al.
Veröffentlicht: (2025)

Boosting Scientific Error-Bounded Lossy Compression through Optimized Synergistic Lossy-Lossless Orchestration
von: Wu, Shixun, et al.
Veröffentlicht: (2025)

Polar: Agentic RL on Any Harness at Scale
von: Xu, Binfeng, et al.
Veröffentlicht: (2026)

A Survey of Synchronization Technologies for Low-power Backscatter Communication
von: Jiang, Wenyuan, et al.
Veröffentlicht: (2025)

UCCL-Zip: Lossless Compression Supercharged GPU Communication
von: Ma, Shuang, et al.
Veröffentlicht: (2026)

PeerSync: Accelerating Containerized Service Delivery at the Network Edge
von: Deng, Yinuo, et al.
Veröffentlicht: (2025)

SparDL: Distributed Deep Learning Training with Efficient Sparse Communication
von: Zhao, Minjun, et al.
Veröffentlicht: (2023)

RollPacker: Mitigating Long-Tail Rollouts for Fast, Synchronous RL Post-Training
von: Gao, Wei, et al.
Veröffentlicht: (2025)

TensorHub: Scalable and Elastic Weight Transfer for LLM RL Training
von: Ye, Chenhao, et al.
Veröffentlicht: (2026)

SparseServe: Unlocking Parallelism for Dynamic Sparse Attention in Long-Context LLM Serving
von: Zhou, Qihui, et al.
Veröffentlicht: (2025)

FedLog: Personalized Federated Classification with Less Communication and More Flexibility
von: Yu, Haolin, et al.
Veröffentlicht: (2024)

AsyncSparse: Accelerating Sparse Matrix-Matrix Multiplication on Asynchronous GPU Architectures
von: Liu, Jie, et al.
Veröffentlicht: (2026)

HetRL: Efficient Reinforcement Learning for LLMs in Heterogeneous Environments
von: He, Yongjun, et al.
Veröffentlicht: (2025)

Cabinet: Dynamically Weighted Consensus Made Fast
von: Zhang, Gengrui, et al.
Veröffentlicht: (2025)

SpComm3D: A Framework for Enabling Sparse Communication in 3D Sparse Kernels
von: Abubaker, Nabil, et al.
Veröffentlicht: (2024)

Floating-Point Data Transformation for Lossless Compression
von: Jamalidinan, Samirasadat, et al.
Veröffentlicht: (2025)

DistFlow: A Fully Distributed RL Framework for Scalable and Efficient LLM Post-Training
von: Wang, Zhixin, et al.
Veröffentlicht: (2025)

AB-Sparse: Sparse Attention with Adaptive Block Size for Accurate and Efficient Long-Context Inference
von: Liu, Di, et al.
Veröffentlicht: (2026)

Hecate: Unlocking Efficient Sparse Model Training via Fully Sharded Sparse Data Parallelism
von: Qing, Yuhao, et al.
Veröffentlicht: (2025)

Unleashing Efficient Asynchronous RL Post-Training via Staleness-Constrained Rollout Coordination
von: Li, Haoyang, et al.
Veröffentlicht: (2026)

Communication-Efficient Distributed Learning via Sparse and Adaptive Stochastic Gradient
von: Deng, Xiaoge, et al.
Veröffentlicht: (2021)

RollMux: Phase-Level Multiplexing for Disaggregated RL Post-Training
von: Wu, Tianyuan, et al.
Veröffentlicht: (2025)

Synchronous Consensus in Partial Synchrony
von: Klianev, Ivan
Veröffentlicht: (2023)

A Fast Confirmation Rule (aka Fast Synchronous Finality) for the Ethereum Consensus Protocol
von: Asgaonkar, Aditya, et al.
Veröffentlicht: (2024)

WOC: Dual-Path Weighted Object Consensus Made Efficient
von: Fonseca, Tanisha, et al.
Veröffentlicht: (2025)

Schedule-Level Shared-Prefix Reuse for LLM RL Training
von: Li, Pengbo, et al.
Veröffentlicht: (2026)

ROSE: Rollout On Serving GPUs via Cooperative Elasticity for Agentic RL
von: Gao, Wei, et al.
Veröffentlicht: (2026)

Beatnik: A Novel Global Communication Mini-Application
von: Stewart, Jason A., et al.
Veröffentlicht: (2024)

ZipCCL: Efficient Lossless Data Compression of Communication Collectives for Accelerating LLM Training
von: Lin, Wenxiang, et al.
Veröffentlicht: (2026)

KIS-S: A GPU-Aware Kubernetes Inference Simulator with RL-Based Auto-Scaling
von: Zhang, Guilin, et al.
Veröffentlicht: (2025)

Maple: A Multi-agent System for Portable Deep Learning across Clusters
von: Wu, Molang, et al.
Veröffentlicht: (2025)

MoA-Off: Adaptive Heterogeneous Modality-Aware Offloading with Edge-Cloud Collaboration for Efficient Multimodal LLM Inference
von: Yang, Zheming, et al.
Veröffentlicht: (2025)

SHIRO: Near-Optimal Communication Strategies for Distributed Sparse Matrix Multiplication
von: Zhuang, Chen, et al.
Veröffentlicht: (2025)