Buchumschlag

DreamDDP: Accelerating Data Parallel Distributed LLM Training with Layer-wise Scheduled Partial Synchronization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tang, Zhenheng, Tang, Zichen, Huang, Junlin, Pan, Xinglin, Yan, Rudan, Wang, Yuxin, Zhou, Amelie Chi, Shi, Shaohuai, Chu, Xiaowen, Li, Bo
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning
von: Tang, Zichen, et al.
Veröffentlicht: (2024)

Efficient MoE Inference with Fine-Grained Scheduling of Disaggregated Expert Parallelism
von: Pan, Xinglin, et al.
Veröffentlicht: (2025)

Fault-Tolerant Hybrid-Parallel Training at Scale with Reliable and Efficient In-memory Checkpointing
von: Wang, Yuxin, et al.
Veröffentlicht: (2023)

ZipCCL: Efficient Lossless Data Compression of Communication Collectives for Accelerating LLM Training
von: Lin, Wenxiang, et al.
Veröffentlicht: (2026)

Parm: Efficient Training of Large Sparsely-Activated Models with Dedicated Schedules
von: Pan, Xinglin, et al.
Veröffentlicht: (2024)

HierMoE: Accelerating MoE Training with Hierarchical Token Deduplication and Expert Swap
von: Lin, Wenxiang, et al.
Veröffentlicht: (2025)

FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression
von: Tang, Zhenheng, et al.
Veröffentlicht: (2024)

FedImpro: Measuring and Improving Client Update in Federated Learning
von: Tang, Zhenheng, et al.
Veröffentlicht: (2024)

ElasWave: An Elastic-Native System for Scalable Hybrid-Parallel Training
von: Kang, Xueze, et al.
Veröffentlicht: (2025)

RcLLM: Accelerating Generative Recommendation via Beyond-Prefix KV Caching
von: Zhao, Zhan, et al.
Veröffentlicht: (2026)

BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems
von: Wang, Yuxin, et al.
Veröffentlicht: (2024)

FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion
von: Tang, Zhenheng, et al.
Veröffentlicht: (2024)

Accelerating Long-Tail Generation in Synchronous RLHF Training via Adaptive Tensor Parallelism
von: Zhao, Long, et al.
Veröffentlicht: (2026)

Hyperion: Hierarchical Scheduling for Parallel LLM Acceleration in Multi-tier Networks
von: Ma, Mulei, et al.
Veröffentlicht: (2025)

Accelerating AIGC Services with Latent Action Diffusion Scheduling in Edge Networks
von: Xu, Changfu, et al.
Veröffentlicht: (2024)

Scheduling Deep Learning Jobs in Multi-Tenant GPU Clusters via Wise Resource Sharing
von: Luo, Yizhou, et al.
Veröffentlicht: (2024)

Synchronous Consensus in Partial Synchrony
von: Klianev, Ivan
Veröffentlicht: (2023)

Bandwidth-Aware and Cost-Efficient Pipeline Parallel Scheduling in Geo-Distributed LLM Training
von: Zhang, Han, et al.
Veröffentlicht: (2026)

LRScheduler: A Layer-aware and Resource-adaptive Container Scheduler in Edge Computing
von: Tang, Zhiqing, et al.
Veröffentlicht: (2025)

Position: LLM Inference Should Be Evaluated as Energy-to-Token Production
von: Liu, Xiang, et al.
Veröffentlicht: (2026)

Surviving Partial Rank Failures in Wide Expert-Parallel MoE Inference
von: Sun, Xun, et al.
Veröffentlicht: (2026)

Performance Characterization of Distributed Deep Learning Strategies: A Quantitative Evaluation of DDP, FSDP, and Parameter Server Architectures on GPU Clusters
von: Ovi, Md Sultanul Islam
Veröffentlicht: (2025)

GPU-Based Parallel Computing Methods for Medical Photoacoustic Image Reconstruction
von: Yi, Xinyao, et al.
Veröffentlicht: (2024)

EinDecomp: Decomposition of Declaratively-Specified Machine Learning and Numerical Computations for Parallel Execution
von: Bourgeois, Daniel, et al.
Veröffentlicht: (2024)

Efficient Task Graph Scheduling for Parallel QR Factorization in SLSQP
von: Chatterjee, Soumyajit, et al.
Veröffentlicht: (2025)

A Simulated Annealing Approach to Identical Parallel Machine Scheduling
von: Li, Jiaxing, et al.
Veröffentlicht: (2024)

Generalize Synchronization Mechanism: Specification, Properties, Limits
von: Chien, Chih-Wei, et al.
Veröffentlicht: (2023)

Concurrent Scheduling of High-Level Parallel Programs on Multi-GPU Systems
von: Knorr, Fabian, et al.
Veröffentlicht: (2025)

AsyncHZP: Hierarchical ZeRO Parallelism with Asynchronous Scheduling for Scalable LLM Training
von: Bai, Huawei, et al.
Veröffentlicht: (2025)

A Tabular Schedule Abstraction for Communication-Aware Evaluation of Pipeline-Parallel LLM Training
von: Barley, Daniel, et al.
Veröffentlicht: (2026)

PipeDiT: Accelerating Diffusion Transformers in Video Generation with Task Pipelining and Model Decoupling
von: Wang, Sijie, et al.
Veröffentlicht: (2025)

LLMTailor: A Layer-wise Tailoring Tool for Efficient Checkpointing of Large Language Models
von: Sun, Minqiu, et al.
Veröffentlicht: (2026)

Optimal Parallel Scheduling under Concave Speedup Functions
von: Li, Chengzhang, et al.
Veröffentlicht: (2025)

Partially Conditioned Patch Parallelism for Accelerated Diffusion Model Inference
von: Zhang, XiuYu, et al.
Veröffentlicht: (2024)

ZeroPP: Unleashing Exceptional Parallelism Efficiency through Tensor-Parallelism-Free Methodology
von: Tang, Ding, et al.
Veröffentlicht: (2024)

Energy-Aware Scheduling Strategies for Partially-Replicable Task Chains on Heterogeneous Processors
von: Idouar, Yacine, et al.
Veröffentlicht: (2025)

Arena: Efficiently Training Large Models via Dynamic Scheduling and Adaptive Parallelism Co-Design
von: Xue, Chunyu, et al.
Veröffentlicht: (2024)

Fast Algorithms for Scheduling Many-body Correlation Functions on Accelerators
von: Selvitopi, Oguz, et al.
Veröffentlicht: (2025)

Multi-Layer Scheduling for MoE-Based LLM Reasoning
von: Sun, Yifan, et al.
Veröffentlicht: (2026)

Data-Locality-Aware Task Assignment and Scheduling for Distributed Job Executions
von: Zhao, Hailiang, et al.
Veröffentlicht: (2024)