DreamDDP: Accelerating Data Parallel Distributed LLM Training with Layer-wise Scheduled Partial Synchronization

Fuente: arXiv

Enregistré dans:

Détails bibliographiques
Auteurs principaux:	Tang, Zhenheng, Tang, Zichen, Huang, Junlin, Pan, Xinglin, Yan, Rudan, Wang, Yuxin, Zhou, Amelie Chi, Shi, Shaohuai, Chu, Xiaowen, Li, Bo
Format:	Preprint
Publié:	2025
Sujets:	Distributed, Parallel, and Cluster Computing
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Internet

https://arxiv.org/abs/2502.11058