Buchumschlag

MegaScale-Data: Scaling Dataloader for Multisource Large Foundation Model Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhao, Juntao, Lu, Qi, Jia, Wei, Wan, Borui, Zuo, Lei, Feng, Junda, Jiang, Jianyu, Chen, Yangrui, Cao, Shuaishuai, He, Jialing, Jiang, Kaihua, Hu, Yuanzhe, Nong, Shibiao, Peng, Yanghua, Lin, Haibin, Wu, Chuan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MegaScale-Omni: A Hyper-Scale, Workload-Resilient System for MultiModal LLM Training in Production
von: Xue, Chunyu, et al.
Veröffentlicht: (2026)

MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs
von: Jiang, Ziheng, et al.
Veröffentlicht: (2024)

MegaScale-MoE: Large-Scale Communication-Efficient Training of Mixture-of-Experts Models in Production
von: Jin, Chao, et al.
Veröffentlicht: (2025)

MegaScale-Infer: Serving Mixture-of-Experts at Scale with Disaggregated Expert Parallelism
von: Zhu, Ruidong, et al.
Veröffentlicht: (2025)

LLM-PQ: Serving LLM on Heterogeneous Clusters with Phase-Aware Partition and Adaptive Quantization
von: Zhao, Juntao, et al.
Veröffentlicht: (2024)

QSync: Quantization-Minimized Synchronous Distributed Training Across Hybrid Devices
von: Zhao, Juntao, et al.
Veröffentlicht: (2024)

Optimus: Accelerating Large-Scale Multi-Modal LLM Training by Bubble Exploitation
von: Feng, Weiqi, et al.
Veröffentlicht: (2024)

ByteScale: Efficient Scaling of LLM Training with a 2048K Context Length on More Than 12,000 GPUs
von: Ge, Hao, et al.
Veröffentlicht: (2025)

MegaFlow: Large-Scale Distributed Orchestration System for the Agentic Era
von: Zhang, Lei, et al.
Veröffentlicht: (2026)

Scaling LLM Test-Time Compute with Mobile NPU on Smartphones
von: Hao, Zixu, et al.
Veröffentlicht: (2025)

SwiftSpec: Ultra-Low Latency LLM Decoding by Scaling Asynchronous Speculative Decoding
von: Zhang, Ziyi, et al.
Veröffentlicht: (2025)

Data-Juicer 2.0: Cloud-Scale Adaptive Data Processing for and with Foundation Models
von: Chen, Daoyuan, et al.
Veröffentlicht: (2024)

Laminar: A Scalable Asynchronous RL Post-Training Framework
von: Sheng, Guangming, et al.
Veröffentlicht: (2025)

veScale: Consistent and Efficient Tensor Programming with Eager-Mode SPMD
von: Li, Youjie, et al.
Veröffentlicht: (2025)

DeepServe: Serverless Large Language Model Serving at Scale
von: Hu, Junhao, et al.
Veröffentlicht: (2025)

Efficient Pre-Training of LLMs via Topology-Aware Communication Alignment on More Than 9600 GPUs
von: He, Guoliang, et al.
Veröffentlicht: (2025)

Large Scale Multi-GPU Based Parallel Traffic Simulation for Accelerated Traffic Assignment and Propagation
von: Jiang, Xuan, et al.
Veröffentlicht: (2024)

KIS-S: A GPU-Aware Kubernetes Inference Simulator with RL-Based Auto-Scaling
von: Zhang, Guilin, et al.
Veröffentlicht: (2025)

HexiScale: Facilitating Large Language Model Training over Heterogeneous Hardware
von: Yan, Ran, et al.
Veröffentlicht: (2024)

UniEP: Unified Expert-Parallel MoE MegaKernel for LLM Training
von: Zheng, Size, et al.
Veröffentlicht: (2026)

veScale-FSDP: Flexible and High-Performance FSDP at Scale
von: Wang, Zezhou, et al.
Veröffentlicht: (2026)

StatuScale: Status-aware and Elastic Scaling Strategy for Microservice Applications
von: Wen, Linfeng, et al.
Veröffentlicht: (2024)

λScale: Enabling Fast Scaling for Serverless Large Language Model Inference
von: Yu, Minchen, et al.
Veröffentlicht: (2025)

A Tale of Two Scales: Reconciling Horizontal and Vertical Scaling for Inference Serving Systems
von: Razavi, Kamran, et al.
Veröffentlicht: (2024)

HybridFlow: A Flexible and Efficient RLHF Framework
von: Sheng, Guangming, et al.
Veröffentlicht: (2024)

FAIR Ecosystems for Science at Scale
von: Wilkinson, Sean R., et al.
Veröffentlicht: (2025)

Scaling MPI Applications on Aurora
von: Ibeid, Huda, et al.
Veröffentlicht: (2025)

Mesh-Attention: A New Communication-Efficient Distributed Attention with Improved Data Locality
von: Chen, Sirui, et al.
Veröffentlicht: (2025)

Scaling Real-Time Traffic Analytics on Edge-Cloud Fabrics for City-Scale Camera Networks
von: Sharma, Akash, et al.
Veröffentlicht: (2026)

Echo: Simulating Distributed Training At Scale
von: Feng, Yicheng, et al.
Veröffentlicht: (2024)

ScalePool: Hybrid XLink-CXL Fabric for Composable Resource Disaggregation in Unified Scale-up Domains
von: Woo, Hyein, et al.
Veröffentlicht: (2025)

Scaling atomic ordering in shared memory
von: Martignetti, Lorenzo, et al.
Veröffentlicht: (2025)

ReviveMoE: Fast Recovery for Hardware Failures in Large-Scale MoE LLM Inference Deployments
von: Li, Haley, et al.
Veröffentlicht: (2026)

HexiSeq: Accommodating Long Context Training of LLMs over Heterogeneous Hardware
von: Liang, Yan, et al.
Veröffentlicht: (2026)

Polar: Agentic RL on Any Harness at Scale
von: Xu, Binfeng, et al.
Veröffentlicht: (2026)

Exploring Uncore Frequency Scaling for Heterogeneous Computing
von: Zheng, Zhong, et al.
Veröffentlicht: (2025)

Carbon: Scaling Trusted Payments with Untrusted Machines
von: Camaioni, Martina, et al.
Veröffentlicht: (2022)

Blockchain Epidemic Consensus for Large-Scale Networks
von: Abdi, Siamak, et al.
Veröffentlicht: (2025)

Model Input Verification of Large Scale Simulations
von: Neykova, Rumyana, et al.
Veröffentlicht: (2024)

Decouple and Decompose: Scaling Resource Allocation with DeDe
von: Xu, Zhiying, et al.
Veröffentlicht: (2024)