Buchumschlag

BootSeer: Analyzing and Mitigating Initialization Bottlenecks in Large-Scale LLM Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Rui, Zhi, Xiaoyun, Chi, Jinxin, Yu, Menghan, Huang, Lixin, Zhu, Jia, Zhang, Weilun, Ma, Xing, Liu, Wenjia, Zhu, Zhicheng, Luo, Daowen, Song, Zuquan, Yin, Xin, Xiang, Chao, Wang, Shuguang, Xiao, Wencong, Cooperman, Gene
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Enabling Practical Transparent Checkpointing for MPI: A Topological Sort Approach
von: Xu, Yao, et al.
Veröffentlicht: (2024)

HotSwap: Enabling Live Dependency Sharing in Serverless Computing
von: Li, Rui, et al.
Veröffentlicht: (2024)

The Case for ABI Interoperability in a Fault Tolerant MPI
von: Xu, Yao, et al.
Veröffentlicht: (2025)

Mycroft: Tracing Dependencies in Collective Communication Towards Reliable LLM Training
von: Deng, Yangtao, et al.
Veröffentlicht: (2025)

Seer: Predictive Runtime Kernel Selection for Irregular Problems
von: Swann, Ryan, et al.
Veröffentlicht: (2024)

Seer: Online Context Learning for Fast Synchronous LLM Reinforcement Learning
von: Qin, Ruoyu, et al.
Veröffentlicht: (2025)

Seer: Proactive Revenue-Aware Scheduling for Live Streaming Services in Crowdsourced Cloud-Edge Platforms
von: Huang, Shaoyuan, et al.
Veröffentlicht: (2024)

Mitigating GIL Bottlenecks in Edge AI Systems
von: Mandal, Mridankan, et al.
Veröffentlicht: (2026)

Analyzing Performance Bottlenecks in Zero-Knowledge Proof Based Rollups on Ethereum
von: Habib, Md. Ahsan
Veröffentlicht: (2025)

Robust LLM Training Infrastructure at ByteDance
von: Wan, Borui, et al.
Veröffentlicht: (2025)

Understanding Stragglers in Large Model Training Using What-if Analysis
von: Lin, Jinkun, et al.
Veröffentlicht: (2025)

Revisiting finite Abelian hidden subgroup problem and its distributed exact quantum algorithm
von: Dong, Ziyuan, et al.
Veröffentlicht: (2025)

Reducing Data Bottlenecks in Distributed, Heterogeneous Neural Networks
von: Lin, Ruhai, et al.
Veröffentlicht: (2024)

Efficient Pre-Training of LLMs via Topology-Aware Communication Alignment on More Than 9600 GPUs
von: He, Guoliang, et al.
Veröffentlicht: (2025)

Minder: Faulty Machine Detection for Large-scale Distributed Model Training
von: Deng, Yangtao, et al.
Veröffentlicht: (2024)

One Pool, Two Caches: Adaptive HBM Partitioning for Accelerating Generative Recommender Serving
von: Yu, Wenjun, et al.
Veröffentlicht: (2026)

Distributed Quantum Discrete Logarithm Algorithm
von: Xu, Renjie, et al.
Veröffentlicht: (2026)

PIMDAL: Mitigating the Memory Bottleneck in Data Analytics using a Real Processing-in-Memory System
von: Frouzakis, Manos, et al.
Veröffentlicht: (2025)

CoCoI: Distributed Coded Inference System for Straggler Mitigation
von: Liu, Xing, et al.
Veröffentlicht: (2025)

Mind the Memory Gap: Unveiling GPU Bottlenecks in Large-Batch LLM Inference
von: Recasens, Pol G., et al.
Veröffentlicht: (2025)

AI-in-the-Loop Sensing and Communication Joint Design for Edge Intelligence
von: Cai, Zhijie, et al.
Veröffentlicht: (2025)

SAGe: A Lightweight Algorithm-Architecture Co-Design for Mitigating the Data Preparation Bottleneck in Large-Scale Genome Sequence Analysis
von: Ghiasi, Nika Mansouri, et al.
Veröffentlicht: (2025)

DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference
von: Wu, Yongtong, et al.
Veröffentlicht: (2026)

Workload Buoyancy: Keeping Apps Afloat by Identifying Shared Resource Bottlenecks
von: Larsson, Oliver, et al.
Veröffentlicht: (2026)

Breaking the Aggregation Bottleneck in Federated Recommendation: A Personalized Model Merging Approach
von: Chen, Jundong, et al.
Veröffentlicht: (2025)

Rethinking Resource Management in Edge Learning: A Joint Pre-training and Fine-tuning Design Paradigm
von: Lyu, Zhonghao, et al.
Veröffentlicht: (2024)

Breaking the Capacity Bottleneck in Model-Heterogeneous Federated Learning via Gradual Model Restoration
von: Ma, Chengjie, et al.
Veröffentlicht: (2025)

Rubick: Exploiting Job Reconfigurability for Deep Learning Cluster Scheduling
von: Zhang, Xinyi, et al.
Veröffentlicht: (2024)

Understanding Inference Scaling for LLMs: Bottlenecks, Trade-offs, and Performance Principles
von: Arif, Moiz, et al.
Veröffentlicht: (2026)

High-Efficiency Split Computing for Cooperative Edge Systems: A Novel Compressed Sensing Bottleneck
von: Zhong, Hailin, et al.
Veröffentlicht: (2025)

Tackling the Data-Parallel Load Balancing Bottleneck in LLM Serving: Practical Online Routing at Scale
von: Bu, Tianci, et al.
Veröffentlicht: (2026)

Unlearning during Learning: An Efficient Federated Machine Unlearning Method
von: Gu, Hanlin, et al.
Veröffentlicht: (2024)

Mitigating the Memory Bottleneck with Machine Learning-Driven and Data-Aware Microarchitectural Techniques
von: Bera, Rahul
Veröffentlicht: (2026)

Understanding Bottlenecks for Efficiently Serving LLM Inference With KV Offloading
von: Meng, William, et al.
Veröffentlicht: (2025)

Atomicity in Distributed Quantum Computing
von: Zhang, Zhicheng, et al.
Veröffentlicht: (2024)

Implementing True MPI Sessions and Evaluating MPI Initialization Scalability
von: Zhou, Hui, et al.
Veröffentlicht: (2026)

An Initial Evaluation of Distributed Graph Algorithms using NWGraph and HPX
von: Mohammadiporshokooh, Karame, et al.
Veröffentlicht: (2026)

LLMSched: Uncertainty-Aware Workload Scheduling for Compound LLM Applications
von: Zhu, Botao, et al.
Veröffentlicht: (2025)

FedSR: A Semi-Decentralized Federated Learning Algorithm for Non-IIDness in IoT System
von: Huang, Jianjun, et al.
Veröffentlicht: (2024)

Managing, Analyzing and Sharing Research Data with Gen3 Data Commons
von: Barnes, Craig, et al.
Veröffentlicht: (2025)