Buchumschlag

Balanced and Elastic End-to-end Training of Dynamic LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wahib, Mohamed, Soyturk, Muhammed Abdullah, Unat, Didem
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Distributed, Parallel, and Cluster Computing Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

TensorHub: Scalable and Elastic Weight Transfer for LLM RL Training
von: Ye, Chenhao, et al.
Veröffentlicht: (2026)

ucTrace: A Multi-Layer Profiling Tool for UCX-driven Communication
von: Gencer, Emir, et al.
Veröffentlicht: (2026)

InfiniPipe: Elastic Pipeline Parallelism for Efficient Variable-Length Long-Context LLM Training
von: Wang, Shiju, et al.
Veröffentlicht: (2025)

Elastic On-Device LLM Service
von: Yin, Wangsong, et al.
Veröffentlicht: (2024)

Training LLMs with Fault Tolerant HSDP on 100,000 GPUs
von: Salpekar, Omkar, et al.
Veröffentlicht: (2026)

OrchMLLM: Orchestrate Multimodal Data with Batch Post-Balancing to Accelerate Multimodal Large Language Model Training
von: Zheng, Yijie, et al.
Veröffentlicht: (2025)

ClusterRCA: An End-to-End Approach for Network Fault Localization and Classification for HPC System
von: Sun, Yongqian, et al.
Veröffentlicht: (2025)

FlashRecovery: Fast and Low-Cost Recovery from Failures for Large-Scale Training of LLMs
von: Zhang, Haijun, et al.
Veröffentlicht: (2025)

DIP: Efficient Large Multimodal Model Training with Dynamic Interleaved Pipeline
von: Xue, Zhenliang, et al.
Veröffentlicht: (2025)

A Meta-Heuristic Load Balancer for Cloud Computing Systems
von: Sliwko, Leszek, et al.
Veröffentlicht: (2025)

Block: Balancing Load in LLM Serving with Context, Knowledge and Predictive Scheduling
von: Da, Wei, et al.
Veröffentlicht: (2025)

Para-B&B: Load-Balanced Deterministic Parallelization of Solving MIP
von: Zhang, Jinyu, et al.
Veröffentlicht: (2026)

Training Through Failure: Effects of Data Consistency in Parallel Machine Learning Training
von: Cao, Ray, et al.
Veröffentlicht: (2024)

Cloudless-Training: A Framework to Improve Efficiency of Geo-Distributed ML Training
von: Tan, Wenting, et al.
Veröffentlicht: (2023)

FairKV: Balancing Per-Head KV Cache for Fast Multi-GPU Inference
von: Zhao, Bingzhe, et al.
Veröffentlicht: (2025)

Striking the Right Balance between Compute and Copy: Improving LLM Inferencing Under Speculative Decoding
von: Ramachandran, Arun, et al.
Veröffentlicht: (2025)

Training Overhead Ratio: A Practical Reliability Metric for Large Language Model Training Systems
von: Lu, Ning, et al.
Veröffentlicht: (2024)

An Evaluation of LLMs Inference on Popular Single-board Computers
von: Tung, et al.
Veröffentlicht: (2025)

ELANA: A Simple Energy and Latency Analyzer for LLMs
von: Chiang, Hung-Yueh, et al.
Veröffentlicht: (2025)

Why Smaller Is Slower? Dimensional Misalignment in Compressed LLMs
von: Xin, Jihao, et al.
Veröffentlicht: (2026)

Revisiting Parameter Server in LLM Post-Training
von: Wan, Xinyi, et al.
Veröffentlicht: (2026)

Collaborative Split Federated Learning with Parallel Training and Aggregation
von: Papageorgiou, Yiannis, et al.
Veröffentlicht: (2025)

SwizzlePerf: Hardware-Aware LLMs for GPU Kernel Performance Optimization
von: Tschand, Arya, et al.
Veröffentlicht: (2025)

IoT-MCP: Bridging LLMs and IoT Systems Through Model Context Protocol
von: Yang, Ningyuan, et al.
Veröffentlicht: (2025)

Scaling Large Language Model Training on Frontier with Low-Bandwidth Partitioning
von: Xu, Lang, et al.
Veröffentlicht: (2025)

Lumos: Efficient Performance Modeling and Estimation for Large-scale LLM Training
von: Liang, Mingyu, et al.
Veröffentlicht: (2025)

Towards Scalable GPU-Accelerated SNN Training via Temporal Fusion
von: Li, Yanchen, et al.
Veröffentlicht: (2024)

ModTrans: Translating Real-world Models for Distributed Training Simulator
von: Lyu, Yi
Veröffentlicht: (2026)

Safactory: A Scalable Agentic Infrastructure for Training Trustworthy Autonomous Intelligence
von: Chen, Xinquan, et al.
Veröffentlicht: (2026)

Accelerating Large Language Model Training with Hybrid GPU-based Compression
von: Xu, Lang, et al.
Veröffentlicht: (2024)

MegaScale-Data: Scaling Dataloader for Multisource Large Foundation Model Training
von: Zhao, Juntao, et al.
Veröffentlicht: (2025)

TierCheck: Tiered Checkpointing for Fault Tolerance in Large Language Model Training
von: Han, Shujie, et al.
Veröffentlicht: (2026)

HETHUB: A Distributed Training System with Heterogeneous Cluster for Large-Scale Models
von: Xu, Si, et al.
Veröffentlicht: (2024)

ParaGAN: A Scalable Distributed Training Framework for Generative Adversarial Networks
von: Shi, Ziji, et al.
Veröffentlicht: (2024)

Byzantine-Robust and Communication-Efficient Distributed Training: Compressive and Cyclic Gradient Coding
von: Li, Chengxi, et al.
Veröffentlicht: (2026)

MinT: Managed Infrastructure for Training and Serving Millions of LLMs
von: Lab, Mind, et al.
Veröffentlicht: (2026)

AB-Training: A Communication-Efficient Approach for Distributed Low-Rank Learning
von: Coquelin, Daniel, et al.
Veröffentlicht: (2024)

Accelerating Long-Tail Generation in Synchronous RLHF Training via Adaptive Tensor Parallelism
von: Zhao, Long, et al.
Veröffentlicht: (2026)

LR-CNN: Lightweight Row-centric Convolutional Neural Network Training for Memory Reduction
von: Wang, Zhigang, et al.
Veröffentlicht: (2024)

TACO: Efficient Communication Compression of Intermediate Tensors for Scalable Tensor-Parallel LLM Training
von: Liu, Man, et al.
Veröffentlicht: (2026)