Buchumschlag

A Readiness-Driven Runtime for Pipeline-Parallel Training under Runtime Variability

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Ruitao, Tian, Xinyang, Chen, Shuo, Zhang, Tingrui, Yang, Guang, Zhao, Alan, Xu, Wei
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Distributed, Parallel, and Cluster Computing Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MegatronApp: Efficient and Comprehensive Management on Distributed LLM Training
von: Zhao, Bohan, et al.
Veröffentlicht: (2025)

FFTrainer: Fast Failover in Large-Language Model Training with Almost-Free State Management
von: Zhao, Bohan, et al.
Veröffentlicht: (2025)

Amoeba: Runtime Tensor Parallel Transformation for LLM Inference Services
von: Chen, Haoyu, et al.
Veröffentlicht: (2025)

Runtime-Orchestrated Second-Order Optimization for Scalable LLM Training
von: Lu, Yishun, et al.
Veröffentlicht: (2026)

HelixPipe: Efficient Distributed Training of Long Sequence Transformers with Attention Parallel Pipeline Parallelism
von: Zhang, Geng, et al.
Veröffentlicht: (2025)

A Robust Power Model Training Framework for Cloud Native Runtime Energy Metric Exporter
von: Choochotkaew, Sunyanan, et al.
Veröffentlicht: (2024)

Maya: Optimizing Deep Learning Training Workloads using GPU Runtime Emulation
von: Yarlagadda, Srihas, et al.
Veröffentlicht: (2025)

LLM-Emu: Native Runtime Emulation of LLM Inference via Profile-Driven Sampling
von: Da, Wei, et al.
Veröffentlicht: (2026)

TrainMover: An Interruption-Resilient Runtime for ML Training
von: Lao, ChonLam, et al.
Veröffentlicht: (2024)

Machine-Learning-Driven Runtime Optimization of BLAS Level 3 on Modern Multi-Core Systems
von: Xia, Yufan, et al.
Veröffentlicht: (2024)

PRISM: Probabilistic Runtime Insights and Scalable Performance Modeling for Large-Scale Distributed Training
von: Golden, Alicia, et al.
Veröffentlicht: (2025)

ARGO: An Auto-Tuning Runtime System for Scalable GNN Training on Multi-Core Processor
von: Lin, Yi-Chien, et al.
Veröffentlicht: (2024)

A Machine Learning Approach Towards Runtime Optimisation of Matrix Multiplication
von: Xia, Yufan, et al.
Veröffentlicht: (2026)

SMART: A Surrogate Model for Predicting Application Runtime in Dragonfly Systems
von: Wang, Xin, et al.
Veröffentlicht: (2025)

AMDP: Asynchronous Multi-Directional Pipeline Parallelism for Large-Scale Models Training
von: Chen, Ling, et al.
Veröffentlicht: (2026)

Automatic Tracing in Task-Based Runtime Systems
von: Yadav, Rohan, et al.
Veröffentlicht: (2024)

An AI-Native Runtime for Multi-Wearable Environments
von: Min, Chulhong, et al.
Veröffentlicht: (2024)

Junctiond: Extending FaaS Runtimes with Kernel-Bypass
von: Saurez, Enrique, et al.
Veröffentlicht: (2024)

GreenDyGNN: Runtime-Adaptive Energy-Efficient Communication for Distributed GNN Training
von: Niam, Arefin, et al.
Veröffentlicht: (2026)

OpenG2G: A Simulation Platform for AI Datacenter-Grid Runtime Coordination
von: Chung, Jae-Won, et al.
Veröffentlicht: (2026)

A New Execution Model and Executor for Adaptively Optimizing the Performance of Parallel Algorithms Using HPX Runtime System
von: Mohammadiporshokooh, Karame, et al.
Veröffentlicht: (2025)

GTaP: A GPU-Resident Fork-Join Task-Parallel Runtime with a Pragma-Based Interface
von: Maeda, Yuki, et al.
Veröffentlicht: (2026)

Adaptra: Straggler-Resilient Hybrid-Parallel Training with Pipeline Adaptation
von: Wu, Tianyuan, et al.
Veröffentlicht: (2025)

QoS-Efficient Serving of Multiple Mixture-of-Expert LLMs Using Partial Runtime Reconfiguration
von: Imani, HamidReza, et al.
Veröffentlicht: (2025)

On the Runtime of Local Mutual Exclusion for Anonymous Dynamic Networks
von: Chaturvedi, Anya, et al.
Veröffentlicht: (2025)

Seer: Predictive Runtime Kernel Selection for Irregular Problems
von: Swann, Ryan, et al.
Veröffentlicht: (2024)

Towards an Adaptive Runtime System for Cloud-Native HPC
von: Bhosale, Aditya, et al.
Veröffentlicht: (2026)

Asynchronous Wait-Free Runtime Verification and Enforcement of Linearizability
von: Castañeda, Armando, et al.
Veröffentlicht: (2023)

INSPIRIT: Optimizing Heterogeneous Task Scheduling through Adaptive Priority in Task-based Runtime Systems
von: Wang, Yiqing, et al.
Veröffentlicht: (2024)

Bandwidth-Aware and Cost-Efficient Pipeline Parallel Scheduling in Geo-Distributed LLM Training
von: Zhang, Han, et al.
Veröffentlicht: (2026)

Seq1F1B: Efficient Sequence-Level Pipeline Parallelism for Large Language Model Training
von: Sun, Ao, et al.
Veröffentlicht: (2024)

RIMMS: Runtime Integrated Memory Management System for Heterogeneous Computing
von: Gener, Serhan, et al.
Veröffentlicht: (2025)

TURNIP: A "Nondeterministic" GPU Runtime with CPU RAM Offload
von: Ding, Zhimin, et al.
Veröffentlicht: (2024)

Using Sequential Runtime Distributions for the Parallel Speedup Prediction of SAT Local Search
von: Arbelaez, Alejandro, et al.
Veröffentlicht: (2024)

MorphServe: Efficient and Workload-Aware LLM Serving via Runtime Quantized Layer Swapping and KV Cache Resizing
von: Su, Zhaoyuan, et al.
Veröffentlicht: (2025)

JanusPipe: Efficient Pipeline Parallel Training for Machine Learning Interatomic Potentials
von: Wang, Hongyu, et al.
Veröffentlicht: (2026)

DawnPiper: A Memory-scablable Pipeline Parallel Training Framework
von: Peng, Xuan, et al.
Veröffentlicht: (2025)

ACE Runtime - A ZKP-Native Blockchain Runtime with Sub-Second Cryptographic Finality
von: Wang, Jian Sheng
Veröffentlicht: (2026)

A Tabular Schedule Abstraction for Communication-Aware Evaluation of Pipeline-Parallel LLM Training
von: Barley, Daniel, et al.
Veröffentlicht: (2026)

Scaling Deep Learning Training with MPMD Pipeline Parallelism
von: Xhebraj, Anxhelo, et al.
Veröffentlicht: (2024)