Buchumschlag

ResBM: Residual Bottleneck Models for Low-Bandwidth Pipeline Parallelism

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Aboudib, Alan, A., Rodrigo Lopez Portillo, Brady, Kalei, Cruz, Steffen
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence Distributed, Parallel, and Cluster Computing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Incentivised Orchestrated Training Architecture (IOTA): A Technical Primer for Release
von: Quinque, Felix, et al.
Veröffentlicht: (2025)

Zero Bubble Pipeline Parallelism
von: Qi, Penghui, et al.
Veröffentlicht: (2023)

AdaPtis: Reducing Pipeline Bubbles with Adaptive Pipeline Parallelism on Heterogeneous Models
von: Guo, Jihu, et al.
Veröffentlicht: (2025)

BitPipe: Bidirectional Interleaved Pipeline Parallelism for Accelerating Large Models Training
von: Wu, Houming, et al.
Veröffentlicht: (2024)

PipeOffload: Improving Scalability of Pipeline Parallelism with Memory Optimization
von: Wan, Xinyi, et al.
Veröffentlicht: (2025)

Mitigating Staleness in Asynchronous Pipeline Parallelism via Basis Rotation
von: Jung, Hyunji, et al.
Veröffentlicht: (2026)

Scaling Large Language Model Training on Frontier with Low-Bandwidth Partitioning
von: Xu, Lang, et al.
Veröffentlicht: (2025)

TawPipe: Topology-Aware Weight Pipeline Parallelism for Accelerating Long-Context Large Models Training
von: Wu, Houming, et al.
Veröffentlicht: (2025)

Piper: Efficient Large-Scale MoE Training via Resource Modeling and Pipelined Hybrid Parallelism
von: Dash, Sajal, et al.
Veröffentlicht: (2026)

FreeRide: Harvesting Bubbles in Pipeline Parallelism
von: Zhang, Jiashu, et al.
Veröffentlicht: (2024)

GraphPipe: Improving Performance and Scalability of DNN Training with Graph Pipeline Parallelism
von: Jeon, Byungsoo, et al.
Veröffentlicht: (2024)

TimelyFreeze: Adaptive Parameter Freezing Mechanism for Pipeline Parallelism
von: Cho, Seonghye, et al.
Veröffentlicht: (2026)

InfiniPipe: Elastic Pipeline Parallelism for Efficient Variable-Length Long-Context LLM Training
von: Wang, Shiju, et al.
Veröffentlicht: (2025)

Hermes: Memory-Efficient Pipeline Inference for Large Models on Edge Devices
von: Han, Xueyuan, et al.
Veröffentlicht: (2024)

Training Ultra Long Context Language Model with Fully Pipelined Distributed Transformer
von: Yao, Jinghan, et al.
Veröffentlicht: (2024)

BootSeer: Analyzing and Mitigating Initialization Bottlenecks in Large-Scale LLM Training
von: Li, Rui, et al.
Veröffentlicht: (2025)

SPD: Sync-Point Drop for Efficient Tensor Parallelism of Large Language Models
von: Kim, Han-Byul, et al.
Veröffentlicht: (2025)

PIPO: Pipelined Offloading for Efficient Inference on Consumer Devices
von: Liu, Yangyijian, et al.
Veröffentlicht: (2025)

Bandwidth-Aware and Cost-Efficient Pipeline Parallel Scheduling in Geo-Distributed LLM Training
von: Zhang, Han, et al.
Veröffentlicht: (2026)

Research on Model Parallelism and Data Parallelism Optimization Methods in Large Language Model-Based Recommendation Systems
von: Yang, Haowei, et al.
Veröffentlicht: (2025)

Parallel Split Learning with Global Sampling
von: Kohankhaki, Mohammad, et al.
Veröffentlicht: (2024)

Semantic Parallelism: Redefining Efficient MoE Inference via Model-Data Co-Scheduling
von: Li, Yan, et al.
Veröffentlicht: (2025)

Sampling Parallelism for Fast and Efficient Bayesian Learning
von: Özdemir, Asena Karolin, et al.
Veröffentlicht: (2026)

Context Parallelism for Scalable Million-Token Inference
von: Yang, Amy, et al.
Veröffentlicht: (2024)

Understand and Accelerate Memory Processing Pipeline for Large Language Model Inference
von: He, Zifan, et al.
Veröffentlicht: (2026)

DIP: Efficient Large Multimodal Model Training with Dynamic Interleaved Pipeline
von: Xue, Zhenliang, et al.
Veröffentlicht: (2025)

EE-LLM: Large-Scale Training and Inference of Early-Exit Large Language Models with 3D Parallelism
von: Chen, Yanxi, et al.
Veröffentlicht: (2023)

Vec-LUT: Vector Table Lookup for Parallel Ultra-Low-Bit LLM Inference on Edge Devices
von: Li, Xiangyu, et al.
Veröffentlicht: (2025)

Can Large Language Models Write Parallel Code?
von: Nichols, Daniel, et al.
Veröffentlicht: (2024)

HPC-Coder: Modeling Parallel Programs using Large Language Models
von: Nichols, Daniel, et al.
Veröffentlicht: (2023)

Scalable and Adaptive Parallel Training of Graph Transformer on Large Graphs
von: Lin, Jun-Liang, et al.
Veröffentlicht: (2026)

A Parallel Alternative for Energy-Efficient Neural Network Training and Inferencing
von: Seal, Sudip K., et al.
Veröffentlicht: (2025)

Tenplex: Dynamic Parallelism for Deep Learning using Parallelizable Tensor Collections
von: Wagenländer, Marcel, et al.
Veröffentlicht: (2023)

OptPipe: Memory- and Scheduling-Optimized Pipeline Parallelism for LLM Training
von: Li, Hongpei, et al.
Veröffentlicht: (2025)

LlamaDuo: LLMOps Pipeline for Seamless Migration from Service LLMs to Small-Scale Local LLMs
von: Park, Chansung, et al.
Veröffentlicht: (2024)

Parallel-friendly Spatio-Temporal Graph Learning for Photovoltaic Degradation Analysis at Scale
von: Fan, Yangxin, et al.
Veröffentlicht: (2024)

TAPAS: Fast and Automatic Derivation of Tensor Parallel Strategies for Large Neural Networks
von: Shi, Ziji, et al.
Veröffentlicht: (2023)

Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
von: Liu, Zhihong, et al.
Veröffentlicht: (2024)

FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs
von: Dege, Pengcuo, et al.
Veröffentlicht: (2025)

Automated Planning for Optimal Data Pipeline Instantiation
von: Amado, Leonardo Rosa, et al.
Veröffentlicht: (2025)