Buchumschlag

Faster Multi-GPU Training with PPLL: A Pipeline Parallelism Framework Leveraging Local Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Guo, Xiuyuan, Xu, Chengqi, Guo, Guinan, Zhu, Feiyu, Cai, Changpeng, Wang, Peizhe, Wei, Xiaoming, Su, Junhao, Gao, Jialin
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Advancing Supervised Local Learning Beyond Classification with Long-term Feature Bank
von: Zhu, Feiyu, et al.
Veröffentlicht: (2024)

MLAAN: Scaling Supervised Local Learning with Multilaminar Leap Augmented Auxiliary Network
von: Zhang, Yuming, et al.
Veröffentlicht: (2024)

Rethinking Local Learning: A Cheaper and Faster Recipe for LLM Post-Training
von: Shi, Hengyu, et al.
Veröffentlicht: (2026)

SPEAK: Speech-Driven Pose and Emotion-Adjustable Talking Head Generation
von: Cai, Changpeng, et al.
Veröffentlicht: (2024)

Momentum Auxiliary Network for Supervised Local Learning
von: Su, Junhao, et al.
Veröffentlicht: (2024)

MAN++: Scaling Momentum Auxiliary Network for Supervised Local Learning in Vision Tasks
von: Su, Junhao, et al.
Veröffentlicht: (2025)

Fine, I'll Merge It Myself: A Multi-Fidelity Framework for Automated Model Merging
von: Su, Guinan, et al.
Veröffentlicht: (2025)

Multi-Stream LLMs: Unblocking Language Models with Parallel Streams of Thoughts, Inputs and Outputs
von: Su, Guinan, et al.
Veröffentlicht: (2026)

Efficient Parallel Samplers for Recurrent-Depth Models and Their Connection to Diffusion Language Models
von: Geiping, Jonas, et al.
Veröffentlicht: (2025)

Replacement Learning: Training Vision Tasks with Fewer Learnable Parameters
von: Zhang, Yuming, et al.
Veröffentlicht: (2024)

AdaPtis: Reducing Pipeline Bubbles with Adaptive Pipeline Parallelism on Heterogeneous Models
von: Guo, Jihu, et al.
Veröffentlicht: (2025)

GPU-accelerated Multi-relational Parallel Graph Retrieval for Web-scale Recommendations
von: Guo, Zhuoning, et al.
Veröffentlicht: (2025)

HPFF: Hierarchical Locally Supervised Learning with Patch Feature Fusion
von: Su, Junhao, et al.
Veröffentlicht: (2024)

Replacement Learning: Training Neural Networks with Fewer Parameters
von: Zhang, Yuming, et al.
Veröffentlicht: (2026)

4-Pipeline Parallel Dispatch for Low-Bit GPU Neural Inference
von: Pirolo, Andres
Veröffentlicht: (2026)

A Flexible Programmable Pipeline Parallelism Framework for Efficient DNN Training
von: Jiang, Lijuan, et al.
Veröffentlicht: (2025)

DawnPiper: A Memory-scablable Pipeline Parallel Training Framework
von: Peng, Xuan, et al.
Veröffentlicht: (2025)

PipeOffload: Improving Scalability of Pipeline Parallelism with Memory Optimization
von: Wan, Xinyi, et al.
Veröffentlicht: (2025)

An Efficient Hybrid Sparse Attention with CPU-GPU Parallelism for Long-Context Inference
von: Yao, Feiyu, et al.
Veröffentlicht: (2026)

Local Grammar Approach to Critical Discourse Analysis: A Case Study on the Discursive Representation of Climate Change in the UN News
von: Jun Ye, et al.
Veröffentlicht: (2024)

MemFactory: Unified Inference & Training Framework for Agent Memory
von: Guo, Ziliang, et al.
Veröffentlicht: (2026)

Scalable Multi-QPU Circuit Design for Dicke State Preparation: Optimizing Communication Complexity and Local Circuit Costs
von: Chen, Ziheng, et al.
Veröffentlicht: (2026)

Heimdall++: Optimizing GPU Utilization and Pipeline Parallelism for Efficient Single-Pulse Detection
von: Xia, Bingzheng, et al.
Veröffentlicht: (2025)

Faster Diffusion Sampling with Randomized Midpoints: Sequential and Parallel
von: Gupta, Shivam, et al.
Veröffentlicht: (2024)

SPPO:Efficient Long-sequence LLM Training via Adaptive Sequence Pipeline Parallel Offloading
von: Chen, Qiaoling, et al.
Veröffentlicht: (2025)

AMDP: Asynchronous Multi-Directional Pipeline Parallelism for Large-Scale Models Training
von: Chen, Ling, et al.
Veröffentlicht: (2026)

Adaptra: Straggler-Resilient Hybrid-Parallel Training with Pipeline Adaptation
von: Wu, Tianyuan, et al.
Veröffentlicht: (2025)

CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks
von: Chen, Jiewei, et al.
Veröffentlicht: (2025)

Scaling Deep Learning Training with MPMD Pipeline Parallelism
von: Xhebraj, Anxhelo, et al.
Veröffentlicht: (2024)

EasySpec: Layer-Parallel Speculative Decoding for Efficient Multi-GPU Utilization
von: Wu, Yize, et al.
Veröffentlicht: (2025)

Synergistic Tensor and Pipeline Parallelism
von: Qi, Mengshi, et al.
Veröffentlicht: (2025)

SiPipe: Bridging the CPU-GPU Utilization Gap for Efficient Pipeline-Parallel LLM Inference
von: He, Yongchao, et al.
Veröffentlicht: (2025)

HARP: Orchestrating Automated Parallel Training on Heterogeneous GPU Clusters
von: Liang, Antian, et al.
Veröffentlicht: (2025)

Memory Efficient and Staleness Free Pipeline Parallel DNN Training Framework with Improved Convergence Speed
von: Dutta, Ankita, et al.
Veröffentlicht: (2025)

A Readiness-Driven Runtime for Pipeline-Parallel Training under Runtime Variability
von: Liu, Ruitao, et al.
Veröffentlicht: (2026)

LLMs Know What They Need: Leveraging a Missing Information Guided Framework to Empower Retrieval-Augmented Generation
von: Wang, Keheng, et al.
Veröffentlicht: (2024)

LayoutCoT: Unleashing the Deep Reasoning Potential of Large Language Models for Layout Generation
von: Shi, Hengyu, et al.
Veröffentlicht: (2025)

SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training
von: Dolatabadi, Hadi Mohaghegh, et al.
Veröffentlicht: (2026)

Pipelined Dense Symmetric Eigenvalue Decomposition on Multi-GPU Architectures
von: Wang, Hansheng, et al.
Veröffentlicht: (2025)

ResiHP: Taming LLM Training Failures with Dynamic Hybrid Parallelism
von: Ma, Tenghui, et al.
Veröffentlicht: (2026)