Copertina

ZeroPP: Unleashing Exceptional Parallelism Efficiency through Tensor-Parallelism-Free Methodology

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Tang, Ding, Jiang, Lijuan, Zhou, Jiecheng, Jin, Minxi, Li, Hengjie, Zhang, Xingcheng, Pei, Zhilin, Zhai, Jidong
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Distributed, Parallel, and Cluster Computing
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

A Flexible Programmable Pipeline Parallelism Framework for Efficient DNN Training
di: Jiang, Lijuan, et al.
Pubblicazione: (2025)

H2:Towards Efficient Large-Scale LLM Training on Hyper-Heterogeneous Cluster over 1,000 Chips
di: Tang, Ding, et al.
Pubblicazione: (2025)

NanoCP: Request-Level Dynamic Context Parallelism for Data-Expert Parallel Decoding
di: Chen, Jiefei, et al.
Pubblicazione: (2026)

UniEP: Unified Expert-Parallel MoE MegaKernel for LLM Training
di: Zheng, Size, et al.
Pubblicazione: (2026)

Synergistic Tensor and Pipeline Parallelism
di: Qi, Mengshi, et al.
Pubblicazione: (2025)

MoEntwine: Unleashing the Potential of Wafer-scale Chips for Large-scale Expert Parallel Inference
di: Tang, Xinru, et al.
Pubblicazione: (2025)

Unleashing Scalable Context Parallelism for Foundation Models Pre-Training via FCP
di: Zhao, Yilong, et al.
Pubblicazione: (2026)

Amoeba: Runtime Tensor Parallel Transformation for LLM Inference Services
di: Chen, Haoyu, et al.
Pubblicazione: (2025)

Accelerating Heterogeneous Tensor Parallelism via Flexible Workload Control
di: Wang, Zhigang, et al.
Pubblicazione: (2024)

Nitsum: Serving Tiered LLM Requests with Adaptive Tensor Parallelism
di: Srivatsa, Vikranth, et al.
Pubblicazione: (2026)

Minimizing Communication for Parallel Symmetric Tensor Times Same Vector Computation
di: Daas, Hussam Al, et al.
Pubblicazione: (2025)

Balancing Pipeline Parallelism with Vocabulary Parallelism
di: Yeung, Man Tsung, et al.
Pubblicazione: (2024)

AnchorTP: Resilient LLM Inference with State-Preserving Elastic Tensor Parallelism
di: Xu, Wendong, et al.
Pubblicazione: (2025)

NeutronTP: Load-Balanced Distributed Full-Graph GNN Training with Tensor Parallelism
di: Ai, Xin, et al.
Pubblicazione: (2024)

The Entropy of Parallel Systems
di: Adefemi, Temitayo
Pubblicazione: (2025)

Lectures on Parallel Computing
di: Träff, Jesper Larsson
Pubblicazione: (2024)

ShardTensor: Domain Parallelism for Scientific Machine Learning
di: Adams, Corey, et al.
Pubblicazione: (2026)

Oases: Efficient Large-Scale Model Training on Commodity Servers via Overlapped and Automated Tensor Model Parallelism
di: Li, Shengwei, et al.
Pubblicazione: (2023)

Enhancing Memory Efficiency in Large Language Model Training Through Chronos-aware Pipeline Parallelism
di: Lin, Xinyuan, et al.
Pubblicazione: (2025)

EinDecomp: Decomposition of Declaratively-Specified Machine Learning and Numerical Computations for Parallel Execution
di: Bourgeois, Daniel, et al.
Pubblicazione: (2024)

A distributed system perspective on Backscatter systems: A review
di: Xiao, Tonghuan, et al.
Pubblicazione: (2025)

cuFastTuckerPlus: A Stochastic Parallel Sparse FastTucker Decomposition Using GPU Tensor Cores
di: Li, Zixuan, et al.
Pubblicazione: (2024)

TACO: Efficient Communication Compression of Intermediate Tensors for Scalable Tensor-Parallel LLM Training
di: Liu, Man, et al.
Pubblicazione: (2026)

Staleness-Centric Optimizations for Parallel Diffusion MoE Inference
di: Luo, Jiajun, et al.
Pubblicazione: (2024)

Scaling State-Space Models on Multiple GPUs with Tensor Parallelism
di: Dutt, Anurag, et al.
Pubblicazione: (2026)

Parallelizing Large-Scale Tensor Network Contraction on Multiple GPUs
di: Pan, Feng, et al.
Pubblicazione: (2026)

CFP: Efficient Optimization of Intra-Operator Parallelism Plans for Large Model Training
di: Hu, Weifang, et al.
Pubblicazione: (2025)

SPIDER: Unleashing Sparse Tensor Cores for Stencil Computation via Strided Swapping
di: GU, Qiqi, et al.
Pubblicazione: (2025)

Memory Efficient and Staleness Free Pipeline Parallel DNN Training Framework with Improved Convergence Speed
di: Dutta, Ankita, et al.
Pubblicazione: (2025)

FastSet: Parallel Claim Settlement
di: Chen, Xiaohong, et al.
Pubblicazione: (2025)

Parallelizing Maximal Clique Enumeration on GPUs
di: Almasri, Mohammad, et al.
Pubblicazione: (2022)

Malleus: Straggler-Resilient Hybrid Parallel Training of Large-scale Models via Malleable Data and Model Parallelization
di: Li, Haoyang, et al.
Pubblicazione: (2024)

FPTC: A Fast Parallel Transform-based Codec for Efficient Asymmetric Signal Compression
di: Mechels, Ben, et al.
Pubblicazione: (2026)

FreeRide: Harvesting Bubbles in Pipeline Parallelism
di: Zhang, Jiashu, et al.
Pubblicazione: (2024)

Folding Tensor and Sequence Parallelism for Memory-Efficient Transformer Training & Inference
di: Shyam, Vasu, et al.
Pubblicazione: (2026)

Parallelized Multi-Agent Bayesian Optimization in Lava
di: Snyder, Shay, et al.
Pubblicazione: (2024)

Parallel AIG Refactoring via Conflict Breaking
di: Cai, Ye, et al.
Pubblicazione: (2024)

Parallel Gaussian process with kernel approximation in CUDA
di: Carminati, Davide
Pubblicazione: (2024)

Adaptive Parallel Downloader for Large Genomic Datasets
di: Swargo, Rasman Mubtasim, et al.
Pubblicazione: (2025)

Dynamic Contract Analysis for Parallel Programming Models
di: Oraji, Yussur Mustafa, et al.
Pubblicazione: (2026)