Copertina

ZeCO: Zero Communication Overhead Sequence Parallelism for Linear Attention

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Chou, Yuhong, Liu, Zehao, Zhu, Ruijie, Wan, Xinyi, Li, Tianjian, Chu, Congying, Liu, Qian, Wu, Jibin, Ma, Zejun
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

MetaLA: Unified Optimal Linear Approximation to Softmax Attention Map
di: Chou, Yuhong, et al.
Pubblicazione: (2024)

AMSP: Reducing Communication Overhead of ZeRO for Efficient LLM Training
di: Chen, Qiaoling, et al.
Pubblicazione: (2023)

Scaling Linear Attention with Sparse State Expansion
di: Pan, Yuqi, et al.
Pubblicazione: (2025)

Linear Attention Sequence Parallelism
di: Sun, Weigao, et al.
Pubblicazione: (2024)

Zero Bubble Pipeline Parallelism
di: Qi, Penghui, et al.
Pubblicazione: (2023)

MDN: Parallelizing Stepwise Momentum for Delta Linear Attention
di: Huang, Yulong, et al.
Pubblicazione: (2026)

ZePo: Zero-Shot Portrait Stylization with Faster Sampling
di: Liu, Jin, et al.
Pubblicazione: (2024)

IML-Spikeformer: Input-aware Multi-Level Spiking Transformer for Speech Processing
di: Song, Zeyang, et al.
Pubblicazione: (2025)

ViG: Linear-complexity Visual Sequence Learning with Gated Linear Attention
di: Liao, Bencheng, et al.
Pubblicazione: (2024)

Stochastic Attention: Connectome-Inspired Randomized Routing for Expressive Linear-Time Attention
di: Jin, Zehao, et al.
Pubblicazione: (2026)

Gated Slot Attention for Efficient Linear-Time Sequence Modeling
di: Zhang, Yu, et al.
Pubblicazione: (2024)

LASP-2: Rethinking Sequence Parallelism for Linear Attention and Its Hybrid
di: Sun, Weigao, et al.
Pubblicazione: (2025)

S0 Tuning: Zero-Overhead Adaptation of Hybrid Recurrent-Attention Models
di: Young, Jack
Pubblicazione: (2026)

Low Overhead Beam Alignment for Mobile Millimeter Channel Based on Continuous-Time Prediction
di: Lin, Huang-Chou, et al.
Pubblicazione: (2023)

ZeQR: Zero-shot Query Reformulation for Conversational Search
di: Yang, Dayu, et al.
Pubblicazione: (2023)

PMSN: A Parallel Multi-compartment Spiking Neuron for Multi-scale Temporal Processing
di: Chen, Xinyi, et al.
Pubblicazione: (2024)

A Systematic Analysis of Hybrid Linear Attention
di: Wang, Dustin, et al.
Pubblicazione: (2025)

SimpleRL-Zoo: Investigating and Taming Zero Reinforcement Learning for Open Base Models in the Wild
di: Zeng, Weihao, et al.
Pubblicazione: (2025)

ZeBROD: Zero-Retraining Based Recognition and Object Detection Framework
di: Hidayatullah, Priyanto, et al.
Pubblicazione: (2025)

HelixPipe: Efficient Distributed Training of Long Sequence Transformers with Attention Parallel Pipeline Parallelism
di: Zhang, Geng, et al.
Pubblicazione: (2025)

PEAR: Position-Embedding-Agnostic Attention Re-weighting Enhances Retrieval-Augmented Generation with Zero Inference Overhead
di: Tan, Tao, et al.
Pubblicazione: (2024)

HEAR: An EEG Foundation Model with Heterogeneous Electrode Adaptive Representation
di: Chen, Zhige, et al.
Pubblicazione: (2025)

AsyncHZP: Hierarchical ZeRO Parallelism with Asynchronous Scheduling for Scalable LLM Training
di: Bai, Huawei, et al.
Pubblicazione: (2025)

ZeST: an LLM-based Zero-Shot Traversability Navigation for Unknown Environments
di: Gummadi, Shreya, et al.
Pubblicazione: (2025)

ZeST: Zero-Shot Material Transfer from a Single Image
di: Cheng, Ta-Ying, et al.
Pubblicazione: (2024)

Bridging the Semantic Gap: An Ensemble Learning Framework With Textual Topic‐Raw Financial Feature Fusion to Enhance Fraud Detection in Chinese Markets
di: Congying Wei, et al.
Pubblicazione: (2025)

Zé Dirceu Memórias
di: Fernando Tadeu Germinatti
Pubblicazione: (2020)

ProactiveEval: A Unified Evaluation Framework for Proactive Dialogue Agents
di: Liu, Tianjian, et al.
Pubblicazione: (2025)

Balancing Pipeline Parallelism with Vocabulary Parallelism
di: Yeung, Man Tsung, et al.
Pubblicazione: (2024)

Block-Diagonal LoRA for Eliminating Communication Overhead in Tensor Parallel LoRA Serving
di: Wang, Xinyu, et al.
Pubblicazione: (2025)

IMELL Cut Elimination with Linear Overhead
di: Accattoli, Beniamino, et al.
Pubblicazione: (2024)

GLU Attention Improve Transformer
di: Wang, Zehao
Pubblicazione: (2025)

ZeFaV: Boosting Large Language Models for Zero-shot Fact Verification
di: Luu, Son T., et al.
Pubblicazione: (2024)

RaZeR: Pushing the Limits of NVFP4 Quantization with Redundant Zero Remapping
di: Chen, Yuzong, et al.
Pubblicazione: (2025)

Sparse Attention Remapping with Clustering for Efficient LLM Decoding on PIM
di: Fan, Zehao, et al.
Pubblicazione: (2025)

ZeroS: Zero-Sum Linear Attention for Efficient Transformers
di: Lu, Jiecheng, et al.
Pubblicazione: (2026)

FlexSP: Accelerating Large Language Model Training via Flexible Sequence Parallelism
di: Wang, Yujie, et al.
Pubblicazione: (2024)

GS-CLIP: Zero-shot 3D Anomaly Detection by Geometry-Aware Prompt and Synergistic View Representation Learning
di: Deng, Zehao, et al.
Pubblicazione: (2026)

ZePT: Zero-Shot Pan-Tumor Segmentation via Query-Disentangling and Self-Prompting
di: Jiang, Yankai, et al.
Pubblicazione: (2023)

Pipeline Parallelism with Controllable Memory
di: Qi, Penghui, et al.
Pubblicazione: (2024)