Buchumschlag

USP: A Unified Sequence Parallelism Approach for Long Context Generative AI

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Fang, Jiarui, Zhao, Shangchun
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Long-Context Attention Benchmark: From Kernel Efficiency to Distributed Context Parallelism
von: Bu, Tao, et al.
Veröffentlicht: (2025)

An Efficient Hybrid Sparse Attention with CPU-GPU Parallelism for Long-Context Inference
von: Yao, Feiyu, et al.
Veröffentlicht: (2026)

An Adaptive Placement and Parallelism Framework for Accelerating RLHF Training
von: Xiao, Youshao, et al.
Veröffentlicht: (2023)

SlimPipe: Memory-Thrifty and Efficient Pipeline Parallelism for Long-Context LLM Training
von: Li, Zhouyang, et al.
Veröffentlicht: (2025)

Generalized Parallel Scaling with Interdependent Generations
von: Dong, Harry, et al.
Veröffentlicht: (2025)

PULSE-ICU: A Pretrained Unified Long-Sequence Encoder for Multi-task Prediction in Intensive Care Units
von: Jang, Sejeong, et al.
Veröffentlicht: (2025)

How Well Can a Long Sequence Model Model Long Sequences? Comparing Architechtural Inductive Biases on Long-Context Abilities
von: Huang, Jerry
Veröffentlicht: (2024)

APE: Faster and Longer Context-Augmented Generation via Adaptive Parallel Encoding
von: Yang, Xinyu, et al.
Veröffentlicht: (2025)

Unifying Sequences, Structures, and Descriptions for Any-to-Any Protein Generation with the Large Multimodal Model HelixProtX
von: Chen, Zhiyuan, et al.
Veröffentlicht: (2024)

Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach
von: Li, Zhuowan, et al.
Veröffentlicht: (2024)

Breaking the Context Bottleneck on Long Time Series Forecasting
von: Ma, Chao, et al.
Veröffentlicht: (2024)

Generalized Preference Optimization: A Unified Approach to Offline Alignment
von: Tang, Yunhao, et al.
Veröffentlicht: (2024)

Generative Distribution Prediction: A Unified Approach to Multimodal Learning
von: Tian, Xinyu, et al.
Veröffentlicht: (2025)

Generative Fuzzy System for Sequence Generation
von: Yang, Hailong, et al.
Veröffentlicht: (2024)

Generative Diffusion Prior Distillation for Long-Context Knowledge Transfer
von: Udayangani, Nilushika, et al.
Veröffentlicht: (2026)

TRISKELION-1: Unified Descriptive-Predictive-Generative AI
von: Kumar, Nardeep, et al.
Veröffentlicht: (2025)

KV Admission: Learning What to Write for Efficient Long-Context Inference
von: Huang, Yen-Chieh, et al.
Veröffentlicht: (2025)

Generative AI for Controllable Protein Sequence Design: A Survey
von: Zhu, Yiheng, et al.
Veröffentlicht: (2024)

Long Input Sequence Network for Long Time Series Forecasting
von: Ma, Chao, et al.
Veröffentlicht: (2024)

StreamBP: Memory-Efficient Exact Backpropagation for Long Sequence Training of LLMs
von: Luo, Qijun, et al.
Veröffentlicht: (2025)

Efficient Low Rank Attention for Long-Context Inference in Large Language Models
von: Li, Tenghui, et al.
Veröffentlicht: (2025)

ParaDySe: A Parallel-Strategy Switching Framework for Dynamic Sequence Lengths in Transformer
von: Ou, Zhixin, et al.
Veröffentlicht: (2025)

MOM: Memory-Efficient Offloaded Mini-Sequence Inference for Long Context Language Models
von: Zhang, Junyang, et al.
Veröffentlicht: (2025)

Long Context In-Context Compression by Getting to the Gist of Gisting
von: Petrov, Aleksandar, et al.
Veröffentlicht: (2025)

Baguan-TS: A Sequence-Native In-Context Learning Model for Time Series Forecasting with Covariates
von: Yang, Linxiao, et al.
Veröffentlicht: (2026)

Parallel Structures in Pre-training Data Yield In-Context Learning
von: Chen, Yanda, et al.
Veröffentlicht: (2024)

Scaling Laws and In-Context Learning: A Unified Theoretical Framework
von: Mehta, Sushant, et al.
Veröffentlicht: (2025)

Technical Debt in In-Context Learning: Diminishing Efficiency in Long Context
von: Joo, Taejong, et al.
Veröffentlicht: (2025)

Context-Former: Stitching via Latent Conditioned Sequence Modeling
von: Zhang, Ziqi, et al.
Veröffentlicht: (2024)

Block-Biased Mamba for Long-Range Sequence Processing
von: Yu, Annan, et al.
Veröffentlicht: (2025)

UniGEM: A Unified Approach to Generation and Property Prediction for Molecules
von: Feng, Shikun, et al.
Veröffentlicht: (2024)

From Classical Probabilistic Latent Variable Models to Modern Generative AI: A Unified Perspective
von: Chen, Tianhua
Veröffentlicht: (2025)

AI Pangaea: Unifying Intelligence Islands for Adapting Myriad Tasks
von: Chang, Jianlong, et al.
Veröffentlicht: (2025)

UFO: A Unified Flow-Oriented Framework for Robust Continual Graph Learning
von: Zhang, Danhui, et al.
Veröffentlicht: (2026)

Gradient Flow Drifting: Generative Modeling via Wasserstein Gradient Flows of KDE-Approximated Divergences
von: Cao, Jiarui, et al.
Veröffentlicht: (2026)

Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs
von: Song, Woomin, et al.
Veröffentlicht: (2024)

Artificial Hippocampus Networks for Efficient Long-Context Modeling
von: Fang, Yunhao, et al.
Veröffentlicht: (2025)

The PokeAgent Challenge: Competitive and Long-Context Learning at Scale
von: Karten, Seth, et al.
Veröffentlicht: (2026)

CoMeT: Collaborative Memory Transformer for Efficient Long Context Modeling
von: Zhao, Runsong, et al.
Veröffentlicht: (2026)

Hydra: A Modular Architecture for Efficient Long-Context Reasoning
von: Chaudhary, Siddharth, et al.
Veröffentlicht: (2025)