Copertina

Elucidating the Design Space of Decay in Linear Attention

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Qin, Zhen, Shen, Xuyang, Zhong, Yiran
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Linear Attention Sequence Parallelism
di: Sun, Weigao, et al.
Pubblicazione: (2024)

Scaling Laws for Linear Complexity Language Models
di: Shen, Xuyang, et al.
Pubblicazione: (2024)

Various Lengths, Constant Speed: Efficient Language Modeling with Lightning Attention
di: Qin, Zhen, et al.
Pubblicazione: (2024)

HGRN2: Gated Linear RNNs with State Expansion
di: Qin, Zhen, et al.
Pubblicazione: (2024)

Lightning Attention-2: A Free Lunch for Handling Unlimited Sequence Lengths in Large Language Models
di: Qin, Zhen, et al.
Pubblicazione: (2024)

Unlocking the Secrets of Linear Complexity Sequence Model from A Unified Perspective
di: Qin, Zhen, et al.
Pubblicazione: (2024)

FlashSampling: Fast and Memory-Efficient Exact Sampling
di: Ruiz, Tomas, et al.
Pubblicazione: (2026)

You Only Scan Once: Efficient Multi-dimension Sequential Modeling with LightNet
di: Qin, Zhen, et al.
Pubblicazione: (2024)

CO2: Efficient Distributed Training with Full Communication-Computation Overlap
di: Sun, Weigao, et al.
Pubblicazione: (2024)

Autoregressive Image Generation with Linear Complexity: A Spatial-Aware Decay Perspective
di: Mao, Yuxin, et al.
Pubblicazione: (2025)

Rethinking RL Scaling for Vision Language Models: A Transparent, From-Scratch Framework and Comprehensive Evaluation Scheme
di: Ma, Yan, et al.
Pubblicazione: (2025)

Higher-order Linear Attention
di: Zhang, Yifan, et al.
Pubblicazione: (2025)

TransNormerLLM: A Faster and Better Large Language Model with Improved TransNormer
di: Qin, Zhen, et al.
Pubblicazione: (2023)

LASP-2: Rethinking Sequence Parallelism for Linear Attention and Its Hybrid
di: Sun, Weigao, et al.
Pubblicazione: (2025)

ETTA: Elucidating the Design Space of Text-to-Audio Models
di: Lee, Sang-gil, et al.
Pubblicazione: (2024)

mRAG: Elucidating the Design Space of Multi-modal Retrieval-Augmented Generation
di: Hu, Chan-Wei, et al.
Pubblicazione: (2025)

LinearARD: Linear-Memory Attention Distillation for RoPE Restoration
di: Yang, Ning, et al.
Pubblicazione: (2026)

LeetDecoding: A PyTorch Library for Exponentially Decaying Causal Linear Attention with CUDA Implementations
di: Wang, Jiaping, et al.
Pubblicazione: (2025)

SSA: Sparse Sparse Attention by Aligning Full and Sparse Attention Outputs in Feature Space
di: Shen, Zhenyi, et al.
Pubblicazione: (2025)

Optimal Decay Spectra for Linear Recurrences
di: Cao, Yang
Pubblicazione: (2026)

Gated Linear Attention Transformers with Hardware-Efficient Training
di: Yang, Songlin, et al.
Pubblicazione: (2023)

Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models
di: Wu, Di, et al.
Pubblicazione: (2025)

Why Softmax Attention Outperforms Linear Attention
di: Deng, Yichuan, et al.
Pubblicazione: (2023)

Is Compression Really Linear with Code Intelligence?
di: Xuyang, Shijie, et al.
Pubblicazione: (2025)

ReGLA: Refining Gated Linear Attention
di: Lu, Peng, et al.
Pubblicazione: (2025)

A Systematic Analysis of Hybrid Linear Attention
di: Wang, Dustin, et al.
Pubblicazione: (2025)

Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning
di: Wang, Junxuan, et al.
Pubblicazione: (2025)

Learning Spatial Decay for Vision Transformers
di: Mao, Yuxin, et al.
Pubblicazione: (2025)

SEA: Sparse Linear Attention with Estimated Attention Mask
di: Lee, Heejun, et al.
Pubblicazione: (2023)

Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts
di: Chen, Yingfa, et al.
Pubblicazione: (2026)

Automatically Identifying Local and Global Circuits with Linear Computation Graphs
di: Ge, Xuyang, et al.
Pubblicazione: (2024)

Elucidating Mechanisms of Demographic Bias in LLMs for Healthcare
di: Ahsan, Hiba, et al.
Pubblicazione: (2025)

Elucidating the Design Space of Dataset Condensation
di: Shao, Shitong, et al.
Pubblicazione: (2024)

Kimi Linear: An Expressive, Efficient Attention Architecture
di: Kimi Team, et al.
Pubblicazione: (2025)

Sycophancy Hides Linearly in the Attention Heads
di: Genadi, Rifo, et al.
Pubblicazione: (2026)

Gated Slot Attention for Efficient Linear-Time Sequence Modeling
di: Zhang, Yu, et al.
Pubblicazione: (2024)

AlphaDecay: Module-wise Weight Decay for Heavy-Tailed Balancing in LLMs
di: He, Di, et al.
Pubblicazione: (2025)

SPLA: Block Sparse Plus Linear Attention for Long Context Modeling
di: Wang, Bailin, et al.
Pubblicazione: (2026)

Scaling Linear Attention with Sparse State Expansion
di: Pan, Yuqi, et al.
Pubblicazione: (2025)

Stochastic Attention: Connectome-Inspired Randomized Routing for Expressive Linear-Time Attention
di: Jin, Zehao, et al.
Pubblicazione: (2026)