Copertina

Power-based Partial Attention: Bridging Linear-Complexity and Full Attention

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autore principale:	Huang, Yufeng
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Superlinear Multi-Step Attention
di: Huang, Yufeng
Pubblicazione: (2026)

A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention
di: Ye, Xiaowei, et al.
Pubblicazione: (2026)

Log-Linear Attention
di: Guo, Han, et al.
Pubblicazione: (2025)

Why Softmax Attention Outperforms Linear Attention
di: Deng, Yichuan, et al.
Pubblicazione: (2023)

Efficient Attention: Attention with Linear Complexities
di: Shen, Zhuoran, et al.
Pubblicazione: (2018)

Rethinking Transformer Connectivity: TLinFormer, A Path to Exact, Full Context-Aware Linear Attention
di: Tang, Zhongpan
Pubblicazione: (2025)

Exact Linear Attention
di: Ou, Weinuo
Pubblicazione: (2026)

Kaczmarz Linear Attention
di: Zou, Jiaxuan, et al.
Pubblicazione: (2026)

SEA: Sparse Linear Attention with Estimated Attention Mask
di: Lee, Heejun, et al.
Pubblicazione: (2023)

Token Sample Complexity of Attention
di: Bohbot, Léa, et al.
Pubblicazione: (2025)

Efficiently Dispatching Flash Attention For Partially Filled Attention Masks
di: Sharma, Agniv, et al.
Pubblicazione: (2024)

Degrees of Freedom for Linear Attention: Distilling Softmax Attention with Optimal Feature Efficiency
di: Nishikawa, Naoki, et al.
Pubblicazione: (2025)

Cottention: Linear Transformers With Cosine Attention
di: Mongaras, Gabriel, et al.
Pubblicazione: (2024)

Local Linear Attention: An Optimal Interpolation of Linear and Softmax Attention For Test-Time Regression
di: Zuo, Yifei, et al.
Pubblicazione: (2025)

Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention
di: Hu, Wenjie, et al.
Pubblicazione: (2025)

An Analysis of Linear Complexity Attention Substitutes with BEST-RQ
di: Whetten, Ryan, et al.
Pubblicazione: (2024)

The Key to State Reduction in Linear Attention: A Rank-based Perspective
di: Nazari, Philipp, et al.
Pubblicazione: (2026)

Linear Attention Sequence Parallelism
di: Sun, Weigao, et al.
Pubblicazione: (2024)

InAttention: Linear Context Scaling for Transformers
di: Eisner, Joseph
Pubblicazione: (2024)

Linear Memory SE(2) Invariant Attention
di: Pronovost, Ethan, et al.
Pubblicazione: (2025)

Training Dynamics of In-Context Learning in Linear Attention
di: Zhang, Yedi, et al.
Pubblicazione: (2025)

Quantum Complex-Valued Self-Attention Model
di: Chen, Fu, et al.
Pubblicazione: (2025)

Softmax as Linear Attention in the Large-Prompt Regime: a Measure-based Perspective
di: Boursier, Etienne, et al.
Pubblicazione: (2025)

An Analysis of Attention via the Lens of Exchangeability and Latent Variable Models
di: Zhang, Yufeng, et al.
Pubblicazione: (2022)

MDN: Parallelizing Stepwise Momentum for Delta Linear Attention
di: Huang, Yulong, et al.
Pubblicazione: (2026)

Linear Attention for Joint Power Optimization and User-Centric Clustering in Cell-Free Networks
di: Chafaa, Irched, et al.
Pubblicazione: (2025)

Global Attention with Linear Complexity for Exascale Generative Data Assimilation in Earth System Prediction
di: Wang, Xiao, et al.
Pubblicazione: (2026)

PowerAttention: Exponentially Scaling of Receptive Fields for Effective Sparse Attention
di: Chen, Lida, et al.
Pubblicazione: (2025)

Stochastic Attention: Connectome-Inspired Randomized Routing for Expressive Linear-Time Attention
di: Jin, Zehao, et al.
Pubblicazione: (2026)

Attention-based clustering
di: Maulen-Soto, Rodrigo, et al.
Pubblicazione: (2025)

Enhancing Linear Attention with Residual Learning
di: Lai, Xunhao, et al.
Pubblicazione: (2025)

Linear Predictability of Attention Heads in Large Language Models
di: Shaikh, Khalid, et al.
Pubblicazione: (2026)

WildCat: Near-Linear Attention in Theory and Practice
di: Schröder, Tobias, et al.
Pubblicazione: (2026)

LUNA: Linear Universal Neural Attention with Generalization Guarantees
di: Shahbazi, Ashkan, et al.
Pubblicazione: (2025)

Higher-order Linear Attention
di: Zhang, Yifan, et al.
Pubblicazione: (2025)

Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models
di: Deng, Difan, et al.
Pubblicazione: (2026)

Alleviating Forgetfulness of Linear Attention by Hybrid Sparse Attention and Contextualized Learnable Token Eviction
di: He, Mutian, et al.
Pubblicazione: (2025)

Kimi Linear: An Expressive, Efficient Attention Architecture
di: Kimi Team, et al.
Pubblicazione: (2025)

Hybrid Focal and Full-Range Attention Based Graph Transformers
di: Zhu, Minhong, et al.
Pubblicazione: (2023)

Power Law Guided Dynamic Sifting for Efficient Attention
di: Koley, Nirav, et al.
Pubblicazione: (2025)