Copertina

HLA: Hadamard Linear Attention

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Ackermann, Hanno, Cai, Hong, Ghafoorian, Mohsen, Habibian, Amirhossein
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers
di: Ghafoorian, Mohsen, et al.
Pubblicazione: (2026)

Attention Surgery: An Efficient Recipe to Linearize Your Video Diffusion Transformer
di: Ghafoorian, Mohsen, et al.
Pubblicazione: (2025)

PyramidalWan: On Making Pretrained Video Model Pyramidal for Efficient Inference
di: Korzhenkov, Denis, et al.
Pubblicazione: (2026)

Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs
di: Chen, Yanlong, et al.
Pubblicazione: (2026)

MoAlign: Motion-Centric Representation Alignment for Video Diffusion Models
di: Bhowmik, Aritra, et al.
Pubblicazione: (2025)

Mobile Video Diffusion
di: Yahia, Haitam Ben, et al.
Pubblicazione: (2024)

A Walsh Hadamard Derived Linear Vector Symbolic Architecture
di: Alam, Mohammad Mahmudul, et al.
Pubblicazione: (2024)

Adaptive Dual Residual U-Net with Attention Gate and Multiscale Spatial Attention Mechanisms (ADRUwAMS)
di: Suraki, Mohsen Yaghoubi
Pubblicazione: (2026)

Enhancing Novel View Synthesis via Geometry Grounded Set Diffusion
di: Zanjani, Farhad G., et al.
Pubblicazione: (2026)

Exact Linear Attention
di: Ou, Weinuo
Pubblicazione: (2026)

Kaczmarz Linear Attention
di: Zou, Jiaxuan, et al.
Pubblicazione: (2026)

Local Linear Attention: An Optimal Interpolation of Linear and Softmax Attention For Test-Time Regression
di: Zuo, Yifei, et al.
Pubblicazione: (2025)

Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention
di: Hu, Wenjie, et al.
Pubblicazione: (2025)

MAGNet: A Multi-Scale Attention-Guided Graph Fusion Network for DRC Violation Detection
di: Lu, Weihan, et al.
Pubblicazione: (2025)

SEA: State-Exchange Attention for High-Fidelity Physics Based Transformers
di: Esmati, Parsa, et al.
Pubblicazione: (2024)

Don't Pass@k: A Bayesian Framework for Large Language Model Evaluation
di: Hariri, Mohsen, et al.
Pubblicazione: (2025)

Attention and Autoencoder Hybrid Model for Unsupervised Online Anomaly Detection
di: Najafi, Seyed Amirhossein, et al.
Pubblicazione: (2024)

Cumulative-Goodness Free-Riding in Forward-Forward Networks: Real, Repairable, but Not Accuracy-Dominant
di: Yousefiramandi, Amirhossein
Pubblicazione: (2026)

ITS-Mina: A Harris Hawks Optimization-Based All-MLP Framework with Iterative Refinement and External Attention for Multivariate Time Series Forecasting
di: Zamanvaziri, Pourya, et al.
Pubblicazione: (2026)

Sycophancy Hides Linearly in the Attention Heads
di: Genadi, Rifo, et al.
Pubblicazione: (2026)

Enhancing Linear Attention with Residual Learning
di: Lai, Xunhao, et al.
Pubblicazione: (2025)

LADY: Linear Attention for Autonomous Driving Efficiency without Transformers
di: Huang, Jihao, et al.
Pubblicazione: (2025)

LinearARD: Linear-Memory Attention Distillation for RoPE Restoration
di: Yang, Ning, et al.
Pubblicazione: (2026)

SUM: Saliency Unification through Mamba for Visual Attention Modeling
di: Hosseini, Alireza, et al.
Pubblicazione: (2024)

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention
di: Hatamizadeh, Ali, et al.
Pubblicazione: (2026)

Adaptive Memory Decay for Log-Linear Attention
di: Amin, Yaxita, et al.
Pubblicazione: (2026)

KVBuffer: IO-aware Serving for Linear Attention
di: Zou, Longwei, et al.
Pubblicazione: (2026)

State Rank Dynamics in Linear Attention LLMs
di: Sun, Ao, et al.
Pubblicazione: (2026)

Linear Attention is Enough in Spatial-Temporal Forecasting
di: Ning, Xinyu
Pubblicazione: (2024)

Linear Attention for Efficient Bidirectional Sequence Modeling
di: Afzal, Arshia, et al.
Pubblicazione: (2025)

Higher-order Linear Attention
di: Zhang, Yifan, et al.
Pubblicazione: (2025)

Integrating Non-Linear Radon Transformation for Diabetic Retinopathy Grading
di: Mohsen, Farida, et al.
Pubblicazione: (2025)

How Large Language Models are Designed to Hallucinate
di: Ackermann, Richard, et al.
Pubblicazione: (2025)

HIT-ROCKET: Hadamard-vector Inner-product Transformer for ROCKET
di: Hao, Wang, et al.
Pubblicazione: (2025)

Tiled Flash Linear Attention: More Efficient Linear RNN and xLSTM Kernels
di: Beck, Maximilian, et al.
Pubblicazione: (2025)

Beyond Linearity in Attention Projections: The Case for Nonlinear Queries
di: Karbevski, Marko
Pubblicazione: (2026)

ZeroS: Zero-Sum Linear Attention for Efficient Transformers
di: Lu, Jiecheng, et al.
Pubblicazione: (2026)

Offline Reinforcement Learning from Datasets with Structured Non-Stationarity
di: Ackermann, Johannes, et al.
Pubblicazione: (2024)

ELASTIC: Efficient Linear Attention for Sequential Interest Compression
di: Deng, Jiaxin, et al.
Pubblicazione: (2024)

Superiority of Multi-Head Attention in In-Context Linear Regression
di: Cui, Yingqian, et al.
Pubblicazione: (2024)