Image de couverture de livre

Adamas: Hadamard Sparse Attention for Efficient Long-Context Inference

Fuente: arXiv

Enregistré dans:

Détails bibliographiques
Auteurs principaux:	Yan, Siyuan, Jiang, Guo-Qing, Zhang, Yuchen, Ma, Xiaoxing, Zhu, Ran, Cao, Chun, Xu, Jingwei
Format:	Preprint
Publié:	2025
Sujets:	Computation and Language
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Documents similaires

DuoAttention: Efficient Long-Context LLM Inference with Retrieval and Streaming Heads
par: Xiao, Guangxuan, et autres
Publié: (2024)

FlexPrefill: A Context-Aware Sparse Attention Mechanism for Efficient Long-Sequence Inference
par: Lai, Xunhao, et autres
Publié: (2025)

Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection
par: Jo, Dongwon, et autres
Publié: (2026)

MTraining: Distributed Dynamic Sparse Attention for Efficient Ultra-Long Context Training
par: Li, Wenxuan, et autres
Publié: (2025)

S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference
par: Ma, Qingsen, et autres
Publié: (2026)

SparseAccelerate: Efficient Long-Context Inference for Mid-Range GPUs
par: Vo, James
Publié: (2024)

HyLRA: Hybrid Layer Reuse Attention for Efficient Long-Context Inference
par: Ai, Xuan, et autres
Publié: (2026)

ZigzagAttention: Efficient Long-Context Inference with Exclusive Retrieval and Streaming Heads
par: Liu, Zhuorui, et autres
Publié: (2025)

MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling
par: MiniCPM Team, et autres
Publié: (2026)

Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity
par: Ma, Da, et autres
Publié: (2024)

SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention
par: Zhu, Qianchao, et autres
Publié: (2024)

Long-Context Generalization with Sparse Attention
par: Vasylenko, Pavlo, et autres
Publié: (2025)

$π$-Attention: Periodic Sparse Transformers for Efficient Long-Context Modeling
par: Liu, Dong, et autres
Publié: (2025)

Lag-Relative Sparse Attention In Long Context Training
par: Liang, Manlai, et autres
Publié: (2025)

LLMSteer: Improving Long-Context LLM Inference by Steering Attention on Reused Contexts
par: Gu, Zhuohan, et autres
Publié: (2024)

RRAttention: Dynamic Block Sparse Attention via Per-Head Round-Robin Shifts for Long-Context Inference
par: Liu, Siran, et autres
Publié: (2026)

AsyncTLS: Efficient Generative LLM Inference with Asynchronous Two-level Sparse Attention
par: Hu, Yuxuan, et autres
Publié: (2026)

Efficient Context Scaling with LongCat ZigZag Attention
par: Zhang, Chen, et autres
Publié: (2025)

Every Attention Matters: An Efficient Hybrid Architecture for Long-Context Reasoning
par: Ling Team, et autres
Publié: (2025)

Efficient Many-Shot In-Context Learning with Dynamic Block-Sparse Attention
par: Xiao, Emily, et autres
Publié: (2025)

Training-free Context-adaptive Attention for Efficient Long Context Modeling
par: You, Zeng, et autres
Publié: (2025)

DAM: Dynamic Attention Mask for Long-Context Large Language Model Inference Acceleration
par: Zhang, Hanzhi, et autres
Publié: (2025)

SPLA: Block Sparse Plus Linear Attention for Long Context Modeling
par: Wang, Bailin, et autres
Publié: (2026)

Squeezed Attention: Accelerating Long Context Length LLM Inference
par: Hooper, Coleman, et autres
Publié: (2024)

RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
par: Liu, Di, et autres
Publié: (2024)

A Little Goes a Long Way: Efficient Long Context Training and Inference with Partial Contexts
par: Ge, Suyu, et autres
Publié: (2024)

Tactic: Adaptive Sparse Attention with Clustering and Distribution Fitting for Long-Context LLMs
par: Zhu, Kan, et autres
Publié: (2025)

Flux Attention: Context-Aware Hybrid Attention for Efficient LLMs Inference
par: Qiu, Quantong, et autres
Publié: (2026)

Fovea Transformer: Efficient Long-Context Modeling with Structured Fine-to-Coarse Attention
par: He, Ziwei, et autres
Publié: (2023)

Overcoming Long-Context Limitations of State-Space Models via Context-Dependent Sparse Attention
par: Zhan, Zhihao, et autres
Publié: (2025)

Efficient Long-Context LLM Inference via KV Cache Clustering
par: Hu, Jie, et autres
Publié: (2025)

LongRecipe: Recipe for Efficient Long Context Generalization in Large Language Models
par: Hu, Zhiyuan, et autres
Publié: (2024)

Full Attention Strikes Back: Transferring Full Attention into Sparse within Hundred Training Steps
par: Zhou, Yanke, et autres
Publié: (2026)

Multipole Attention for Efficient Long Context Reasoning
par: Hooper, Coleman, et autres
Publié: (2025)

Quest: Query-Aware Sparsity for Efficient Long-Context LLM Inference
par: Tang, Jiaming, et autres
Publié: (2024)

DELTA: Dynamic Layer-Aware Token Attention for Efficient Long-Context Reasoning
par: Zarch, Hossein Entezari, et autres
Publié: (2025)

MInference 1.0: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention
par: Jiang, Huiqiang, et autres
Publié: (2024)

MEDA: Dynamic KV Cache Allocation for Efficient Multimodal Long-Context Inference
par: Wan, Zhongwei, et autres
Publié: (2025)

D2O: Dynamic Discriminative Operations for Efficient Long-Context Inference of Large Language Models
par: Wan, Zhongwei, et autres
Publié: (2024)

MOM: Memory-Efficient Offloaded Mini-Sequence Inference for Long Context Language Models
par: Zhang, Junyang, et autres
Publié: (2025)