Image de couverture de livre

AttnCache: Accelerating Self-Attention Inference for LLM Prefill via Attention Cache

Fuente: arXiv

Enregistré dans:

Détails bibliographiques
Auteurs principaux:	Song, Dinghong, Feng, Yuan, Wang, Yiwei, Chen, Shangye, Guyot, Cyril, Blagojevic, Filip, Jeon, Hyeran, Su, Pengfei, Li, Dong
Format:	Preprint
Publié:	2025
Sujets:	Computation and Language Machine Learning
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Documents similaires

NeuronMLP: Efficient LLM Inference via Singular Value Decomposition Compression and Tiling on AWS Trainium
par: Song, Dinghong, et autres
Publié: (2025)

ContiguousKV: Accelerating LLM Prefill with Granularity-Aligned KV Cache Management
par: Zou, Jing, et autres
Publié: (2026)

Towards Efficient Key-Value Cache Management for Prefix Prefilling in LLM Inference
par: Zhu, Yue, et autres
Publié: (2025)

Accelerating LLM Inference Throughput via Asynchronous KV Cache Prefetching
par: Dong, Yanhao, et autres
Publié: (2025)

FAST-Prefill: FPGA Accelerated Sparse Attention for Long Context LLM Prefill
par: Jayanth, Rakshith, et autres
Publié: (2026)

FastKV: Decoupling of Context Reduction and KV Cache Compression for Prefill-Decoding Acceleration
par: Jo, Dongwon, et autres
Publié: (2025)

Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity
par: Ma, Da, et autres
Publié: (2024)

IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse
par: Bai, Yushi, et autres
Publié: (2026)

CLAA: Cross-Layer Attention Aggregation for Accelerating LLM Prefill
par: McDanel, Bradley, et autres
Publié: (2026)

From Prefix Cache to Fusion RAG Cache: Accelerating LLM Inference in Retrieval-Augmented Generation
par: Wang, Jiahao, et autres
Publié: (2026)

CacheFormer: High Attention-Based Segment Caching
par: Singh, Sushant, et autres
Publié: (2025)

KVSink: Understanding and Enhancing the Preservation of Attention Sinks in KV Cache Quantization for LLMs
par: Su, Zunhai, et autres
Publié: (2025)

SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching
par: Haghighi, Yasaman, et autres
Publié: (2026)

HybridGen: Efficient LLM Generative Inference via CPU-GPU Hybrid Computing
par: Lin, Mao, et autres
Publié: (2026)

AttnMod: Attention-Based New Art Styles
par: Su, Shih-Chieh
Publié: (2024)

Low-Latency Edge LLM Handover via Joint KV Cache Transfer and Token Prefill
par: Lee, Seunghun, et autres
Publié: (2026)

Prompt Cache: Modular Attention Reuse for Low-Latency Inference
par: Gim, In, et autres
Publié: (2023)

InferLog: Accelerating LLM Inference for Online Log Parsing via ICL-oriented Prefix Caching
par: Wang, Yilun, et autres
Publié: (2025)

VeriCache: Turning Lossy KV Cache into Lossless LLM Inference
par: Yao, Jiayi, et autres
Publié: (2026)

RelayCaching: Accelerating LLM Collaboration via Decoding KV Cache Reuse
par: Geng, Yingsheng, et autres
Publié: (2026)

CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection
par: Song, Jiwon, et autres
Publié: (2026)

Taming the Fragility of KV Cache Eviction in LLM Inference
par: Feng, Yuan, et autres
Publié: (2025)

POD-Attention: Unlocking Full Prefill-Decode Overlap for Faster LLM Inference
par: Kamath, Aditya K, et autres
Publié: (2024)

Adversarial Contrastive Learning for LLM Quantization Attacks
par: Song, Dinghong, et autres
Publié: (2026)

ScoutAttention: Efficient KV Cache Offloading via Layer-Ahead CPU Pre-computation for LLM Inference
par: Zhang, Qiuyang, et autres
Publié: (2026)

SqueezeAttention: 2D Management of KV-Cache in LLM Inference via Layer-wise Optimal Budget
par: Wang, Zihao, et autres
Publié: (2024)

RoCC: Harnessing Raster Operations Pipeline for Efficient Tensor Collective Communication
par: Feng, Yuan, et autres
Publié: (2026)

Selective KV-Cache Sharing to Mitigate Timing Side-Channels in LLM Inference
par: Chu, Kexin, et autres
Publié: (2025)

Relational Feature Caching for Accelerating Diffusion Transformers
par: Son, Byunggwan, et autres
Publié: (2026)

XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference
par: Monteiro, João, et autres
Publié: (2024)

ChunkAttention: Efficient Self-Attention with Prefix-Aware KV Cache and Two-Phase Partition
par: Ye, Lu, et autres
Publié: (2024)

SpecAttn: Speculating Sparse Attention
par: Shah, Harsh
Publié: (2025)

Accelerating LLM Inference via Dynamic KV Cache Placement in Heterogeneous Memory System
par: Fang, Yunhua, et autres
Publié: (2025)

HACK: Homomorphic Acceleration via Compression of the Key-Value Cache for Disaggregated LLM Inference
par: Zhang, Zeyu, et autres
Publié: (2025)

SVDq: 1.25-bit and 410x Key Cache Compression for LLM Attention
par: Yankun, Hong, et autres
Publié: (2025)

Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching
par: Ma, Xinyin, et autres
Publié: (2024)

Block-Attention for Efficient Prefilling
par: Ma, Dongyang, et autres
Publié: (2024)

PASTA: A Modular Program Analysis Tool Framework for Accelerators
par: Lin, Mao, et autres
Publié: (2026)

Nectar: Neural Estimation of Cached-Token Attention via Regression
par: Monteiro, João, et autres
Publié: (2026)

In-context KV-Cache Eviction for LLMs via Attention-Gate
par: Zeng, Zihao, et autres
Publié: (2024)