Image de couverture de livre

From Prefix Cache to Fusion RAG Cache: Accelerating LLM Inference in Retrieval-Augmented Generation

Fuente: arXiv

Enregistré dans:

Détails bibliographiques
Auteurs principaux:	Wang, Jiahao, Xie, Weiyu, Zhang, Mingxing, Zhang, Boxing, Dong, Jianwei, Zhu, Yuening, Lin, Chen, Tang, Jinqi, Han, Yaochen, Ai, Zhiyuan, Chen, Xianglin, Wu, Yongwei, Jiang, Congfeng
Format:	Preprint
Publié:	2026
Sujets:	Computation and Language Artificial Intelligence
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Documents similaires

InferLog: Accelerating LLM Inference for Online Log Parsing via ICL-oriented Prefix Caching
par: Wang, Yilun, et autres
Publié: (2025)

dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching
par: Liu, Zhiyuan, et autres
Publié: (2025)

TurboRAG: Accelerating Retrieval-Augmented Generation with Precomputed KV Caches for Chunked Text
par: Lu, Songshuo, et autres
Publié: (2024)

Towards Efficient Key-Value Cache Management for Prefix Prefilling in LLM Inference
par: Zhu, Yue, et autres
Publié: (2025)

QCFuse: Query-Centric Cache Fusion for Efficient RAG Inference
par: Yan, Jianxin, et autres
Publié: (2026)

KVFlow: Efficient Prefix Caching for Accelerating LLM-Based Multi-Agent Workflows
par: Pan, Zaifeng, et autres
Publié: (2025)

RcLLM: Accelerating Generative Recommendation via Beyond-Prefix KV Caching
par: Zhao, Zhan, et autres
Publié: (2026)

AttnCache: Accelerating Self-Attention Inference for LLM Prefill via Attention Cache
par: Song, Dinghong, et autres
Publié: (2025)

CacheClip: Accelerating RAG with Effective KV Cache Reuse
par: Yang, Bin, et autres
Publié: (2025)

Not All Tokens Are Worth Caching: Learning Semantic-Aware Eviction for LLM Prefix Caches
par: Fang, Shaoke, et autres
Publié: (2026)

PrefixWall: Mitigating Prefix Caching Side Channels in Shared LLM Systems
par: Pennas, Panagiotis Georgios, et autres
Publié: (2026)

HeteroCache: A Dynamic Retrieval Approach to Heterogeneous KV Cache Compression for Long-Context LLM Inference
par: Shi, Zhiyuan, et autres
Publié: (2026)

Sparse Prefix Caching for Hybrid and Recurrent LLM Serving
par: Shirokikh, Mikhail, et autres
Publié: (2026)

Batch-Max: Higher LLM Throughput using Larger Batch Sizes and KV Cache Compression
par: Metel, Michael R., et autres
Publié: (2024)

CacheBlend: Fast Large Language Model Serving for RAG with Cached Knowledge Fusion
par: Yao, Jiayi, et autres
Publié: (2024)

ShadowServe: Interference-Free KV Cache Fetching for Distributed Prefix Caching
par: Xiang, Xingyu, et autres
Publié: (2025)

Tail-Optimized Caching for LLM Inference
par: Zhang, Wenxin, et autres
Publié: (2025)

VeriCache: Turning Lossy KV Cache into Lossless LLM Inference
par: Yao, Jiayi, et autres
Publié: (2026)

SlimCaching: Edge Caching of Mixture-of-Experts for Distributed Inference
par: Chen, Qian, et autres
Publié: (2025)

Marconi: Prefix Caching for the Era of Hybrid LLMs
par: Pan, Rui, et autres
Publié: (2024)

Accelerating LLM Inference via Dynamic KV Cache Placement in Heterogeneous Memory System
par: Fang, Yunhua, et autres
Publié: (2025)

CachePrune: Privacy-Aware and Fine-Grained KV Cache Sharing for Efficient LLM Inference
par: Wu, Guanlong, et autres
Publié: (2026)

Cache-Craft: Managing Chunk-Caches for Efficient Retrieval-Augmented Generation
par: Agarwal, Shubham, et autres
Publié: (2025)

PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation
par: Wang, Ao, et autres
Publié: (2024)

DASH-KV: Accelerating Long-Context LLM Inference via Asymmetric KV Cache Hashing
par: Guo, Jinyu, et autres
Publié: (2026)

SubGCache: Accelerating Graph-based RAG with Subgraph-level KV Cache
par: Zhu, Qiuyu, et autres
Publié: (2025)

LLM Cache Bandit Revisited: Addressing Query Heterogeneity for Cost-Effective LLM Inference
par: Yang, Hantao, et autres
Publié: (2025)

SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching
par: Haghighi, Yasaman, et autres
Publié: (2026)

MalRAG: A Retrieval-Augmented LLM Framework for Open-set Malicious Traffic Identification
par: Luo, Xiang, et autres
Publié: (2025)

CacheFocus: Dynamic Cache Re-Positioning for Efficient Retrieval-Augmented Generation
par: Lee, Kun-Hui, et autres
Publié: (2025)

RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generation
par: Jin, Chao, et autres
Publié: (2024)

XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference
par: Monteiro, João, et autres
Publié: (2024)

Leveraging Approximate Caching for Faster Retrieval-Augmented Generation
par: Bergman, Shai, et autres
Publié: (2025)

Accelerating LLM Inference Throughput via Asynchronous KV Cache Prefetching
par: Dong, Yanhao, et autres
Publié: (2025)

HACK: Homomorphic Acceleration via Compression of the Key-Value Cache for Disaggregated LLM Inference
par: Zhang, Zeyu, et autres
Publié: (2025)

Parallel Key-Value Cache Fusion for Position Invariant RAG
par: Oh, Philhoon, et autres
Publié: (2025)

FreeKV: Boosting KV Cache Retrieval for Efficient LLM Inference
par: Liu, Guangda, et autres
Publié: (2025)

FIER: Fine-Grained and Efficient KV Cache Retrieval for Long-context LLM Inference
par: Wang, Dongwei, et autres
Publié: (2025)

Cache Mechanism for Agent RAG Systems
par: Lin, Shuhang, et autres
Publié: (2025)

Taming the Fragility of KV Cache Eviction in LLM Inference
par: Feng, Yuan, et autres
Publié: (2025)