Buchumschlag

Parallel Key-Value Cache Fusion for Position Invariant RAG

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Oh, Philhoon, Shin, Jinwoo, Thorne, James
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

From Prefix Cache to Fusion RAG Cache: Accelerating LLM Inference in Retrieval-Augmented Generation
von: Wang, Jiahao, et al.
Veröffentlicht: (2026)

KV-Runahead: Scalable Causal LLM Inference by Parallel Key-Value Cache Generation
von: Cho, Minsik, et al.
Veröffentlicht: (2024)

Recursive Chain-of-Feedback Prevents Performance Degradation from Redundant Prompting
von: Ahn, Jinwoo, et al.
Veröffentlicht: (2024)

MultiDocFusion: Hierarchical and Multimodal Chunking Pipeline for Enhanced RAG on Long Industrial Documents
von: Shin, Joongmin, et al.
Veröffentlicht: (2026)

CacheFocus: Dynamic Cache Re-Positioning for Efficient Retrieval-Augmented Generation
von: Lee, Kun-Hui, et al.
Veröffentlicht: (2025)

CLIcK: A Benchmark Dataset of Cultural and Linguistic Intelligence in Korean
von: Kim, Eunsu, et al.
Veröffentlicht: (2024)

WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More
von: Yue, Yuxuan, et al.
Veröffentlicht: (2024)

KeyKnowledgeRAG (K^2RAG): An Enhanced RAG method for improved LLM question-answering capabilities
von: Markondapatnaikuni, Hruday, et al.
Veröffentlicht: (2025)

TableCache: Primary Foreign Key Guided KV Cache Precomputation for Low Latency Text-to-SQL
von: Su, Jinbo, et al.
Veröffentlicht: (2026)

ThinK: Thinner Key Cache by Query-Driven Pruning
von: Xu, Yuhui, et al.
Veröffentlicht: (2024)

Training Text-to-Molecule Models with Context-Aware Tokenization
von: Kim, Seojin, et al.
Veröffentlicht: (2025)

RedacBench: Can AI Erase Your Secrets?
von: Jeon, Hyunjun, et al.
Veröffentlicht: (2026)

ORPO: Monolithic Preference Optimization without Reference Model
von: Hong, Jiwoo, et al.
Veröffentlicht: (2024)

Towards Hyper-Efficient RAG Systems in VecDBs: Distributed Parallel Multi-Resolution Vector Search
von: Liu, Dong, et al.
Veröffentlicht: (2025)

Position: LLMs Must Use Functor-Based and RAG-Driven Bias Mitigation for Fairness
von: Ranjan, Ravi, et al.
Veröffentlicht: (2026)

Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models
von: Kim, Kyuyoung, et al.
Veröffentlicht: (2026)

$A^3$: Attention-Aware Accurate KV Cache Fusion for Fast Large Language Model Serving
von: Zhou, Yuechi, et al.
Veröffentlicht: (2025)

Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment
von: Kim, Dongyoung, et al.
Veröffentlicht: (2024)

OrthoRank: Token Selection via Sink Token Orthogonality for Efficient LLM inference
von: Shin, Seungjun, et al.
Veröffentlicht: (2025)

House of Cards: Massive Weights in LLMs
von: Oh, Jaehoon, et al.
Veröffentlicht: (2024)

FreqKV: Key-Value Compression in Frequency Domain for Context Window Extension
von: Kai, Jushi, et al.
Veröffentlicht: (2025)

On the Efficacy of Eviction Policy for Key-Value Constrained Generative Language Model Inference
von: Ren, Siyu, et al.
Veröffentlicht: (2024)

CARE-RAG - Clinical Assessment and Reasoning in RAG
von: Potluri, Deepthi, et al.
Veröffentlicht: (2025)

KV Cache Steering for Controlling Frozen LLMs
von: Belitsky, Max, et al.
Veröffentlicht: (2025)

XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference
von: Monteiro, João, et al.
Veröffentlicht: (2024)

Peri-LN: Revisiting Normalization Layer in the Transformer Architecture
von: Kim, Jeonghoon, et al.
Veröffentlicht: (2025)

Up to 36x Speedup: Mask-based Parallel Inference Paradigm for Key Information Extraction in MLLMs
von: Wang, Xinzhong, et al.
Veröffentlicht: (2026)

Breaking the Autoregressive Chain: Hyper-Parallel Decoding for Efficient LLM-Based Attribute Value Extraction
von: Glavas, Theodore, et al.
Veröffentlicht: (2026)

VALUEFLOW: Toward Pluralistic and Steerable Value-based Alignment in Large Language Models
von: Kim, Woojin, et al.
Veröffentlicht: (2026)

FB-RAG: Improving RAG with Forward and Backward Lookup
von: Chawla, Kushal, et al.
Veröffentlicht: (2025)

Beyond RAG: Task-Aware KV Cache Compression for Comprehensive Knowledge Reasoning
von: Corallo, Giulio, et al.
Veröffentlicht: (2025)

Tabular Transfer Learning via Prompting LLMs
von: Nam, Jaehyun, et al.
Veröffentlicht: (2024)

SpecEdge: Scalable Edge-Assisted Serving Framework for Interactive LLMs
von: Park, Jinwoo, et al.
Veröffentlicht: (2025)

From Flat to Structural: Enhancing Automated Short Answer Grading with GraphRAG
von: Chu, Yucheng, et al.
Veröffentlicht: (2026)

SuperRAG: Beyond RAG with Layout-Aware Graph Modeling
von: Yang, Jeff, et al.
Veröffentlicht: (2025)

From RAG to Agentic RAG for Faithful Islamic Question Answering
von: Bhatia, Gagan, et al.
Veröffentlicht: (2026)

Mamba Drafters for Speculative Decoding
von: Choi, Daewon, et al.
Veröffentlicht: (2025)

RAG-R1: Incentivizing the Search and Reasoning Capabilities of LLMs through Multi-query Parallelism
von: Tan, Zhiwen, et al.
Veröffentlicht: (2025)

Scaling Retrieval Augmented Generation with RAG Fusion: Lessons from an Industry Deployment
von: Medrano, Luigi, et al.
Veröffentlicht: (2026)

Stateful KV Cache Management for LLMs: Balancing Space, Time, Accuracy, and Positional Fidelity
von: Poudel, Pratik
Veröffentlicht: (2025)