Copertina

Compactor: Calibrated Query-Agnostic KV Cache Compression with Approximate Leverage Scores

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Chari, Vivek, Van Durme, Benjamin
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

KV-Distill: Nearly Lossless Learnable Context Compression for LLMs
di: Chari, Vivek, et al.
Pubblicazione: (2025)

Q-Filters: Leveraging QK Geometry for Efficient KV Cache Compression
di: Godey, Nathan, et al.
Pubblicazione: (2025)

Expected Attention: KV Cache Compression by Estimating Attention from Future Queries Distribution
di: Devoto, Alessio, et al.
Pubblicazione: (2025)

Lossless KV Cache Compression to 2%
di: Yang, Zhen, et al.
Pubblicazione: (2024)

R-KV: Redundancy-aware KV Cache Compression for Reasoning Models
di: Cai, Zefan, et al.
Pubblicazione: (2025)

PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling
di: Cai, Zefan, et al.
Pubblicazione: (2024)

KVSculpt: KV Cache Compression as Distillation
di: Jiang, Bo, et al.
Pubblicazione: (2026)

DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity
di: Hao, Jitai, et al.
Pubblicazione: (2026)

Lookahead Q-Cache: Achieving More Consistent KV Cache Eviction via Pseudo Query
di: Wang, Yixuan, et al.
Pubblicazione: (2025)

CommVQ: Commutative Vector Quantization for KV Cache Compression
di: Li, Junyan, et al.
Pubblicazione: (2025)

Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction
di: Liu, Yijun, et al.
Pubblicazione: (2025)

KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction
di: Yuan, Aomufei, et al.
Pubblicazione: (2025)

OjaKV: Context-Aware Online Low-Rank KV Cache Compression
di: Zhu, Yuxuan, et al.
Pubblicazione: (2025)

Hold Onto That Thought: Assessing KV Cache Compression On Reasoning
di: Liu, Minghui, et al.
Pubblicazione: (2025)

Quantization Dominates Rank Reduction for KV-Cache Compression
di: Salfati, Samuel
Pubblicazione: (2026)

MiniCache: KV Cache Compression in Depth Dimension for Large Language Models
di: Liu, Akide, et al.
Pubblicazione: (2024)

SurfaceLogicKV: Surface and Logic Attention Behaviors are All You Need for Robust KV Cache Compression
di: Li, Mengjie, et al.
Pubblicazione: (2025)

KeepKV: Achieving Periodic Lossless KV Cache Compression for Efficient LLM Inference
di: Tian, Yuxuan, et al.
Pubblicazione: (2025)

ManifoldKV: Training-Free KV Cache Compression via Euclidean Outlier Detection
di: Datta, Debajyoti, et al.
Pubblicazione: (2026)

HeteroCache: A Dynamic Retrieval Approach to Heterogeneous KV Cache Compression for Long-Context LLM Inference
di: Shi, Zhiyuan, et al.
Pubblicazione: (2026)

Semantic Integrity Matters: Benchmarking and Preserving High-Density Reasoning in KV Cache Compression
di: Liu, Xiang, et al.
Pubblicazione: (2025)

ZSMerge: Zero-Shot KV Cache Compression for Memory-Efficient Long-Context LLMs
di: Liu, Xin, et al.
Pubblicazione: (2025)

More Than a Quick Glance: Overcoming the Greedy Bias in KV-Cache Compression
di: Sood, Aryan, et al.
Pubblicazione: (2026)

A Simple and Effective $L_2$ Norm-Based Strategy for KV Cache Compression
di: Devoto, Alessio, et al.
Pubblicazione: (2024)

Eigen Attention: Attention in Low-Rank Space for KV Cache Compression
di: Saxena, Utkarsh, et al.
Pubblicazione: (2024)

G-KV: Decoding-Time KV Cache Eviction with Global Attention
di: Liao, Mengqi, et al.
Pubblicazione: (2025)

SEQR: Secure and Efficient QR-based LoRA Routing
di: Fleshman, William, et al.
Pubblicazione: (2025)

LoRA-Augmented Generation (LAG) for Knowledge-Intensive Language Tasks
di: Fleshman, William, et al.
Pubblicazione: (2025)

SpectR: Dynamically Composing LM Experts with Spectral Routing
di: Fleshman, William, et al.
Pubblicazione: (2025)

RE-Adapt: Reverse Engineered Adaptation of Large Language Models
di: Fleshman, William, et al.
Pubblicazione: (2024)

LM Agents for Coordinating Multi-User Information Gathering
di: Jhamtani, Harsh, et al.
Pubblicazione: (2025)

SparK: Query-Aware Unstructured Sparsity with Recoverable KV Cache Channel Pruning
di: Liao, Huanxuan, et al.
Pubblicazione: (2025)

Not All Heads Matter: A Head-Level KV Cache Compression Method with Integrated Retrieval and Reasoning
di: Fu, Yu, et al.
Pubblicazione: (2024)

HCAttention: Extreme KV Cache Compression via Heterogeneous Attention Computing for LLMs
di: Yang, Dongquan, et al.
Pubblicazione: (2025)

Towards Threshold-Free KV Cache Pruning
di: Ni, Xuanfan, et al.
Pubblicazione: (2025)

KV Cache Steering for Controlling Frozen LLMs
di: Belitsky, Max, et al.
Pubblicazione: (2025)

EliteKV: Scalable KV Cache Compression via RoPE Frequency Selection and Joint Low-Rank Projection
di: Zhou, Yuhao, et al.
Pubblicazione: (2025)

GoldFinch: High Performance RWKV/Transformer Hybrid with Linear Pre-Fill and Extreme KV-Cache Compression
di: Goldstein, Daniel, et al.
Pubblicazione: (2024)

DepthKV: Layer-Dependent KV Cache Pruning for Long-Context LLM Inference
di: Dehghanighobadi, Zahra, et al.
Pubblicazione: (2026)

Time and Memory Trade-off of KV-Cache Compression in Tensor Transformer Decoding
di: Chen, Yifang, et al.
Pubblicazione: (2025)