Copertina

Rethinking KV Cache Eviction via a Unified Information-Theoretic Objective

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Yang, Jiaming, Tang, Chenwei, Zhen, Liangli, Lv, Jiancheng
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning Artificial Intelligence Information Theory
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Bottlenecked Transformers: Periodic KV Cache Consolidation for Generalised Reasoning
di: Oomerjee, Adnan, et al.
Pubblicazione: (2025)

FibQuant: Universal Vector Quantization for Random-Access KV-Cache Compression
di: Lee, Namyoon, et al.
Pubblicazione: (2026)

SQuat: Subspace-orthogonal KV Cache Quantization
di: Wang, Hao, et al.
Pubblicazione: (2025)

Polynomial Context-Truncation Sensitivity in Autoregressive Language Models: Sequential Wyner-Ziv Bounds for KV Cache Compression
di: Kim, Munsik
Pubblicazione: (2026)

LookaheadKV: Fast and Accurate KV Cache Eviction by Glimpsing into the Future without Generation
di: Ahn, Jinwoo, et al.
Pubblicazione: (2026)

Machine Unlearning via Information Theoretic Regularization
di: Xu, Shizhou, et al.
Pubblicazione: (2025)

Hierarchical Adaptive Eviction for KV Cache Management in Multimodal Language Models
di: Ma, Xindian, et al.
Pubblicazione: (2026)

LAVa: Layer-wise KV Cache Eviction with Dynamic Budget Allocation
di: Shen, Yiqun, et al.
Pubblicazione: (2025)

MadaKV: Adaptive Modality-Perception KV Cache Eviction for Efficient Multimodal Long-Context Inference
di: Li, Kunxi, et al.
Pubblicazione: (2025)

CONF-KV: Confidence-Aware KV Cache Eviction with Mixed-Precision Storage for Long-Horizon LLM
di: Li, Yubo, et al.
Pubblicazione: (2026)

RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache
di: Zhang, Junkai, et al.
Pubblicazione: (2026)

RetentiveKV: State-Space Memory for Uncertainty-Aware Multimodal KV Cache Eviction
di: Liu, Sihao, et al.
Pubblicazione: (2026)

Learning What Matters: Adaptive Information-Theoretic Objectives for Robot Exploration
di: Yu, Youwei, et al.
Pubblicazione: (2026)

EVICPRESS: Joint KV-Cache Compression and Eviction for Efficient LLM Serving
di: Feng, Shaoting, et al.
Pubblicazione: (2025)

An Information-Theoretic Criterion for Efficient Data Synthesis
di: Li, Hanyu, et al.
Pubblicazione: (2026)

An Effective Information Theoretic Framework for Channel Pruning
di: Chen, Yihao, et al.
Pubblicazione: (2024)

Fairness Overfitting in Machine Learning: An Information-Theoretic Perspective
di: Laakom, Firas, et al.
Pubblicazione: (2025)

Information-Theoretic State Variable Selection for Reinforcement Learning
di: Westphal, Charles, et al.
Pubblicazione: (2024)

Uncertainty Quantification and Data Efficiency in AI: An Information-Theoretic Perspective
di: Simeone, Osvaldo, et al.
Pubblicazione: (2025)

The Causal Description Gap: Information-Theoretic Separations Across Pearl's Hierarchy
di: Emadi, Seyed Morteza
Pubblicazione: (2026)

Context Channel Capacity: An Information-Theoretic Framework for Understanding Catastrophic Forgetting
di: Cheng, Ran
Pubblicazione: (2026)

Information-Theoretic Policy Pre-Training with Empowerment
di: Schneider, Moritz, et al.
Pubblicazione: (2025)

Probing the Information Theoretical Roots of Spatial Dependence Measures
di: Wang, Zhangyu, et al.
Pubblicazione: (2024)

Optimal Multi-Objective Best Arm Identification with Fixed Confidence
di: Chen, Zhirui, et al.
Pubblicazione: (2025)

Neural Networks Learn Generic Multi-Index Models Near Information-Theoretic Limit
di: Zhang, Bohan, et al.
Pubblicazione: (2025)

$f$-Divergence Regularized RLHF: Two Tales of Sampling and Unified Analyses
di: Wu, Di, et al.
Pubblicazione: (2026)

When Does Value-Aware KV Eviction Help? A Fixed-Contract Diagnostic for Non-Monotone Cache Compression
di: Zhang, Ruijie, et al.
Pubblicazione: (2026)

An Information Theoretic Perspective on Agentic System Design
di: He, Shizhe, et al.
Pubblicazione: (2025)

Over-the-Air Federated Learning: Rethinking Edge AI Through Signal Processing
di: Azimi-Abarghouyi, Seyed Mohammad, et al.
Pubblicazione: (2025)

Interpretable Diffusion via Information Decomposition
di: Kong, Xianghao, et al.
Pubblicazione: (2023)

A General Error-Theoretical Analysis Framework for Constructing Compression Strategies
di: Zhang, Boyang, et al.
Pubblicazione: (2025)

The Agent Capability Problem: Predicting Solvability Through Information-Theoretic Bounds
di: Lutati, Shahar
Pubblicazione: (2025)

Tensor Cache: Eviction-conditioned Associative Memory for Transformers
di: Swain, Kabir, et al.
Pubblicazione: (2026)

LLMs Know What to Drop: Self-Attention Guided KV Cache Eviction for Efficient Long-Context Inference
di: Wang, Guangtao, et al.
Pubblicazione: (2025)

GeoIB: Geometry-Aware Information Bottleneck via Statistical-Manifold Compression
di: Wang, Weiqi, et al.
Pubblicazione: (2026)

Latent Representation and Simulation of Markov Processes via Time-Lagged Information Bottleneck
di: Federici, Marco, et al.
Pubblicazione: (2023)

Laplace Sample Information: Data Informativeness Through a Bayesian Lens
di: Kaiser, Johannes, et al.
Pubblicazione: (2025)

Beyond RAG: Task-Aware KV Cache Compression for Comprehensive Knowledge Reasoning
di: Corallo, Giulio, et al.
Pubblicazione: (2025)

Does Privacy Always Harm Fairness? Data-Dependent Trade-offs via Chernoff Information Neural Estimation
di: Nichani, Arjun, et al.
Pubblicazione: (2026)

CoKV: Optimizing KV Cache Allocation via Cooperative Game
di: Sun, Qiheng, et al.
Pubblicazione: (2025)