Image de couverture de livre

KeepKV: Achieving Periodic Lossless KV Cache Compression for Efficient LLM Inference

Fuente: arXiv

Enregistré dans:

Détails bibliographiques
Auteurs principaux:	Tian, Yuxuan, Wang, Zihan, Peng, Yebo, Yuan, Aomufei, Wang, Zhiming, Yi, Bairen, Liu, Xin, Cui, Yong, Yang, Tong
Format:	Preprint
Publié:	2025
Sujets:	Machine Learning Artificial Intelligence Computation and Language
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Documents similaires

KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction
par: Yuan, Aomufei, et autres
Publié: (2025)

FairKV: Balancing Per-Head KV Cache for Fast Multi-GPU Inference
par: Zhao, Bingzhe, et autres
Publié: (2025)

Lossless KV Cache Compression to 2%
par: Yang, Zhen, et autres
Publié: (2024)

GEAR: An Efficient KV Cache Compression Recipe for Near-Lossless Generative Inference of LLM
par: Kang, Hao, et autres
Publié: (2024)

SmallKV: Small Model Assisted Compensation of KV Cache Compression for Efficient LLM Inference
par: Zhao, Yi, et autres
Publié: (2025)

VeriCache: Turning Lossy KV Cache into Lossless LLM Inference
par: Yao, Jiayi, et autres
Publié: (2026)

EvolKV: Evolutionary KV Cache Compression for LLM Inference
par: Yu, Bohan, et autres
Publié: (2025)

SentenceKV: Efficient LLM Inference via Sentence-Level Semantic KV Caching
par: Zhu, Yuxuan, et autres
Publié: (2025)

ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference
par: Liu, Xiang, et autres
Publié: (2025)

FreeKV: Boosting KV Cache Retrieval for Efficient LLM Inference
par: Liu, Guangda, et autres
Publié: (2025)

Beyond Token Eviction: Mixed-Dimension Budget Allocation for Efficient KV Cache Compression
par: Miao, Ruijie, et autres
Publié: (2026)

SparKV: Overhead-Aware KV Cache Loading for Efficient On-Device LLM Inference
par: Liu, Hongyao, et autres
Publié: (2026)

Ada-KV: Optimizing KV Cache Eviction by Adaptive Budget Allocation for Efficient LLM Inference
par: Feng, Yuan, et autres
Publié: (2024)

Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference
par: Dong, Harry, et autres
Publié: (2024)

NestedKV: Nested Memory Routing for Long-Context KV Cache Compression
par: Chen, Hong, et autres
Publié: (2026)

EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction
par: Ji, Shiyu, et autres
Publié: (2026)

HybridKV: Hybrid KV Cache Compression for Efficient Multimodal Large Language Model Inference
par: Zeng, Bowen, et autres
Publié: (2026)

KVTuner: Sensitivity-Aware Layer-Wise Mixed-Precision KV Cache Quantization for Efficient and Nearly Lossless LLM Inference
par: Li, Xing, et autres
Publié: (2025)

Efficient Long-Context LLM Inference via KV Cache Clustering
par: Hu, Jie, et autres
Publié: (2025)

RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression
par: Behnam, Payman, et autres
Publié: (2025)

PolyKV: A Shared Asymmetrically-Compressed KV Cache Pool for Multi-Agent LLM Inference
par: Patel, Ishan, et autres
Publié: (2026)

OjaKV: Context-Aware Online Low-Rank KV Cache Compression
par: Zhu, Yuxuan, et autres
Publié: (2025)

ShadowKV: KV Cache in Shadows for High-Throughput Long-Context LLM Inference
par: Sun, Hanshi, et autres
Publié: (2024)

ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression
par: Liu, Guangda, et autres
Publié: (2024)

Taming the Fragility of KV Cache Eviction in LLM Inference
par: Feng, Yuan, et autres
Publié: (2025)

CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing
par: Wang, Yixuan, et autres
Publié: (2025)

ThinKV: Thought-Adaptive KV Cache Compression for Efficient Reasoning Models
par: Ramachandran, Akshat, et autres
Publié: (2025)

AudioKV: KV Cache Eviction in Efficient Large Audio Language Models
par: Wang, Yuxuan, et autres
Publié: (2026)

KV Cache Optimization Strategies for Scalable and Efficient LLM Inference
par: Xu, Yichun, et autres
Publié: (2026)

Inference-Time Hyper-Scaling with KV Cache Compression
par: Łańcucki, Adrian, et autres
Publié: (2025)

TurboAngle: Near-Lossless KV Cache Compression via Uniform Angle Quantization
par: Patel, Dipkumar
Publié: (2026)

MPCache: MPC-Friendly KV Cache Eviction for Efficient Private LLM Inference
par: Zeng, Wenxuan, et autres
Publié: (2025)

The Pitfalls of KV Cache Compression
par: Chen, Alex, et autres
Publié: (2025)

WindowKV: Task-Adaptive Group-Wise KV Cache Window Selection for Efficient LLM Inference
par: Zuo, Youhui, et autres
Publié: (2025)

LongFlow: Efficient KV Cache Compression for Reasoning Models
par: Su, Yi, et autres
Publié: (2026)

KV Pareto: Systems-Level Optimization of KV Cache and Model Compression for Long Context Inference
par: Gokhale, Sai, et autres
Publié: (2025)

PyramidInfer: Pyramid KV Cache Compression for High-throughput LLM Inference
par: Yang, Dongjie, et autres
Publié: (2024)

EVICPRESS: Joint KV-Cache Compression and Eviction for Efficient LLM Serving
par: Feng, Shaoting, et autres
Publié: (2025)

MomentKV: Closing the Directional Gap in KV Cache Eviction for Long-Context Inference
par: Li, Yu, et autres
Publié: (2026)

Forcing-KV: Hybrid KV Cache Compression for Efficient Autoregressive Video Diffusion Models
par: Ji, Yicheng, et autres
Publié: (2026)