Buchumschlag

Model Tells You Where to Merge: Adaptive KV Cache Merging for LLMs on Long-Context Tasks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Zheng, Jin, Boxiao, Yu, Zhongzhi, Zhang, Minjia
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs
von: Ge, Suyu, et al.
Veröffentlicht: (2023)

DynamicKV: Task-Aware Adaptive KV Cache Compression for Long Context LLMs
von: Zhou, Xiabin, et al.
Veröffentlicht: (2024)

SemantiCache: Efficient KV Cache Compression via Semantic Chunking and Clustered Merging
von: Wu, Shunlong, et al.
Veröffentlicht: (2026)

FlowMM: Cross-Modal Information Flow Guided KV Cache Merging for Efficient Multimodal Context Inference
von: Li, Kunxi, et al.
Veröffentlicht: (2025)

LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models
von: Shi, Dachuan, et al.
Veröffentlicht: (2025)

EMS: Adaptive Evict-then-Merge Strategy for Head-wise KV Cache Compression Based on Global-Local Importance
von: Li, Yingxin, et al.
Veröffentlicht: (2024)

WeightedKV: Attention Scores Weighted Key-Value Cache Merging for Large Language Models
von: Yuan, Jian, et al.
Veröffentlicht: (2025)

ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs
von: Qi, Yanlin, et al.
Veröffentlicht: (2026)

TailorKV: A Hybrid Framework for Long-Context Inference via Tailored KV Cache Optimization
von: Yao, Dingyu, et al.
Veröffentlicht: (2025)

NestedKV: Nested Memory Routing for Long-Context KV Cache Compression
von: Chen, Hong, et al.
Veröffentlicht: (2026)

MadaKV: Adaptive Modality-Perception KV Cache Eviction for Efficient Multimodal Long-Context Inference
von: Li, Kunxi, et al.
Veröffentlicht: (2025)

ShadowKV: KV Cache in Shadows for High-Throughput Long-Context LLM Inference
von: Sun, Hanshi, et al.
Veröffentlicht: (2024)

CTkvr: KV Cache Retrieval for Long-Context LLMs via Centroid then Token Indexing
von: Lu, Kuan, et al.
Veröffentlicht: (2025)

GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs
von: Peng, Junjie, et al.
Veröffentlicht: (2026)

ZSMerge: Zero-Shot KV Cache Compression for Memory-Efficient Long-Context LLMs
von: Liu, Xin, et al.
Veröffentlicht: (2025)

Efficient Long-Context LLM Inference via KV Cache Clustering
von: Hu, Jie, et al.
Veröffentlicht: (2025)

MiniKV: Pushing the Limits of LLM Inference via 2-Bit Layer-Discriminative KV Cache
von: Sharma, Akshat, et al.
Veröffentlicht: (2024)

Multi-Task Model Merging via Adaptive Weight Disentanglement
von: Xiong, Feng, et al.
Veröffentlicht: (2024)

SuperMerge: An Approach For Gradient-Based Model Merging
von: Yang, Haoyu, et al.
Veröffentlicht: (2024)

XKV: Personalized KV Cache Memory Reduction for Long-Context LLM Inference
von: Li, Weizhuo, et al.
Veröffentlicht: (2024)

DASH-KV: Accelerating Long-Context LLM Inference via Asymmetric KV Cache Hashing
von: Guo, Jinyu, et al.
Veröffentlicht: (2026)

KV Cache Offloading for Context-Intensive Tasks
von: Bocharnikov, Andrey, et al.
Veröffentlicht: (2026)

ACE-Merging: Data-Free Model Merging with Adaptive Covariance Estimation
von: Xu, Bo, et al.
Veröffentlicht: (2026)

MEDA: Dynamic KV Cache Allocation for Efficient Multimodal Long-Context Inference
von: Wan, Zhongwei, et al.
Veröffentlicht: (2025)

Context-Aware Hierarchical Merging for Long Document Summarization
von: Ou, Litu, et al.
Veröffentlicht: (2025)

KVSlimmer: Theoretical Insights and Practical Optimizations for Asymmetric KV Merging
von: Liu, Lianjun, et al.
Veröffentlicht: (2026)

Probing the Prompt KV Cache: Where It Becomes Dispensable
von: Kumar, Vinayshekhar Bannihatti, et al.
Veröffentlicht: (2026)

Exploring Fine-Tuning for In-Context Retrieval and Efficient KV-Caching in Long-Context Language Models
von: Molfese, Francesco Maria, et al.
Veröffentlicht: (2026)

WindowKV: Task-Adaptive Group-Wise KV Cache Window Selection for Efficient LLM Inference
von: Zuo, Youhui, et al.
Veröffentlicht: (2025)

ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference
von: Liu, Xiang, et al.
Veröffentlicht: (2025)

Attention Is All You Need for KV Cache in Diffusion LLMs
von: Nguyen-Tri, Quan, et al.
Veröffentlicht: (2025)

Transport and Merge: Cross-Architecture Merging for Large Language Models
von: Cui, Chenhang, et al.
Veröffentlicht: (2026)

EFIM: Efficient Serving of LLMs for Infilling Tasks with Improved KV Cache Reuse
von: Guo, Tianyu, et al.
Veröffentlicht: (2025)

dKV-Cache: The Cache for Diffusion Language Models
von: Ma, Xinyin, et al.
Veröffentlicht: (2025)

Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity
von: Ma, Da, et al.
Veröffentlicht: (2024)

LagKV: Lag-Relative Information of the KV Cache Tells Which Tokens Are Important
von: Liang, Manlai, et al.
Veröffentlicht: (2025)

DepthKV: Layer-Dependent KV Cache Pruning for Long-Context LLM Inference
von: Dehghanighobadi, Zahra, et al.
Veröffentlicht: (2026)

RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression
von: Behnam, Payman, et al.
Veröffentlicht: (2025)

PM-KVQ: Progressive Mixed-precision KV Cache Quantization for Long-CoT LLMs
von: Liu, Tengxuan, et al.
Veröffentlicht: (2025)

DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity
von: Hao, Jitai, et al.
Veröffentlicht: (2026)