Buchumschlag

A Method for Building Large Language Models with Predefined KV Cache Capacity

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yi, Zhonghua, Niu, Ge, Wang, Lei, Tang, Wei, Zhang, Liqiu
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

dKV-Cache: The Cache for Diffusion Language Models
von: Ma, Xinyin, et al.
Veröffentlicht: (2025)

KVLink: Accelerating Large Language Models via Efficient KV Cache Reuse
von: Yang, Jingbo, et al.
Veröffentlicht: (2025)

SpindleKV: A Novel KV Cache Reduction Method Balancing Both Shallow and Deep Layers
von: Tang, Zicong, et al.
Veröffentlicht: (2025)

RetentiveKV: State-Space Memory for Uncertainty-Aware Multimodal KV Cache Eviction
von: Liu, Sihao, et al.
Veröffentlicht: (2026)

Layer-Condensed KV Cache for Efficient Inference of Large Language Models
von: Wu, Haoyi, et al.
Veröffentlicht: (2024)

$A^3$: Attention-Aware Accurate KV Cache Fusion for Fast Large Language Model Serving
von: Zhou, Yuechi, et al.
Veröffentlicht: (2025)

MiniCache: KV Cache Compression in Depth Dimension for Large Language Models
von: Liu, Akide, et al.
Veröffentlicht: (2024)

AhaKV: Adaptive Holistic Attention-Driven KV Cache Eviction for Efficient Inference of Large Language Models
von: Gu, Yifeng, et al.
Veröffentlicht: (2025)

AnTKV: Anchor Token-Aware Sub-Bit Vector Quantization for KV Cache in Large Language Models
von: Li, Zeyu, et al.
Veröffentlicht: (2025)

Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs
von: Ge, Suyu, et al.
Veröffentlicht: (2023)

MadaKV: Adaptive Modality-Perception KV Cache Eviction for Efficient Multimodal Long-Context Inference
von: Li, Kunxi, et al.
Veröffentlicht: (2025)

CaliDrop: KV Cache Compression with Calibration
von: Su, Yi, et al.
Veröffentlicht: (2025)

EntropyCache: Decoded Token Entropy Guided KV Caching for Diffusion Language Models
von: Cheong, Minsoo, et al.
Veröffentlicht: (2026)

FlowMM: Cross-Modal Information Flow Guided KV Cache Merging for Efficient Multimodal Context Inference
von: Li, Kunxi, et al.
Veröffentlicht: (2025)

LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models
von: Shi, Dachuan, et al.
Veröffentlicht: (2025)

WeightedKV: Attention Scores Weighted Key-Value Cache Merging for Large Language Models
von: Yuan, Jian, et al.
Veröffentlicht: (2025)

Accurate KV Cache Quantization with Outlier Tokens Tracing
von: Su, Yi, et al.
Veröffentlicht: (2025)

QAQ: Quality Adaptive Quantization for LLM KV Cache
von: Dong, Shichen, et al.
Veröffentlicht: (2024)

DynaSaur: Large Language Agents Beyond Predefined Actions
von: Nguyen, Dang, et al.
Veröffentlicht: (2024)

LongFlow: Efficient KV Cache Compression for Reasoning Models
von: Su, Yi, et al.
Veröffentlicht: (2026)

TailorKV: A Hybrid Framework for Long-Context Inference via Tailored KV Cache Optimization
von: Yao, Dingyu, et al.
Veröffentlicht: (2025)

AKVQ-VL: Attention-Aware KV Cache Adaptive 2-Bit Quantization for Vision-Language Models
von: Su, Zunhai, et al.
Veröffentlicht: (2025)

Keep the Cost Down: A Review on Methods to Optimize LLM' s KV-Cache Consumption
von: Shi, Luohe, et al.
Veröffentlicht: (2024)

R-KV: Redundancy-aware KV Cache Compression for Reasoning Models
von: Cai, Zefan, et al.
Veröffentlicht: (2025)

Crystal-KV: Efficient KV Cache Management for Chain-of-Thought LLMs via Answer-First Principle
von: Wang, Zihan, et al.
Veröffentlicht: (2026)

SCBench: A KV Cache-Centric Analysis of Long-Context Methods
von: Li, Yucheng, et al.
Veröffentlicht: (2024)

When Hidden States Drift: Can KV Caches Rescue Long-Range Speculative Decoding?
von: Liu, Tianyu, et al.
Veröffentlicht: (2026)

InnerQ: Hardware-Aware Tuning-Free Quantization of KV Cache for Large Language Models
von: Hosseini, Sayed Mohammadreza Tayaranian, et al.
Veröffentlicht: (2026)

G-KV: Decoding-Time KV Cache Eviction with Global Attention
von: Liao, Mengqi, et al.
Veröffentlicht: (2025)

WindowKV: Task-Adaptive Group-Wise KV Cache Window Selection for Efficient LLM Inference
von: Zuo, Youhui, et al.
Veröffentlicht: (2025)

DynamicKV: Task-Aware Adaptive KV Cache Compression for Long Context LLMs
von: Zhou, Xiabin, et al.
Veröffentlicht: (2024)

XKV: Personalized KV Cache Memory Reduction for Long-Context LLM Inference
von: Li, Weizhuo, et al.
Veröffentlicht: (2024)

EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction
von: Ji, Shiyu, et al.
Veröffentlicht: (2026)

Efficient Long-Context LLM Inference via KV Cache Clustering
von: Hu, Jie, et al.
Veröffentlicht: (2025)

ZigZagkv: Dynamic KV Cache Compression for Long-context Modeling based on Layer Uncertainty
von: Zhong, Meizhi, et al.
Veröffentlicht: (2024)

ReST-KV: Robust KV Cache Eviction with Layer-wise Output Reconstruction and Spatial-Temporal Smoothing
von: An, Yongqi, et al.
Veröffentlicht: (2026)

ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference
von: Liu, Xiang, et al.
Veröffentlicht: (2025)

GraphKV: Breaking the Static Selection Paradigm with Graph-Based KV Cache Eviction
von: Li, Xuelin, et al.
Veröffentlicht: (2025)

NestedKV: Nested Memory Routing for Long-Context KV Cache Compression
von: Chen, Hong, et al.
Veröffentlicht: (2026)

DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity
von: Hao, Jitai, et al.
Veröffentlicht: (2026)