Task-KV: Task-aware KV Cache Optimization via Semantic Differentiation of Attention Heads

Documenti analoghi

• DynamicKV: Task-Aware Adaptive KV Cache Compression for Long Context LLMs
  di: Zhou, Xiabin, et al.
  Pubblicazione: (2024)
• KV-Compress: Paged KV-Cache Compression with Variable Compression Rates per Attention Head
  di: Rehg, Isaac
  Pubblicazione: (2024)
• WindowKV: Task-Adaptive Group-Wise KV Cache Window Selection for Efficient LLM Inference
  di: Zuo, Youhui, et al.
  Pubblicazione: (2025)
• KV Cache Offloading for Context-Intensive Tasks
  di: Bocharnikov, Andrey, et al.
  Pubblicazione: (2026)
• R-KV: Redundancy-aware KV Cache Compression for Reasoning Models
  di: Cai, Zefan, et al.
  Pubblicazione: (2025)