ScoutAttention: Efficient KV Cache Offloading via Layer-Ahead CPU Pre-computation for LLM Inference

Ähnliche Einträge

• Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity
  von: Ma, Da, et al.
  Veröffentlicht: (2024)
• WindowQuant: Mixed-Precision KV Cache Quantization based on Window-Level Similarity for VLMs Inference Optimization
  von: Tao, Wei, et al.
  Veröffentlicht: (2026)
• FreeKV: Boosting KV Cache Retrieval for Efficient LLM Inference
  von: Liu, Guangda, et al.
  Veröffentlicht: (2025)
• LMCache: An Efficient KV Cache Layer for Enterprise-Scale LLM Inference
  von: Liu, Yuhan, et al.
  Veröffentlicht: (2025)
• MiniKV: Pushing the Limits of LLM Inference via 2-Bit Layer-Discriminative KV Cache
  von: Sharma, Akshat, et al.
  Veröffentlicht: (2024)