AnTKV: Anchor Token-Aware Sub-Bit Vector Quantization for KV Cache in Large Language Models

Ähnliche Einträge

• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference
  von: Liu, Xiang, et al.
  Veröffentlicht: (2025)
• Semantic Integrity Matters: Benchmarking and Preserving High-Density Reasoning in KV Cache Compression
  von: Liu, Xiang, et al.
  Veröffentlicht: (2025)
• Accurate KV Cache Quantization with Outlier Tokens Tracing
  von: Su, Yi, et al.
  Veröffentlicht: (2025)
• VecInfer: Efficient LLM Inference with Low-Bit KV Cache via Outlier-Suppressed Vector Quantization
  von: Yao, Dingyu, et al.
  Veröffentlicht: (2025)
• Plug-and-Play 1.x-Bit KV Cache Quantization for Video Large Language Models
  von: Tao, Keda, et al.
  Veröffentlicht: (2025)