RotateKV: Accurate and Robust 2-Bit KV Cache Quantization for LLMs via Outlier-Aware Adaptive Rotations

Ähnliche Einträge

• AKVQ-VL: Attention-Aware KV Cache Adaptive 2-Bit Quantization for Vision-Language Models
  von: Su, Zunhai, et al.
  Veröffentlicht: (2025)
• KVSink: Understanding and Enhancing the Preservation of Attention Sinks in KV Cache Quantization for LLMs
  von: Su, Zunhai, et al.
  Veröffentlicht: (2025)
• Accurate KV Cache Quantization with Outlier Tokens Tracing
  von: Su, Yi, et al.
  Veröffentlicht: (2025)
• VecInfer: Efficient LLM Inference with Low-Bit KV Cache via Outlier-Suppressed Vector Quantization
  von: Yao, Dingyu, et al.
  Veröffentlicht: (2025)
• DynamicKV: Task-Aware Adaptive KV Cache Compression for Long Context LLMs
  von: Zhou, Xiabin, et al.
  Veröffentlicht: (2024)