VecInfer: Efficient LLM Inference with Low-Bit KV Cache via Outlier-Suppressed Vector Quantization

Ähnliche Einträge

• TailorKV: A Hybrid Framework for Long-Context Inference via Tailored KV Cache Optimization
  von: Yao, Dingyu, et al.
  Veröffentlicht: (2025)
• RotateKV: Accurate and Robust 2-Bit KV Cache Quantization for LLMs via Outlier-Aware Adaptive Rotations
  von: Su, Zunhai, et al.
  Veröffentlicht: (2025)
• XQuant: Achieving Ultra-Low Bit KV Cache Quantization with Cross-Layer Compression
  von: Yang, Haoqi, et al.
  Veröffentlicht: (2025)
• NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache
  von: Son, Donghyun, et al.
  Veröffentlicht: (2025)
• Vec-LUT: Vector Table Lookup for Parallel Ultra-Low-Bit LLM Inference on Edge Devices
  von: Li, Xiangyu, et al.
  Veröffentlicht: (2025)