Lignende værker

• ALISA: Accelerating Large Language Model Inference via Sparsity-Aware KV Caching
  af: Zhao, Youpeng, et al.
  Udgivet: (2024)
• ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression
  af: Liu, Guangda, et al.
  Udgivet: (2024)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache
  af: Liu, Zirui, et al.
  Udgivet: (2024)
• QJL: 1-Bit Quantized JL Transform for KV Cache Quantization with Zero Overhead
  af: Zandieh, Amir, et al.
  Udgivet: (2024)
• OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization
  af: Zhou, Zhongzhu, et al.
  Udgivet: (2026)