Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing

Documenti analoghi

• Partial Parameter Updates for Efficient Distributed Training
  di: Filippova, Anastasiia, et al.
  Pubblicazione: (2025)
• AsymKV: Enabling 1-Bit Quantization of KV Cache with Layer-Wise Asymmetric Quantization Configurations
  di: Tao, Qian, et al.
  Pubblicazione: (2024)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing
  di: Yang, Yifei, et al.
  Pubblicazione: (2024)
• CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing
  di: Wang, Yixuan, et al.
  Pubblicazione: (2025)
• One Size Does Not Fit All: Token-Wise Adaptive Compression for KV Cache
  di: Lu, Liming, et al.
  Pubblicazione: (2026)