SALE : Low-bit Estimation for Efficient Sparse Attention in Long-context LLM Prefilling

Documenti analoghi

• PQCache: Product Quantization-based KVCache for Long Context LLM Inference
  di: Zhang, Hailin, et al.
  Pubblicazione: (2024)
• VSPrefill: Vertical-Slash Sparse Attention with Lightweight Indexing for Long-Context Prefilling
  di: Guanzhong, Chen
  Pubblicazione: (2026)
• Block-Attention for Efficient Prefilling
  di: Ma, Dongyang, et al.
  Pubblicazione: (2024)
• Accelerating Prefilling for Long-Context LLMs via Sparse Pattern Sharing
  di: Peng, Dan, et al.
  Pubblicazione: (2025)
• TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference
  di: Tang, Xiaojuan, et al.
  Pubblicazione: (2025)