SPEED: Speculative Pipelined Execution for Efficient Decoding

Documenti analoghi

• Squeezed Attention: Accelerating Long Context Length LLM Inference
  di: Hooper, Coleman, et al.
  Pubblicazione: (2024)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization
  di: Hooper, Coleman, et al.
  Pubblicazione: (2024)
• Multipole Attention for Efficient Long Context Reasoning
  di: Hooper, Coleman, et al.
  Pubblicazione: (2025)
• SqueezeLLM: Dense-and-Sparse Quantization
  di: Kim, Sehoon, et al.
  Pubblicazione: (2023)
• Learned Best-Effort LLM Serving
  di: Jha, Siddharth, et al.
  Pubblicazione: (2024)