Multipole Attention for Efficient Long Context Reasoning

Documenti analoghi

• Squeezed Attention: Accelerating Long Context Length LLM Inference
  di: Hooper, Coleman, et al.
  Pubblicazione: (2024)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization
  di: Hooper, Coleman, et al.
  Pubblicazione: (2024)
• SPEED: Speculative Pipelined Execution for Efficient Decoding
  di: Hooper, Coleman, et al.
  Pubblicazione: (2023)
• SqueezeLLM: Dense-and-Sparse Quantization
  di: Kim, Sehoon, et al.
  Pubblicazione: (2023)
• Characterizing Prompt Compression Methods for Long Context Inference
  di: Jha, Siddharth, et al.
  Pubblicazione: (2024)