SlimInfer: Accelerating Long-Context LLM Inference via Dynamic Token Pruning

Documenti analoghi

• Focus-dLLM: Accelerating Long-Context Diffusion LLM Inference via Confidence-Guided Context Focusing
  di: Long, Lingkun, et al.
  Pubblicazione: (2026)
• LazyLLM: Dynamic Token Pruning for Efficient Long Context LLM Inference
  di: Fu, Qichen, et al.
  Pubblicazione: (2024)
• RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
  di: Liu, Di, et al.
  Pubblicazione: (2024)
• DASH-KV: Accelerating Long-Context LLM Inference via Asymmetric KV Cache Hashing
  di: Guo, Jinyu, et al.
  Pubblicazione: (2026)
• InstInfer: In-Storage Attention Offloading for Cost-Effective Long-Context LLM Inference
  di: Pan, Xiurui, et al.
  Pubblicazione: (2024)