HyLRA: Hybrid Layer Reuse Attention for Efficient Long-Context Inference

Ähnliche Einträge

• Efficient Long-Context LLM Inference via KV Cache Clustering
  von: Hu, Jie, et al.
  Veröffentlicht: (2025)
• Flux Attention: Context-Aware Hybrid Attention for Efficient LLMs Inference
  von: Qiu, Quantong, et al.
  Veröffentlicht: (2026)
• LLMSteer: Improving Long-Context LLM Inference by Steering Attention on Reused Contexts
  von: Gu, Zhuohan, et al.
  Veröffentlicht: (2024)
• Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity
  von: Ma, Da, et al.
  Veröffentlicht: (2024)
• ZigzagAttention: Efficient Long-Context Inference with Exclusive Retrieval and Streaming Heads
  von: Liu, Zhuorui, et al.
  Veröffentlicht: (2025)