RRAttention: Dynamic Block Sparse Attention via Per-Head Round-Robin Shifts for Long-Context Inference

Ähnliche Einträge

• SimReg: Achieving Higher Performance in the Pretraining via Embedding Similarity Regularization
  von: Sun, Yan, et al.
  Veröffentlicht: (2026)
• FlashMask: Efficient and Rich Mask Extension of FlashAttention
  von: Wang, Guoxia, et al.
  Veröffentlicht: (2024)
• Training Dynamics of Multi-Head Softmax Attention for In-Context Learning: Emergence, Convergence, and Optimality
  von: Chen, Siyu, et al.
  Veröffentlicht: (2024)
• SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention
  von: Zhu, Qianchao, et al.
  Veröffentlicht: (2024)
• AB-Sparse: Sparse Attention with Adaptive Block Size for Accurate and Efficient Long-Context Inference
  von: Liu, Di, et al.
  Veröffentlicht: (2026)