Faster Neighborhood Attention: Reducing the O(n^2) Cost of Self Attention at the Threadblock Level

Ähnliche Einträge

• Generalized Neighborhood Attention: Multi-dimensional Sparse Attention at the Speed of Light
  von: Hassani, Ali, et al.
  Veröffentlicht: (2025)
• Efficient Image Generation with Variadic Attention Heads
  von: Walton, Steven, et al.
  Veröffentlicht: (2022)
• FasterViT: Fast Vision Transformers with Hierarchical Attention
  von: Hatamizadeh, Ali, et al.
  Veröffentlicht: (2023)
• Radial Attention: $O(n\log n)$ Sparse Attention with Energy Decay for Long Video Generation
  von: Li, Xingyang, et al.
  Veröffentlicht: (2025)
• From $\mathcal{O}(n^{2})$ to $\mathcal{O}(n)$ Parameters: Quantum Self-Attention in Vision Transformers for Biomedical Image Classification
  von: Boucher, Thomas, et al.
  Veröffentlicht: (2025)