Why Softmax Attention Outperforms Linear Attention

Documenti analoghi

• How Sparse Attention Approximates Exact Attention? Your Attention is Naturally $n^C$-Sparse
  di: Deng, Yichuan, et al.
  Pubblicazione: (2024)
• The Hedgehog & the Porcupine: Expressive Linear Attentions with Softmax Mimicry
  di: Zhang, Michael, et al.
  Pubblicazione: (2024)
• Scalable-Softmax Is Superior for Attention
  di: Nakanishi, Ken M.
  Pubblicazione: (2025)
• Softmax Attention with Constant Cost per Token
  di: Heinsen, Franz A.
  Pubblicazione: (2024)
• Forgetting Transformer: Softmax Attention with a Forget Gate
  di: Lin, Zhixuan, et al.
  Pubblicazione: (2025)